KR20220106233A - 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램 - Google Patents

음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램 Download PDF

Info

Publication number
KR20220106233A
KR20220106233A KR1020227024860A KR20227024860A KR20220106233A KR 20220106233 A KR20220106233 A KR 20220106233A KR 1020227024860 A KR1020227024860 A KR 1020227024860A KR 20227024860 A KR20227024860 A KR 20227024860A KR 20220106233 A KR20220106233 A KR 20220106233A
Authority
KR
South Korea
Prior art keywords
frequency band
temporal envelope
envelope
unit
temporal
Prior art date
Application number
KR1020227024860A
Other languages
English (en)
Other versions
KR102565287B1 (ko
Inventor
게이 기쿠이리
아쓰시 야마구치
Original Assignee
가부시키가이샤 엔.티.티.도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔.티.티.도코모 filed Critical 가부시키가이샤 엔.티.티.도코모
Publication of KR20220106233A publication Critical patent/KR20220106233A/ko
Application granted granted Critical
Publication of KR102565287B1 publication Critical patent/KR102565287B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Abstract

음성 복호 장치(1)는, 비다중화부(1a), 저주파수 대역 복호부(1b), 대역 분할 필터 뱅크부(1c), 부호화 계열 해석부(1d), 부호화 계열 복호/역양자화부(1e), 고주파수 대역 생성부(1h), 복수의 저주파수 대역의 시간 포락선을 취득하는 저주파수 대역 시간 포락선 산출부(1f1∼1fn), 시간 포락선 정보, 및 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출부(1g), 시간 포락선 산출부(1g)에 의해 취득된 시간 포락선을 사용하여 고주파수 대역 성분의 시간 포락선을 조정하는 시간 포락선 조정부(1i), 및 대역 합성 필터 뱅크부(1j)를 구비한다.

Description

음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램 {SPEECH DECODER, SPEECH ENCODER, SPEECH DECODING METHOD, SPEECH ENCODING METHOD, SPEECH DECODING PROGRAM, AND SPEECH ENCODING PROGRAM}
본 발명은 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램에 관한 것이다.
청각 심리를 이용하여 인간의 지각에 불필요한 정보를 제거함으로써 신호의 데이터량을 수십 분의 일로 압축하는 음성 음향 부호화 기술은, 신호의 전송 및 저장에 있어서 극히 중요한 기술이다. 널리 이용되고 있는 지각적 오디오 부호화 기술의 예로서, ISO/IEC MPEG(Moving Picture Experts Group)으로 표준화된 MPEG4 AAC(Advanced Audio Coding) 등을 들 수 있다.
또한, 음성 부호화의 성능을 더욱 향상시키고, 낮은 비트레이트로 높은 음성 품질을 얻는 방법으로서, 음성의 저주파 성분을 사용하여 고주파 성분을 생성하는 대역 확장 기술이 최근 널리 이용되게 되었다. 이 대역 확장 기술의 대표적인 예는 MPEG4 AAC로 이용되는 SBR(Spectral Band Replication) 기술이다. 이와 같은 SBR에서는, QMF(Quadrature Mirror Filter) 뱅크에 의해 주파수 영역으로 변환된 신호에 대해, 저주파 대역에서 고주파 대역으로의 스펙트럼 계수의 복사를 행함으로써 고주파 성분을 생성한 후, 복사된 계수의 스펙트럼 포락(包絡)과 조성(調性, tonality)를 조정함으로써 고주파 성분의 조정을 행한다. 이하, 스펙트럼 포락과 조성의 조정을, "주파수 포락선(envelope)의 조정"이라고 한다. 이와 같은 대역 확장 기술을 이용한 음성 부호화 방식은 신호의 고주파 성분을 소량의 보조 정보만을 사용하여 재생할 수 있으므로, 음성 부호화의 저 비트레이트화를 위해 유효하다.
여기서, SBR로 대표되는 주파수 영역에서의 대역 확장 기술에 있어서는, 주파수 영역으로 표현된 스펙트럼 계수에 대한 주파수 포락선의 조정에 의해, 스피치(speech) 신호나 박수 소리, 캐스터네츠 소리와 같은 시간 포락선의 변화가 큰 음성 신호를 부호화했을 때는, 복호 신호에 있어서 프리 에코(pre-echo) 또는 포스 트에코(post-echo)라는 잔향 형태의 잡음이 지각되는 경우가 있다. 이 문제는, 조정 처리의 과정에서 고주파 성분의 시간 포락선이 변형되고, 대부분의 경우는 조정 전보다 평탄한 형상이 되는 것에 기인한다. 조정 처리에 의해 평탄하게 된 고주파 성분의 시간 포락선은 부호 전의 원(原) 신호에서의 고주파 성분의 시간 포락선과 일치하지 않아, 프리 에코·포스트 에코의 원인이 된다.
이 문제에 대한 해결법으로서, 다음과 같은 방법이 알려져 있다(하기 특허문헌 1 참조). 즉, 주파수 영역 신호의 시간 슬롯마다 저주파 성분의 전력을 취득하고, 취득한 전력으로부터 시간 포락선 정보를 추출하고, 추출한 시간 포락선 정보를 보조 정보로 조정한 후에 주파수 포락선의 조정의 처리가 행해진 고주파 성분에 곱해 중첩한다는 방법이다. 이하, 상기 방법을 "시간 포락선 변형의 방법"이라고 한다. 이로써, 복호 신호의 시간 포락선을 왜곡이 적은 형상으로 조정하여, 프리 에코·포스트 에코가 개선된 재생 신호를 얻는 것을 확인할 수 있다.
특허문헌 1: 국제 공개공보 제2010/114123호
여기서, 상기 특허문헌 1에 기재된 시간 포락선 변형의 방법에 있어서는, 입력된 다중화 비트 스트림을 기초로 얻어진 저주파 성분만을 포함하는 복호 신호를 얻은 후에, 그 복호 신호로부터 QMF 영역의 신호를 얻는다. 또한, QMF 영역의 신호로부터 시간 포락선 정보를 취득하고, 그 시간 포락선 정보를 또한 파라미터를 사용하여 조정한 후에, 조정 후의 시간 포락선 정보를 사용하여, 고주파 성분의 QMF 영역의 신호를 대상으로 한 시간 포락선 변형의 처리를 행한다.
그러나, 상기한 시간 포락선 변형의 방법에서는, 저주파 성분의 QMF 영역의 신호로부터 얻어진 시간의 함수인 단일의 시간 포락선 정보를 사용하여 시간 포락선 변형의 처리가 행해지고 있으므로, 그 저주파 성분의 시간 포락선과 고주파 성분의 시간 포락선과의 상관이 불충분한 경우에는 시간 포락선의 파형의 조정을 하는 것이 곤란하다. 그 결과, 복호 신호에서의 프리 에코 및 포스트 에코가 충분히 개선되지 않는 경향에 있었다.
그래서, 본 발명은, 이러한 과제를 감안하여 이루어진 것이며, 복호 신호에서의 시간 포락선을 왜곡이 적은 형상으로 조정함으로써, 프리 에코 및 포스트 에코가 충분히 개선된 재생 신호를 얻을 수 있는 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램을 제공하는 것을 목적으로 한다.
상기 문제점을 해결하기 위해, 본 발명의 일 측면에 따른 복호 장치는, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 장치로서, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비(非)다중화하는 비다중화 수단; 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 수단; 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 수단; 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 수단; 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 수단; 시간 포락선 산출 수단에 의해 취득된 시간 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선을 조정하는 시간 포락선 조정 수단; 및 시간 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역(逆)주파수 변환 수단을 포함한다.
또는, 다른 측면에 따른 복호 장치는, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 장치로서, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화하는 비다중화 수단; 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 수단; 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 수단; 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 수단; 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 주파수 포락선 정보를, 고주파수 대역의 시간 포락선에 중첩하여 시간 주파수 포락선을 취득하는 주파수 포락선 중첩 수단; 시간 포락선 산출 수단에 의해 취득된 시간 포락선, 및 주파수 포락선 중첩 수단에 의해 취득된 시간 주파수 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선과 주파수 포락선을 조정하는 시간 주파수 포락선 조정 수단; 및 시간 주파수 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역주파수 변환 수단을 포함한다.
또는, 다른 측면에 따른 복호 장치는, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 장치로서, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화하는 비다중화 수단; 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 수단; 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 수단; 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 수단; 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 주파수 포락선 정보를 사용하여, 주파수 포락선을 산출하는 주파수 포락선 산출 수단; 시간 포락선 산출 수단에 의해 취득된 시간 포락선, 및 주파수 포락선 산출 수단에 의해 취득된 주파수 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선과 주파수 포락선을 조정하는 시간 주파수 포락선 조정 수단; 및 시간 주파수 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역주파수 변환 수단을 포함한다.
본 발명의 일 측면에 따른 복호 방법은, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 방법으로서, 비다중화 수단이, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화하는 비다중화 단계; 저주파수 대역 복호 수단이, 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 단계; 주파수 변환 수단이, 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 단계; 고주파수 대역 부호화 계열 해석 수단이, 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 단계; 부호화 계열 복호 역양자화 수단이, 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 단계; 고주파수 대역 생성 수단이, 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 단계; 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단이, 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N 저주파수 대역 시간 포락선 산출 단계; 시간 포락선 산출 수단이, 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 단계; 시간 포락선 조정 수단이, 시간 포락선 산출 수단에 의해 취득된 시간 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선을 조정하는 시간 포락선 조정 단계; 및 역주파수 변환 수단이, 시간 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역주파수 변환 단계를 포함한다.
또는, 본 발명의 다른 측면에 따른 복호 방법은, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 방법으로서, 비다중화 수단이, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화하는 비다중화 단계; 저주파수 대역 복호 수단이, 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 단계; 주파수 변환 수단이, 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 단계; 고주파수 대역 부호화 계열 해석 수단이, 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 단계; 부호화 계열 복호 역양자화 수단이, 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 단계; 고주파수 대역 생성 수단이, 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 단계; 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단이, 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N 저주파수 대역 시간 포락선 산출 단계; 시간 포락선 산출 수단이, 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 단계; 주파수 포락선 중첩 수단이, 부호화 계열 복호 역양자화 수단에 의해 취득된 주파수 포락선 정보를, 고주파수 대역의 시간 포락선에 중첩하여 시간 주파수 포락선을 취득하는 주파수 포락선 중첩 단계; 시간 주파수 포락선 조정 수단이, 시간 포락선 산출 수단에 의해 취득된 시간 포락선, 및 주파수 포락선 중첩 수단에 의해 취득된 시간 주파수 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선과 주파수 포락선을 조정하는 시간 주파수 포락선 조정 단계; 및 역주파수 변환 수단이, 시간 주파수 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역주파수 변환 단계를 포함한다.
또는, 본 발명의 다른 측면에 따른 복호 방법은, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 방법으로서, 비다중화 수단이, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화하는 비다중화 단계; 저주파수 대역 복호 수단이, 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 단계; 주파수 변환 수단이, 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 단계; 고주파수 대역 부호화 계열 해석 수단이, 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 단계; 부호화 계열 복호 역양자화 수단이, 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 단계; 고주파수 대역 생성 수단이, 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 단계; 저주파수 대역 시간 포락선 산출 수단이, 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 단계; 시간 포락선 산출 수단이, 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 단계; 주파수 포락선 산출 수단이, 부호화 계열 복호 역양자화 수단에 의해 취득된 주파수 포락선 정보를 사용하여, 주파수 포락선을 산출하는 주파수 포락선 산출 단계; 시간 주파수 포락선 조정 수단이, 시간 포락선 산출 수단에 의해 취득된 시간 포락선, 및 주파수 포락선 산출 수단에 의해 취득된 주파수 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선과 주파수 포락선을 조정하는 시간 주파수 포락선 조정 단계; 및 역주파수 변환 수단이, 시간 주파수 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역주파수 변환 단계를 포함한다.
본 발명의 일 측면에 따른 복호 프로그램은, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 프로그램으로서, 컴퓨터를, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화하는 비다중화 수단; 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 수단; 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 수단; 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 수단; 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 수단; 시간 포락선 산출 수단에 의해 취득된 시간 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선을 조정하는 시간 포락선 조정 수단; 및 시간 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역주파수 변환 수단으로서 기능하게 한다.
또는, 본 발명의 다른 측면에 따른 복호 프로그램은, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 프로그램으로서, 컴퓨터를, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화하는 비다중화 수단; 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 수단; 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 수단; 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 수단; 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 주파수 포락선 정보를, 고주파수 대역의 시간 포락선에 중첩하여 시간 주파수 포락선을 취득하는 주파수 포락선 중첩 수단; 시간 포락선 산출 수단에 의해 취득된 시간 포락선, 및 주파수 포락선 중첩 수단에 의해 취득된 시간 주파수 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선과 주파수 포락선을 조정하는 시간 주파수 포락선 조정 수단; 및 시간 주파수 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역주파수 변환 수단으로서 기능하게 한다.
또는, 본 발명의 다른 측면에 따른 복호 프로그램은, 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호 프로그램으로서, 컴퓨터를, 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화하는 비다중화 수단; 비다중화 수단에 의해 비다중화된 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 수단; 저주파수 대역 복호 수단에 의해 얻어진 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 수단; 비다중화 수단에 의해 비다중화된 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 수단; 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 고주파수 대역 생성용 보조 정보, 주파수 포락선 정보, 및 시간 포락선 정보를 복호 및 역양자화하는 부호화 계열 복호 역양자화 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호로부터, 부호화 계열 복호 역양자화 수단에 의해 복호된 고주파수 대역 생성용 보조 정보를 사용하여, 음성 신호의 주파수 영역의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 분석하여, 복수의 저주파수 대역의 시간 포락선을 취득하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 시간 포락선 정보, 및 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 복수의 저주파수 대역의 시간 포락선을 사용하여, 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 수단; 부호화 계열 복호 역양자화 수단에 의해 취득된 주파수 포락선 정보를 사용하여, 주파수 포락선을 산출하는 주파수 포락선 산출 수단; 시간 포락선 산출 수단에 의해 취득된 시간 포락선, 및 주파수 포락선 산출 수단에 의해 취득된 주파수 포락선을 사용하여, 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선과 주파수 포락선을 조정하는 시간 주파수 포락선 조정 수단; 및 시간 주파수 포락선 조정 수단에 의해 조정된 고주파수 대역 성분과, 저주파수 대역 복호 수단에 의해 복호된 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 역주파수 변환 수단으로서 기능하게 한다.
이와 같은 복호 장치, 복호 방법, 또는 복호 프로그램에 의하면, 부호화 계열로부터 비다중화 및 복호되어 저주파수 대역 신호가 얻어지고, 부호화 계열로부터 비다중화, 복호, 및 역양자화되어 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보가 얻어진다. 그리고, 고주파수 대역 생성용 보조 정보를 사용하여 주파수 영역으로 변환된 저주파수 대역 신호로부터 주파수 영역의 고주파수 대역 성분이 생성되는 한편, 주파수 영역의 저주파수 대역 신호를 분석하여 복수의 저주파수 대역의 시간 포락선이 취득된 후에, 그 복수의 저주파수 대역의 시간 포락선과 시간 포락선 정보를 사용하여, 고주파수 대역의 시간 포락선이 산출된다. 또한, 산출된 고주파수 대역의 시간 포락선에 의해 고주파수 대역 성분의 시간 포락선이 조정되고, 조정된 고주파수 대역 성분과 저주파수 대역 신호가 가산되어 시간 영역 신호가 출력된다. 이와 같이, 고주파수 대역 성분의 시간 포락선의 조정용에 복수의 저주파수 대역의 시간 포락선이 사용되므로, 저주파수 대역 성분의 시간 포락선과 고주파수 대역 성분의 시간 포락선과의 상관을 이용하여 높은 정밀도로 고주파수 대역 성분의 시간 포락선의 파형이 조정된다. 그 결과, 복호 신호에서의 시간 포락선이 왜곡이 적은 형상으로 조정되어 프리 에코 및 포스트 에코가 충분히 개선된 재생 신호를 얻을 수 있다.
여기서, 주파수 변환 수단에 의해 주파수 영역으로 변환된 저주파수 대역 신호를 사용하여, 제1∼제N 저주파수 대역 시간 포락선 산출 수단에서의 저주파수 대역의 시간 포락선의 산출, 및 시간 포락선 산출 수단에서의 고주파수 대역의 시간 포락선의 산출 중 적어도 하나를 제어하는 시간 포락선 산출 제어 수단을 더 포함하는 것이 바람직하다. 이러한 시간 포락선 산출 제어 수단을 구비하면, 저주파수 대역 신호의 전력 등의 성질에 따라 저주파수 대역의 시간 포락선의 산출, 또는, 고주파수 대역의 시간 포락선의 산출의 처리를 생략할 수 있어, 연산량을 감소시킬 수 있다.
또한, 부호화 계열 복호 역양자화 수단에 의해 취득한 시간 포락선 정보를 사용하여, 제1∼제N 저주파수 대역 시간 포락선 산출 수단에서의 저주파수 대역의 시간 포락선의 산출, 및 시간 포락선 산출 수단에서의 고주파수 대역의 시간 포락선의 산출 중 적어도 하나를 제어하는 시간 포락선 산출 제어 수단을 더 포함하는 것도 바람직하다. 이러한 시간 포락선 산출 제어 수단을 구비하면, 부호화 계열로부터 얻어진 시간 포락선 정보에 따라 저주파수 대역의 시간 포락선의 산출, 또는, 고주파수 대역의 시간 포락선의 산출의 처리를 생략할 수 있어, 연산량을 감소시킬 수 있다.
또한, 고주파수 대역 부호화 계열 해석 수단은, 시간 포락선 산출 제어 정보를 더 취득하고, 고주파수 대역 부호화 계열 해석 수단에 의해 취득한 시간 포락선 산출 제어 정보를 사용하여, 제1∼제N 저주파수 대역 시간 포락선 산출 수단에서의 저주파수 대역의 시간 포락선의 산출, 및 시간 포락선 산출 수단에서의 고주파수 대역의 시간 포락선의 산출 중 적어도 하나를 제어하는 시간 포락선 산출 제어 수단을 더 포함하는 것도 바람직하다. 이러한 구성을 채택하면, 부호화 계열로부터 얻어진 시간 포락선 산출 제어 정보에 따라 저주파수 대역의 시간 포락선의 산출, 또는, 고주파수 대역의 시간 포락선의 산출의 처리를 생략할 수 있어, 연산량을 감소시킬 수 있다.
또한, 고주파수 대역 부호화 계열 해석 수단은, 시간 포락선 산출 제어 정보를 더 취득하고, 부호화 계열 복호/역양자화 수단은, 제2 주파수 포락선 정보를 더 취득하고, 시간 포락선 산출 제어 정보를 기초로, 고주파수 대역 성분의 주파수 포락선을 제2 주파수 포락선 정보를 기초로 조정할 것인지의 여부를 판단하고, 상기 주파수 포락선을 조정한다고 판단한 경우에는, 제1∼제N 저주파수 대역 시간 포락선 산출 수단에서의 저주파수 대역의 시간 포락선의 산출, 및 시간 포락선 산출 수단에서의 고주파수 대역의 시간 포락선의 산출을 행하지 않도록 제어하는 시간 포락선 산출 제어 수단을 더 포함하는 것도 바람직하다. 이 경우도, 부호화 계열로부터 얻어진 시간 포락선 산출 제어 정보에 따라 저주파수 대역의 시간 포락선의 산출, 또는, 고주파수 대역의 시간 포락선의 산출의 처리를 생략할 수 있어, 연산량을 감소시킬 수 있다.
또한, 시간 주파수 포락선 조정 수단은, 고주파수 대역 생성 수단에 의해 생성된 음성 신호의 고주파수 대역 성분을 소정의 함수에 기초하여 처리하는 것도 바람직하다. 또한, 저주파수 대역 시간 포락선 산출 수단은, 취득한 복수의 저주파수 대역의 시간 포락선을 소정의 함수에 기초하여 처리하는 것도 바람직하다.
또한, 본 발명의 일 측면에 따른 부호화 장치는, 음성 신호를 부호화하는 음성 부호화 장치로서, 음성 신호를 주파수 영역으로 변환하는 주파수 변환 수단; 음성 신호를 다운 샘플링하여 저주파수 대역 신호를 취득하는 다운 샘플링 수단; 다운 샘플링 수단에 의해 취득한 저주파수 대역 신호를 부호화하는 저주파수 대역 부호화 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 음성 신호의 저주파수 대역 성분의 시간 포락선을 복수 산출하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단; 제1∼제N 저주파수 대역 시간 포락선 산출 수단에 의해 산출된 저주파수 대역 성분의 시간 포락선을 사용하여, 주파수 변환 수단에 의해 변환된 음성 신호의 고주파수 대역 성분의 시간 포락선을 취득하기 위해 필요한 시간 포락선 정보를 산출하는 시간 포락선 정보 산출 수단; 음성 신호를 분석하여 저주파수 대역 신호로부터 고주파수 대역 성분을 생성하기 위해 사용하는 고주파수 대역 생성용 보조 정보를 산출하는 보조 정보 산출 수단; 보조 정보 산출 수단에 의해 생성된 고주파수 대역 생성용 보조 정보, 및 시간 포락선 정보 산출 수단에 의해 산출된 시간 포락선 정보를 양자화 및 부호화하는 양자화 부호화 수단; 양자화 부호화 수단에 의해 양자화 및 부호화된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 고주파수 대역 부호화 계열로 구성하는 부호화 계열 구성 수단; 및 저주파수 대역 부호화 수단에 의해 취득된 저주파수 대역 부호화 계열과 부호화 계열 구성 수단에 의해 구성된 고주파수 대역 부호화 계열이 다중화된 부호화 계열을 생성하는 다중화 수단을 포함한다.
본 발명의 일 측면에 따른 부호화 방법은, 음성 신호를 부호화하는 음성 부호화 방법으로서, 주파수 변환 수단이, 음성 신호를 주파수 영역으로 변환하는 주파수 변환 단계; 다운 샘플링 수단이, 음성 신호를 다운 샘플링하여 저주파수 대역 신호를 취득하는 다운 샘플링 단계; 저주파수 대역 부호화 수단이, 다운 샘플링 수단에 의해 취득한 저주파수 대역 신호를 부호화하는 저주파수 대역 부호화 단계; 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단이, 주파수 변환 수단에 의해 주파수 영역으로 변환된 음성 신호의 저주파수 대역 성분의 시간 포락선을 복수 산출하는 제1∼제N 저주파수 대역 시간 포락선 산출 단계; 시간 포락선 정보 산출 수단이, 제1∼제N 저주파수 대역 시간 포락선 산출 수단에 의해 산출된 저주파수 대역 성분의 시간 포락선을 사용하여, 주파수 변환 수단에 의해 변환된 음성 신호의 고주파수 대역 성분의 시간 포락선을 취득하기 위해 필요한 시간 포락선 정보를 산출하는 시간 포락선 정보 산출 단계; 보조 정보 산출 수단이, 음성 신호를 분석하여 저주파수 대역 신호로부터 고주파수 대역 성분을 생성하기 위해 사용하는 고주파수 대역 생성용 보조 정보를 산출하는 보조 정보 산출 단계; 양자화 부호화 수단이, 보조 정보 산출 수단에 의해 생성된 고주파수 대역 생성용 보조 정보, 및 시간 포락선 정보 산출 수단에 의해 산출된 시간 포락선 정보를 양자화 및 부호화하는 양자화 부호화 단계; 부호화 계열 구성 수단이, 양자화 부호화 수단에 의해 양자화 및 부호화된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 고주파수 대역 부호화 계열로 구성하는 부호화 계열 구성 단계; 및 다중화 수단이, 저주파수 대역 부호화 수단에 의해 취득된 저주파수 대역 부호화 계열과, 부호화 계열 구성 수단에 의해 구성된 고주파수 대역 부호화 계열이 다중화된 부호화 계열을 생성하는 다중화 단계를 포함한다.
본 발명의 일 측면에 따른 부호화 프로그램은, 음성 신호를 부호화하는 음성 부호화 프로그램으로서, 컴퓨터를, 음성 신호를 주파수 영역으로 변환하는 주파수 변환 수단; 음성 신호를 다운 샘플링하여 저주파수 대역 신호를 취득하는 다운 샘플링 수단; 다운 샘플링 수단에 의해 취득한 저주파수 대역 신호를 부호화하는 저주파수 대역 부호화 수단; 주파수 변환 수단에 의해 주파수 영역으로 변환된 음성 신호의 저주파수 대역 성분의 시간 포락선을 복수 산출하는 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단; 제1∼제N 저주파수 대역 시간 포락선 산출 수단에 의해 산출된 저주파수 대역 성분의 시간 포락선을 사용하여, 주파수 변환 수단에 의해 변환된 음성 신호의 고주파수 대역 성분의 시간 포락선을 취득하기 위해 필요한 시간 포락선 정보를 산출하는 시간 포락선 정보 산출 수단; 음성 신호를 분석하여 저주파수 대역 신호로부터 고주파수 대역 성분을 생성하기 위해 사용하는 고주파수 대역 생성용 보조 정보를 산출하는 보조 정보 산출 수단; 보조 정보 산출 수단에 의해 생성된 고주파수 대역 생성용 보조 정보, 및 시간 포락선 정보 산출 수단에 의해 산출된 시간 포락선 정보를 양자화 및 부호화하는 양자화 부호화 수단; 양자화 부호화 수단에 의해 양자화 및 부호화된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 고주파수 대역 부호화 계열로 구성하는 부호화 계열 구성 수단; 및 저주파수 대역 부호화 수단에 의해 취득된 저주파수 대역 부호화 계열과, 부호화 계열 구성 수단에 의해 구성된 고주파수 대역 부호화 계열이 다중화된 부호화 계열을 생성하는 다중화 수단으로서 기능하게 한다.
이와 같은 부호화 장치, 부호화 방법, 또는 부호화 프로그램에 의하면, 음성 신호가 다운 샘플링되어 저주파수 대역 신호가 얻어지고, 그 저주파수 대역 신호가 부호화되는 한편, 주파수 영역의 음성 신호를 기초로 저주파수 대역 성분의 시간 포락선이 복수 산출되고, 그 복수의 저주파수 대역 성분의 시간 포락선을 사용하여 고주파수 대역 성분의 시간 포락선을 취득하기 위한 시간 포락선 정보가 산출된다. 또한, 저주파수 대역 신호로부터 고주파수 대역 성분을 생성하기 위한 고주파수 대역 생성용 보조 정보가 산출되고, 고주파수 대역 생성용 보조 정보와 시간 포락선 정보가 양자화 및 부호화된 후에, 고주파수 대역 생성용 보조 정보와 시간 포락선 정보를 포함하는 고주파수 대역 부호화 계열이 구성된다. 그리고, 저주파수 대역 부호화 계열 및 고주파수 대역 부호화 계열이 다중화된 부호화 계열이 생성된다. 이로써, 부호화 계열이 복호 장치에 입력될 때, 복호 장치 측에서 고주파수 대역 성분의 시간 포락선의 조정용으로 복수의 저주파수 대역의 시간 포락선을 사용하는 것이 가능해져, 복호 장치 측에서 저주파수 대역 성분의 시간 포락선과 고주파수 대역 성분의 시간 포락선과의 상관을 이용하여 높은 정밀도로 고주파수 대역 성분의 시간 포락선의 파형이 조정된다. 그 결과, 복호 신호에서의 시간 포락선이 왜곡이 적은 형상으로 조정되어, 복호 장치 측에서 프리 에코 및 포스트 에코가 충분히 개선된 재생 신호를 얻을 수 있다.
여기서, 주파수 변환 수단에 의해 주파수 영역으로 변환된 음성 신호의 고주파수 대역 성분의 주파수 포락선 정보를 산출하는 주파수 포락선 산출 수단을 더 포함하고, 양자화 부호화 수단은, 주파수 포락선 정보를 더 양자화 및 부호화하고, 부호화 계열 구성 수단은, 양자화 부호화 수단에 의해 양자화 및 부호화된 주파수 포락선 정보를 더 부가하여 고주파수 대역 부호화 계열을 구성하는 것이 바람직하다. 이러한 구성을 채택하면, 복호 장치 측에서 고주파수 대역 성분의 주파수 포락선의 조정도 가능해지므로, 복호 장치 측에서 주파수 특성의 개선된 재생 신호를 얻을 수 있다.
또한, 주파수 변환 수단에 의해 주파수 영역으로 변환된 음성 신호와, 시간 포락선 정보 산출 수단에 의해 산출된 시간 포락선 정보 중 적어도 하나를 사용하여, 음성 복호 장치에 있어서의 시간 포락선 산출을 제어하는 시간 포락선 산출 제어 정보를 생성하는 제어 정보 생성 수단을 더 포함하고, 부호화 계열 구성 수단은, 제어 정보 생성 수단에 의해 생성된 시간 포락선 산출 제어 정보를 더 부가하여 고주파수 대역 부호화 계열을 구성하는 것도 바람직하다. 이 경우, 음성 신호의 전력 등의 성질이나 시간 포락선 정보를 참조하여, 복호 장치 측에서의 시간 포락선의 산출의 처리를 효율화할 수 있어, 연산량을 감소시킬 수 있다.
또한, 시간 포락선 정보 산출 수단은, 주파수 변환 수단에 의해 주파수 영역으로 변환된 음성 신호의 고주파수 대역 성분의 시간 포락선을 산출하고, 제1∼제N 저주파수 대역 성분의 시간 포락선으로부터 산출한 시간 포락선과 상기 주파수 대역 성분의 시간 포락선과의 상관에 기초하여, 시간 포락선 정보를 산출하는 것도 바람직하다.
본 발명에 의하면, 복호 신호에서의 시간 포락선을 왜곡이 적은 형상으로 조정함으로써, 프리 에코 및 포스트 에코가 충분히 개선된 재생 신호를 얻을 수 있다.
도 1은 본 발명의 제1 실시예에 따른 음성 복호 장치(1)의 개략 구성도이다.
도 2는 도 1의 음성 복호 장치(1)에 의해 실현되는 음성 복호 방법의 과정을 나타낸 흐름도이다.
도 3은 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 개략 구성도이다.
도 4는 도 3의 음성 부호화 장치(2)에 의해 실현되는 음성 부호화 방법의 과정을 나타낸 흐름도이다.
도 5는 제1 실시예에 따른 음성 복호 장치(1)의 제1 변형예에서의 포락선 산출에 관계되는 주요부의 구성을 나타낸 도면이다.
도 6은 도 5의 음성 복호 장치(1)에 의한 포락선 산출의 과정을 나타낸 흐름도이다.
도 7은 제1 실시예에 따른 음성 복호 장치(1)의 제2 변형예에서의 포락선 산출에 관계되는 주요부의 구성을 나타낸 도면이다.
도 8은 도 7의 음성 복호 장치(1)에 의한 포락선 산출의 과정을 나타낸 흐름도이다.
도 9는 제1 실시예에 따른 음성 복호 장치(1)의 제3 변형예에서의 포락선 산출에 관계되는 주요부의 구성을 나타낸 도면이다.
도 10은 도 9의 음성 복호 장치(1)에 의한 포락선 산출의 과정을 나타낸 흐름도이다.
도 11은 제1 실시예에 따른 음성 복호 장치(1)의 제4 변형예에 의한 포락선 산출의 과정을 나타낸 흐름도이다.
도 12는 제1 실시예에 따른 음성 복호 장치(1)의 제5 변형예에 의한 포락선 산출의 과정을 나타낸 흐름도이다.
도 13은 제1 실시예에 따른 음성 복호 장치(1)의 제6 변형예에서의 포락선 산출에 관계되는 주요부의 구성을 나타낸 도면이다.
도 14는 제1 실시예에 따른 음성 복호 장치(1)의 제7 변형예에서의 시간 포락선 산출부(1g)의 시간 포락선 산출의 과정을 나타낸 흐름도이다.
도 15는 제1 실시예에 따른 음성 복호 장치(1)의 제2 변형예에, 제1 실시예에 따른 음성 복호 장치(1)의 제7 변형예를 적용했을 때의 시간 포락선 산출 제어부(1m)의 처리의 일부를 나타낸 흐름도이다.
도 16은 제1 실시예에 따른 음성 복호 장치(1)의 제4 변형예에, 제1 실시예에 따른 음성 복호 장치(1)의 제7 변형예를 적용했을 때의 시간 포락선 산출 제어부(1n)의 처리의 일부를 나타낸 흐름도이다.
도 17은 제1 실시예에 따른 음성 부호화 장치(2)의 제1 변형예의 구성을 나타낸 도면이다.
도 18은 도 17의 음성 부호화 장치(2)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 19는 제1 실시예에 따른 음성 부호화 장치(2)의 제2 변형예의 구성을 나타낸 도면이다.
도 20은 도 19의 음성 부호화 장치(2)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 21은 제1 실시예에 따른 음성 부호화 장치(2)의 제3 변형예의 구성을 나타낸 도면이다.
도 22는 도 21의 음성 부호화 장치(2)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 23은 제2 실시예에 따른 음성 복호 장치(101)의 구성을 나타낸 도면이다.
도 24는 도 23의 음성 복호 장치(101)에 의한 음성 복호의 과정을 나타낸 흐름도이다.
도 25는 제2 실시예에 따른 음성 부호화 장치(102)의 구성을 나타낸 도면이다.
도 26은 도 25의 음성 부호화 장치(102)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 27은 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 제1 변형예를, 본 발명의 제2 실시예에 따른 음성 부호화 장치(102)에 적용했을 때의 구성을 나타낸 도면이다.
도 28은 도 27의 음성 부호화 장치(102)에 의한 음성 부호화의 과정을 나타낸 흐름도이다
도 29는 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 제2 변형예를, 본 발명의 제2 실시예에 따른 음성 부호화 장치(102)에 적용했을 때의 구성을 나타낸 도면이다.
도 30은 도 29의 음성 부호화 장치(102)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 31은 제3 실시예에 따른 음성 복호 장치(201)의 구성을 나타낸 도면이다.
도 32는 도 31의 음성 복호 장치(201)에 의한 음성 복호의 과정을 나타낸 흐름도이다.
도 33은 제4 실시예에 따른 음성 복호 장치(301)의 구성을 나타낸 도면이다.
도 34는 도 33의 음성 복호 장치(301)에 의한 음성 복호의 과정을 나타낸 흐름도이다.
도 35는 제3 실시예에 따른 음성 부호화 장치(202)의 구성을 나타낸 도면이다.
도 36은 도 35의 음성 부호화 장치(202)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 37은 제4 실시예에 따른 음성 부호화 장치(302)의 구성을 나타낸 도면이다.
도 38은 도 37의 음성 부호화 장치(302)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 39는 제2 실시예에 따른 음성 복호 장치(101)의 제3 변화 예의 구성을 나타낸 도면이다.
도 40은 도 39의 음성 복호 장치(101)에 의한 음성 복호의 과정을 나타낸 흐름도이다.
이하, 도면과 함께 본 발명에 의한 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램의 바람직한 실시예에 대하여 상세하게 설명한다. 그리고, 도면의 설명에 있어서는 동일 요소에는 동일 부호를 부여하고, 중복되는 설명을 생략한다.
[제1 실시예]
도 1은, 본 발명의 제1 실시예에 따른 음성 복호 장치(1)의 구성을 나타낸 도면이고, 도 2는 음성 복호 장치(1)에 의해 실현되는 음성 복호 방법의 과정을 나타낸 흐름도이다. 음성 복호 장치(1)는, 물리적으로는 도시하지 않은 CPU, ROM, RAM 및 통신 장치 등을 구비하고, 이 CPU는 ROM 등의 음성 복호 장치(1)의 내장(內藏) 메모리에 저장된 소정의 컴퓨터 프로그램(예를 들면, 도 2의 흐름도에 나타낸 처리를 행하기 위한 컴퓨터 프로그램)을 RAM에 로드(load)하여 실행함으로써 음성 복호 장치(1)를 통괄적으로 제어한다. 음성 복호 장치(1)의 통신 장치는, 후술하는 음성 부호화 장치(2)로부터 출력되는 다중화된 부호화 계열을 수신하고, 또한 복호한 음성 신호를 외부에 출력한다.
음성 복호 장치(1)는, 도 1에 나타낸 바와 같이, 기능적으로는, 비다중화부(비다중화 수단)(1a), 저주파수 대역 복호부(저주파수 대역 복호 수단)(1b), 대역 분할 필터 뱅크부(주파수 변환 수단)(1c), 부호화 계열 해석부(고주파수 대역 부호화 계열 해석 수단)(1d), 부호화 계열 복호/역양자화부(부호화 계열 복호 역양자화 수단)(1e), 제1∼제N(N은 2 이상의 정수)저주파수 대역 시간 포락선 산출부(저주파수 대역 시간 포락선 산출 수단)(1f1∼1fn), 시간 포락선 산출부(시간 포락선 산출 수단)(1g), 고주파수 대역 생성부(고주파수 대역 생성 수단)(1h), 시간 포락선 조정부(시간 포락선 조정 수단)(1i), 및 대역 합성 필터 뱅크부(역주파수 변환 수단)(1j)를 구비한다((1c∼1e, 및 1h∼1i는 대역 확장부(대역 확장 수단)이라고 하는 경우도 있다). 도 1에 나타낸 음성 복호 장치(1)의 각 기능부는, 음성 복호 장치(1)의 CPU가 음성 복호 장치(1)의 내장 메모리에 저장된 컴퓨터 프로그램을 실행함으로써 실현되는 기능이다. 음성 복호 장치(1)의 CPU는, 이 컴퓨터 프로그램을 실행함으로써(도 1의 각 기능부를 사용하여), 도 2의 흐름도에 나타낸 처리(단계 S01∼단계 S10의 처리)를 순차적으로 실행한다. 이 컴퓨터 프로그램의 실행에 필요한 각종 데이터, 및 이 컴퓨터 프로그램의 실행에 의해 생성된 각종 데이터는, 모두, 음성 복호 장치(1)의 ROM나 RAM 등의 내장 메모리에 저장되는 것으로 한다.
이하, 음성 복호 장치(1)의 각 기능부의 기능에 대하여 상세하게 설명한다.
비다중화부(1a)는, 음성 복호 장치(1)의 통신 장치를 통하여 입력된 다중화된 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열로 비다중화함으로써 분리한다.
저주파수 대역 복호부(1b)는, 비다중화부(1a)로부터 주어진 저주파수 대역 부호화 계열을 복호하여, 저주파수 대역의 성분만을 포함하는 복호 신호를 얻는다. 이때, 복호의 방식은, CELP(Code-Excited Linear Prediction) 방식으로 대표되는 음성 부호화 방식에 기초해도 되고, 또한, AAC(Advanced Audio Coding)나 TCX(Transform Coded Excitation) 방식 등의 음향 부호화에 기초해도 된다. 또한, PCM(Pulse Code Modulation) 부호화 방식에 기초해도 된다. 또한, 이들 부호화 방식을 전환하여 부호화하는 방식에 기초해도 된다. 본 실시예에서, 부호화 방식은 한정되지 않는다.
대역 분할 필터 뱅크부(1c)는, 저주파수 대역 복호부(1b)로부터 주어진 저주파수 대역의 성분만을 포함하는 복호 신호를 분석하고, 그 복호 신호를 주파수 영역의 신호로 변환한다. 이후, 상기 대역 분할 필터 뱅크부(1c)에 의해 취득되는 저주파수 대역에 대응하는 주파수 영역의 신호를, Xdec(j, i){0≤j＜kx, t(s)≤i＜t(s＋1), 0≤s＜sE}로 나타낸다. 여기서, j는 주파수 방향의 인덱스, i는 시간 방향의 인덱스, kx는 음이 아닌 정수이다. 또한, t는, 상기 신호 Xdec(j, i)의 인덱스 i에 대한 범위 t(s)≤i＜t(s＋1)가, 제s(0≤s＜sE) 번째의 프레임에 대응하도록 정의한다. 또한, sE는 모든 프레임의 수이다. 상기 프레임은, 예를 들면, 저주파수 대역 복호부(1b)의 복호 방식이 따르는 부호화 방식이 규정하는 프레임에 대응한다. 또한, 상기 프레임은, "ISO/IEC 14496-3"에 규정되는 "MPEG4 AAC"에서 이용되는 SBR에서의, 이른바, SBR 프레임(SBR frame), 또는, SBR 포락선 타임 세그먼트(SBR envelope time segment)에 대응해도 된다. 그리고, 본 실시예에서는, 상기 프레임이 규정하는 시간 간격은, 상기한 예로는 한정되지 않는다. 상기 인덱스 i는, "ISO/IEC 14496-3"에 규정되는 "MPEG4 AAC"에서 이용되는 SBR에서의, QMF 서브 밴드 서브 샘플(QMF subband subsample), 또는, 그것을 묶는 타임 슬롯(time slot)에 대응해도 된다.
부호화 계열 해석부(1d)는, 비다중화부(1a)로부터 주어진 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보와, 부호화된 시간/주파수 포락선 정보를 취득한다.
부호화 계열 복호/역양자화부(1e)는, 부호화 계열 해석부(1d)로부터 주어진 부호화된 고주파수 대역 생성용 보조 정보를 복호·역양자화하여, 고주파수 대역 생성용 보조 정보를 얻는 동시에, 부호화 계열 해석부(1d)로부터 주어진 부호화된 시간 포락선 정보를 복호·역양자화하여 시간 포락선 정보를 취득한다.
제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)는, 각각, 상이한 시간 포락선을 산출한다. 즉, 제k 저주파수 대역 시간 포락선 산출부(1fk)(1≤k≤n)는, 대역 분할 필터 뱅크부(1c)로부터, 저주파수 대역의 신호 X(j, i){0≤j＜kx, t(s)≤i＜t(s＋1), 0≤s＜sE}를 수취하고, 저주파수 대역의 제k 번째의 시간 포락선 Ldec(k, i)를 산출한다(단계 Sb6의 처리). 구체적으로는, 제k 저주파수 대역 시간 포락선 산출부(1fk)는, 시간 포락선 Ldec(k, i)를 다음과 같이 하여 산출한다.
먼저, 저주파수 대역 내의 상이한 부(副) 주파수대를, 하기의 조건을 만족시키는 2개의 정수 kl, kh를 사용하여 지정할 수 있다.
[수식 1]
Figure pat00001
상기 조건을 만족시키는, 가능한 정수의 세트(kl, kh)는, 전부 nmax=kx(kx＋1)/2개 있다. 이들 정수의 세트 중의 임의의 하나를 선택하면, 상기 부 주파수대를 지정할 수 있다.
다음에, 상기 nmax개의 정수의 세트에서, n개를 선택함으로써, 부 주파수대를 n개 지정한다. 이하, 이들 n개의 대역을 나타내기 위해, 2개의 사이즈 n의 배열 Bl와 Bh를, 신호 Xdec(j, i){Bl(k)≤j≤Bh(k), t(s)≤i＜t(s＋1), 0≤s＜sE}가, 제k(1≤k≤n) 번째의 부 주파수대 성분에 대응하도록 정의한다.
또한, 상기 n개의 부 주파대 성분의 전력의 시간 포락선을 다음의 식으로 취득한다.
[수식 2]
Figure pat00002
그리고, 상기 EL(k, i)를 대상으로 하여, 하기 식을 계산한다.
[수식 3]
Figure pat00003
다음에, 이 양(量) L0(k, i)에 소정의 처리를 행하여 시간 포락선 L(k, i)를 취득한다. 예를 들면, 하기 식을 이용하여, 이 양 L0(k, i)를 시간 방향으로 평활화함으로써, 시간 포락선 L(k, i)를 취득해도 된다.
[수식 4]
Figure pat00004
상기 식 중에서, sc(j), 0≤j≤d는 평활화 계수이며, d는 평활화의 차수식 次數)이다. sc(j)는, 예를 들면, 하기 식:
[수식 5]
Figure pat00005
에 의해 설정되지만, 본 실시예에서 sc(j)의 값은 상기 식에는 한정되지 않는다.
또한, 상기 L0(k, i)는, 예를 들면, 하기 식으로 계산해도 된다.
[수식 6]
Figure pat00006
또한, 상기 L0(k. i)는, 예를 들면 하기 식으로 계산해도 된다.
[수식 7]
Figure pat00007
단, ε은 영으로 나누는 것을 회피하는 완화 계수이다. 또한, 상기 L0(k. i)는, 예를 들면, 하기 식으로 계산해도 된다.
[수식 8]
Figure pat00008
그리고, 제k 저주파수 대역 시간 포락선 산출부(1fk)가 산출하는 시간 포락선 Ldec(k, i)는, 예를 들면, 하기 식:
[수식 9]
Figure pat00009
또는, 하기 식:
[수식 10]
Figure pat00010
을 사용하여 얻어진다.
단, 상기 Ldec(k, i)는, 제k 번째의 상기 부 주파수 대역의 신호의 신호 전력 또는 신호 진폭의 시간 변동을 나타내는 파라미터이면 되고, 상기한 L0(k, i) 및 L1(k, i)의 형태로 한정되지 않는다.
또한, 상기 Ldec(k, i)는 다음과 같이 주성분 분석을 사용한 방법으로 산출해도 된다.
먼저, 전술한 Ldec(k, i){1≤k≤n, t(s)≤i≤t(s＋1), 0≤s＜sE}의 산출과정에 있어서, 상기 n을 다른 정수 m=n-1로 치환함으로써, 상기 Ldec(k, i)에 대응하는 양을 인덱스 k에 대하여 m 종류로 정하고, 이들의 양을 고쳐서, L2(k, i){1≤k≤m(=n-1), t(s)≤i＜t(s＋1), 0≤s＜sE}로 나타내기로 한다. 그리고, 제s(0≤s＜sE) 번째의 프레임에 대응하는 상기 L2(l, i){1≤l≤m, t(s)≤i＜t(s＋1)}를, 차원 D=t(s＋1)-t(s)의 벡터가 m개 모인 샘플로 파악하여, 이들 샘플의 평균을 하기 식:
[수식 11]
Figure pat00011
에 의해 구한다. 상기 평균을 사용하여, 변위 벡터를 하기 식으로 정의한다.
[수식 12]
Figure pat00012
이들의 변위 벡터로부터, 사이즈 D×D의 분산 공분산 행렬 Cov를 하기 식으로 산출한다.
[수식 13]
Figure pat00013
다음에, 하기 식:
[수식 14]
Figure pat00014
를 만족시키는 서로 직교하는, 행렬 Cov의 고유 벡터 V(k)를 산출한다. 여기서, 상기 V(k) i는 고유 벡터 V(k)의 성분이며, λ(k)는 V(k)에 대응하는 행렬 Cov의 고유값이다. 여기서, 상기 벡터 V(k) 각각은, 정규화되어 있어도 된다. 단, 정규화의 방법은 본 발명에서는 한정되지 않는다. 이후, 기술의 간편화를 위해, λ(1)≥λ(2)≥…≥λ(D)라고 한다.
이상에서 취득된 고유 벡터를 사용하여, 저주파수 대역 시간 포락선 산출부(1fk)(단, 1≤k≤n)는, 시간 포락선 Ldec(k, i)는 다음과 같이 산출한다. 즉, D≥m(=n-1)이면, 상기 고유 벡터 중에서, 대응하는 고유값의 크기 순으로 n-1개 선택하고, 하기 식에 의해 산출한다.
[수식 15]
Figure pat00015
한편, D＜m(=n-1)이면, 상기 고유 벡터를 사용하여, 하기 식에 의해 산출한다.
[수식 16]
Figure pat00016
여기서, α는 상수(常數)이며, 예를 들면, α=0으로 해도 된다. 또한, 동일하게 D＜m(=n-1)의 경우, 하기 식에 의해 산출해도 된다.
[수식 17]
Figure pat00017
또한, 상기 Ldec(k, i)는 다음과 같은 방법으로 산출해도 된다. 먼저, 상기 L2(l, i)의 산출과정에 있어서, m=n으로 하여, L2(l, i), 1≤l≤m, t(s)≤i＜t(s＋1), 0≤s＜sE를 산출한다. 이들은, 차원 D=t(s＋1)-t(s)의 벡터가 n개 모인 집합으로 파악할 수 있다. 상기 n개의 벡터를 사용하여, 그램·슈미트(Gram-Schmidt)의 직교화법 등의 방법으로, 직교 벡터를 n개 산출하고, 이들을 Ldec(k, i), 1≤l≤n, t(s)≤i＜t(s＋1), 0≤s＜sE고 한다. 단, 직교화의 방법은 상기 예에 한정되지 않는다. 또한, 직교 벡터는 반드시 정규화되어 있지 않아도 된다.
시간 포락선 산출부(1g)는, 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)로부터 주어진 n개의 저주파수 대역의 시간 포락선과, 부호화 계열 복호/역양자화부(1e)로부터 주어진 시간 포락선 정보를 사용하여, 고주파수 대역의 시간 포락선을 산출한다. 상세하게는, 시간 포락선 산출부(1g)에 의한 시간 포락선의 산출은 다음과 같이 행해진다.
먼저, 고주파수 대역을 nH(nH≥1)개의 부 주파수대로 분할하고, 이들 부 주파수대를 B(T) l(l=1, 2, 3, …, nH)로 표기한다. 다음에, 상기 시간 포락선 Ldec(k, i)를 사용하여, 고주파 대역의 부 주파수대 B(T) l의 시간 포락선 gdec(l, i)를 산출한다. i는 시간 방향의 인덱스이다.
예를 들면, 상기 gdec(l, i)는 하기 식으로 주어진다.
[수식 18]
Figure pat00018
여기서, 상기 식 중에 나타낸 값:
[수식 19]
Figure pat00019
는, 부호화 계열 복호/역양자화부(1e)로부터 주어진 시간 포락선 정보이다.
또한, 부호화 계열 복호/역양자화부(1e)로부터 주어진 시간 포락선 정보는, 계수 Al, k(s)가,
[수식 20]
Figure pat00020
되는 계수를 포함하는 것이라도 되고, 그 경우에는, 상기 gdec(l, i)가, 하기 식:
[수식 21]
Figure pat00021
에 의해 주어져도 된다.
또한, 부호화 계열 복호/역양자화부(1e)로부터 주어진 시간 포락선 정보는, 상기 계수 Al, k(s){1≤l≤nH, 1≤k≤n, 0≤s＜sE}, 또는, 상기 계수 Al, k(s){1≤l≤nH, 0≤k≤n, 0≤s＜sE}에 더하여, 하기 식:
[수식 22]
Figure pat00022
으로 주어진 계수를 포함하는 것이라도 되고, 그 경우에는, 상기 gdec(l, i)가, 하기 식:
[수식 23]
Figure pat00023
또는, 하기 식:
[수식 24]
Figure pat00024
에 의해 주어지는 것으로 해도 된다. 여기서, U(k, i){1≤k≤g, t(s)≤i＜t(s＋1), 0≤s＜sE}는 소정의 계수, 또는, 소정의 함수이다. 예를 들면, 상기 U(k, i)는, 하기 식으로 주어지는 함수라도 된다.
[수식 25]
Figure pat00025
여기서, Ω는 소정의 계수이다.
여기서, 상기 gdec(l, i)는, Ldec(k, i)에 의한 표현이면 다른 형태도 허용되고, 시간 포락선 정보의 형태도 계수 Al, k(s)의 형태로 한정되지 않는다.
마지막으로, 시간 포락선 산출부(1g)는, 상기 gdec(l, i)를 사용하여, 하기 식:
[수식 26]
Figure pat00026
또는, 하기 식:
[수식 27]
Figure pat00027
에 의해 시간 포락선을 산출한다.
고주파수 대역 생성부(1h)는, 대역 분할 필터 뱅크부(1c)로부터 주어진 저주파수 대역의 신호 Xdec(j, i){0≤j＜kx, t(s)≤i＜t(s＋1), 0≤s＜sE}를, 부호화 계열 복호/역양자화부(1e)로부터 주어진 고주파수 대역 생성용 보조 정보를 사용하여 고주파수 대역에 복사함으로써, 고주파수 대역의 신호 Xdec(j, i){kx≤j≤kmax, t(s)≤i＜t(s＋1), 0≤s＜sE}를 생성한다. 상기 고주파수 대역의 생성은 "ISO/IEC 14496-3"에 규정되는"MPEG4 AAC"의 SBR에서의 HF 생성(HF generation) 방법에 따라 행한다("ISO/IEC 14496-3 subpart 4 General Audio Coding").
시간 포락선 조정부(1i)는, 고주파수 대역 생성부(1h)로부터 주어진 고주파수 대역 신호 XH(j, i){kx≤j≤kmax, t(s)≤i＜t(s＋1), 0≤s＜sE}의 시간 포락선을, 시간 포락선 산출부(1g)로부터 주어진 시간 포락선 ET(l, i){1≤l≤nH, t(s)≤i＜t(s＋1), 0≤s＜sE}를 사용하여 조정한다.
즉, 상기 시간 포락선의 조절은, 하기와 같이, "MPEG4 AAC"의 SBR에서의 HF 조정(HF adjustment)과 유사한 수단에 의해 행해진다. 단, 편의상, 하기에서는 HF 조정에서의 노이즈 추가(noise addition)만을 고려한 방법을 나타내고, 그 외의 게인 리미터(gain limiter), 게인 스무더(gain smoother), 사인 곡선 추가(sinusoid addition) 등의 처리에 대응하는 것은 생략하였다. 단, 생략한 상기 처리를 포함하도록 처리를 일반화하는 것은 용이하다. 그리고, 노이즈 추가에 대응하는 처리를 행하기 위해 필요한 노이즈 플로어(noise floor)·스케일 팩터(scale factor), 또는, 상기 생략한 처리를 행할 때 필요한 파라미터는, 이미 부호화 계열 복호/역양자화부(1e)에 의해 주어져 있는 것으로 한다.
처음에, 이하의 기술을 간단하게 하기 때문에, 부 주파수대 B(T) l(1≤l≤nH)의 경계를 나타낸 nH＋1개의 인덱스를 요소로 하는 배열 FH를, 신호 XH(j, i){FH(l)≤j＜FH(l＋1), t(s)≤i＜t(s＋1), 0≤s＜sE}가, 부 주파수대 B(T) l의 성분에 대응하도록 정의한다. 단, FH(1)=kx, FH(nH＋1)=kmax＋1이다.
상기 정의 하에서, 시간 포락선을 하기 식에 의해 변환한다.
[수식 28]
Figure pat00028
그 후, 부호화 계열 복호/역양자화부(1e)에 의해 주어지는 노이즈 플로어·스케일 팩터 Q(m, i)를 하기 식으로 변환한다.
[수식 29]
Figure pat00029
단, M=F(nH＋1)-F(1)이다. 또한, 게인을 하기 식으로 산출한다.
[수식 30]
Figure pat00030
여기서,하기 식:
[수식 31]
Figure pat00031
에 의해 표현되는 양을 정의한다.
마지막으로, 시간 포락선 조정부(1i)는, 하기 식에 의해, 시간 포락선 조절 완료된 신호를 얻는다.
[수식 32]
Figure pat00032
여기서, V0, V1은 노이즈 성분을 규정하는 배열이며, f는 인덱스 i를 상기 배열상의 인덱스에 사상하는 함수이다(구체예에 대해서는, "ISO/IEC 14496-3 4.B.18"을 참조).
대역 합성 필터 뱅크부(1j)는, 시간 포락선 조정부(1i)로부터 주어진 고주파수대 신호 Y(i, j){kx≤j≤kmax, t(s)≤i＜t(s＋1), 0≤s＜sE}와, 대역 분할 필터 뱅크부(1c)로부터 주어진 저주파수대 신호 X(j, i){0≤j＜kx, t(s)≤i＜t(s＋1), 0≤s＜sE}를 가산한 후에 대역 합성함으로써, 모든 주파수 대역 성분을 포함하는 시간 영역의 복호 음성 신호를 취득하고, 취득한 음성 신호를 내장하는 통신 장치를 통하여 외부에 출력한다.
이하, 도 2를 참조하여, 음성 복호 장치(1)의 동작에 대하여 설명하고, 아울러 음성 복호 장치(1)에서의 음성 복호 방법에 대하여 상세하게 설명한다.
먼저, 비다중화부(1a)에 의해, 입력된 부호화 계열로부터 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열이 분리된다(단계 S01). 다음에, 저주파수 대역 복호부(1b)에 의해, 저주파수 대역 부호화 계열이 복호되어, 저주파수 대역의 성분만을 포함하는 복호 신호가 얻어진다(단계 S02). 그 후, 대역 분할 필터 뱅크부(1c)에 의해, 저주파수 대역의 성분만을 포함하는 복호 신호가 분석되어, 주파수 영역의 신호로 변환된다(단계 S03).
또한, 부호화 계열 해석부(1d)에 의해, 고주파수 대역 부호화 계열이 해석되어, 부호화된 고주파수 대역 생성용 보조 정보와, 양자화된 시간 포락선 정보가 취득된다(단계 S04). 그리고, 부호화 계열 복호/역양자화부(1e)에 의해, 고주파수 대역 생성용 보조 정보가 복호되고, 또한 시간 포락선 정보가 역양자화된다(단계 S05). 그 후, 고주파수 대역 생성부(1h)에 의해, 저주파수 대역의 신호 Xdec(j, i)를, 고주파수 대역 생성용 보조 정보를 사용하여 고주파수 대역에 복사함으로써, 고주파수 대역의 신호 Xdec(j, i)가 생성된다(단계 S06). 다음에, 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해, 저주파수 대역의 신호 X(j, i)를 기초로, 복수의 저주파수 대역의 시간 포락선 Ldec(k, i)가 산출된다(단계 S07).
또한, 시간 포락선 산출부(1g)에 의해, 복수의 저주파수 대역 내의 시간 포락선 Ldec(k, i)와 시간 포락선 정보를 사용하여, 고주파수 대역의 시간 포락선 ET(l, i)가 산출된다(단계 S08). 그리고, 시간 포락선 조정부(1i)에 의해, 고주파수 대역 신호 XH(j, i)의 시간 포락선이 시간 포락선 ET(l, i)를 사용하여 조정된다(단계 S09). 마지막으로, 대역 합성 필터 뱅크부(1j)에 의해, 고주파수대 신호 Y(i, j)와 저주파수대 신호 X(j, i)가 가산된 후에 대역 합성됨으로써 시간 영역의 복호 음성 신호가 취득되고, 그 복호 음성 신호가 출력된다(단계 S10).
도 3은 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 구성을 나타낸 도면이며, 도 4는 음성 부호화 장치(2)에 의해 실현되는 음성 부호화 방법의 과정을 나타낸 흐름도이다. 음성 부호화 장치(2)는, 물리적으로는 도시하지 않은 CPU, ROM, RAM 및 통신 장치 등을 구비하고, 이 CPU는 ROM 등의 음성 부호화 장치(2)의 내장 메모리에 저장된 소정의 컴퓨터 프로그램(예를 들면, 도 4의 흐름도에 나타낸 처리를 행하기 위한 컴퓨터 프로그램)을 RAM에 로드하여 실행함으로써 음성 부호화 장치(2)를 통괄적으로 제어한다. 음성 부호화 장치(2)의 통신 장치는, 부호화의 대상이 되는 음성 신호를 외부로부터 수신하고, 또한 부호화된 다중화 비트 스트림을 외부에 출력한다.
도 3에 나타낸 바와 같이, 음성 부호화 장치(2)는, 기능적으로는, 다운 샘플링부(다운 샘플링 수단)(2a), 저주파수 대역 부호화부(저주파수 대역 부호화 수단)(2b), 대역 분할 필터 뱅크부(주파수 변환 수단)(2c), 고주파수 대역 생성용 보조 정보 산출부(보조 정보 산출 수단)(2d), 제1∼제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출부(저주파수 대역 시간 포락선 산출 수단)(2e1∼2en), 시간 포락선 정보 산출부(시간 포락선 정보 산출 수단)(2f), 양자화/부호화부(양자화 부호화 수단)(2g), 고주파수 대역 부호화 계열 구성부(부호화 계열 구성 수단)(2h), 및 다중화부(다중화 수단)(2i)를 구비한다. 도 3에 나타낸 음성 부호화 장치(2)의 각 기능부는, 음성 부호화 장치(2)의 CPU가 음성 부호화 장치(2)의 내장 메모리에 저장된 컴퓨터 프로그램을 실행함으로써 실현되는 기능이다. 음성 부호화 장치(2)의 CPU는, 이 컴퓨터 프로그램을 실행함으로써(도 3에 나타낸 각 기능부를 사용하여), 도 4의 흐름도에 나타낸 처리(단계 S11∼단계 S20의 처리)를 순차적으로 실행한다. 이 컴퓨터 프로그램의 실행에 필요한 각종 데이터, 및 이 컴퓨터 프로그램의 실행에 의해 생성된 각종 데이터는, 모두, 음성 부호화 장치(2)의 ROM나 RAM 등의 내장 메모리에 저장되는 것으로 한다.
다운 샘플링부(2a)는, 음성 부호화 장치(2)의 통신 장치를 통하여 수신된 외부로부터의 입력 신호를 처리하고, 다운 샘플링된 저주파수 대역의 시간 영역 신호를 얻는다. 저주파수 대역 부호화부(2b)는, 다운 샘플링된 시간 영역 신호를 부호화하고, 저주파수 대역 부호화 계열을 얻는다. 저주파수 대역 부호화부(2b)에서의 부호화는 CELP 방식으로 대표되는 음성 부호화 방식에 기초해도 되고, 또한, AAC로 대표되는 변환 부호화나 TCX 방식 등의 음향 부호화에 기초해도 된다. 또한, PCM 부호화 방식에 기초해도 된다. 또한, 이들 부호화 방식을 전환하여 부호화하는 방식에 기초해도 된다. 본 실시예에 있어서, 부호화 방식은 한정되지 않는다.
대역 분할 필터 뱅크부(2c)는, 음성 부호화 장치(2)의 통신 장치를 통하여 수신된 외부로부터의 입력 신호를 분석하고, 주파수 영역의 모든 주파수 대역의 신호 X(j, i)로 변환한다. 단, j는 주파수 방향의 인덱스이며, i는 시간 방향의 인덱스이다.
고주파수 대역 생성용 보조 정보 산출부(2d)는 대역 분할 필터 뱅크부(2c)로부터 주파수 영역의 신호 X(j, i)를 수취하고, 고주파수 대역의 전력, 신호 변화나, 조성 등의 분석에 기초하여, 저주파수 대역의 신호 성분으로부터 고주파수 대역의 신호 성분을 생성할 때 사용하는 고주파수 대역 생성용 보조 정보를 산출한다.
제1∼제n 저주파수 대역 시간 포락선 산출부(2e1∼2en)는, 각각, 복수의 상이한 저주파 대역 성분의 시간 포락선을 산출한다. 구체적으로는, 제k 저주파수 대역 시간 포락선 산출부(2ek)(1≤k≤n)는, 대역 분할 필터 뱅크부(2c)로부터, 저주파수 대역의 신호 X(j, i){0≤j＜kx, t(s)≤i＜t(s＋1), 0≤s＜sE}를 수취하고, 전술한 음성 복호 장치(1)의 제k 저주파수 대역 시간 포락선 산출부(1fk)(단, 1≤k≤n)의 시간 포락선 Ldec(k, i)의 산출 방법에 따라, 저주파수 대역의 제k 번째의 시간 포락선 L(k, i){t(s)≤i＜t(s＋1), 0≤s＜sE}를 산출한다.
시간 포락선 정보 산출부(2f)는, 대역 분할 필터 뱅크부(2c)로부터, 고주파수 대역의 신호 X(j, i){kx≤j＜N, t(s)≤i＜t(s＋1), 0≤s＜sE}를, 또한, 제k 저주파수 대역 시간 포락선 산출부(2ek)(1≤k≤n)로부터는, 시간 포락선 L(k, i){t(s)≤i＜t(s＋1), 0≤s＜sE}를 수취하고, 신호 X(j, i)의 고주파수 대역 성분의 시간 포락선을 취득하기 위해 필요한 시간 포락선 정보를 산출한다. 상기 시간 포락선 정보는, 전술한 음성 복호 장치(1) 측에서, 상기 시간 포락선 Ldec(k, i)가 주어진 때, 고주파수 대역의 참조 시간 포락선의 근사를 복원할 수 있는 정보이다.
구체적으로는, 상기 시간 포락선 정보의 산출은 다음과 같이 하여 이루어진다. 먼저, 전력의 시간 포락선이 하기 식에 의해 산출된다.
[수식 33]
Figure pat00033
다음에, 상기 고주파수 대역의 제1(1≤l≤nH)번째의 주파수 대역의 참조 시간 포락선을, H(l, i){t(s)≤i＜t(s＋1)}로 나타내는 것으로 하면, 참조 시간 포락선 H(l, i)는, 하기 식:
[수식 34]
Figure pat00034
또는, 하기 식:
[수식 35]
Figure pat00035
에 의해 산출된다.
그리고, 전술한 저주파수 대역의 시간 포락선과 마찬가지로, H(l, i)에 대하여 소정의 처리(예를 들면, 평활화)를 행하여, 고주파수 대역의 참조 시간 포락선으로 하여도 된다. 또한, 고주파수 대역의 참조 시간 포락선은, 고주파수 대역의 신호의 신호 전력 또는 신호 진폭의 시간 변동을 나타내는 파라미터이면 되고, 상기한 산출 방법에 한정되지 않는다. 상기 참조 시간 포락선 H(l, i)의 상기 시간 포락선 L(k, i)에 의한 근사를 g(l, i)라고 표현하면, 상기 g(l, i)의 형태는, 음성 복호 장치(1)에서의 gdec(l, i)의 형태에 따른다. 여기서, 상기 시간 포락선 L(k, i)를, 음성 복호 장치(1) 측의 시간 포락선 Ldec(k, i)에 대응시켰다.
예를 들면, 시간 포락선 정보는, 상기 참조 시간 포락선 H(l, i)에 대한 상기 g(l, i)의 오차를 정의하고, 그 오차를 최소로 하는 g(l, i)를 구함으로써 산출할 수 있다. 즉, 오차를 시간 포락선 정보의 함수로서 파악하고, 그 오차의 최소값을 부여하는 시간 포락선 정보를 탐색하여 산출하면 된다. 상기 시간 포락선 정보의 산출은, 수치적으로 행해도 상관없다. 또한, 수식을 이용하여 계산해도 된다.
더욱 상세하게는, 참조 시간 포락선 H(l, i)에 대한 상기 g(l, i)의 오차는,하기 식:
[수식 36]
Figure pat00036
에 의해 계산된다. 또한, 이 오차는 하기 식을 이용하여 가중치가 부여된 오차(weighted error)로서 계산되어도 된다.
[수식 37]
Figure pat00037
또한, 오차는 하기 식에 의해 계산되어도 된다.
[수식 38]
Figure pat00038
여기서, 가중치 w(l, i)는 시간 인덱스 i에 의해 변화하는 가중치로서도, 또는, 주파수 인덱스 l에 의해 변화하는 가중치로서도 정의해도 되고, 또한 시간 인덱스 i 및 주파수 인덱스 l에 의해 변화하는 가중치로서 정의해도 된다. 그리고, 본 실시예에서는, 상기 오차의 형태, 및 상기 예에 있는 가중치의 형태에는 한정되지 않는다.
양자화/부호화부(2g)는, 시간 포락선 정보 산출부(2f)로부터 시간 포락선 정보를 수취하고, 시간 포락선 정보의 양자화·부호화를 행하고, 고주파수 대역 생성용 보조 정보 산출부(2d)로부터는 고주파수 대역 생성용 보조 정보를 수취하고 고주파수 대역 생성용 보조 정보를 부호화한다.
이와 같은 시간 포락선 정보의 양자화·부호화 방법으로서는, 예를 들면, 상기 정보가 계수 Al, k(s)의 형태인 경우, 상기 Al, k(s)를 스칼라(scalar) 양자화한 후, 엔트로피 부호화해도 된다. 또한, Al, k(s)를 소정의 부호 길이를 사용하여 벡터(vector) 양자화하고, 그 인덱스를 부호로 해도 된다. 그리고, 본 실시예에서는, 시간 포락선 정보의 양자화·부호화 방법은 상기에 한정되지 않는다.
고주파수 대역 부호화 계열 구성부(2h)는, 양자화/부호화부(2g)로부터 부호화된 고주파수 대역 생성용 보조 정보와 양자화된 시간 포락선 정보를 수취하고, 이들을 포함하는 고주파수 대역 부호화 계열을 구성한다.
다중화부(2i)는, 저주파수 대역 부호화부(2b)로부터 저주파수 대역 부호화 계열을, 고주파수 대역 부호화 계열 구성부(2h)로부터 고주파수 대역 부호화 계열을 수취하고, 2개의 부호화 계열을 다중화함으로써 부호화 계열을 생성하고, 생성한 부호화 계열을 출력한다.
이하, 도 4를 참조하여, 음성 부호화 장치(2)의 동작에 대하여 설명하고, 아울러 음성 부호화 장치(2)에서의 음성 부호화 방법에 대하여 상세하게 설명한다.
먼저, 입력된 음성 신호가 대역 분할 필터 뱅크부(2c)에 의해 분석됨으로써, 주파수 영역의 모든 주파수 대역의 신호 X(j, i)가 취득된다(단계 S11). 다음에, 다운 샘플링부(2a)에 의해 외부로부터의 입력 음성 신호가 처리되어, 다운 샘플링된 시간 영역 신호가 취득된다(단계 S12). 그 후, 저주파수 대역 부호화부(2b)에 의해, 다운 샘플링된 시간 영역 신호가 부호화되어, 저주파수 대역 부호화 계열이 얻어진다(단계 S13).
또한, 고주파수 대역 생성용 보조 정보 산출부(2d)에 의해, 대역 분할 필터 뱅크부(2c)로부터 취득된 주파수 영역의 신호 X(j, i)가 분석되어 고주파수 대역의 신호 성분을 생성할 때 사용하는 고주파수 대역 생성용 보조 정보가 산출된다(단계 S14). 그리고, 제1∼제n 저주파수 대역 시간 포락선 산출부(2e1∼2en)에 의해, 저주파수 대역의 신호 X(j, i)를 기초로, 저주파수 대역의 복수의 시간 포락선 L(k, i)가 산출된다(단계 S15). 그 후, 시간 포락선 정보 산출부(2f)에 의해, 고주파수 대역의 신호 X(j, i), 및 저주파수 대역의 복수의 시간 포락선 L(k, i)를 기초로, 신호 X(j, i)의 고주파수 대역 성분의 시간 포락선을 취득하기 위해 필요한 시간 포락선 정보가 산출된다(단계 S16). 다음에, 양자화/부호화부(2g)에 의해, 시간 포락선 정보가 양자화·부호화되고, 또한 고주파수 대역 생성용 보조 정보가 부호화된다(단계 S17).
또한, 고주파수 대역 부호화 계열 구성부(2h)에 의해, 부호화된 고주파수 대역 생성용 보조 정보와 양자화된 시간 포락선 정보를 포함하는 고주파수 대역 부호화 계열이 구성된다(단계 S18). 그리고, 다중화부(2i)에 의해, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열을 다중화함으로써 부호화 계열이 생성되고, 생성된 부호화 계열이 출력된다(단계 S19).
이상 설명한 음성 복호 장치(1), 복호 방법, 또는 복호 프로그램에 의하면, 부호화 계열로부터 비다중화 및 복호되어 저주파수 대역 신호가 얻어지고, 부호화 계열로부터 비다중화, 복호, 및 역양자화되어 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보가 얻어진다. 그리고, 고주파수 대역 생성용 보조 정보를 사용하여 주파수 영역으로 변환된 저주파수 대역 신호 Xdec(j, i)로부터 주파수 영역의 고주파수 대역 성분 Xdec(j, i)가 생성되는 한편, 주파수 영역의 저주파수 대역 신호 Xdec(j, i)를 분석하여 복수의 저주파수 대역의 시간 포락선 Ldec(k, i)가 취득된 후에, 그 복수의 저주파수 대역의 시간 포락선 Ldec(k, i)와, 시간 포락선 정보를 사용하여, 고주파수 대역의 시간 포락선 ET(l, i)가 산출된다. 또한, 산출된 고주파수 대역의 시간 포락선 ET(l, i)에 의해 고주파수 대역 성분 XH(j, i)의 시간 포락선이 조정되고, 조정된 고주파수 대역 성분과 저주파수 대역 신호가 가산되어 시간 영역 신호가 출력된다. 이와 같이, 고주파수 대역 성분 XH(j, i)의 시간 포락선의 조정용에 복수의 저주파수 대역의 시간 포락선 Ldec(k, i)가 사용되므로, 저주파수 대역 성분의 시간 포락선과 고주파수 대역 성분의 시간 포락선과의 상관을 이용하여 높은 정밀도로 고주파수 대역 성분의 시간 포락선의 파형이 조정된다. 그 결과, 복호 신호에서의 시간 포락선이 왜곡이 적은 형상으로 조정되어, 프리 에코 및 포스트 에코가 충분히 개선된 재생 신호를 얻을 수 있다.
또한, 전술한 음성 부호화 장치(2), 부호화 방법, 또는 부호화 프로그램에 의하면, 음성 신호가 다운 샘플링되어 저주파수 대역 신호가 얻어지고, 그 저주파수 대역 신호가 부호화되는 한편, 주파수 영역의 음성 신호 X(j, i)를 기초로 저주파수 대역 성분의 시간 포락선 L(k, i)가 복수 산출되고, 그 복수의 저주파수 대역 성분의 시간 포락선 L(k, i)를 사용하여 고주파수 대역 성분의 시간 포락선을 취득하기 위한 시간 포락선 정보가 산출된다. 또한, 저주파수 대역 신호로부터 고주파수 대역 성분을 생성하기 위한 고주파수 대역 생성용 보조 정보가 산출되고, 고주파수 대역 생성용 보조 정보와 시간 포락선 정보가 양자화 및 부호화된 후에, 고주파수 대역 생성용 보조 정보와 시간 포락선 정보를 포함하는 고주파수 대역 부호화 계열이 구성된다. 그리고, 저주파수 대역 부호화 계열 및 고주파수 대역 부호화 계열이 다중화된 부호화 계열이 생성된다. 이로써, 부호화 계열이 음성 복호 장치(1)에 입력될 때, 음성 복호 장치(1) 측에서 고주파수 대역 성분의 시간 포락선의 조정용에 복수의 저주파수 대역의 시간 포락선을 사용하는 것이 가능해져, 음성 복호 장치(1) 측에서 저주파수 대역 성분의 시간 포락선과 고주파수 대역 성분의 시간 포락선과의 상관을 이용하여 높은 정밀도로 고주파수 대역 성분의 시간 포락선의 파형이 조정된다. 그 결과, 복호 신호에서의 시간 포락선이 왜곡이 적은 형상으로 조정되어, 복호 장치 측에서 프리 에코 및 포스트 에코가 충분히 개선된 재생 신호를 얻을 수 있다.
[제1 실시예의 음성 복호 장치의 제1 변형예]
도 5는 제1 실시예에 따른 음성 복호 장치(1)의 제1 변형예에서의 포락선 산출에 관계되는 주요부의 구성을 나타낸 도면이고, 도 6은 도 5의 음성 복호 장치(1)에 의한 포락선 산출의 과정을 나타낸 흐름도이다.
도 5에 나타낸 음성 복호 장치(1)는, 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)에 더하여, 시간 포락선 산출 제어부(시간 포락선 산출 제어 수단)(1k)를 구비한다. 이 시간 포락선 산출 제어부(1k)는, 대역 분할 필터 뱅크부(1c)로부터 저주파수 대역 신호를 수취하여, 그 프레임에서의 저주파수 대역 신호의 전력을 산출하고(단계 S31), 산출한 저주파수 대역 신호의 전력을 소정의 임계값과 비교한다(단계 S32). 그리고, 시간 포락선 산출 제어부(1k)는, 저주파수 대역 신호의 전력이 소정의 임계값보다 크지 않은 경우(단계 S32: NO)에는, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에는 저주파수 대역 시간 포락선 산출 제어 신호를, 시간 포락선 산출부(1g)에는 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)에 의해 시간 포락선의 산출 처리를 하지 않도록 제어한다. 이 경우, 고주파수 대역 신호의 시간 포락선은, 상기 시간 포락선에 기초하여 조정되지 않고(예를 들면, 상기 수식 29에 있어서 E(m, i)를 Ecurr(m, i)으로 하여, 상기 수식 30 대신에 하기 식:
[수식 39]
Figure pat00039
으로 함)(단계 S36), 대역 합성 필터 뱅크부(1j)에 전송된다. 한편, 시간 포락선 산출 제어부(1k)는, 저주파수 대역 신호의 전력이 소정의 임계값보다 큰 경우에는, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에는 저주파수 대역 시간 포락선 산출 제어 신호를, 시간 포락선 산출부(1g)에는 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)는 시간 포락선의 산출 처리를 실시하도록 제어한다. 이 경우, 시간 포락선 조정부(1i)에 의해 상기 시간 포락선에 기초하여 시간 포락선이 조정된 고주파수 대역 신호는 대역 합성 필터 뱅크부(1j)에 전송된다.
도 6을 참조하여, 음성 복호 장치(1)의 제1 변형예에서는, 단계 S31∼S36에 나타낸 포락선 산출 처리가, 도 2에 나타낸 제1 실시예에 따른 음성 복호 장치(1)의 단계 S07∼S09의 처리에 치환되어 실행된다.
이와 같은 음성 복호 장치(1)의 제1 변형예에 의해, 예를 들면, 저주파수 대역 신호의 전력이 작고, 고주파수 대역 신호의 시간 포락선 산출에 이용되지 않는 경우에, 단계 S07∼S08의 처리를 생략함으로써 연산량을 감소시킬 수 있다.
그리고, 시간 포락선 산출 제어부(1k)는, 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해 산출되는 제1∼제n 저주파수 대역 시간 포락선에 상당하는 부분의 전력을 산출해도 되고, 산출된 제1∼제n 저주파수 대역 시간 포락선에 상당하는 전력을 소정의 임계값과 비교한 결과에 기초하여 저주파수 대역 시간 포락선 산출 제어 신호를 출력하고, 상기 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)의 처리를 생략할 것인지의 여부를 제어해도 된다.
이 경우, 시간 포락선 산출 제어부(1k)는, 모든 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)의 처리를 생략하도록 제어한 경우에는, 시간 포락선 산출부(1g)에 시간 포락선 산출 제어 신호를 출력하여 시간 포락선 산출 처리를 생략하도록 제어한다. 또한, 시간 포락선 산출 제어부(1k)는, 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 중 적어도 하나 이상이 저주파수 대역 시간 포락선의 산출 처리를 실시하도록 제어되는 경우에는, 시간 포락선 산출부(1g)에 시간 포락선 산출 제어 신호를 출력하여 시간 포락선 산출 처리를 실시하도록 제어한다.
[제1 실시예의 음성 복호 장치의 제2 변형예]
도 7은 제1 실시예에 따른 음성 복호 장치(1)의 제2 변형예에서의 포락선 산출에 관계되는 주요부의 구성을 나타낸 도면이고, 도 8은 도 7의 음성 복호 장치(1)에 의한 포락선 산출의 과정을 나타낸 흐름도이다.
도 7에 나타낸 음성 복호 장치(1)는, 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)에 더하여, 시간 포락선 산출 제어부(시간 포락선 산출 제어 수단)(1m)를 구비한다. 이 시간 포락선 산출 제어부(1m)는, 부호화 계열 복호/역양자화부(1e)로부터 수취한 시간 포락선 정보에 기초하여, 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 저주파수 대역 시간 포락선 산출 제어 신호를 출력함으로써, 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에서의 저주파수 대역 시간 포락선 산출 처리의 실시를 제어한다.
상세하게는, 음성 복호 장치(1)의 제2 변형예에서는, 도 8에 나타낸 단계 S41∼S48의 포락선 산출 처리가, 도 2에 나타낸 제1 실시예에 따른 음성 복호 장치(1)의 단계 S07∼S09의 처리에 치환되어 실행된다.
먼저, 시간 포락선 산출 제어부(1m)에 의해, 카운트 값 count가 0으로 설정된다(단계 S41). 다음에, 시간 포락선 산출 제어부(1m)에 의해, 부호화 계열 복호/역양자화부(1e)로부터 수취한 시간 포락선 정보에 포함되는 계수 Al, count＋1(s)가 0인지의 여부가 판정된다(단계 S42).
판정 결과, 계수 Al, count＋1(s)이 0인 경우에는(단계 S42; NO), 시간 포락선 산출 제어부(1m)에 의해, 제count 번째의 저주파수 대역 시간 포락선 산출부(1fcount)에 저주파수 대역 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1fcount)에서의 저주파수 대역 시간 포락선 산출 처리를 실시하지 않도록 제어하고, 단계 S44의 처리로 이행한다. 한편, 계수 Al, count＋1(s)이 0이 아닌 것으로 판정된 경우에는(단계 S42; YES), 제count 번째의 저주파수 대역 시간 포락선 산출부(1fcount)에 저주파수 대역 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1fcount)에서의 저주파수 대역 시간 포락선 산출 처리를 실시하도록 제어한다. 이로써, 저주파수 대역 시간 포락선 산출부(1fcount)에 의해, 저주파수 대역 시간 포락선이 산출된다(단계 S43).
또한, 시간 포락선 산출 제어부(1m)에 의해, 카운트값 count를 1 증분시킨(단계 S44) 후에, 카운트값 count와 저주파수 대역 시간 포락선 산출부(1f1∼1fn)의 개수 n이 비교된다(단계 S45). 비교 결과, 카운트값 count가 개수 n보다 작은 경우(단계 S45; YES)에는, 단계 S42의 처리로 복귀하고, 시간 포락선 정보에 포함되는 다음의 계수 Al, count(s)의 판정이 반복된다. 한편, 카운트값 count가 개수 n 이상인 경우(단계 S45; NO)에는, 단계 S46의 처리로 이행된다. 그리고, 시간 포락선 산출 제어부(1m)에 의해, 하나 이상의 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해 저주파수 대역 시간 포락선의 산출 처리가 실시되었는지의 여부가 판정된다(단계 S46). 판정의 결과, 모든 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해 저주파수 대역 시간 포락선의 산출 처리가 실시되지 않은 경우(단계 S46; NO)에는, 시간 포락선 산출부(1g)에 시간 포락선 산출 제어 신호를 출력하여 시간 포락선 산출 처리를 생략하도록 제어한다. 이 경우에는, 단계 S47∼S48의 처리 대신에 단계 S49를 실시하고, 단계 S10의 처리(도 2)로 이행한다. 이에 대하여, 하나 이상의 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해 저주파수 대역 시간 포락선의 산출 처리가 실시되었을 경우(단계 S46; YES)는, 시간 포락선 산출부(1g)에 의해 시간 포락선의 산출 처리가 실시된다(단계 S47). 이어서, 시간 포락선 조정부(1i)에 의해, 고주파수 대역 신호의 시간 포락선 조정 처리가 실시된다(단계 S48). 그 후, 대역 합성 필터 뱅크부(1j)에 의해, 출력 신호의 합성 처리가 실시된다.
이와 같은 음성 복호 장치(1)의 제2 변형예에 의해, 부호화 계열로부터 얻어진 시간 포락선 정보를 기초로 일부의 처리가 불필요한 경우에, 단계 S07∼S08중 어느 하나의 처리를 생략함으로써, 연산량을 감소시킬 수 있다.
[제1 실시예의 음성 복호 장치의 제3 변형예]
도 9는 제1 실시예에 따른 음성 복호 장치(1)의 제3 변형예에서의 포락선 산출에 관계되는 주요부의 구성을 나타낸 도면이고, 도 10은, 도 9의 음성 복호 장치(1)에 의한 포락선 산출의 과정을 나타낸 흐름도이다.
도 9에 나타낸 음성 복호 장치(1)는, 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)에 더하여, 시간 포락선 산출 제어부(시간 포락선 산출 제어 수단)(1n)를 구비한다. 이 시간 포락선 산출 제어부(1n)는, 부호화 계열 해석부(1d)로부터 시간 포락선 산출 제어 정보를 수취한다. 본 변형예에서는, 시간 포락선 산출 제어 정보에는, 그 프레임에 있어서 시간 포락선 산출 처리를 실시할 것인지의 여부가 기술되어 있다. 시간 포락선 산출 제어 정보의 기술(記述) 내용을 판독할 때 복호/역양자화 처리가 필요한 경우에는, 부호화 계열 복호/역양자화부(1e)에 의해 복호 역양자화 처리가 실시된다. 또한, 시간 포락선 산출 제어부(1n)는, 시간 포락선 산출 제어 정보를 참조함으로써, 그 프레임에 있어서 시간 포락선 산출 처리를 실시할 것인지의 여부를 결정한다. 그리고, 시간 포락선 산출 제어부(1n)는, 시간 포락선 산출 처리를 실시하지 않는 것으로 결정한 경우, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에는 저주파수 대역 시간 포락선 산출 제어 신호를, 시간 포락선 산출부(1g)에는 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)에 의해 시간 포락선의 산출 처리를 행하지 않도록 제어한다. 이 경우, 고주파수 대역 신호는, 시간 포락선이 상기 시간 포락선에 기초하여 조정되지 않고, 대역 합성 필터 뱅크부(1j)에 전송된다. 그 한편, 시간 포락선 산출 제어부(1n)는, 시간 포락선 산출 처리를 실시하는 것으로 결정한 경우, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에는 저주파수 대역 시간 포락선 산출 제어 신호를, 시간 포락선 산출부(1g)에는 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)에 의해 시간 포락선의 산출 처리가 행해지도록 제어한다. 이 경우, 시간 포락선 조정부(1i)에 의해 시간 포락선이 조정된 고주파수 대역 신호가 대역 합성 필터 뱅크부(1j)에 전송된다.
도 10을 참조하여, 음성 복호 장치(1)의 제3 변형예에서는, 단계 S51∼S54에 나타낸 포락선 산출 처리가, 도 2에 나타낸 제1 실시예에 따른 음성 복호 장치(1)의 단계 S07∼S09의 처리에 치환되어 실행된다.
이와 같은 음성 복호 장치(1)의 제3 변형예에 의해서도, 부호화 장치 측으로부터의 제어 정보를 기초로 하여 단계 S07∼S08의 처리를 생략함으로써, 연산량을 감소시킬 수 있다.
[제1 실시예의 음성 복호 장치의 제4 변형예]
도 11은, 제1 실시예에 따른 음성 복호 장치(1)의 제4 변형예에 의한 포락선 산출의 과정을 나타낸 흐름도이다. 그리고, 이 음성 복호 장치(1)의 제4 변형예의 구성은, 도 9에 나타낸 구성과 마찬가지이다.
이 제4 변형예에서는, 도 11에 나타낸 단계 S61∼S64에 나타낸 포락선 산출 처리가, 도 2에 나타낸 제1 실시예에 따른 음성 복호 장치(1)의 단계 S07∼S09의 처리에 치환되어 실행된다.
즉, 시간 포락선 산출 제어 정보에는, 그 프레임에 있어서, 제1∼n 저주파수 대역 시간 포락선 중 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선이 기술되어 있다. 여기서, 시간 포락선 산출 제어 정보의 기술 내용을 판독할 때 복호/역양자화 처리가 필요한 경우에는, 부호화 계열 복호/역양자화부(1e)에 의해 복호 역양자화 처리가 실시된다. 그리고, 시간 포락선 산출 제어부(1n)에 의해, 시간 포락선 산출 제어 정보에 기초하여, 그 프레임에 있어서 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선이 선택된다(단계 S61).
다음에, 시간 포락선 산출 제어부(1n)에 의해, 제1∼n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 대하여 저주파수 대역 시간 포락선 산출 제어 신호가 출력된다. 이로써, 상기 선택 처리에 의해 선택된 저주파수 대역 시간 포락선에 상당하는 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해 저주파수 대역 시간 포락선이 산출되도록 제어되고, 상기 선택 처리에 의해 선택되지 않은 저주파수 대역 시간 포락선에 상당하는 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해 저주파수 대역 시간 포락선이 산출되지 않도록 제어된다(단계 S62).
그 후, 시간 포락선 산출 제어부(1n)에 의해, 시간 포락선 산출부(1g)에 대하여 시간 포락선 산출 제어 신호가 출력되고, 선택된 저주파수 대역 시간 포락선만을 사용하여, 시간 포락선을 산출하도록 제어된다(단계 S63). 또한, 시간 포락선 조정부(1i)에 의해, 산출된 시간 포락선을 사용하여, 고주파수 대역 생성부(1h)에 의해 생성된 고주파수 대역 신호의 시간 포락선이 조정된다(단계 S64).
또한, 상기 선택 처리에 의해, 어느 저주파수 대역 시간 포락선도 선택되지 않은 경우에는, 상기 단계 S62∼S63를 건너뛰고, 고주파수 대역 신호는, 시간 포락선이 상기 시간 포락선에 기초하여 조정되지 않고(도 6의 단계 S36), 대역 합성 필터 뱅크부(1j)에 전송되어도 된다.
이와 같은 음성 복호 장치(1)의 제4 변형예에 의해서도, 부호화 장치 측으로부터의 제어 정보를 기초로 하여 단계 S07∼S08의 처리를 생략함으로써, 연산량을 감소시킬 수 있다.
[제1 실시예의 음성 복호 장치의 제5 변형예]
도 12는 제1 실시예에 따른 음성 복호 장치(1)의 제5 변형예에 의한 포락선 산출의 과정을 나타낸 흐름도이다. 그리고, 이 음성 복호 장치(1)의 제5 변형예의 구성은, 도 9에 나타낸 구성과 동일하다.
이 제5 변형예에서는, 도 12에 나타낸 단계 S71∼S75에 나타낸 포락선 산출 처리가, 도 2에 나타낸 제1 실시예에 따른 음성 복호 장치(1)의 단계 S07∼S09의 처리에 치환되어 실행된다.
즉, 시간 포락선 산출 제어 정보에는, 그 프레임에 있어서, 제1∼n 저주파수 대역 시간 포락선의 산출 방법이 기술되어 있다. 시간 포락선 산출 제어 정보의 기술 내용을 판독할 때 복호/역양자화 처리가 필요한 경우에는, 부호화 계열 복호/역양자화부(1e)에 의해 복호 역양자화 처리가 실시된다. 시간 포락선 산출 제어 정보에 기술되어 있는 제1∼n 저주파수 대역 시간 포락선의 산출 방법은, 예를 들면, 부주파수 대역을 나타내는 배열 Bl과 Bh의 설정에 관한 내용이라도 되고, 이와 같은 시간 포락선 산출 제어 정보에 기초하여 부주파수 대역의 주파수 범위를 제어하는 것이 가능하게 된다. 배열 Bl과 Bh의 설정에 관한 내용은, 배열 Bl과 Bh를 설정하는 정수의 세트(kl, kh)가 기술되어 있어도 되고, 소정의 복수의 배열 Bl과 Bh의 설정 내용에서 어느 하나의 선택에 관한 기술이라도 된다. 본 변형예에 있어서, 배열 Bl과 Bh의 설정에 관한 내용의 기술 방법은 한정되지 않는다. 또한, 시간 포락선 산출 제어 정보에 기술되어 있는 제1∼n 저주파수 대역 시간 포락선의 산출 방법은, 상기 소정의 처리의 설정에 관한 내용(예를 들면, 상기 평활화 계수 sc(j)의 설정에 관한 내용)이라도 되고, 이로써, 시간 포락선 산출 제어 정보에 기초하여 상기 소정의 처리(예를 들면, 상기 평활화 처리)를 제어하는 것이 가능하게 된다. 평활화 계수 sc(j)의 설정에 관한 내용은, 평활화 계수 sc(j)의 값을 양자화·부호화한 것이라도 되고, 소정의 복수의 평활화 계수 sc(j)에서 어느 하나의 선택에 관한 내용이라도 된다. 또한, 평활화 처리를 할 것인지의 여부를 기술한 것을 포함해도 된다. 본 변형예에 있어서, 상기 소정의 처리의 설정(예를 들면, 상기 평활화 계수 sc(j)의 설정)에 관한 내용의 기술 방법은 한정되지 않는다. 또한, 시간 포락선 산출 제어 정보에 기술되어 있는 제1∼n 저주파수 대역 시간 포락선의 산출 방법은, 상기한 산출 방법 중 적어도 하나 이상을 포함해도 된다. 그리고, 본 변형예에 있어서, 시간 포락선 산출 제어 정보에 기술되어 있는 제1∼n 저주파수 대역 시간 포락선의 산출 방법은, 저주파수 대역 시간 포락선의 산출 방법에 관한 내용이 기술되어 있으면 되고, 상기한 내용에 한정되지 않는다.
단계 S71에서는, 시간 포락선 산출 제어부(1n)에 의해, 시간 포락선 산출 제어 정보에 기초하여, 그 프레임에 있어서 저주파수 대역 시간 포락선의 산출 방법을 변경할 것인지의 여부가 결정된다. 다음에, 저주파수 대역 시간 포락선의 산출 방법을 변경하지 않는 경우(단계 S71; NO)에는, 저주파수 대역 시간 포락선의 산출 방법을 변경하지 않고, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해 제1∼n 저주파수 대역 시간 포락선이 산출된다(단계 S73). 한편, 저주파수 대역 시간 포락선의 산출 방법을 변경하는 경우(단계 S71; YES)에는, 시간 포락선 산출 제어부(1n)에 의해, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 대하여 저주파수 대역 시간 포락선 산출 제어 신호를 출력하여 저주파수 대역 시간 포락선의 산출 방법이 지시되어, 저주파수 대역 시간 포락선의 산출 방법이 변경된다(단계 S72). 그 후, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해, 변경된 저주파수 대역 시간 포락선 산출 방법에 의해, 제1∼n 저주파수 대역 시간 포락선이 산출된다(단계 S73.또한, 시간 포락선 산출부(1g)에 의해, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 의해 산출된 제1∼n 저주파수 대역 시간 포락선을 사용하여 시간 포락선이 산출된다(단계 S74). 그리고, 시간 포락선 조정부(1i)에 의해, 시간 포락선 산출부(1g)에 의해 산출된 시간 포락선을 사용하여, 고주파수 대역 생성부(1h)에 의해 생성된 고주파수 대역 신호의 시간 포락선이 조정된다(단계 S75).
이와 같은 음성 복호 장치(1)의 제5 변형예에 의해서도, 부호화 장치 측으로부터의 제어 정보를 기초로 하여 단계 S07∼S08의 처리를 정밀하게 제어함으로써, 더욱 정밀도가 높은 시간 포락선의 조정이 가능하다.
[제1 실시예의 음성 복호 장치의 제6 변형예]
도 13은 제1 실시예에 따른 음성 복호 장치(1)의 제6 변형예에서의 포락선 산출에 관계되는 주요부의 구성을 나타낸 도면이다. 도 13에 나타낸 음성 복호 장치(1)는 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)에 더하여, 시간 포락선 산출 제어부(시간 포락선 산출 제어 수단)(1o)를 구비한다. 이 시간 포락선 산출 제어부(1o)는 음성 복호 장치(1)의 제1∼제5 변형예에서의 포락선 산출 처리 중 어느 하나 이상을 실행하도록 구성되어 있다.
[제1 실시예의 음성 복호 장치의 제7 변형예]
도 14는 제1 실시예에 따른 음성 복호 장치(1)의 제7 변형예에 의한 포락선 산출의 과정을 나타낸 흐름도이다. 그리고, 이 음성 복호 장치(1)의 제7 변형예의 구성은 제1 실시예에 따른 음성 복호 장치(1)와 같다. 도 14의 단계 S261∼S262는, 상기 제1 실시예에 따른 음성 복호 장치(1)의 처리를 나타낸 흐름도(도 2)에서의 단계 S08를 치환하는 것이다.
본 변형예에서는, 시간 포락선 산출부(1g)는 저주파수 대역 시간 포락선 산출부(1f1∼1fn)로부터 주어진 저주파수 대역 내의 시간 포락선 Ldec(k, i){1≤k≤n, t(s)≤i＜t(s＋1), 0≤s＜sE}와, 부호화 계열 복호/역양자화부(1e)로부터 주어진 시간 포락선 정보를 사용하여, 소정의 처리(단계 S261의 처리) 후, 시간 포락선을 산출한다(단계 S262의 처리). 여기서, 소정의 처리로서는, 소정의 처리, 및 그것에 따른 시간 포락선의 산출로서는, 이하에 나타내는 예가 있다.
제1 예에서는, 수식 18, 수식 21, 수식 23, 또는, 수식 24에서의 계수 Al, k(s)를, 부호화 계열 복호/역양자화부(1e)로부터 다른 형태로 주어지는 시간 포락선 정보를 사용하여 산출한다. 예를 들면, 상기 계수는 하기 식에 의해 산출된다.
[수식 40]
Figure pat00040
0≤s＜sE
여기서, αk(s), k=1, 2, …, Num, 0≤s＜sE는 부호화 계열 복호/역양자화부(1e)로부터 주어지는 시간 포락선 정보이며, Flk(x1, x2, …, xNum), 1≤l≤nH, 1≤k≤n는, Num개의 변수를 인수로 하는 소정의 함수이다. 그 후, 상기한 방법으로 취득된 계수 Al, k(s)를 사용하여, 수식 18, 수식 21, 수식 23, 또는, 수식 24에 의해, 시간 포락선을 산출한다.
제2 예에서는, 먼저,하기 식으로 주어지는 양을 산출한다.
[수식 41]
Figure pat00041
여기서, 하기 식:
[수식 42]
Figure pat00042
는, 소정의 계수이다.
또한, 상기 g(0)(l, i)는 소정의 계수라도 되고, 또한, 인덱스 l, i에 대한 소정의 함수라도 된다. 예를 들면, 상기 g(0)(l, i)는 하기 식에 의해 부여되는 함수라도 된다.
[수식 43]
Figure pat00043
여기서, λ, ω는 소정의 계수이다.
이어서, 수식 18, 수식 21, 수식 23, 또는, 수식 24의 좌변에 대응하는 양을 산출하고, 이들을 다시, g(1)(l, i){1≤l≤nH, t(s)≤i＜t(s＋1), 0≤s＜sE}로 나타낸다. 그리고, 시간 포락선은, 예를 들면, 하기 식에 의해 산출된다.
[수식 44]
Figure pat00044
또한, 시간 포락선은, 하기 식에 의해 산출되어도 된다.
[수식 45]
Figure pat00045
또한, 하기 식:
[수식 46]
Figure pat00046
에 의해 시간 포락선이 산출되어도 된다.
또한, 부호화 계열 복호/역양자화부(1e)로부터 시간 포락선 정보가 주어지지 않은 경우에는, 하기 식:
[수식 47]
Figure pat00047
에 의해 시간 포락선이 산출되어도 된다.
본 변형예에서는, 상기 gdec(l, i)의 형태는, 상기 예에 한정되지 않는다.
그리고, 본 발명에서는, 소정의 처리, 및 그에 따른 시간 포락선의 산출의 내용은 상기한 예에는 한정되지 않는다.
본 변형예는, 제1 실시예에 따른 음성 복호 장치(1)의 제1∼제6 변형예에 다음과 같은 방법으로 적용해도 된다.
제1 실시예에 따른 음성 복호 장치(1)의 제1 변형예에 적용하는 경우에는, 예를 들면, 도 6의 단계 S34를 도 14의 단계 S261∼S262로 치환한다. 여기서, 상기 소정의 처리를 미리 복수 준비하고, 저주파수 신호의 전력의 크기에 따라 전환해도 된다. 또한, 저주파수 신호의 전력의 크기에 따라, a) 상기 소정의 처리만을 실시하여 시간 포락선을 산출한다, b) 상기 소정의 처리를 실시하고, 또한 시간 포락선 정보를 사용하여 시간 포락선을 산출한다, c) 상기 소정의 처리는 실시하지 않고, 시간 포락선 정보를 사용하여 시간 포락선을 산출한다, 중 어느 하나를 선택해도 된다.
도 15는, 제1 실시예에 따른 음성 복호 장치(1)의 제2 변형예에 적용하는 경우의, 제1 실시예에 따른 음성 복호 장치(1)의 제7 변형예에서의 시간 포락선 산출 제어부(1m)의 처리의 일부를 나타낸 흐름도이다.
제1 실시예에 따른 음성 복호 장치(1)의 제2 변형예에 적용하는 경우에는, 예를 들면, 도 8의 단계 S42를 도 15의 단계 S271로, 도 8의 단계 S47를 도 14의 단계 S261∼S262로 치환한다. 또한, 소정의 처리를 미리 복수 준비하고, 시간 포락선 정보에 기초하여, 전환해도 된다. 또한, 시간 포락선 정보에 따라, a) 상기 소정의 처리만을 실시하여 시간 포락선을 산출한다, b) 상기 소정의 처리를 실시하고, 또한 시간 포락선 정보를 사용하여 시간 포락선을 산출한다, c) 상기 소정의 처리는 실시하지 않고, 시간 포락선 정보를 사용하여 시간 포락선을 산출한다, 중 어느 하나를 선택해도 된다.
또한, 제1 실시예에 따른 음성 복호 장치(1)의 제3 변형예에 적용하는 경우에는, 도 10의 단계 S53를 도 14의 단계 S261∼S262로 치환한다. 또한, 소정의 처리를 미리 복수 준비하고, 시간 포락선 산출 제어 정보에 기초하여, 전환해도 된다. 또한, 시간 포락선 산출 제어 정보에 따라, a) 상기 소정의 처리만을 실시하여 시간 포락선을 산출한다, b) 상기 소정의 처리를 실시하고, 또한 시간 포락선 정보를 사용하여 시간 포락선을 산출한다, c) 상기 소정의 처리는 실시하지 않고, 시간 포락선 정보를 사용하여 시간 포락선을 산출한다, 중 어느 하나를 선택해도 된다.
도 16은 제1 실시예에 따른 음성 복호 장치(1)의 제4 변형예에 적용하는 경우의, 제1 실시예에 따른 음성 복호 장치(1)의 제7 변형예에서의 시간 포락선 산출 제어부(1n)의 처리의 일부를 나타낸 흐름도이다.
제1 실시예에 따른 음성 복호 장치(1)의 제4 변형예에 적용하는 경우에는, 도 11의 단계 S61을 도 16의 단계 S281로, 도 11의 단계 S63을 도 14의 단계 S261∼S262로 치환한다. 도 16의 단계 S281에서, 제1∼n 저주파수대 성분의 시간 포락선으로부터 산출하는 저주파수대 성분의 시간 포락선을 선택하는 방법으로서는, 예를 들면, 상기 소정의 처리의 일례에서의 A(0) l, k가 영(zero)인지의 여부를 조사하고, A(0) l, k가 영이 아니고, 또한 시간 포락선 산출 제어 정보에 의해 저주파수 신호 시간 포락선 산출부(1fk)에 의해 Ldec(k, i)를 산출하도록 지시받은 경우에는, 저주파수 신호 시간 포락선 산출부(1fk)는 Ldec(k, i)를 산출하도록 해도 된다.
제1 실시예에 따른 음성 복호 장치(1)의 제5 변형예에 적용하는 경우에는, 도 12의 단계 S74를 도 14의 단계 S261∼S262로 치환한다. 여기서, 저주파수대 성분의 시간 포락선 산출 방법을 변경한 경우에는, 그에 맞추어, 소정의 처리 방법을 변경해도 된다.
또한, 제1 실시예에 따른 음성 복호 장치(1)의 제6 변형예에의 적용은, 상기 제1∼제5 변형예에의 적용 방법에 따른다.
그리고, 도 14에는, 소정의 처리 후에 시간 포락선을 산출하는 흐름이 나타나 있지만, 시간 포락선을 산출한 후에 소정의 처리를 해도 된다. 예를 들면, 산출이 완료된 시간 포락선에, 평활화 등의 소정의 처리를 행하여도 된다. 또한, 소정의 처리 후, 시간 포락선을 산출하고, 또한 그 시간 포락선에 대해 다른 소정의 처리를 행하여도 된다.
[제1 실시예의 음성 부호화 장치의 제1 변형예]
도 17은 제1 실시예에 따른 음성 부호화 장치(2)의 제1 변형예의 구성을 나타낸도, 도 18은, 도 17의 음성 부호화 장치(2)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 17에 나타낸 음성 부호화 장치(2)는, 제1 실시예에 따른 음성 부호화 장치(2)에 대하여, 시간 포락선 산출 제어 정보 생성부(제어 정보 생성 수단)(2j)가 더 추가되어 있다.
이 시간 포락선 산출 제어 정보 생성부(2j)는, 대역 분할 필터 뱅크부(2c)로부터 수취하는 주파수 영역의 신호 X(j, i), 및 시간 포락선 정보 산출부(2f)로부터 수취하는 시간 포락선 정보 중 적어도 하나 이상을 사용하여 시간 포락선 산출 제어 정보를 생성한다. 생성되는 시간 포락선 산출 제어 정보는, 제1 실시예에 따른 음성 복호 장치(1)의 제3∼제7 변형예에서의 시간 포락선 산출 제어 정보 중 어느 하나이면 된다.
여기서, 시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 대역 분할 필터 뱅크부(2c)로부터 수취하는 주파수 영역의 신호 X(j, i) 중 저주파수 대역 신호에 상당하는 주파수 대역의 신호 전력을 산출하고, 산출한 신호 전력에 따라 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시할 것인지의 여부의 시간 포락선 산출 제어 정보를 생성해도 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 주파수 영역의 신호 X(j, i) 중 고주파수 대역 신호에 상당하는 주파수 대역의 신호 전력을 산출하여, 산출한 신호 전력에 따라 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시할 것인지의 여부의 시간 포락선 산출 제어 정보를 생성해도 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 주파수 영역의 신호 X(j, i) 중 모든 주파수 대역 신호에 상당하는 주파수 대역(즉, 저주파수 대역 신호에 상당하는 주파수 대역과 고주파수 신호에 상당하는 주파수 대역)의 신호 전력을 산출하여, 산출한 신호 전력에 따라 복호 장치에 의해 시간 포락선 산출 처리를 실시할 것인지의 여부의 시간 포락선 산출 제어 정보를 생성해도 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 제1∼제n 저주파수 대역 시간 포락선 산출부(2e1∼2en)에 의해 산출되는 제1∼제n 저주파수 대역 시간 포락선에 상당하는 부분의 전력을 산출하여, 산출한 신호 전력에 따라 음성 복호 장치(1)에 의해 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선의 선택에 관한 시간 포락선 산출 제어 정보를 생성해도 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 주파수 영역의 신호 X(j, i) 중 저주파수 대역 신호에 상당하는 주파수 대역의 신호 전력을 산출하고, 산출한 신호 전력에 따라 음성 복호 장치(1)에서의 저주파수 대역 시간 포락선 산출 방법에 관한 시간 포락선 산출 제어 정보를 생성해도 된다.
본 변형예에서는, 산출하는 신호 전력의 주파수 대역은 한정되지 않고, 산출된 신호 전력에 따라 생성되는 시간 포락선 산출 제어 정보는 상기 제1 실시예에 따른 음성 복호 장치(1)의 제3∼제7 변형예에서의 시간 포락선 산출 제어 정보 중 어느 하나 이상이면 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 주파수 영역의 신호 X(j, i)의 신호 특성을 검출/측정하고, 신호 특성에 따라, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시할 것인지의 여부의 시간 포락선 산출 제어 정보를 생성해도 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 주파수 영역의 신호 X(j, i)의 신호 특성에 따라, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선의 선택에 관한 시간 포락선 산출 제어 정보를 생성해도 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 주파수 영역의 신호 X(j, i)의 신호 특성에 따라, 음성 복호 장치(1)에서의 저주파수 대역 시간 포락선 산출 방법에 관한 시간 포락선 산출 제어 정보를 생성해도 된다.
그리고, 시간 포락선 산출 제어 정보 생성부(2j)에 의해 검출/측정되는 신호 특성은, 신호의 상승/하강의 급격함에 관한 특성이라도 된다. 또한, 신호의 정상성(定常性)에 관한 특성이라도 된다. 또한, 신호의 톤(tone)성의 강도에 관한 특성이라도 된다. 또한 상기한 특성 중 적어도 하나 이상이라도 된다.
본 변형예에서는, 검출/측정되는 신호 특성은 한정되지 않고, 검출/측정된 신호 특성에 따라 생성되는 시간 포락선 산출 제어 정보는 제1 실시예에 따른 음성 복호 장치(1)의 제3∼제6 변형예에서의 시간 포락선 산출 제어 정보 중 어느 하나 이상이면 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 시간 포락선 정보 산출부(2f)로부터 수취하는 상기 시간 포락선 정보 Al, k(s)(1≤l≤nH, 1≤k≤n, 0≤s＜sE)의 값에 따라 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시할 것인지의 여부의 시간 포락선 산출 제어 정보를 생성해도 된다. 또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선의 선택에 관한 시간 포락선 산출 제어 정보를 생성해도 된다. 또한, 음성 복호 장치(1)에서의 저주파수 대역 시간 포락선 산출 방법에 관한 시간 포락선 산출 제어 정보를 생성해도 된다.
본 변형예에서는, 시간 포락선 정보에 따라 생성되는 시간 포락선 산출 제어 정보는 제1 실시예에 따른 음성 복호 장치(1)의 제3∼제6 변형예에서의 시간 포락선 산출 제어 정보 중 어느 하나 이상이면 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 대역 분할 필터 뱅크부(2c)로부터 수취하는 주파수 영역의 신호 X(j, i), 및 양자화/부호화부(2g)로부터 수취하는 고주파수 대역 생성용 보조 정보의 부호화 계열을 사용하여, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시할 것인지의 여부의 시간 포락선 산출 제어 정보를 생성해도 된다. 또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선의 선택에 관한 시간 포락선 산출 제어 정보를 생성해도 된다. 또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 음성 복호 장치(1)에서의 저주파수 대역 시간 포락선 산출 방법에 관한 시간 포락선 산출 제어 정보를 생성해도 된다.
보다 구체적으로는, 시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 양자화/부호화부(2g)로부터 수취하는 고주파수 대역 생성용 보조 정보의 부호화 계열을 복호/역양자화하여 국소 복호 고주파수 대역 생성용 보조 정보를 취득한 후, 그 국소 복호 고주파수 대역 생성용 보조 정보, 및 주파수 영역의 신호 X(j, i)를 사용하여, 의사 국소 복호 고주파수 대역 신호를 생성한다. 의사 국소 복호 고주파수 대역 신호는, 제1 실시예에 따른 음성 복호 장치(1)의 고주파수 대역 생성부(1h)와 동일한 처리를 실시함으로써 생성 가능하다. 생성된 의사 국소 복호 고주파수 대역 신호와, 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역을 비교하고, 비교 결과에 기초하여 시간 포락선 산출 제어 정보를 생성한다.
여기서, 의사 국소 복호 고주파수 대역 신호와 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역과의 비교는, 그 양(兩) 신호의 차분 신호를 산출하고, 그 차분 신호의 전력의 크기에 기초해도 된다. 또한, 의사 국소 복호 고주파수 대역 신호와 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역의 시간 포락선을 산출하고, 그 시간 포락선의 차분, 또는 차분의 크기 중 적어도 하나에 기초해도 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 대역 분할 필터 뱅크부(2c)로부터 수취하는 주파수 영역의 신호 X(j, i), 시간 포락선 정보 산출부(2f)로부터 수취하는 시간 포락선 정보, 및 양자화/부호화부(2g)로부터 수취하는 고주파수 대역 생성용 보조 정보의 부호화 계열을 사용하여, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시할 것인지의 여부의 시간 포락선 산출 제어 정보를 생성해도 된다. 또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선의 선택에 관한 시간 포락선 산출 제어 정보를 생성해도 된다. 또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 음성 복호 장치(1)에서의 저주파수 대역 시간 포락선 산출 방법에 관한 시간 포락선 산출 제어 정보를 생성해도 된다.
더욱 구체적으로는, 시간 포락선 산출 제어 정보 생성부(2j)는, 의사 국소 복호 고주파수 대역 신호를 생성한 후, 시간 포락선 정보 산출부(2f)로부터 수취하는 시간 포락선 정보를 사용하여 그 의사 국소 복호 고주파수 대역 신호의 시간 포락선을 조정하고, 그 시간 포락선을 조정한 의사 국소 복호 고주파수 대역 신호와 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역을 비교하고, 비교 결과에 기초하여 시간 포락선 산출 제어 정보를 생성한다.
또한, 시간 포락선을 조정한 의사 국소 복호 고주파수 대역 신호와 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역과의 비교는, 의사 국소 복호 고주파수 대역 신호와 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역과의 비교와 동일하게 하여 실시할 수 있다.
또한, 제1 실시예에 따른 음성 부호화 장치(2)의 시간 포락선 정보 산출부(2f)에 있어서, 의사 국소 복호 고주파수 대역 신호를 사용하여 시간 포락선 정보를 산출해도 된다. 더욱 구체적으로는, 시간 포락선 정보 산출부(2f)에는 또한 양자화/부호화부(2g)로부터 수취하는 고주파수 대역 생성용 보조 정보의 부호화 계열이 입력되고, 그 고주파수 대역 생성용 보조 정보의 부호화 계열을 복호/역양자화하여 국소 복호 고주파수 대역 생성용 보조 정보가 취득된 후, 그 국소 복호 고주파수 대역 생성용 보조 정보, 및 주파수 영역의 신호 X(j, i)를 사용하여, 의사 국소 복호 고주파수 대역 신호가 생성된다.
예를 들면, 시간 포락선 정보 산출부(2f)는, 시간 포락선 정보로부터 산출한 시간 포락선을 사용하여 의사 국소 복호 고주파수 대역 신호의 시간 포락선을 조정한 때, 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역에 가장 근접할 수 있는 시간 포락선 정보를, 산출된 시간 포락선 정보로서 출력해도 된다. 여기서, 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역에 가까운지 여부의 판단은, 시간 포락선을 조정한 의사 국소 복호 고주파수 대역 신호와 주파수 영역의 신호 X(j, i)의 고주파수 대역 신호에 상당하는 주파수 대역과의 차분 신호에 기초해도 되고, 또한 그 양(兩) 신호의 시간 포락선을 산출하고, 그 시간 포락선의 오차에 기초해도 된다.
또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 양자화/부호화부(2g)로부터 수취하는 시간 포락선 정보의 부호화에 필요한 정보량(더욱 구체적으로는 비트 수)에 따라, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시할 것인지의 여부의 시간 포락선 산출 제어 정보를 생성해도 된다. 또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선의 선택에 관한 시간 포락선 산출 제어 정보를 생성해도 된다. 또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 음성 복호 장치(1)에서의 저주파수 대역 시간 포락선 산출 방법에 관한 시간 포락선 산출 제어 정보를 생성해도 된다.
더욱 구체적으로는, 시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 양자화/부호화부(2g)로부터 수취하는 시간 포락선 정보의 부호화에 필요한 정보량(더욱 구체적으로는 비트 수)이 소정의 임계값과 같거나 임계값보다 작은 경우에는, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시하도록 지시하는 시간 포락선 산출 제어 정보를 생성한다. 한편, 시간 포락선 산출 제어 정보 생성부(2j)는, 시간 포락선 정보의 부호화에 필요한 정보량이 임계값보다 큰 경우에는, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리를 실시하지 않도록 지시하는 시간 포락선 산출 제어 정보를 생성한다.
또한, 시간 포락선 정보의 부호화에 필요한 정보량이 소정의 임계값과 같거나 임계값보다 작아지도록, 음성 복호 장치(1)에 의해 시간 포락선 산출 처리에 사용하는 저주파수 대역 시간 포락선의 선택에 관한 시간 포락선 산출 제어 정보를 생성해도 된다. 이때, 시간 포락선 정보의 부호화에 필요한 정보량과 임계값의 비교 결과를 시간 포락선 정보 산출부(2f)에 통지하고, 시간 포락선 정보 산출부(2f)는 통지된 비교 결과에 따라 시간 포락선 정보를 다시 산출해도 된다. 그리고, 시간 포락선 정보를 다시 산출한 경우에는, 양자화/부호화부(2g)는 다시 산출된 시간 포락선 정보를 부호화/양자화한다. 여기서, 시간 포락선 정보의 재산출 횟수는 한정되지 않는다.
본 변형예에서는, 시간 포락선 정보의 부호화에 필요한 정보량에 기초하여 시간 포락선 산출 제어 정보를 산출하면 되고, 생성되는 시간 포락선 산출 제어 정보는 제1 실시예에 따른 음성 복호 장치(1)의 제3∼제6 변형예에서의 시간 포락선 산출 제어 정보 중 어느 하나 이상이면 된다.
전술한 바와 같이 하여 시간 포락선 산출 제어 정보 생성부(2j)에 의해 생성된 시간 포락선 산출 제어 정보는, 고주파수 대역 부호화 계열 구성부(2h)에 의해 고주파수 대역 부호화 계열에 더 부가되어 고주파수 대역 부호화 계열이 구성된다.
[제1 실시예의 음성 부호화 장치의 제2 변형예]
도 19는 제1 실시예에 따른 음성 부호화 장치(2)의 제2 변형예의 구성을 나타낸 도면이고, 도 20은, 도 19의 음성 부호화 장치(2)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 19에 나타낸 음성 부호화 장치(2)는, 제1 실시예에 따른 음성 부호화 장치(2)에 대하여, 저주파수 대역 복호부(2k)가 더 추가되어 있다.
이 저주파수 대역 복호부(2k)는, 저주파수 대역 부호화부(2b)로부터 저주파수 대역 부호화 계열을 수취하고, 저주파수 대역 부호화 계열을 복호 역양자화하여 국소 복호 저주파수 신호를 취득한다. 그리고, 저주파수 대역 부호화부(2b)로부터 양자화한 저주파수 대역 신호를 취득 가능한 경우에는, 저주파수 대역 복호부(2k)는 양자화한 저주파수 대역 신호를 역양자화하여 국소 복호 저주파수 신호를 취득해도 된다. 이에 대하여, 저주파수 대역 시간 포락선 산출부(2e1∼2en)에 의해, 저주파수 대역 복호부(2k)에 의해 취득한 국소 복호 저주파수 신호를 사용하여, 제1∼제N 저주파수 대역 시간 포락선이 산출된다.
그리고, 상기 제1 실시예에 따른 음성 부호화 장치(2)의 제2 변형예는, 제1 실시예에 따른 음성 부호화 장치(2)의 제1 변형예에도 적용할 수 있다.
[제1 실시예의 음성 부호화 장치의 제3 변형예]
도 21은 제1 실시예에 따른 음성 부호화 장치(2)의 제3 변형예의 구성을 나타낸 도면이고, 도 22는, 도 21의 음성 부호화 장치(2)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
도 21에 나타낸 음성 부호화 장치(2)는, 제1 실시예에 따른 음성 부호화 장치(2)에 대하여, 다운 샘플링부(2a) 대신에 대역 합성 필터 뱅크부(2m)를 구비하는 점이 상이하다.
이 대역 합성 필터 뱅크부(2m)는, 대역 분할 필터 뱅크부(2c)로부터 주파수 영역의 신호 X(j, i)를 수취하고, 저주파수 대역 신호에 상당하는 주파수 대역에 대하여 대역 합성하여 다운 샘플 신호를 취득한다. 대역 합성에 의한 다운 샘플 신호의 취득은, 예를 들면 "ISO/IEC 14496-3"에 규정되는 "MPEG4 AAC"의 SBR에서의 다운샘플드 신시사즈 필터 뱅크(Downsampled synthesis filterbank) 방법에 의해 행할 수 있다("ISO/IEC 14496-3 subpart 4 General Audio Coding").
그리고, 상기 제1 실시예에 따른 음성 부호화 장치(2)의 제3 변형예는, 제1 실시예에 따른 음성 부호화 장치(2)의 제1∼제2 변형예에도 적용할 수 있다.
제1 실시예에 따른 음성 부호화 장치(2)의 제4 변형예는, 상기 제1 실시예에 따른 음성 부호화 장치(2)의 시간 포락선 정보 산출부(2f)에 있어서 g(l, i)를 산출할 때, 상기 제1 실시예에 따른 음성 복호 장치(1)의 제7 변형예에 대응하는 소정의 처리를 실시한다. 그리고, 제1 실시예에 따른 음성 복호 장치(1)의 제7 변형예와 마찬가지로, 소정의 처리를 실시한 후에 저주파수 대역의 시간 포락선을 사용하여 g(l, i)를 산출해도 되고, 저주파수 대역의 시간 포락선을 사용하여 g(l, i)를 산출한 후에 소정의 처리를 실시하여 g(l, i)를 산출해도 된다.
그리고, 상기 제1 실시예에 따른 음성 부호화 장치(2)의 제4 변형예는, 제1 실시예에 따른 음성 부호화 장치(2)의 제1∼제3 변형예에도 적용할 수 있다.
상기 제1 실시예에 따른 음성 부호화 장치(2)의 제4 변형예를, 제1 실시예에 따른 음성 부호화 장치(2)의 제1 변형예에 적용할 때는, 상기 H(l, i)에 대한 g(l, i)의 오차에 기초하여, 상기 시간 포락선 정보 산출 제어 정보에, 상기 제1 실시예에 따른 음성 복호 장치(1)에 있어서 상기 소정의 처리를 실시할 것인지의 여부의 정보를 포함해도 된다.
[제2 실시예]
다음에, 본 발명의 제2 실시예에 대하여 설명한다.
도 23은 제2 실시예에 따른 음성 복호 장치(101)의 구성을 나타낸 도면이고, 도 24는, 도 23의 음성 복호 장치(101)에 의한 음성 복호의 과정을 나타낸 흐름도이다. 도 23에 나타낸 음성 복호 장치(101)의 제1 실시예에 따른 음성 복호 장치(1)와의 상위점은, 주파수 포락선 중첩부(주파수 포락선 중첩 수단)(1q)가 더 추가되어 있는 점과, 시간 포락선 조정부(1i) 대신에 시간/주파수 포락선 조정부(시간 주파수 포락선 조정 수단)(1p)가 구비되어 있는 점이다((1c∼1e, 1h, 1j, 및 1p는 대역 확장부(대역 확장 수단)라고 하는 경우도 있다).
부호화 계열 해석부(1d)는, 비다중화부(1a)로부터 주어진 고주파수 대역 부호화 계열을 해석하고, 부호화된 고주파수 대역 생성용 보조 정보와, 양자화된 시간/주파수 포락선 정보를 취득한다.
부호화 계열 복호/역양자화부(1e)는, 부호화 계열 해석부(1d)로부터 주어진 부호화된 고주파수 대역 생성용 보조 정보를 복호하고, 고주파수 대역 생성용 보조 정보를 얻음과 동시에, 부호화 계열 해석부(1d)로부터 주어진 양자화된 시간/주파수 포락선 정보를 역양자화하여 시간/주파수 포락선 정보를 취득한다.
주파수 포락선 중첩부(1q)는, 시간 포락선 산출부(1g)로부터는 시간 포락선 ET(l, i)를, 부호화 계열 복호/역양자화부(1e)로부터는 주파수 포락선 정보를 수취한다. 그리고, 주파수 포락선 중첩부(1q)는 주파수 포락선 정보로부터 주파수 포락선을 산출하고, 주파수 포락선을 시간 포락선에 중첩한다. 상세하게는, 예를 들면, 주파수 포락선 중첩부(1q)는 다음과 같은 절차로 처리한다.
먼저, 주파수 포락선 중첩부(1q)는, 시간 포락선을 하기 식에 의해 변환한다.
[수식 48]
Figure pat00048
다음에, 주파수 포락선 중첩부(1q)는, 고주파수 대역을 mH(mH≥1)개의 부 주파수대로 분할한다. 여기서, 이들의 부 주파수대를 B(F) k(k=1, 2, 3, …, mH)로 표기한다. 또한, 이하에서는, 기술을 간단하게 하기 위해, 부 주파수대 B(F) k(1≤k≤mH)의 경계를 나타내는 mH＋1개의 인덱스를 요소로 하는 배열 GH를, 신호 XH(j, i), GH(k)≤j＜GH(k＋1), t(s)≤i＜t(s＋1), 0≤s＜sE가, 부 주파수대 B(F) k의 성분에 대응하도록 정의한다. 단, GH(1)=kx, GH(mH＋1)=kmax＋1이다.
이어서, 주파수 포락선 중첩부(1q)는, 주파수 포락선을 다음의 수식에 의해 산출한다.
[수식 49]
Figure pat00049
여기서, 상기 sfdec(k, s)(단, 1≤k≤mH, 0≤s＜sE)는, 부 주파수대 B(F) k에 대응하는 스케일 팩터이다.
그리고, 상기 주파수 포락선은, 다음의 수식에 의해 산출해도 된다.
[수식 50]
Figure pat00050
본 실시예에서는, 상기 EF, dec(k, s)의 형태는 상기 예에 한정되지 않는다.
여기서, 주파수 포락선 중첩부(1q)는, 상기 sfdec(k, s)를 다음과 같은 방법으로 산출한다. 먼저, 상기 sfdec(k, s) 중, 몇 개의 부 주파수대에 대응하는 것은, 하기 식에 의해 표현되는 바와 같이, 시간에 의존하지 않는 상수라고 한다(이후, 이들의 부 주파수대에 대응하는 인덱스 k의 집단을 NC라고 표기한다.
[수식 51]
Figure pat00051
여기서, C=0으로 해도 되지만, 본 실시예에서는, C의 값은 규정되지 않는다. 그리고, 주파수 포락선 중첩부(1q)는, 정수 1이 집합 Nc에 포함되지 않으면, 주파수 포락선 정보로부터, 스케일 팩터 sfdec(1, s), 0≤s＜s를 취득한다.
그 후, 주파수 포락선 중첩부(1q)는, 하기의 (단계 k)의 처리를 k=2에서부터 k=mH까지 반복하여, 상기 스케일 팩터를 산출한다.
(단계 k)
정수 k가 집합 Nc에 포함되지 않으면, 주파수 포락선 정보로부터, 스케일 팩터의 차분 dsfdec(k, s), 0≤s＜s를 취득하고, 하기 식:
[수식 52]
Figure pat00052
에 의해 스케일 팩터를 산출하고, 정수 k에 1을 가산하여 다음의 (단계 k)의 처리로 진행한다. 한편, 정수 k가 집합 Nc에 포함되는 경우에는, 그대로, 정수 k에 1을 가산하여 다음의 (단계 k)의 처리로 진행한다.
또한, 주파수 포락선 정보로부터, 스케일 팩터의 차분 sfdec(1, s), 0≤s＜sE를 수취하는 경우에는, sfdec(0, s), 0≤s＜sE를, 대역 분할 필터 뱅크부(1c)로부터 수취한, 주파수 영역 신호의 저주파수 대역 성분을 사용하여 산출하고, 상기 단계 k의 처리를 실시해도 된다. 예를 들면, 후술하는 수식 63, 64, 및 65에 있어서, X(j, i)를 Xdec(j, i)로 치환하여, k=0에 있어서 0≤kl≤kh＜kx를 만족시키는 소정의 kl, 및 kh를 사용하여 산출한 sf(0, s)를 sfdec(0, s)로 해도 된다.
여기서는, 상기한 예와 달리, 주파수 포락선 정보가, 스케일 팩터 sfdec(k, s) 자체에 대응하는 것으로 해도 된다. 또한, 주파수 포락선 정보는, 제s(s≥1) 번째의 프레임에서의 스케일 팩터 sfdec(k, s), 1≤k≤mH를, 제s-1 번째의 프레임에서의 스케일 팩터 sfdec(k, s-1)를 사용하여, 하기 식에 의해 산출할 때의, 시간 방향의 차분 dtsf(s, k), 1≤s＜sE, 1≤k≤mH이라도 된다.
[수식 53]
Figure pat00053
단, 이 경우, 초기값에 대응하는, sfdec(k, 0), 1≤k≤mH는 상기한 방법 등, 다른 수단을 사용하여 취득한다.
또한, 저주파수 대역 성분의 스케일 팩터, 및 고주파수 대역의 부 주파수대의 스케일 팩터 중 적어도 하나 이상으로부터, 상기 부 주파수대의 스케일 팩터를 내삽·외삽을 사용하여 구해도 된다. 이때, 주파수 포락선 정보는, 상기 내삽·외삽에 사용하는 부 대역의 스케일 팩터, 및 고주파수 대역 내의 내삽·외삽 파라미터이다. 그리고, 상기 저주파수 대역 성분의 스케일 팩터의 산출에는, 대역 분할 필터 뱅크부(1c)로부터 수취한, 주파수 영역 신호의 저주파수 대역 성분을 사용한다.
또한, 내삽·외삽 파라미터는 소정의 파라미터라도 된다. 또한, 상기 소정의 내삽·외삽 파라미터, 및 주파수 포락선 정보에 포함되는 내삽·외삽 파라미터로부터 실제로 내삽·외삽에 사용하는 파라미터를 산출하여, 상기 스케일 팩터의 내삽·외삽을 해도 된다. 또한, 주파수 포락선 정보를 수취하지 않는 경우, 및 주파수 포락선 정보가 내삽·외삽 파라미터를 포함하지 않는 경우 중 적어도 하나 이상인 경우에는, 소정의 내삽·외삽 파라미터만을 사용하여, 상기 스케일 팩터의 내삽·외삽을 해도 된다. 그리고, 본 실시예에서는, 상기, 내삽·외삽의 방법은 한정되지 않는다.
그리고, 상기한 주파수 포락선 정보의 형태는 일례이며, 고주파수 대역의 부 대역마다의 신호 전력 또는 신호 진폭의 주파수 방향의 변동을 나타내는 파라미터이면 된다. 본 실시예에서는, 주파수 포락선 정보의 형태는 한정되지 않는다.
다음에, 주파수 포락선 중첩부(1q)는, 상기 EF(k, s)를 다음의 수식을 이용하여 변환한다.
[수식 54]
Figure pat00054
이어서, 주파수 포락선 중첩부(1q)는, 상기와 같이 하여 변환된 시간 포락선 E0(m, i), 및 주파수 포락선 E1(m, i)를 사용하여, 하기 식에 의해, 양(量) E2(m, i)를 산출한다.
[수식 55]
Figure pat00055
또한, 상기 E2(m, i)는, 하기 식으로 주어지는 형태라도 된다.
[수식 56]
Figure pat00056
또한, 하기 식으로 주어지는 형태라도 된다.
[수식 57]
Figure pat00057
여기서, Q(m), 0≤m＜kmax-kx는, 하기 식의 조건을 만족시키는 정수가다.
[수식 58]
Figure pat00058
또, 하기 식과 같은 형태라도 된다.
[수식 59]
Figure pat00059
단, 본 발명에서는, 상기 E2(m, i)의 형태는, 상기 예에 한정되지 않는다.
다음에, 주파수 포락선 중첩부(1q)는, 상기 E2(m, i)를 사용하여 양 E(m, i)를 하기 식에 의해 산출한다.
[수식 60]
Figure pat00060
여기서, 계수 C(s)는, 하기 식으로 주어진다.
[수식 61]
Figure pat00061
또, 하기 식:
[수식 62]
Figure pat00062
으로 해도 된다.
시간/주파수 포락선 조정부(1p)는, 고주파수 대역 생성부(1h)로부터 주어진 고주파수 대역 신호 XH(j, i), kx≤j＜kmax의 시간/주파수 포락선을, 주파수 포락선 중첩부(1q)로부터 주어진 시간/주파수 포락선 E1(m, i)를 사용하여 조정한다.
그리고, 본 발명의 제1 실시예에 따른 음성 복호 장치(1)의 제1∼제6 변형예는, 상기 본 발명의 제2 실시예에 따른 음성 복호 장치(101)에 적용해도 된다.
도 25는 제2 실시예에 따른 음성 부호화 장치(102)의 구성을 나타낸 도면이고, 도 26은, 도 25의 음성 부호화 장치(102)에 의한 음성 부호화의 과정을 나타낸 흐름도이다. 도 25에 나타낸 음성 부호화 장치(102)의 제1 실시예에 따른 음성 부호화 장치(2)와의 상위점은, 주파수 포락선 정보 산출부(2n)가 더 추가되어 있는 점이다.
즉, 주파수 포락선 정보 산출부(2n)는, 대역 분할 필터 뱅크부(2c)로부터, 고주파수 대역의 신호 X(j, i){0≤j＜N, 0≤i＜t(sE)}를 받아, 주파수 포락선 정보를 산출한다. 상세하게는, 주파수 포락선 정보의 산출은 다음과 같이 행해진다.
먼저, 주파수 포락선 정보 산출부(2n)는, 부 주파수대 B(F) k(단, k=1, 2, 3, …, mH) 상의 전력의 주파수 포락선을 하기 식에 의해 산출한다.
[수식 63]
Figure pat00063
이어서, 주파수 포락선 정보 산출부(2n)는, 부 주파수대 B(F) k의 스케일 팩터 sf(k, s), 1≤k≤mH를 산출한다. 상기 sf(k, s)는, 예를 들면, 하기 식에 의해 산출한다.
[수식 64]
Figure pat00064
또한, 주파수 포락선 정보 산출부(2n)는, 상기 sf(k, s)를 "ISO/IEC 14496-3 4.B.18)"에 기재된 방법에 따라, 하기 식에 의해 산출해도 된다.
[수식 65]
Figure pat00065
또한, 음성 복호 장치(101) 측에 대응하여, 하기 식:
[수식 66]
Figure pat00066
에 의해 설정해도 된다.
그리고, 주파수 포락선 정보 산출부(2n)는, 주파수 포락선 정보를, 상기 스케일 팩터 sf(k, s)(1≤k≤mH)로 해도 된다. 또한, 주파수 포락선 정보는 하기 식과 같은 형태라도 된다. 즉, 상기 스케일 팩터 sf(k, s)의 차분을, 하기 식:
[수식 67]
Figure pat00067
에 의해 정의하고, 상기 dsf(k, s)와 sf(1, s)(0≤s＜sE)를 주파수 포락선 정보로 해도 된다.
또한, 제2 실시예에 따른 음성 복호 장치(101)의 주파수 포락선 중첩부(1q)와 마찬가지로, 저주파수 대역의 주파수 영역의 신호 X(j, i)(0≤j＜kx)를 사용하여 상기 스케일 팩터 sf(0, s)를 산출하고, 그 스케일 팩터 sf(0, s)로부터 산출한 dsf(1, s)를 주파수 포락선 정보에 포함해도 된다.
또한, 주파수 포락선 정보는, 고주파수 대역의 상기 스케일 팩터를 저주파수 대역 성분의 스케일 팩터로부터 외삽하여 근사시킬 때의, 저주파수 대역으로부터의 외삽의 파라미터라도 된다. 또한, 주파수 포락선 정보는, 고주파수 대역 중 몇 개의 부 주파수대의 스케일 팩터로부터, 이들 부 주파수대 이외의 부분을 내삽·외삽을 사용하여 구할 때의, 부 대역의 스케일 팩터, 및 고주파수 대역 내의 내삽·외삽 파라미터이다. 전자와 후자의 형태를 합친 것이 주파수 포락선 정보라도 된다.
그리고, 본 발명에 있어서, 상기 주파수 포락선 정보는 상기 예에 한정되지 않는다.
주파수 포락선 정보의 양자화·부호화 방법으로서는, 예를 들면, 주파수 포락선 정보를 스칼라 양자화한 후, 허프만 부호화(Huffman coding)나 산술 부호화(arithmetic coding)로 대표되는 엔트로피 부호화를 해도 된다. 또한, 주파수 포락선 정보를 소정의 부호 길이에 의해 벡터 양자화하고, 그 인덱스를 부호로 해도 된다.
구체적으로는, 예를 들면, 상기 스케일 팩터 sf(k, s)를 스칼라 양자화한 후, 허프만 부호화나 산술 부호화로 대표되는 엔트로피 부호화를 해도 된다. 또한, 상기 dsf(k, s)를 스칼라 양자화한 후, 엔트로피 부호화해도 된다. 또한, 상기 스케일 팩터 sf(k, s)를 소정의 부호 길이에 의해 벡터 양자화하고, 그 인덱스를 부호로 해도 된다. 또한, 상기 dsf(k, s)를 소정의 부호 길이에 의해 벡터 양자화하고, 그 인덱스를 부호로 해도 된다. 또한 스칼라 양자화한 스케일 팩터 sf(k, s)의 차분을 엔트로피 부호화해도 된다.
예를 들면, "ISO/IEC 14496-3 4.B.18"에 기재된 방법에 따라, 상기 식의 sf(k, s)를 사용하여, 하기 식:
[수식 68]
Figure pat00068
에 의해 EDelta(k, s)를 산출하고, EDelta(k, s)를 허프만 부호화해도 된다.
여기서, 어떤 정수 l이 집합 Nc에 포함될 때, sf(l, s)(0≤s＜sE)나 dsf(l, s)(0≤s＜sE)의 상기 양자화·부호화를 생략해도 된다.
그리고, 본 발명에서, 상기 주파수 포락선 정보의 양자화·부호화는 상기한 예에 한정되지 않는다.
그리고, 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 제1∼제4 변형예는, 상기 본 발명의 제2 실시예에 따른 음성 부호화 장치(102)에 적용해도 된다. 예를 들면, 도 27은 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 제1 변형예를, 본 발명의 제2 실시예에 따른 음성 부호화 장치(102)에 적용했을 때의 구성을 나타낸 도면이고, 도 28은, 도 27의 음성 부호화 장치(102)에 의한 음성 부호화의 과정을 나타낸 흐름도이다. 또한, 도 29는 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 제2 변형예를, 본 발명의 제2 실시예에 따른 음성 부호화 장치(102)에 적용했을 때의 구성을 나타낸 도면이고, 도 30은, 도 29의 음성 부호화 장치(102)에 의한 음성 부호화의 과정을 나타낸 흐름도이다.
[제3 실시예]
다음에, 본 발명의 제3 실시예에 대하여 설명한다.
도 31은 제3 실시예에 따른 음성 복호 장치(201)의 구성을 나타낸 도이고, 도 32는, 도 31의 음성 복호 장치(201)에 의한 음성 복호의 과정을 나타낸 흐름도이다. 도 31에 나타낸 음성 복호 장치(201)의 제1 실시예에 따른 음성 복호 장치(1)와의 상위점은, 시간 포락선 산출 제어부(1s)가 더 추가되어 있는 점과 부호화 계열 복호/역양자화부(1e) 및 시간 포락선 조정부(1i) 대신에 부호화 계열 복호/역양자화부(1r) 및 포락선 조정부(1t)가 구비되어 있는 점이다(1c∼1d, 1h, 1j, 및 1r∼1t은 대역 확장부(대역 확장 수단)라고 하는 경우도 있다).
부호화 계열 해석부(1d)는, 비다중화부(1a)로부터 주어진 고주파수 대역 부호화 계열을 해석하고, 부호화된 고주파수 대역 생성용 보조 정보, 및 시간 포락선 산출 제어 정보를 얻고, 또한 부호화된 시간 포락선 정보, 또는 부호화된 제2 주파수 포락선 정보를 얻는다.
부호화 계열 복호/역양자화부(1r)는, 부호화 계열 해석부(1d)로부터 주어진 부호화된 고주파수 대역 생성용 보조 정보를 복호하고, 고주파수 대역 생성용 보조 정보를 얻는다.
고주파수 대역 생성부(1h)는, 대역 분할 필터 뱅크부(1c)로부터 주어진, 저주파수 대역의 신호 Xdec(j, i), 0≤j＜kx를, 부호화 계열 복호/역양자화부(1r)로부터 주어진 고주파수 대역 생성용 보조 정보를 사용하여 고주파수 대역에 복사함으로써, 고주파수 대역의 신호 Xdec(j, i), kx≤j≤kmax를 생성한다.
시간 포락선 산출 제어부(1s)는, 부호화 계열 해석부(1d)로부터 주어진 시간 포락선 산출 제어 정보에 기초하여, 포락선 조정부(1t)는 고주파수 대역의 신호의 포락선을 제2 주파수 포락선 정보로 조정할 것인지의 여부를 조사한다. 포락선 조정부(1t)가 고주파수 대역의 신호의 포락선을 제2 주파수 포락선 정보로 조정하지 않는 경우에는, 부호화 계열 복호/역양자화부(1r)는, 부호화 계열 해석부(1d)로부터 주어진, 부호화된 시간 포락선 정보를 복호/역양자화하여 시간 포락선 정보를 얻는다. 한편, 포락선 조정부(1t)가 고주파수 대역의 신호의 포락선을 제2 주파수 포락선 정보로 조정하는 경우에는, 시간 포락선 산출 제어부(1s)는, 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에는 저주파수 대역 시간 포락선 산출 제어 신호를, 시간 포락선 산출부(1g)에는 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1f1∼1fn) 및 시간 포락선 산출부(1g)에 의해 포락선 산출의 처리를 하지 않도록 지시한다.
또한, 부호화 계열 복호/역양자화부(1r)는, 부호화 계열 해석부(1d)로부터 주어진, 부호화된 제2 주파수 포락선 정보를 복호/역양자화하여 제2 주파수 포락선 정보를 얻는다. 또한, 이 경우에는, 포락선 조정부(1t)는, 고주파수 대역 생성부(1h)로부터 주어진 고주파수 대역 신호 XH(j, i)(kx≤j＜kmax)의 주파수 포락선을, 부호화 계열 복호/역양자화부(1r)로부터 주어진 제2 주파수 포락선 정보를 사용하여 조정한다.
구체적으로는, 복호/역양자화된 상기 제2 주파수 포락선 정보를 사용하여, 음성 복호 장치(101)의 주파수 포락선 중첩부(1q)에서의 EF, dec(k, s)의 산출 방법에 따라, 상기 EF, dec(k, s)에 대응하는 양 E3(k, s), 1≤k≤mH, 0≤s＜sE를 산출하고, 또한 상기 E3(k, s)를 하기 식에 의해 변환한다.
[수식 69]
Figure pat00069
그 후의 처리는, 음성 복호 장치(101)의 시간/주파수 포락선 조정부(1p)에서의 처리 절차에 따라, 포락선이 조정된 고주파수대 신호 Y(i, j){kx≤j≤kmax, t(s)≤i＜t(s＋1), 0≤s＜sE}를 취득한다.
그리고, 본 발명 제1 실시예에 따른 음성 복호 장치(1)의 제1∼제7 변형예는, 상기 본 발명 제3 실시예에 따른 음성 복호 장치(201)에 적용해도 된다.
도 35는 제3 실시예에 따른 음성 부호화 장치(202)의 구성을 나타낸 도면이고, 도 36은, 도 35의 음성 부호화 장치(202)에 의한 음성 부호화의 과정을 나타낸 흐름도이다. 도 35에 나타낸 음성 부호화 장치(202)의, 제1 실시예에 따른 음성 부호화 장치(2)와의 상위점은, 시간 포락선 산출 제어 정보 생성부(2j) 및 제2 주파수 포락선 정보 산출부(2o)가 더 추가되어 있는 점이다.
제2 주파수 포락선 정보 산출부(2o)는, 대역 분할 필터 뱅크부(2c)로부터, 고주파수 대역의 신호 X(j, i){kx≤j＜N, t(s)≤i＜t(s＋1), 0≤s＜sE}를 받아, 제2 주파수 포락선 정보를 산출한다(단계 S207의 처리).
이 제2 주파수 포락선 정보는, 상기 제2 실시예에 따른 음성 부호화 장치(102)에서의 주파수 포락선 정보의 산출 방법과 동일한 방법으로 구해도 된다. 단, 본 실시예에서, 제2 주파수 포락선 정보의 산출 방법은 한정되지 않는다.
양자화/부호화부(2g)는, 시간 포락선 정보, 및 제2 주파수 포락선 정보를 양자화·부호화한다. 시간 포락선 정보는, 제1 및 제2 실시예의 음성 부호화 장치의 양자화/부호화부(2g)에서의 양자화·부호화와 마찬가지로 생성된다. 제2 주파수 포락선 정보는, 제2 실시예의 음성 부호화 장치의 양자화/부호화부(2g)에서의 주파수 포락선 정보의 양자화·부호화와 마찬가지로 생성된다. 단, 본 실시예에 있어서, 시간 포락선 정보, 및 제2 주파수 포락선 정보의 양자화·부호화 방법은 한정되지 않는다.
시간 포락선 산출 제어 정보 생성부(2j)는, 대역 분할 필터 뱅크부(2c)로부터 수취하는 주파수 영역의 신호 X(j, i), 시간 포락선 정보 산출부(2f)로부터 수취하는 시간 포락선 정보, 및 제2 주파수 포락선 정보 산출부(2o)로부터 수취하는 제2 주파수 포락선 정보 중 적어도 하나 이상을 사용하여 시간 포락선 산출 제어 정보를 생성한다(단계 S209의 처리). 생성되는 시간 포락선 산출 제어 정보는, 상기 제3 실시예에 따른 음성 복호 장치(201)에서의 시간 포락선 산출 제어 정보이면 된다.
시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 제1 실시예의 음성 부호화 장치(2)의 제1 변형예와 동일해도 된다.
시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 제1 실시예의 음성 부호화 장치(2)의 제1 변형예와 마찬가지로, 시간 포락선 정보와 제2 주파수 포락선 정보를 사용하여 의사 국소 복호 고주파수 대역 신호를 각각 생성하고, 원(原) 신호와 비교한다. 제2 주파수 포락선 정보를 사용하여 생성한 의사 국소 복호 고주파수 대역 신호 쪽이 원 신호에 가까운 경우, 시간 포락선 산출 제어 정보로서, 복호 장치에 의해 제2 주파수 포락선 정보에 의해 고주파수 대역 신호를 조정할 것을 지시하는 정보를 생성한다. 상기 각 의사 국소 복호 고주파수 대역 신호와 원신호의 비교는, 예를 들면, 차분 신호를 산출하여, 차분 신호가 작은지 여부에 의한 것이라도 된다. 또한, 상기 각 의사 국소 복호 고주파수 대역 신호, 및 원 신호의 시간 포락선을 산출한 후에, 상기 각 의사 국소 복호 고주파수 대역 신호와 원 신호의 시간 포락선의 차분을 산출하고, 그 차분이 작은지 여부에 의한 것이라도 된다. 또한, 상기 원 신호와의 차분 신호, 및/또는 포락선의 차분의 최대값이 작은지의 여부에 의한 것이라도 된다. 본 실시예에서, 비교 방법은 상기한 방법에 한정되지 않는다.
시간 포락선 산출 제어 정보 생성부(2j)는, 상기 시간 포락선 산출 제어 정보를 생성할 때, 양자화된 시간 포락선 정보, 및 양자화된 제2 주파수 포락선 정보 중 적어도 하나를 더 사용해도 된다.
부호화 구성부(2h)는, 부호화/역양자화부(2g)로부터 수취하는 부호화된 고주파수 대역 생성용 보조 정보와, 시간 포락선 산출 제어 정보가, 복호 장치에 의해 제2 주파수 포락선 정보에 의해 고주파수 대역 신호를 조정할 것을 지시하는 정보인 경우에는 부호화된 제2 주파수 포락선 정보로, 상기에 해당하지 않는 경우에는 부호화된 시간 포락선 정보로, 고주파수 대역 부호화 계열을 구성한다(단계 S211의 처리).
그리고, 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 제1∼제4 변형예는, 상기 본 발명 제3 실시예에 따른 음성 부호화 장치(202)에 적용해도 된다.
[제4 실시예]
다음에, 본 발명의 제4 실시예에 대하여 설명한다.
도 33은 제4 실시예에 따른 음성 복호 장치(301)의 구성을 나타낸 도면이고, 도 34는, 도 33의 음성 복호 장치(301)에 의한 음성 복호의 과정을 나타낸 흐름도이다. 도 33에 나타낸 음성 복호 장치(201)의, 제1 실시예에 따른 음성 복호 장치(1)와의 상위점은 시간 포락선 산출 제어부(1s) 및 주파수 포락선 중첩부(1u)가 더 추가되어 있는 점과 부호화 계열 복호/역양자화부(1e) 및 시간 포락선 조정부(1i) 대신에 부호화 계열 복호/역양자화부(1r) 및 시간/주파수 포락선 조정부(1ｖ)이 구비되어 있는 점이다(1c∼1d, 1h, 1j, 1r∼1s, 및 1u∼1ｖ는 대역 확장부(대역 확장 수단)라고 하는 경우도 있다).
부호화 계열 해석부(1d)는, 비다중화부(1a)로부터 주어진 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보, 및 시간 포락선 산출 제어 정보를 얻고, 또한 부호화된 시간 포락선 정보, 및 부호화된 주파수 포락선 정보, 또는 부호화된 제2 주파수 포락선 정보를 얻는다.
시간 포락선 산출 제어부(1s)는, 부호화 계열 해석부(1d)로부터 주어진 시간 포락선 산출 제어 정보에 기초하여, 포락선 조정부(1ｖ)는 고주파수 대역의 신호의 포락선을 제2 주파수 포락선 정보로 조정할 것인지의 여부를 조사하고, 시간/주파수 포락선 조정부(1ｖ)가 고주파수 대역의 신호의 포락선을 제2 주파수 포락선 정보로 조정하지 않는 경우에는, 부호화 계열 복호/역양자화부(1r)는, 부호화 계열 해석부(1d)로부터 주어진, 부호화된 시간 포락선 정보를 복호/역양자화하여 시간 포락선 정보를 얻는다.
한편, 시간/주파수 포락선 조정부(1ｖ)가 고주파수 대역의 신호의 포락선을 제2 주파수 포락선 정보로 조정하는 경우에는, 제3 실시예의 단계 S190의 처리와 동일하게 처리한다. 또한, 시간/주파수 포락선 조정부(1ｖ)의 처리도 제3 실시예의 단계 S191의 처리와 동일하다.
그리고, 본 발명 제1 실시예에 따른 음성 복호 장치(1)의 제1∼제7 변형예는, 상기 본 발명 제4 실시예에 따른 음성 복호 장치(301)에 적용해도 된다.
도 37은 제4 실시예에 따른 음성 부호화 장치(302)의 구성을 나타낸 도면이고, 도 38은, 도 37의 음성 부호화 장치(302)에 의한 음성 부호화의 과정을 나타낸 흐름도이다. 도 37에 나타낸 음성 부호화 장치(302)의, 제1 실시예에 따른 음성 부호화 장치(2)와의 상위점은, 시간 포락선 산출 제어 정보 생성부(2j), 주파수 포락선 정보 산출부(2p), 및 제2 주파수 포락선 정보 산출부(2o)가 더 추가되어 있는 점이다.
양자화/부호화부(2g)는 시간 포락선 정보, 주파수 포락선 정보, 및 제2 주파수 포락선 정보를 양자화·부호화한다. 이 시간 포락선 정보는, 제1 및 제2 실시예의 부호화 장치의 양자화/부호화부(2g)에서의 양자화·부호화와 마찬가지로 생성된다. 주파수 포락선 정보, 제2 주파수 포락선 정보는, 제2 실시예의 부호화 장치의 양자화/부호화부(2g)에서의 주파수 포락선 정보의 양자화·부호화와 마찬가지로 생성된다. 단, 본 발명에서, 시간 포락선 정보, 및 제2 주파수 포락선 정보의 양자화·부호화 방법은 한정되지 않는다.
시간 포락선 산출 제어 정보 생성부(2j)는, 대역 분할 필터 뱅크부(2c)로부터 수취하는 주파수 영역의 신호 X(j, i), 시간 포락선 정보 산출부(2f)로부터 수취하는 시간 포락선 정보, 주파수 포락선 정보 산출부(2p)로부터 수취하는 주파수 포락선 정보, 및 제2 주파수 포락선 정보 산출부로부터 수취하는 제2 주파수 포락선 정보(2o) 중 적어도 하나 이상을 사용하여 시간 포락선 산출 제어 정보를 생성한다(단계 S250의 처리). 생성되는 시간 포락선 산출 제어 정보는, 상기 제4 실시예에 따른 음성 복호 장치(301)에서의 시간 포락선 산출 제어 정보이면 된다.
시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 제1 실시예의 부호화 장치(2)의 제1 변형예와 동일해도 된다. 또한, 시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 제3 실시예에 따른 음성 부호화 장치(202)와 동일해도 된다.
시간 포락선 산출 제어 정보 생성부(2j)는, 예를 들면, 제1 실시예의 부호화 장치(2)의 제1 변형예와 마찬가지로, 시간 포락선 정보와 주파수 포락선 정보, 및 제2 주파수 포락선 정보를 사용하여 의사 국소 복호 고주파수 대역 신호를 각각 생성하고, 원 신호와 비교한다. 제2 주파수 포락선 정보를 사용하여 생성한 의사 국소 복호 고주파수 대역 신호 쪽이 원 신호에 가까운 경우, 시간 포락선 산출 제어 정보로서, 복호 장치에 의해, 제2 주파수 포락선 정보에 의해 고주파수 대역 신호를 조정하는 것을 지시하는 정보를 생성한다.
상기 각 의사 국소 복호 고주파수 대역 신호와 원 신호의 비교는, 제3 실시예에 따른 음성 부호화 장치(202)의 시간 포락선 산출 제어 정보 생성부(2j)와 동일해도 되며, 본 실시예에 있어서 비교 방법은 한정되지 않는다.
시간 포락선 산출 제어 정보 생성부(2j)는, 상기 시간 포락선 산출 제어 정보를 생성할 때, 양자화된 시간 포락선 정보, 양자화된 주파수 포락선 정보, 및 양자화된 제2 주파수 포락선 정보 중 적어도 하나를 더 사용해도 된다.
부호화 구성부(2h)는, 부호화/역양자화부(1g)로부터 수취하는 부호화된 고주파수 대역 생성용 보조 정보와, 시간 포락선 산출 제어 정보가, 복호 장치에 의해 제2 주파수 포락선 정보에 의해 고주파수 대역 신호를 조정하는 것을 지시하는 정보인 경우에는 부호화된 제2 주파수 포락선 정보로, 상기에 해당하지 않는 경우에는 부호화된 시간 포락선 정보, 및 부호화된 주파수 포락선 정보로, 고주파수 대역 부호화 계열을 구성한다(단계 S252의 처리).
그리고, 본 발명의 제1 실시예에 따른 음성 부호화 장치(2)의 제1∼제4 변형예는, 상기 본 발명의 제4 실시예에 따른 음성 부호화 장치(302)에 적용해도 된다.
[제1 실시예의 음성 복호 장치의 제8 변형예]
본 변형예에서는, 제1 실시예에 따른 음성 복호 장치(1)의 시간 포락선 산출부(1g)에서는, 산출한 시간 포락선에 소정의 함수에 기초한 처리를 행한다. 예를 들면, 시간 포락선 산출부(1g)는, 시간 포락선을 시간적으로 정규화하는 처리를 하고, 하기 식에 의해 시간 포락선 ET'(l, i)를 산출한다.
[수식 70]
Figure pat00070
본 변형예에서는, 시간 포락선 ET'(l, i)를 산출한 후에는, 그 이후의 처리에 있어서 양 ET(l, i)를 양 ET'(l, i)로 치환하여 처리할 수 있다.
이와 같은 변형예에 의하면, 고주파수 대역 생성부(1h)에 의해 생성되는 고주파수 대역 신호 XH(j, i)의 프레임 s에서의 주파수 대역 FH(l)≤j＜FH(l＋1)의 에너지의 총량을 변경하지 않고, 프레임 s의 주파수 대역 FH(l)≤j＜FH(l＋1) 내의 고주파수 대역 신호 XH(j, i)(FH(l)≤j＜FH(l＋1))의 시간적 형상만을 조정할 수 있다.
그리고, 상기 제1 실시예에 따른 음성 복호 장치(1)의 제8 변형예는, 제1 실시예에 따른 음성 복호 장치(1)의 제1∼제7 변형예, 및 제2∼제4 실시예에 따른 각 음성 복호 장치에도 적용 가능하며, 그때는 ET(l, i)를 ET'(l, i)로 치환하면 된다.
[제1 실시예의 음성 복호 장치의 제9 변형예]
본 변형예에서는, 제1 실시예에 따른 음성 복호 장치(1)의 제1∼제n 저주파수 대역 시간 포락선 산출부(1f1∼1fn)에 있어서, 양 L0(k, i)를 시간 방향으로 평활화하여 시간 포락선 L1(k, i)를 취득할 때는, 프레임 s-1에서 프레임 s로 이행할 때 L0(k, i)(t(s)-d≤i＜t(s))를 유지하여 둔다. 본 변형예에 의하면, 프레임 s-1과의 경계에 가까운 프레임 s의 양 L0(k, i)(더욱 구체적으로는, L0(k, i)(t(s)≤i＜t(s＋d))에 대하여도 평활화를 할 수 있다.
그리고, 상기 제1 실시예에 따른 음성 복호 장치(1)의 제9 변형예는 제1 실시예에 따른 음성 복호 장치(1)의 제1∼제8 변형예, 및 제2∼제4 실시예에 따른 각 음성 복호 장치에도 적용할 수 있다.
[제1 실시예의 음성 부호화 장치의 제5 변형예]
본 변형예에서는, 제1 실시예의 음성 부호화 장치(2)에 따른 시간 포락선 정보 산출부(2f)에서의 시간 포락선 정보의 산출은, 참조 시간 포락선 H(l, i)와 상기 g(l, i)의 상관에 기초하여 실시된다. 예를 들면, 시간 포락선 정보 산출부(2f)는, 다음과 같이 시간 포락선 정보를 산출한다.
즉, 하기 식에 의해, H(l, i)와 g(l, i)의 상관계수 corr(l)를 산출한다.
[수식 71]
Figure pat00071
상기 상관계수 corr(l)를 소정의 임계값과 비교하고, 그 비교 결과에 기초하여 시간 포락선 정보를 산출한다. 또한, corr2(l)에 상당하는 값을 구하여 소정의 임계값과 비교하고, 그 비교 결과에 기초하여 시간 포락선 정보를 산출함으로써도 실현할 수 있다.
예를 들면, 다음과 같이 시간 포락선 정보를 산출한다. 전술한 상관계수와 비교하는 소정의 임계값을 corrth(l)으로 하고, gdec(l, i)를 수식 21과 같이 주어지는 것으로 하여, 하기 식에 의해 시간 포락선 정보를 산출한다.
[수식 72]
Figure pat00072
상기한 예에서 산출된 시간 포락선 정보가, 제1 실시예의 복호 장치(1)의 제2 변형예에 입력되었을 때는, 부주파수 대역 B(T) l에 있어서, Al, k(s)=0, Al, 0(s)=const(0)인 경우(즉, 부호화 장치에 의해 상관계수가 소정의 임계값보다 작았던 경우)에는, 시간 포락선 산출 제어부(1m)에 의해, 제k 번째(k>0)의 저주파수 대역 시간 포락선 산출부(1fk)에 저주파수 대역 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1fk)에서의 저주파수 대역 시간 포락선 산출 처리를 실시하지 않도록 제어하게 된다. 한편, Al, k(s)=const(k), Al, 0(s)=0인 경우(즉, 부호화 장치에 의해 상관계수가 소정의 임계값보다 컸던 경우)에는, 시간 포락선 산출 제어부(1m)에 의해, 제k 번째(k>0)의 저주파수 대역 시간 포락선 산출부(1fk)에 저주파수 대역 시간 포락선 산출 제어 신호를 출력하여, 저주파수 대역 시간 포락선 산출부(1fk)에서의 저주파수 대역 시간 포락선 산출 처리를 실시하도록 제어하게 된다.
그리고, 본 변형예에서는, 참조 시간 포락선 H(l, i)와 상기 g(l, i)의 상관에 기초하여 시간 포락선 정보를 산출하면 되고, 상기한 방법에 한정되지 않는다.
상기 제1 실시예에 따른 음성 부호화 장치(2)에 기재한, 참조 시간 포락선 H(l, i)와 g(l, i)의 오차(또는 가중치 부여 오차)에 기초하여 시간 포락선 정보를 산출하는 경우에는, 참조 시간 포락선 H(l, i)와 g(l, i)가 어느 정도 일치하는지에 기초하여 시간 포락선 정보를 산출한다. 한편, 본 변형예에서는, 참조 시간 포락선 H(l, i)와 g(l, i)의 형상이 어느 정도 유사한지에 기초하여 시간 포락선 정보를 산출한다.
그리고, 상기 제1 실시예에 따른 음성 부호화 장치(2)의 제5 변형예는, 제1 실시예의 음성 부호화 장치(2)의 제1∼제5 변형예, 및 제2∼제4 실시예에 따른 음성 부호화 장치에도 적용할 수 있다.
[제2 실시예의 음성 복호 장치의 제1 변형예]
본 변형예에서는, 제2 실시예의 음성 복호 장치(101)에 따른 주파수 포락선 중첩부(1q)에 있어서, 주파수 포락선 EF, dec(k, s)에 소정의 함수에 기초한 처리를 행한다. 예를 들면, 주파수 포락선 중첩부(1q)는, 하기 식에 의해 주어지는 주파수 포락선 EF, dec(k, s)를 평활화하는 함수에 기초한 처리를 행한다.
[수식 73]
Figure pat00073
단,
[수식 74]
Figure pat00074
이며, sch(j), dh는, 각각 소정의 평활화 계수, 평활화 차수이다. 이때는, 이후의 처리에 있어서, EF, dec, Filt(k, i)를 EF, dec(k, s)로 치환하여 처리를 진행시키면 된다.
또한, 상기 수식 73에 상기 주파수 포락선 EF, dec(k, s)에 대응하는 프레임의 신호 특성에 따라 주파수 포락선 EF, dec(k, s)를 평활화할 것인지의 여부를 결정하는 함수를 포함할 수 있다. 또한, 평활화할 것인지의 여부를 나타내는 정보가 부호화 계열에 포함되어 있고, 그 정보에 기초하여 주파수 포락선 EF, dec(k, s)를 평활화할 것인지의 여부를 결정하는 함수를 포함할 수 있다.
그리고, 상기 제2 실시예의 음성 복호 장치(101)의 제1 변형예는, 제4 실시예에 따른 음성 복호 장치에도 적용할 수 있다.
[제2 실시예의 음성 복호 장치의 제2 변형예]
제2 실시예의 음성 복호 장치(101)에 따른 주파수 포락선 중첩부(1q)에 있어서는, 양 E(m, i)는 C(s)에 의해 E2(m, i)를 보정한 값이 되어 있다(수식 60). 또한, 수식 61에 의하면, 프레임 s의 대역 kx≤m≤kmax에서의 시간/주파수 포락선 조정 후의 고주파수 대역 신호의 에너지가, 프레임 s의 대역 kx≤m≤kmax에서의 시간 포락선 E0(m, i)의 총합이 되도록 보정되어 있다. 한편, 수식 62에 의하면, 프레임 s의 대역 kx≤m≤kmax에서의 시간/주파수 포락선 조정 후의 고주파수 대역 신호의 에너지는, 프레임 s의 대역 kx≤m≤kmax에서의 주파수 포락선 E1(m, i)의 총합이 되도록 보정되어 있다. 본 변형예에서는, C(s)는, 프레임 s의 대역 kx≤m≤kmax에서의 시간/주파수 포락선 조정 후의 고주파수 대역 신호의 에너지가 시간/주파수 포락선 조정 후에도 유지되도록, 하기 식에 의해 주어진다.
[수식 75]
Figure pat00075
또한, 프레임 s의 대역 kx≤m≤kmax에서의 시간/주파수 포락선 조정 후의 고주파수 대역 신호의 에너지가, 프레임 s의 대역 kx≤m≤kmax에서의 시간 포락선 E2(m, i)의 총합이 되도록, C(s)를 하기 식에 의해 부여할 수도 있다.
[수식 76]
Figure pat00076
그리고, 상기 제2 실시예의 음성 복호 장치(101)의 제2 변형예는, 제2 실시예의 음성 복호 장치(101)의 제1 변형예, 및 제4 실시예에 따른 음성 복호 장치에도 적용할 수 있다.
[제2 실시예에 따른 음성 복호 장치의 제3 변형예]
도 39는 본 발명의 제2 실시예에 따른 음성 복호 장치(101)의 제3 변형예의 구성을 나타낸 도면이고, 도 40은, 도 39의 음성 복호 장치(101)에 의한 음성 복호의 과정을 나타낸 흐름도이다. 본 변형예와 제2 실시예의 음성 복호 장치(101)와의 상위점은, 주파수 포락선 중첩부(1q) 대신에 주파수 포락선 산출부(1w)를 구비하는 점이다.
본 변형예의 주파수 포락선 산출부(1w)는, 제2 실시예의 주파수 포락선 중첩부(1q)와 마찬가지로, 주파수 포락선 E1(m, s)를 산출한다(단계 S119a).
그리고, 시간/주파수 포락선 조정부(1p)는, 시간 포락선 ET(l, i), 및 주파수 포락선 E1(m, s)를 사용하여, 시간/주파수 포락선의 조정을, 예를 들면, 다음과 같이 행한다(단계 S120).
즉, 시간/주파수 포락선 조정부(1p)는, 주파수 포락선 중첩부(1q)와 마찬가지로, 시간 포락선 ET(l, i)를 E0(m, i)로 변환한다.
또한, "MPEG4 AAC"의 SBR에서의 HF 조정(HF adjustment)와 마찬가지로, 부호화 계열 복호/역양자화부(1e)에 의해 주어지는 프레임 s에서의 노이즈 플로어·스케일 팩터 Q(m, s)는 하기 식으로 변환한다.
[수식 77]
Figure pat00077
또한, 부호화 계열 복호/역양자화부(1e)에 의해 주어지는 사인 곡선(sinusoid)을 부가할 것인지의 여부를 결정하는 파라미터로부터 구해진 양 S(m, s)를 사용하여, 프레임 s에서의 사인 곡선의 레벨이 하기 식에 의해 주어진다.
[수식 78]
Figure pat00078
또한, 게인은, 주파수 포락선 E1(m, s), 부호화 계열 복호/역양자화부(1e)에 의해 주어지는 프레임 s에서의 노이즈 플로어·스케일 팩터 Q(m, s), 부호화 계열 복호/역양자화부(1e)에 의해 주어지는 프레임 s의 파라미터에 의존하는 함수인δ(s)를 사용하여, 하기 식으로 주어진다.
[수식 79]
Figure pat00079
여기서, 양 Ecurr(m, s)는하기 식에 의해 정의된다.
[수식 80]
Figure pat00080
또, 하기 식에 의해서도 정의될 수 있다.
[수식 81]
Figure pat00081
또한, S'(m, s)는, 프레임 s에 있어서, 인덱스 m이 나타내는 주파수를 포함하는 부 주파수대 B(F) k(GH(k)≤m＜GH(k＋1)) 내에 부가되는 사인 곡선이 있는지의 여부를 나타낸 함수이며, 부가되는 사인 곡선이 있는 경우에는 "1", 그 이외의 경우에는"0"이 된다.
또한, 상기 양 Ecurr(m, s)를 사용하여, 하기 양 X'H(m＋kx, i)를 산출할 수 있다.
[수식 82]
Figure pat00082
또는, 상기 양 X'H(m＋kx, i)는 이하의 식으로부터도 산출할 수 있다.
[수식 83]
Figure pat00083
또는, 상기 양 X'H(m＋kx, i)는 이하의 식으로부터도 산출할 수 있다.
[수식 84]
Figure pat00084
이와 같이 처리하면, 고주파수 대역 신호 XH(m＋kx, i)를, 주파수 인덱스 m, 또는 부 주파수 대역 B(F) k에 있어서 시간 방향으로 평탄화할 수 있다. 따라서, 이후의 처리를 실시함으로써, 고주파수 대역 신호 XH(m＋kx, i)의 시간 포락선에는 의존하지 않고, 시간 포락선 산출부(1g)에 의해 산출된 시간 포락선에 기초한 고주파수 대역의 신호를 출력할 수 있다.
여기서, 상기 게인, 노이즈 플로어·스케일 팩터, 사인 곡선 레벨에 대해, 소정의 함수에 기초한 처리를 실시하여, 게인 G2(m, s), 노이즈 플로어·스케일 팩터 Q3(m, s), 사인 곡선 S3(m, s)를 산출할 수 있다. 예를 들면, "MPEG4 AAC"의 SBR에서의 HF 조정(HF adjustment)과 마찬가지로, 상기 게인, 노이즈 플로어·스케일 팩터, 사인 곡선 레벨에 대해, 불필요한 노이즈의 부가를 피하기 위한 게인 제한(게인 리미터, gain limiter), 게인 제한에 의한 에너지의 손실의 보상(게인 부스터, Gain booster)의 함수에 기초한 처리를 행하여, 게인 G2(m, s), 노이즈 플로어·스케일 팩터 Q3(m, s), 사인 곡선 레벨 S3(m, s)를 산출한다(구체예에 대해서는, ISO/IEC 1449-3 4.6.18.7.5 참조). 상기 소정의 처리를 실시한 경우에는, 이후의 처리에 있어서, G(m, s), Q2(m, s), S2(m, s) 대신에, G2(m, s), Q3(m, s), S3(m, s)를 사용한다.
상기에 의해 얻어진 게인 G(m, s), 노이즈 플로어·스케일 팩터 Q2(m, s), 및 시간 포락선 E0(m, i)를 사용하여 하기 식에 의해 주어지는 양 G3(m, i), Q4(m, i)를 산출한다. 하기 식에 의해, 게인, 및 노이즈 플로어·스케일 팩터를 시간 포락선에 기초하여 산출하고, 이후의 처리를 거쳐, 최종적으로 시간/주파수 포락선 조정부(1p)로부터 시간/주파수 포락선을 조정 완료한 신호를 출력할 수 있다.
[수식 85]
Figure pat00085
[수식 86]
Figure pat00086
그리고, 상기 식에서는, 게인, 및 노이즈 플로어·스케일 팩터를 시간 포락선에 기초하여 산출하였으나, 게인, 및 노이즈 플로어·스케일 팩터와 마찬가지로, 사인 곡선 레벨도 시간 포락선에 기초하여 산출할 수 있다.
또한, 상기 G3(m, i), Q4(m, i)에 소정의 함수에 기초한 처리를 행하여도 된다. 예를 들면, 평활화하는 함수에 기초한 처리이다. 하기 식에 의해 주어지는 GFilt(m, i), QFilt(m, i)를 산출한다.
[수식 87]
Figure pat00087
[수식 88]
Figure pat00088
단, sch(j), dh는, 각각 소정의 평활화 계수, 평활화 차수이다. 또한, GTemp(m, i), QTemp(m, i)는 하기 식으로 주어진다.
[수식 89]
Figure pat00089
[수식 90]
Figure pat00090
또한,하기의 함수에 기초한 처리에 의해서도 마찬가지로 평활화의 효과를 얻을 수 있다.
[수식 91]
Figure pat00091
[수식 92]
Figure pat00092
단, wold(m, i), wcurr(m, i)는, 각각 소정의 가중치 계수이다. 또한, GTemp(m, i), QTemp(m, i)는 하기 식으로 주어진다.
[수식 93]
Figure pat00093
[수식 94]
Figure pat00094
또한, Gold(m)는 하나 전의 프레임(구체적으로는 프레임 s-1)에서의 프레임 s와의 경계의 시간 인덱스(구체적으로는 t(s)-1)의 게인이며, 하기 식 중 어느 하나로 주어진다.
[수식 95]
Figure pat00095
[수식 96]
Figure pat00096
상기 소정의 함수에 기초한 처리를 행한 경우에는, 이후의 처리에 있어서, G3(m, s), Q4(m, s) 대신에, GFilt(m, s), QFilt(m, s)를 사용한다.
또한, 상기 평활화를 하는 함수는, 부호화 계열 복호/역양자화부(1e)에 의해 부여되는 프레임 s의 파라미터에 기초하여 상기 평활화를 할 것인지의 여부를 결정하는 함수를 포함할 수 있다. 또한, 평활화할 것인지의 여부를 나타내는 정보가 부호화 계열에 포함되어 있고, 그 정보에 기초하여 상기 평활화를 할 것인지의 여부를 함수를 포함할 수도 있다. 또한, 상기한 것 중 적어도 한쪽에 기초하여, 상기 평활화를 할 것인지의 여부를 결정하는 함수를 포함할 수 있다.
마지막으로, 시간/주파수 포락선 조정부(1p)는, 하기 식에 의해, 시간/주파수 포락선 조정이 완료된 신호를 얻는다.
[수식 97]
Figure pat00097
[수식 98]
Figure pat00098
여기서, V0, V1은 노이즈 성분을 규정하는 배열이고, f는 인덱스 i를 상기 배열상의 인덱스에 사상하는 함수이고, φRe, sin, φIm, sin는 사인 곡선 성분의 위상을 규정하는 배열이고, fsin는, 인덱스 i를 상기 배열상의 인덱스에 사상하는 함수이다(구체예에 대해서는, "ISO/IEC 14496-3 4.6.18" 참조).
또는, 상기 수식 97에서는, XH(m＋kx, i) 대신에 X'H(m＋kx, i)를 사용할 수도 있다.
그리고, 전술한"MPEG4 AAC"의 SBR에서의 HF 조정의 게인 부스터를 본 발명의 제2 실시예의 음성 복호 장치(101)에 따른 주파수 포락선 중첩부(1q)에서 적용하면, 부주파수 대역 B(F) k(GH(k)≤j＜GH(k＋1))마다 프레임 s 단위로, 게인 제한에 의한 에너지 손실의 보상을 하게 된다. 한편, 하기 식에 의하면, 부주파수 대역 B(F) k(GH(k)≤j＜GH(k＋1))마다 고주파수 대역 신호 XH(j, i)에 대해서는 시간 인덱스 i 단위로, 게인 제한에 의한 에너지 손실의 보상을 하게 된다.
[수식 99]
Figure pat00099
상기 식에 의해, 게인 G(m, s), 노이즈·스케일 팩터 Q2(m, s)에 대하여, 전술한 "MPEG4 AAC"의 SBR에서의 HF 조정의 게인 리미터를 적용할 수 있다.
상기 게인 G2(m, i), 및 노이즈·스케일 팩터 Q3(m, i)를 사용하여, 수식 89, 90 대신에, 하기 식에 의해 GTemp(m, i), QTemp(m, i)는 주어진다.
[수식 100]
Figure pat00100
[수식 101]
Figure pat00101
또한, 수식 99을 하기 식으로 치환하면, 부주파수 대역 B(T) k(FH(k)≤j＜FH(k＋1))마다 고주파수 대역 신호 XH(j, i)에 대해서는 시간 인덱스 i 단위로, 게인 제한에 의한 에너지 손실의 보상을 하게 된다.
[수식 102]
Figure pat00102
또한, 수식 99을 하기 식으로 치환하면, 주파수 인덱스 m마다 고주파수 대역 신호 XH(j, i)에 대해서는 시간 인덱스 i 단위로, 게인 제한에 의한 에너지 손실의 보상을 하게 된다.
[수식 103]
Figure pat00103
또는, 상기한 양 GBoostTemp(m.i)를 산출할 때, XH(m＋kx, i) 대신에 X'H(m＋kx, i)를 사용할 수도 있다.
제2 실시예의 음성 복호 장치(101)에 따른 시간/주파수 포락선 조정부(1p)에 있어서는, 시간/주파수 포락선의 조정은, 제1 실시예의 음성 복호 장치(1)에 따른 시간 포락선 조정부(1i)와 마찬가지로, 주파수 포락선 중첩부(1q)로부터 수취한 양 E(m, i)를 사용하여, "MPEG4 AAC"의 SBR에서의 HF 조정(HF Adjustment)과 유사한 수단에 의해 행해진다. 그러므로, MPEG4 AAC"의 SBR에서의 HF 조정(HF adjustment)과 마찬가지로, 게인, 노이즈 플로어·스케일 팩터, 사인 곡선 레벨에 대해, 불필요한 노이즈의 부가를 피하기 위한 게인 제한(게인 리미터, Gain limiter), 게인 제한에 의한 에너지 손실의 보상(게인 부스터, Gain booster)의 함수에 기초한 처리를 하는 경우, 그 처리를 시간 인덱스 i(t(s)≤i＜t(s＋1))에 대하여 실시한다. 한편, 본 변형예에 의하면, 게인, 노이즈 플로어·스케일 팩터, 사인 곡선 레벨에 대해, 불필요한 노이즈의 부가를 피하기 위한 게인 제한(게인 리미터, Gain limiter), 게인 제한에 의한 에너지 손실의 보상(게인 부스터, Gain booster)의 함수에 기초한 처리를 하는 경우에, 그 처리 중 적어도 하나의 처리는 프레임 s에 대하여 실시하면 된다. 따라서, 본 변형예에서는 제2 실시예의 음성 복호 장치(101)에 비해, 상기한 처리의 연산량을 감소시킬 수 있다.
그리고, 상기 제2 실시예의 음성 복호 장치(101)의 제3 변형예는, 제2 실시예의 음성 복호 장치(101)의 제1∼제2 변형예, 및 제4 실시예에 따른 음성 복호 장치에도 적용할 수 있다.
[제2 실시예의 음성 복호 장치(101)의 제3 변형예의 다른 형태]
상기 변형예에 있어서, 제1 실시예의 음성 복호 장치(1)의 제1, 제2, 제3 변형예, 및 상기 변형예의 처리를 적어도 하나 이상 실행하는 제1 실시예의 음성 복호 장치(1)의 제5 변형예를 적용한 경우에는, 시간 포락선 산출부(1g)가 시간 포락선 ET(l, i)를 산출하지 않는 경우가 생긴다. 이와 같은 경우에는, E0(m, i)가 필요한 연산 처리에서는, E0(m, i)를 1로 치환하여 실행한다. 이 방법에 의해, E0(m, i), E0(m, i)의 거듭제곱, E0(m, i)의 제곱근을 곱하는 처리를 생략할 수 있어, 연산량을 감소시킬 수 있다. 그리고, 상기한 방법을 이용한 처리에서는, 시간/주파수 포락선 조정부(1p)는 E0(m, i)를 산출할 필요가 없다.
[제1 실시예에 따른 음성 부호화 장치(2)의 제6 변형예]
시간 포락선 정보 산출부(2f)는, 대역 분할 필터 뱅크부(2c)로부터 얻어지는 주파수 영역의 신호 X(j, i), 음성 부호화 장치(2)의 통신 장치를 통하여 수신된 외부로부터의 입력 신호, 및 다운 샘플링부(2a)로부터의 출력으로서 얻어지는 다운 샘플링된 저주파수 대역의 시간 영역 신호 중 적어도 하나 이상의 신호의 특성에 따라, 시간 포락선 정보를 산출한다. 상기 신호의 특성으로서는, 예를 들면, 신호의 과도성(過渡性), 조성, 잡음성 등이 있지만, 본 변형예에 있어서, 신호 특성은 이들 구체예에 한정되지 않는다.
그리고, 본 변형예는, 제1 실시예의 음성 부호화 장치(2)의 제1∼제5 변형예, 및 제2∼제4 실시예에 따른 음성 부호화 장치에도 적용할 수 있다.
[제1 실시예에 따른 음성 부호화 장치(2)의 제7 변형예]
시간 포락선 산출 제어 정보 생성부(2j)는, 대역 분할 필터 뱅크부(2c)로부터 얻어지는 주파수 영역의 신호 X(j, i), 음성 부호화 장치(2)의 통신 장치를 통하여 수신된 외부로부터의 입력 신호, 및 다운 샘플링부(2a)로부터의 출력으로서 얻어지는 다운 샘플링된 저주파수 대역의 시간 영역 신호 중 적어도 하나 이상의 신호의 신호 특성에 따라, 음성 복호 장치(1)에서의 저주파수 대역 시간 포락선 산출 방법에 관한 시간 포락선 산출 제어 정보를 생성한다. 상기 신호의 특성으로서는, 예를 들면, 신호의 과도성, 조성, 잡음성 등이 있지만, 본 변형예에 있어서, 신호 특성은 이들 구체예에 한정되지 않는다.
그리고, 본 변형예는, 제1 실시예의 음성 부호화 장치(2)의 제1∼제6 변형예, 및 제2∼제4 실시예에 따른 음성 부호화 장치에도 적용할 수 있다.
[제1∼제4 실시예의 음성 부호화 장치의 양자화/부호화부]
제1∼제4 실시예의 음성 부호화 장치의 양자화/부호화부(2g)에 대해서는, 노이즈 플로어·스케일 팩터나, 사인 곡선을 부가할 것인지의 여부를 결정하는 파라미터 도 양자화·부호화해도 되는 것은 명백하다.
[산업상의 이용 가능성]
본 발명은 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램을 사용 용도로 하고, 복호 신호에서의 시간 포락선을 왜곡이 적은 형상으로 조정함으로써, 프리 에코 및 포스트 에코가 충분히 개선된 재생 신호를 얻을 수 있는 것이다.
1f1∼1fn: 저주파수 대역 시간 포락선 산출부, 2e1∼2en: 저주파수 대역 시간 포락선 산출부, 1, 102, 201, 301: 음성 복호 장치, 1a: 비다중화부, 1b: 저주파수 대역 복호부, 1c: 대역 분할 필터 뱅크부, 1d: 부호화 계열 해석부, 1e: 역양자화부, 1g: 시간 포락선 산출부, 1h: 고주파수 대역 생성부, 1i: 시간 포락선 조정부, 1j: 대역 합성 필터 뱅크부, 1k, 1m, 1n, 1o: 시간 포락선 산출 제어부, 1p, 1ｖ: 시간/주파수 포락선 조정부, 1q: 주파수 포락선 중첩부, 1r: 부호화 계열 복호/역양자화부, 1s: 시간 포락선 산출 제어부, 1t: 포락선 조정부, 1u: 주파수 포락선 중첩부, 1w: 주파수 포락선 산출부, 2, 102, 202, 302: 음성 부호화 장치, 2a: 다운 샘플링부, 2b: 저주파수 대역 부호화부, 2c: 대역 분할 필터 뱅크부, 2d: 고주파수 대역 생성용 보조 정보 산출부, 2e1∼2ek: 저주파수 대역 시간 포락선 산출부, 2f: 시간 포락선 정보 산출부, 2g: 양자화/부호화부, 2h: 고주파수 대역 부호화 계열 구성부, 2i: 다중화부, 2j: 시간 포락선 산출 제어 정보 생성부, 2k: 저주파수 대역 복호부, 2m: 대역 합성 필터 뱅크부, 2n, 2o, 2p: 주파수 포락선 정보 산출부.

Claims (1)

  1. 음성 신호를 부호화한 부호화 계열을 복호하는 음성 복호화 장치로서,
    상기 부호화 계열을, 저주파수 대역 부호화 계열과 고주파수 대역 부호화 계열에 비다중화하는 비다중화 수단;
    상기 비다중화 수단에 의해 비다중화된 상기 저주파수 대역 부호화 계열을 복호하여 저주파수 대역 신호를 얻는 저주파수 대역 복호 수단;
    상기 저주파수 대역 복호 수단에 의해 얻어진 상기 저주파수 대역 신호를, 주파수 영역으로 변환하는 주파수 변환 수단;
    상기 비다중화 수단에 의해 비다중화된 상기 고주파수 대역 부호화 계열을 해석하여, 부호화된 고주파수 대역 생성용 보조 정보 및 시간 포락선 정보를 취득하는 고주파수 대역 부호화 계열 해석 수단;
    상기 고주파수 대역 부호화 계열 해석 수단에 의해 취득된 상기 고주파수 대역 생성용 보조 정보 및 상기 시간 포락선 정보를 복호하는 부호화 계열 복호 수단;
    상기 저주파수 대역 복호 수단에 의해 얻어진 상기 저주파수 대역 신호로부터, 상기 부호화 계열 복호 수단에 의해 복호된 상기 고주파수 대역 생성용 보조 정보를 사용하여 상기 음성 신호의 고주파수 대역 성분을 생성하는 고주파수 대역 생성 수단;
    상기 주파수 변환 수단에 의해 주파수 영역으로 변환된 상기 저주파수 대역 신호를 분석하여 복수의 저주파수 대역의 시간 포락선을 취득하는 제1 내지 제N(N은 2 이상의 정수) 저주파수 대역 시간 포락선 산출 수단;
    상기 부호화 계열 복호 수단에 의해 취득된 상기 시간 포락선 정보 및 상기 저주파수 대역 시간 포락선 산출 수단에 의해 취득된 상기 복수의 저주파수 대역의 시간 포락선을 사용하여 고주파수 대역의 시간 포락선을 산출하는 시간 포락선 산출 수단;
    상기 시간 포락선 산출 수단에 의해 취득된 상기 시간 포락선을 사용하여, 상기 고주파수 대역 생성 수단에 의해 생성된 고주파수 대역 성분의 시간 포락선을 조정하는 시간 포락선 조정 수단; 및
    상기 시간 포락선 조정 수단에 의해 조정된 상기 고주파수 대역 성분과, 상기 저주파수 대역 복호 수단에 의해 복호된 상기 저주파수 대역 신호를 가산하여, 모든 주파수 대역 성분을 포함하는 시간 영역 신호를 출력하는 신호 출력 수단
    을 포함하고,
    상기 시간 포락선 산출 수단은, 미리 복수 준비된 상기 복수의 저주파수 대역의 시간 포락선을 사용한 소정의 처리를 상기 시간 포락선 정보에 기초하여 전환하여 실시함으로써, 상기 고주파수 대역의 시간 포락선을 산출하는,
    음성 복호화 장치.
KR1020227024860A 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램 KR102565287B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011033917 2011-02-18
JPJP-P-2011-033917 2011-02-18
JPJP-P-2011-215591 2011-09-29
JP2011215591 2011-09-29
PCT/JP2012/053700 WO2012111767A1 (ja) 2011-02-18 2012-02-16 音声復号装置、音声符号化装置、音声復号方法、音声符号化方法、音声復号プログラム、及び音声符号化プログラム
KR1020227008061A KR102424902B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227008061A Division KR102424902B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램

Publications (2)

Publication Number Publication Date
KR20220106233A true KR20220106233A (ko) 2022-07-28
KR102565287B1 KR102565287B1 (ko) 2023-08-08

Family

ID=46672679

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020137021900A KR20140005256A (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020177016245A KR20170070286A (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020197038948A KR102208914B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020227024860A KR102565287B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020187022218A KR102068112B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020207035595A KR102375912B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020227008061A KR102424902B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020137021900A KR20140005256A (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020177016245A KR20170070286A (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020197038948A KR102208914B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020187022218A KR102068112B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020207035595A KR102375912B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램
KR1020227008061A KR102424902B1 (ko) 2011-02-18 2012-02-16 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램

Country Status (19)

Country Link
US (1) US8756068B2 (ko)
EP (5) EP3998607B1 (ko)
JP (7) JP5977176B2 (ko)
KR (7) KR20140005256A (ko)
CN (2) CN103370742B (ko)
AU (1) AU2012218409B2 (ko)
BR (2) BR122019027753B1 (ko)
CA (4) CA3147525A1 (ko)
DK (5) DK3567589T3 (ko)
ES (4) ES2745141T3 (ko)
FI (2) FI4020466T3 (ko)
HU (3) HUE058847T2 (ko)
MX (2) MX2013009464A (ko)
PL (4) PL3407352T3 (ko)
PT (4) PT3407352T (ko)
RU (8) RU2630379C1 (ko)
SG (1) SG192796A1 (ko)
TW (3) TWI576830B (ko)
WO (1) WO2012111767A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3147525A1 (en) * 2011-02-18 2012-08-23 Ntt Docomo, Inc. Speech decoder, speech encoder, speech decoding method, speech encoding method, speech decoding program, and speech encoding program
JP5997592B2 (ja) * 2012-04-27 2016-09-28 株式会社Ｎｔｔドコモ 音声復号装置
US11037923B2 (en) 2012-06-29 2021-06-15 Intel Corporation Through gate fin isolation
TWI477789B (zh) * 2013-04-03 2015-03-21 Tatung Co 資訊擷取裝置及其發送頻率調整方法
RU2688247C2 (ru) * 2013-06-11 2019-05-21 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для расширения диапазона частот для акустических сигналов
RU2662693C2 (ru) 2014-02-28 2018-07-26 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство декодирования, устройство кодирования, способ декодирования и способ кодирования
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
MX371223B (es) * 2016-02-17 2020-01-09 Fraunhofer Ges Forschung Post-procesador, pre-procesador, codificador de audio, decodificador de audio y metodos relacionados para mejorar el procesamiento de transitorios.
TWI602173B (zh) * 2016-10-21 2017-10-11 盛微先進科技股份有限公司 音訊處理方法與非暫時性電腦可讀媒體
EP3396670B1 (en) * 2017-04-28 2020-11-25 Nxp B.V. Speech signal processing
US10650834B2 (en) 2018-01-10 2020-05-12 Savitech Corp. Audio processing method and non-transitory computer readable medium
JP7139628B2 (ja) * 2018-03-09 2022-09-21 ヤマハ株式会社 音処理方法および音処理装置
EP3576088A1 (en) * 2018-05-30 2019-12-04 Fraunhofer Gesellschaft zur Förderung der Angewand Audio similarity evaluator, audio encoder, methods and computer program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060085118A (ko) * 2005-01-22 2006-07-26 삼성전자주식회사 음성 신호의 대역 확장 방법 및 장치
US20070238415A1 (en) * 2005-10-07 2007-10-11 Deepen Sinha Method and apparatus for encoding and decoding
WO2010114123A1 (ja) 2009-04-03 2010-10-07 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、音声符号化プログラム及び音声復号プログラム
KR102068112B1 (ko) * 2011-02-18 2020-01-20 가부시키가이샤 엔.티.티.도코모 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3982070A (en) * 1974-06-05 1976-09-21 Bell Telephone Laboratories, Incorporated Phase vocoder speech synthesis system
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP2000122698A (ja) * 1998-10-19 2000-04-28 Mitsubishi Electric Corp 音声符号化装置
US7260523B2 (en) * 1999-12-21 2007-08-21 Texas Instruments Incorporated Sub-band speech coding system
JP2001318698A (ja) * 2000-05-10 2001-11-16 Nec Corp 音声符号化装置及び音声復号化装置
JP3404024B2 (ja) * 2001-02-27 2003-05-06 三菱電機株式会社 音声符号化方法および音声符号化装置
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7987095B2 (en) * 2002-09-27 2011-07-26 Broadcom Corporation Method and system for dual mode subband acoustic echo canceller with integrated noise suppression
KR100587953B1 (ko) * 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
KR100657916B1 (ko) * 2004-12-01 2006-12-14 삼성전자주식회사 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법
KR100721537B1 (ko) * 2004-12-08 2007-05-23 한국전자통신연구원 광대역 음성 부호화기의 고대역 음성 부호화 장치 및 그방법
JP4448464B2 (ja) * 2005-03-07 2010-04-07 日本電信電話株式会社 雑音低減方法、装置、プログラム及び記録媒体
ES2350494T3 (es) * 2005-04-01 2011-01-24 Qualcomm Incorporated Procedimiento y aparatos para codificar y decodificar una parte de banda alta de una señal de habla.
TWI319565B (en) * 2005-04-01 2010-01-11 Qualcomm Inc Methods, and apparatus for generating highband excitation signal
WO2006108543A1 (en) * 2005-04-15 2006-10-19 Coding Technologies Ab Temporal envelope shaping of decorrelated signal
CA2704812C (en) * 2007-11-06 2016-05-17 Nokia Corporation An encoder for encoding an audio signal
CN101483495B (zh) * 2008-03-20 2012-02-15 华为技术有限公司 一种背景噪声生成方法以及噪声处理装置
JP5203077B2 (ja) * 2008-07-14 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
PT2146344T (pt) * 2008-07-17 2016-10-13 Fraunhofer Ges Forschung Esquema de codificação/descodificação de áudio com uma derivação comutável
US8352279B2 (en) * 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
PL3598447T3 (pl) * 2009-01-16 2022-02-14 Dolby International Ab Transpozycja harmonicznych rozszerzona o iloczyn wektorowy
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060085118A (ko) * 2005-01-22 2006-07-26 삼성전자주식회사 음성 신호의 대역 확장 방법 및 장치
US20070238415A1 (en) * 2005-10-07 2007-10-11 Deepen Sinha Method and apparatus for encoding and decoding
WO2010114123A1 (ja) 2009-04-03 2010-10-07 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、音声符号化プログラム及び音声復号プログラム
KR102068112B1 (ko) * 2011-02-18 2020-01-20 가부시키가이샤 엔.티.티.도코모 음성 복호 장치, 음성 부호화 장치, 음성 복호 방법, 음성 부호화 방법, 음성 복호 프로그램, 및 음성 부호화 프로그램

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Max Neuendorf(editor). WD7 of USAC. ISO/IEC JTC1/SC29/WG11 N11299. 2010.04.26 *
Per Ekstrand. Bandwidth extension of audio signals by spectral band replication. 1st IEEE Benelux Workshop on Model based Processing and Coding of Audio (MPCA-2002). 2002.11.15.* *
Ulrich Kornagel. Techniques for artificial bandwidth extension of telephone speech. Signal Processing, 2006.06.01, Vol.86, no.6, pp.1296-1306.* *

Also Published As

Publication number Publication date
CA3147525A1 (en) 2012-08-23
CA2827482C (en) 2018-01-02
PL2677519T3 (pl) 2019-12-31
CN104916290B (zh) 2018-11-06
BR122019027753B1 (pt) 2021-04-20
PT3407352T (pt) 2022-06-07
AU2012218409A1 (en) 2013-09-12
RU2651193C1 (ru) 2018-04-18
ES2916257T3 (es) 2022-06-29
RU2599966C2 (ru) 2016-10-20
RU2013142349A (ru) 2015-03-27
CA2984936A1 (en) 2012-08-23
EP2677519A1 (en) 2013-12-25
DK3407352T3 (da) 2022-06-07
PT3567589T (pt) 2022-05-19
PL4020466T3 (pl) 2023-09-25
FI4020466T3 (fi) 2023-06-14
EP3998607A1 (en) 2022-05-18
CA3055514A1 (en) 2012-08-23
EP3998607B1 (en) 2024-03-27
HUE062540T2 (hu) 2023-11-28
JP2022043334A (ja) 2022-03-15
PT2677519T (pt) 2019-09-30
RU2707931C1 (ru) 2019-12-02
JP6189498B2 (ja) 2017-08-30
RU2718425C1 (ru) 2020-04-02
KR102565287B1 (ko) 2023-08-08
CN104916290A (zh) 2015-09-16
RU2674922C1 (ru) 2018-12-13
JP7252381B2 (ja) 2023-04-04
PT4020466T (pt) 2023-06-27
JP2016218464A (ja) 2016-12-22
CA2984936C (en) 2019-10-29
AU2012218409B2 (en) 2016-09-15
RU2742199C1 (ru) 2021-02-03
TW201637001A (zh) 2016-10-16
EP3407352B1 (en) 2022-05-11
JP6510593B2 (ja) 2019-05-08
KR20180089567A (ko) 2018-08-08
TWI547941B (zh) 2016-09-01
RU2630379C1 (ru) 2017-09-07
US8756068B2 (en) 2014-06-17
JP6810292B2 (ja) 2021-01-06
BR112013020987B1 (pt) 2021-01-19
ES2913760T3 (es) 2022-06-06
EP3567589A1 (en) 2019-11-13
JP6664526B2 (ja) 2020-03-13
CA3055514C (en) 2022-05-17
CN103370742B (zh) 2015-06-03
EP3567589B1 (en) 2022-04-06
FI3998607T3 (fi) 2024-04-22
JP2020077012A (ja) 2020-05-21
JP7009602B2 (ja) 2022-01-25
TW201301263A (zh) 2013-01-01
TWI576830B (zh) 2017-04-01
ES2949240T3 (es) 2023-09-26
DK3567589T3 (da) 2022-05-09
JP2019091074A (ja) 2019-06-13
US20130339010A1 (en) 2013-12-19
KR102068112B1 (ko) 2020-01-20
JP5977176B2 (ja) 2016-08-24
BR112013020987A2 (pt) 2016-10-11
DK3998607T3 (da) 2024-04-15
DK2677519T3 (da) 2019-09-23
CA2827482A1 (en) 2012-08-23
MX2013009464A (es) 2013-12-06
KR20170070286A (ko) 2017-06-21
WO2012111767A1 (ja) 2012-08-23
TWI563499B (ko) 2016-12-21
KR20220035287A (ko) 2022-03-21
HUE058847T2 (hu) 2022-09-28
ES2745141T3 (es) 2020-02-27
KR20200142110A (ko) 2020-12-21
KR102208914B1 (ko) 2021-01-27
KR20140005256A (ko) 2014-01-14
EP4020466B1 (en) 2023-05-10
JPWO2012111767A1 (ja) 2014-07-07
EP2677519B1 (en) 2019-08-14
TW201706983A (zh) 2017-02-16
EP3407352B9 (en) 2022-08-10
PL3567589T3 (pl) 2022-06-06
MX339764B (es) 2016-06-08
CN103370742A (zh) 2013-10-23
PL3407352T3 (pl) 2022-08-08
KR20200003943A (ko) 2020-01-10
KR102424902B1 (ko) 2022-07-22
KR102375912B1 (ko) 2022-03-16
DK4020466T3 (da) 2023-06-26
JP2017194716A (ja) 2017-10-26
EP3407352A1 (en) 2018-11-28
HUE058682T2 (hu) 2022-09-28
SG192796A1 (en) 2013-09-30
EP2677519A4 (en) 2016-10-19
JP2021043471A (ja) 2021-03-18
RU2679973C1 (ru) 2019-02-14
EP4020466A1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
JP7252381B2 (ja) 音声復号装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant