KR20070084002A - 스케일러블 복호화 장치 및 스케일러블 부호화 장치 - Google Patents

스케일러블 복호화 장치 및 스케일러블 부호화 장치 Download PDF

Info

Publication number
KR20070084002A
KR20070084002A KR1020077010273A KR20077010273A KR20070084002A KR 20070084002 A KR20070084002 A KR 20070084002A KR 1020077010273 A KR1020077010273 A KR 1020077010273A KR 20077010273 A KR20077010273 A KR 20077010273A KR 20070084002 A KR20070084002 A KR 20070084002A
Authority
KR
South Korea
Prior art keywords
spectrum
frequency band
decoding
high frequency
information
Prior art date
Application number
KR1020077010273A
Other languages
English (en)
Inventor
히로유키 에하라
마사히로 오시키리
고지 요시다
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20070084002A publication Critical patent/KR20070084002A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/02—Amplitude-modulated carrier systems, e.g. using on-off keying; Single sideband or vestigial sideband modulation
    • H04L27/06—Demodulator circuits; Receiver circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Abstract

저역 스펙트럼을 이용하여 고역 스펙트럼을 생성함으로써 음성 신호를 복호화하는 경우에 있어서도, 고역 스펙트럼의 열화가 적은 고품질의 복호 음성 신호를 얻을 수 있는 스케일러블 복호화 장치 등을 개시한다. 이 장치에 있어서, 진폭 조정부(1211)는, 제 1 레이어 스펙트럼 정보의 특징에 따라 다른 조정 계수를 이용하여 제 1 레이어 복호 신호 스펙트럼의 진폭 조정을 행하여 의사(擬似) 스펙트럼 생성부(1012)에 출력하고, 의사 스펙트럼 생성부(1012)는, 진폭 조정부(1211)로부터 입력된 진폭 조정 후의 제 1 레이어 복호 신호 스펙트럼을 이용하여 의사적(擬似的)으로 고역의 스펙트럼을 생성하여 크기조정부(1013)에 출력하며, 크기조정부(1013)는, 의사 스펙트럼 생성부(1012)로부터 입력된 스펙트럼을 크기조정하여 가산기 B에 출력한다.

Description

스케일러블 복호화 장치 및 스케일러블 부호화 장치{SCALABLE DECODING APPARATUS AND SCALABLE ENCODING APPARATUS}
본 발명은, 이동체 통신 시스템이나 인터넷 프로토콜을 이용한 패킷 통신 시스템 등에 있어서, 음성 신호나 음향 신호의 통신을 행할 때에 이용되는 스케일러블(scalable) 복호화 장치 및 스케일러블 부호화 장치에 관한 것이다.
이동체 통신 시스템에 있어서의 전파 자원 등의 유효 이용을 위해서, 음성 신호를 저비트레이트(低bit rate)로 압축하는 것이 요구되고 있다. 그런 한편, 사용자로부터는 통화 음성의 품질 향상이나 현장감 높은 통화 서비스의 실현이 요망되고 있다. 이 실현에는, 음성 신호의 고품질화 뿐만이 아니라, 보다 대역이 넓은 오디오 신호 등의 음성 이외의 신호도 고품질로 부호화할 수 있는 것이 바람직하다.
또, 다종다양한 네트워크가 혼재하는 환경에 있어서는, 다른 네트워크 간의 통신, 다른 서비스를 이용하는 단말간의 통신, 다른 처리 성능을 가진 단말간의 통신, 또, 2자간(2者間)의 통신 뿐만 아니라 멀티 포인트에서의 상호통신 등에 유연 하게 대응할 수 있는 음성 부호화 방식이 요구되고 있다.
더우기, 전송로 오류(특히 IP망으로 대표되는 패킷 교환망에 있어서는 패킷 로스)에도 내성(耐性)이 있는 음성 부호화 방식이 요구되고 있다.
이러한 요구를 만족시키는 음성 부호화 방식의 하나로서 대역 스케일러블(Band Width Scalable) 음성 부호화 방식이 있다. 대역 스케일러블 음성 부호화 방식이란, 음성 신호를 계층적으로 부호화하는 방식으로서, 부호화의 계층수를 늘려줌에 따라 부호화 품질이 좋아지는 부호화 방식이다. 부호화의 계층수를 증감시킴으로써 비트레이트를 가변시킬 수 있으므로, 전송로 용량을 효과적으로 사용할 수 있다.
또, 대역 스케일러블 음성 부호화 방식에서는, 복호기측은 최저 기본이 되는 계층의 부호화 데이터를 수신할 수 있으면 좋아, 추가 계층의 부호화 정보가 전송로상에서 소실되는 것을 어느 정도까지 허용할 수 있으므로, 전송로 오류에 대해서도 내성이 높다. 또, 부호화의 계층을 늘려줌에 따라 부호화하는 음성 신호의 주파수 대역이 넓어진다. 예를 들면, 기본이 되는 계층(코어 레이어)에는, 종래의 전화 대역 음성의 부호화 방식이 이용된다. 또, 추가 계층(확장 레이어)에서는, 7 kHz 대역과 같은 광대역 음성을 부호화할 수 있도록 계층이 구성된다.
이와 같이, 대역 스케일러블 음성 부호화 방식에서는, 코어 레이어에서 전화 대역 음성 신호를 부호화하고, 확장 레이어에서 고품질 광대역 신호를 부호화하므로, 대역 스케일러블 음성 부호화 방식은, 전화 대역 음성 서비스 단말에도 고품질 광대역 음성 서비스 단말에도 이용할 수 있으며, 또, 쌍방의 단말을 포함한 다지점 간(多地点間)통신에도 대응할 수 있다. 또, 부호화 정보가 계층적으로 되어 있기 때문에, 전송 방법을 연구하기에 따라 오류 내성도 높일 수 있으며, 또 부호화 측이나 전송로상에서 비트레이트를 제어하는 것도 용이하다. 이러한 점에서, 대역 스케일러블 음성 부호화 방식은, 향후의 통신용 음성 부호화 방식으로서 주목되고 있다.
상기와 같은 대역 스케일러블 음성 부호화 방식의 일례로서 비특허 문헌 1 에 기재된 방식을 들 수 있다.
비특허 문헌 1에 기재된 대역 스케일러블 음성 부호화 방식에서는, MDCT 계수를 대역 마다의 스케일 팩터(scale factor)와 미세 구조 정보로 부호화한다. 스케일 팩터는 허프만 부호화되고, 미세 구조는 벡터 양자화된다. 스케일 팩터의 복호 결과를 이용하여 각 대역의 청각적 중요도가 산출됨과 동시에 각 대역에 대한 비트 배분이 결정된다. 각 대역의 대역폭은 불균등하며, 고역일수록 넓어지도록 미리 설정되어 있다.
또, 전송 정보는 이하와 같은 4개의 그룹으로 분류된다.
A： 코어 코덱 부호화 정보
B： 고역 스케일 팩터 부호화 정보
C： 저역 스케일 팩터 부호화 정보
D： 스펙트럼 미세 구조의 부호화 정보
또, 복호측에서는 이하와 같은 처리를 행한다.
＜케이스 1＞ A 정보를 완전하게 수신할 수 없는 경우, 프레임 소실 보상 처 리를 행하여 복호 음성을 생성한다.
＜케이스 2＞ A 정보만을 수신한 경우, 코어 코덱의 복호 신호를 출력한다.
＜케이스 3＞ A 정보에 더해 B 정보를 수신한 경우, 코어 코덱의 복호 신호를 미러링(mirroring)함으로써 고역을 생성하여, 코어 코덱의 복호 신호보다 넓은 대역을 가지는 복호 신호를 생성한다. 고역의 스펙트럼 형상의 생성에는 복호한 B정보를 이용한다. 미러링은, 유성(有聲) 프레임에 있어서 행해지며, 하모닉 구조(조파(調波)구조)가 붕괴되지 않는 등의 방식으로 행해진다. 무성 프레임에서는 랜덤 잡음을 이용하여 고역을 생성한다.
＜케이스 4＞ A와 B 정보에 더해 C 정보를 수신한 경우, A와 B 정보만으로 케이스 3과 동일한 복호 처리를 행한다.
＜케이스 5＞ A, B, C의 정보에 더해 D 정보를 수신한 경우, A~D의 정보를 전부 수신할 수 있었던 대역에서는 완전한 복호 처리를 행하고, D 정보를 수신할 수 없는 대역에서는 저역측의 복호 신호 스펙트럼을 미러링함으로써 미세 스펙트럼을 복호한다. D 정보가 수신되어 있지 않더라도 B, C 정보는 수신되어 있으므로, 스펙트럼 포락 정보의 복호에는 이 B, C의 정보를 이용한다. 미러링은, 유성 프레임에 있어서 행해지며, 하모닉 구조(조파 구조)가 붕괴되지 않는 등의 방식으로 행해진다. 무성 프레임에서는 랜덤 잡음을 이용하여 고역을 생성한다.
(비특허 문헌 1)
B. Kovesi et al, “A scalable speech and audio coding scheme with continuous bitrate flexibility, ” in proc. IEEE ICASSP 2004, pp.I-273--I-276
(발명의 개시)
(발명이 해결하려고 하는 과제)
상기 종래 기술(비특허 문헌 1)에서는, 미러링을 이용하여 고역을 생성한다. 이 때, 조파 구조를 붕괴시키지 않도록 미러링을 행하므로, 조파 구조는 유지된다. 그러나, 저역의 조파 구조가 경상(鏡像)이 되어 고역에 나타나게 된다. 일반적으로, 유성 신호에서는, 고역으로 갈수록 조파 구조가 붕괴되기 때문에, 고역에서는 저역만큼 현저한 조파 구조를 나타내지 않는 것이 많다. 다시 말하면, 저역에서는 하모닉스의 골(trough)이 깊어도, 고역에서는 하모닉스의 골이 얕기도 하고, 경우에 따라서는 조파 구조 자체가 확실치 않거나 하는 일이 있다. 따라서, 상기 종래 기술에서는, 고역성분에 과도한 조파 구조가 나타나기 쉽고, 이 때문에, 복호 음성 신호의 품질이 열화되어 버린다.
본 발명의 목적은, 저역 스펙트럼을 이용하여 고역 스펙트럼을 생성함으로써 음성(음향) 신호를 복호화하는 경우에 있어서도, 고역 스펙트럼의 열화가 적은 고품질의 복호 음성(음향) 신호를 얻을 수 있는 스케일러블 복호화 장치 및 스케일러블 부호화 장치를 제공하는 것이다.
(과제를 해결하기 위한 수단)
본 발명의 스케일러블 복호화 장치는, 저주파 대역의 부호화 정보를 복호하여 저주파 대역의 복호 신호를 얻는 제 1 복호화 수단과, 상기 저주파 대역의 복호 신호와 고주파 대역의 부호화 정보로부터 고주파 대역의 복호 신호를 얻는 제 2 복호화 수단을 구비하는 스케일러블 복호화 장치로서, 상기 제 2 복호화 수단은, 상기 저주파 대역의 복호 신호를 변환하여 저주파 대역의 스펙트럼을 얻는 변환 수단과, 상기 저주파 대역의 스펙트럼에 대해서 진폭 조정을 가하는 조정 수단과, 진폭 조정된 저주파 대역의 스펙트럼과 상기 고주파 대역의 부호화 정보를 이용하여, 고주파 대역의 스펙트럼을 의사적(擬似的)으로 생성하는 생성 수단을 구비하는 구성을 취한다.
(발명의 효과)
본 발명에 의하면, 저역 스펙트럼을 이용하여 고역 스펙트럼을 생성함으로써 음성(음향)신호를 복호화하는 경우에 있어서도, 고역 스펙트럼의 열화가 적은 고품질 복호 음성(음향)신호를 얻을 수 있다.
도 1은 본 발명의 실시형태 1에 따른 스케일러블 복호화 장치의 구성을 나타내는 블록도,
도 2는 본 발명의 실시형태 1에 따른 스케일러블 부호화 장치의 구성을 나타 내는 블록도,
도 3은 본 발명의 실시형태 1에 따른 제 2 레이어 복호화부의 구성을 나타내는 블록도,
도 4는 본 발명의 실시형태 1에 따른 제 2 레이어 부호화부의 구성을 나타내는 블록도,
도 5는 본 발명의 실시형태 1에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 6은 본 발명의 실시형태 1에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 7은 본 발명의 실시형태 1에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 8은 본 발명의 실시형태 1에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 9는 본 발명의 실시형태 1에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 10은 본 발명의 실시형태 1에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 11은 본 발명의 실시형태 1에 따른 고역 스펙트럼 복호화부에서 고역성분을 생성하는 처리 양상을 나타내는 모식도,
도 12는 본 발명의 실시형태 1에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 13은 본 발명의 실시형태 1에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 14는 본 발명의 실시형태 2에 따른 제 2 레이어 복호화부의 구성을 나타내는 블록도,
도 15는 본 발명의 실시형태 2에 따른 제 2 레이어 부호화부의 구성을 나타내는 블록도,
도 16은 본 발명의 실시형태 2에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 17은 본 발명의 실시형태 2에 따른 스펙트럼 복호화부의 구성을 나타내는 블록도,
도 18은 본 발명의 실시형태 2에 따른 제 1 스펙트럼 부호화부의 구성을 나타내는 블록도,
도 19는 본 발명의 실시형태 2에 따른 확장 대역 복호화부의 구성을 나타내는 블록도,
도 20은 본 발명의 실시형태 2에 따른 확장 대역 복호화부의 구성을 나타내는 블록도,
도 21은 본 발명의 실시형태 2에 따른 확장 대역 복호화부의 구성을 나타내는 블록도,
도 22는 본 발명의 실시형태 2에 따른 확장 대역 복호화부의 구성을 나타내 는 블록도,
도 23은 본 발명의 실시형태 2에 따른 확장 대역 복호화부에서 고역성분을 생성하는 처리 양상을 나타내는 모식도,
도 24는 본 발명의 실시형태 2에 따른 확장 대역 부호화부의 구성을 나타내는 블록도,
도 25는 본 발명의 실시형태 2에 따른 스케일러블 복호화 장치의 분리부가 수신하는 비트 스트림의 내용을 나타내는 모식도,
도 26은 본 발명의 실시형태 3에 따른 확장 대역 복호화부의 구성을 나타내는 블록도.
(발명을 실시하기 위한 최선의 형태)
이하, 본 발명의 실시형태에 대해서, 첨부 도면을 참조하여 상세히 설명한다.
(실시형태 1)
도 1은, 예를 들면 대역 스케일러블 음성(음향)신호 복호화 장치 등을 형성하는 스케일러블 복호화 장치(100)의 구성을 나타내는 블록도이다.
스케일러블 복호화 장치(100)는, 분리부(101), 제 1 레이어 복호화부(102) 및 제 2 레이어 복호화부(103)를 구비한다.
분리부(101)는, 후술하는 스케일러블 부호화 장치로부터 송출된 비트 스트림을 수신하여, 제 1 레이어용 부호화 파라미터와 제 2 레이어용 부호화 파라미터로 분리하여, 제 1 레이어 복호화부(102)와 제 2 레이어 복호화부(103)에 각각 출력한다.
제 1 레이어 복호화부(102)는, 분리부(101)로부터 입력된 제 1 레이어용 부호화 파라미터를 복호하여, 제 1 레이어 복호 신호를 출력한다. 이 제 1 레이어 복호 신호는 제 2 레이어 복호화부(103)에도 출력된다.
제 2 레이어 복호화부(103)는, 분리부(101)로부터 입력된 제 2 레이어용 부호화 파라미터를, 제 1 레이어 복호화부(102)로부터 입력된 제 1 레이어 복호 신호를 이용하여 복호하여, 제 2 레이어 복호 신호를 출력한다.
도 1의 스케일러블 복호화 장치(100)에 대응하는 스케일러블 부호화 장치(200)의 구성의 일례를 도 2에 나타낸다.
도 2에 있어서, 제 1 레이어 부호화부(201)는, 입력되는 음성 신호(원(原)신호)를 부호화하고, 얻어지는 부호화 파라미터를 제 1 레이어 복호화부(202) 및 다중화부(203)에 출력한다. 제 1 레이어 부호화부(201)는 부호화를 할 때에, 다운 샘플 처리나 저역 통과 필터링 처리 등을 행함으로써, 제 1 레이어와 제 2 레이어의 대역 스케일러빌리티(scalability)를 실현한다.
제 1 레이어 복호화부(202)는, 제 1 레이어 부호화부(201)로부터 입력되는 부호화 파라미터로부터 제 1 레이어의 복호 신호를 생성하여 제 2 레이어 부호화부(204)에 출력한다.
제 2 레이어 부호화부(204)는, 입력되는 음성 신호(원신호)를, 제 1 레이어 복호화부(202)로부터 입력되는 제 1 레이어 복호 신호를 이용하여 부호화하고, 얻어지는 부호화 파라미터를 다중화부(203)에 출력한다. 제 2 레이어 부호화부(204)는, 부호화를 할 때에, 제 1 레이어 부호화부(201)에서 가해지는 처리(다운 샘플 처리나 저역 통과 필터링 처리)에 따라, 제 1 레이어 복호 신호의 업 샘플 처리나, 제 1 레이어 복호 신호의 위상과 입력 음성 신호의 위상을 맞추기 위한 위상 조정 처리 등을 행한다.
다중화부(203)는, 제 1 레이어 부호화부(201)로부터 입력되는 부호화 파라미터와 제 2 레이어 부호화부(204)로부터 입력되는 부호화 파라미터를 다중화하여, 비트 스트림(bit stream)을 출력한다.
이어서, 도 1에 나타내는 제 2 레이어 복호화부(103)에 대해서 보다 자세하게 설명한다. 도 3은 제 2 레이어 복호화부(103)의 구성을 나타내는 블록도이다. 제 2 레이어 복호화부(103)는, 분리부(301), 크기조정(scaling) 계수 복호화부(302), 미세 스펙트럼 복호화부(303), 주파수 영역 변환부(304), 스펙트럼 복호화부(305) 및 시간 영역 변환부(306)를 구비한다.
분리부(301)는, 입력된 제 2 레이어용 부호화 파라미터를, 크기조정 계수를 나타내는 부호화 파라미터(크기조정 계수 파라미터)와 스펙트럼 미세 구조를 나타내는 부호화 파라미터(미세 스펙트럼 파라미터)로 분리하고, 크기조정 계수 복호화부(302)와 미세 스펙트럼 복호화부(303)에 각각 출력한다.
크기조정 계수 복호화부(302)는, 입력된 크기조정 계수 파라미터를 복호하여 저역 크기조정 계수와 고역 크기조정 계수를 얻고, 그 복호 크기조정 계수를 스펙트럼 복호화부(305)에 출력함과 동시에, 미세 스펙트럼 복호화부(303)에도 출력한다.
미세 스펙트럼 복호화부(303)는, 크기조정 계수 복호화부(302)로부터 입력된 복호 크기조정 계수를 이용하여 각 대역의 청각적 중요도를 산출하여, 각 대역의 미세 스펙트럼 정보에 할당된 비트수를 구한다. 그리고, 미세 스펙트럼 복호화부(303)는, 분리부(301)로부터 입력된 미세 스펙트럼 파라미터를 복호하여 각 대역의 복호 미세 스펙트럼 정보를 얻어, 스펙트럼 복호화부(305)에 출력한다. 또한, 청각적 중요도의 산출에 제 1 레이어 복호 신호의 정보를 이용해도 좋으며, 그 경우는, 주파수 영역 변환부(304)의 출력이 미세 스펙트럼 복호화부(303)에도 입력된다.
주파수 영역 변환부(304)는, 입력된 제 1 레이어 복호 신호를 주파수 영역의 스펙트럼 파라미터(예를 들면 MDCT 계수)로 변환하여, 스펙트럼 복호화부(305)에 출력한다.
스펙트럼 복호화부(305)는, 주파수 영역 변환부(304)로부터 입력된 주파수 영역으로 변환된 제 1 레이어 복호 신호와, 크기조정 계수 복호화부(302)로부터 입력된 복호 크기조정 계수(저역 및 고역)와, 미세 스펙트럼 복호화부(303)로부터 입력된 복호 미세 스펙트럼 정보로부터 제 2 레이어 복호 신호의 스펙트럼을 복호하여, 시간 영역 변환부(306)에 출력한다.
시간 영역 변환부(306)는, 스펙트럼 복호화부(305)로부터 입력된 제 2 레이 어 복호 신호의 스펙트럼을 시간 영역의 신호로 변환하여, 제 2 레이어 복호 신호로서 출력한다.
도 3의 제 2 레이어 복호화부(103)에 대응하는 제 2 레이어 부호화부(204)의 구성의 일례를 도 4에 나타낸다.
도 4에 있어서, 입력 음성 신호는, 청각 마스킹 산출부(401) 및 주파수 영역 변환부(402A)에 입력된다.
청각 마스킹 산출부(401)는, 미리 규정되어 있는 대역폭을 가지는 서브 밴드마다의 청각 마스킹을 산출하고, 이 청각 마스킹을 크기조정 계수 부호화부(403) 및 미세 스펙트럼 부호화부(404)에 출력한다.
인간의 청각 특성에는, 어떤 신호가 들리고 있을 때, 그 신호와 주파수가 가까운 소리(音)가 귀에 들려오더라도 듣기 어렵다고 하는 청각 마스킹 특성이 있다. 이 청각 마스킹 특성에 기초하여, 상기 청각 마스킹을 이용하여, 양자화 왜곡이 듣기 어려운 주파수 스펙트럼에는 양자화 비트수를 적게 배분하고, 양자화 왜곡이 듣기 쉬운 주파수 스펙트럼에는 양자화 비트수를 많이 배분함으로써 효율적인 스펙트럼 부호화를 실현할 수 있다.
주파수 영역 변환부(402A)는, 입력된 음성 신호를 주파수 영역의 스펙트럼 파라미터(예를 들면 MDCT 계수)로 변환하여, 크기조정 계수 부호화부(403) 및 미세 스펙트럼 부호화부(404)에 출력한다. 주파수 영역 변환부(402B)는, 입력된 제 1 레이어 복호 신호를 주파수 영역의 스펙트럼 파라미터(예를 들면 MDCT 계수)로 변환하여, 크기조정 계수 부호화부(403) 및 미세 스펙트럼 부호화부(404)에 출력한 다.
크기조정 계수 부호화부(403)는, 청각 마스킹 산출부(401)로부터 입력되는 청각 마스킹 정보를 이용하여, 주파수 영역 변환부(402A)로부터 입력되는 스펙트럼 파라미터와 주파수 영역 변환부(402B)로부터 입력되는 제 1 레이어 복호 스펙트럼과의 차분 스펙트럼의 부호화를 행하고 크기조정 계수 파라미터를 얻어, 그 크기조정 계수 파라미터를 부호화 파라미터 다중화부(405) 및 미세 스펙트럼 부호화부(404)에 출력한다. 또한, 여기에서는 고역 스펙트럼의 크기조정 계수 파라미터와 저역 스펙트럼의 크기조정 계수 파라미터를 따로 따로 출력하는 예를 도시하고 있다.
미세 스펙트럼 부호화부(404)는, 크기조정 계수 부호화부(403)로부터 입력되는 크기조정 계수 파라미터(저역 및 고역)를 복호하여 복호 크기조정 계수(저역 및 고역)를 얻고, 주파수 영역 변환부(402A)로부터 입력되는 스펙트럼 파라미터와 주파수 영역 변환부(402B)로부터 입력되는 제 1 레이어 복호 스펙트럼의 차분 스펙트럼을 복호 크기조정 계수(저역 및 고역)를 이용하여 정규화한다. 미세 스펙트럼 부호화부(404)는, 이 정규화한 차분 스펙트럼을 부호화하고, 그 부호화 후의 차분 스펙트럼(미세 스펙트럼 부호화 파라미터)을 부호화 파라미터 다중화부(405)에 출력한다. 이 때, 미세 스펙트럼 부호화부(404)는, 복호 크기조정 계수(저역 및 고역)를 이용하여 미세 스펙트럼의 대역마다의 청각 중요도를 산출하고, 청각 중요도에 따른 비트 배분을 행한다. 이 청각 중요도의 산출에는 제 1 레이어 복호 스펙트럼을 이용해도 좋다.
부호화 파라미터 다중화부(405)는, 크기조정 계수 부호화부(403)로부터 입력되는 고역 스펙트럼 크기조정 계수 파라미터 및 저역 스펙트럼 크기조정 계수 파라미터와, 미세 스펙트럼 부호화부(404)로부터 입력되는 미세 스펙트럼 부호화 파라미터를 다중화하여, 제 1 스펙트럼 부호화 파라미터로서 출력한다.
이어서, 도 3에 나타내는 스펙트럼 복호화부(305)에 대해 보다 자세하게 설명한다. 도 5 ~ 도 9는 스펙트럼 복호화부(305)의 구성을 나타내는 블록도이다.
도 5는, 제 1 레이어 복호 신호, 전부의 복호 크기조정 계수(저역 및 고역), 전부의 미세 스펙트럼 복호 정보가 모두 정상적으로 수신되는 경우의 처리를 실행하기 위한 구성을 나타낸다.
도 6은, 고역의 미세 스펙트럼 복호 정보의 일부가 수신되지 않는 경우의 처리를 실행하기 위한 구성을 나타낸다. 가산기(A)의 출력 결과가 고역 스펙트럼 복호화부(602)에 입력되고 있는 점이 도 5와 다르다. 수신되지 못한 고역 미세 스펙트럼 복호 정보를 이용하여 복호되어야 할 대역의 스펙트럼은 후술하는 방법에 의해 의사적으로 생성된다.
도 7은, 고역의 미세 스펙트럼 복호 정보가 전부 수신되지 않는 경우(추가하여, 저역의 미세 스펙트럼 복호 정보의 일부도 수신되지 않는 경우를 포함함)의 처리를 실행하기 위한 구성을 나타낸다. 미세 스펙트럼 복호 정보가 고역 스펙트럼 복호화부(702)에 입력되지 않는 점이 도 6과 다르다. 수신되지 못한 고역 미세 스펙트럼 복호 정보를 이용하여 복호되어야 할 대역의 스펙트럼은 후술하는 방법에 의해 의사적으로 생성된다.
도 8은, 전부의 미세 스펙트럼 복호 정보가 수신되지 않고, 또 저역의 복호 크기조정 계수의 일부가 수신되지 않는 경우의 처리를 실행하기 위한 구성을 나타낸다. 미세 스펙트럼 복호 정보가 입력되지 않는 점과, 저역 스펙트럼 복호화부(801)로부터의 출력이 없고 가산기(A)가 존재하지 않는 점이 도 7과 다르다. 수신되지 못한 고역 미세 스펙트럼 복호 정보를 이용하여 복호되어야 할 대역의 스펙트럼은 후술하는 방법에 따라 의사적으로 생성된다.
도 9는, 고역의 복호 크기조정 계수만이 수신되는 경우(일부 고역 복호 크기조정 계수가 수신되지 않는 경우도 포함함)의 처리를 실행하기 위한 구성을 나타낸다. 저역의 복호 크기조정 계수의 입력이 없고, 저역 스펙트럼 복호화부가 없는 점이 도 8과 다르다. 수신된 고역 복호 크기조정 계수만으로부터 고역의 스펙트럼을 의사적으로 생성하는 방법에 대해서는 후술한다.
도 5의 스펙트럼 복호화부(305)는, 저역 스펙트럼 복호화부(501), 고역 스펙트럼 복호화부(502), 가산기(A), 및, 가산기(B)를 구비한다.
저역 스펙트럼 복호화부(501)는, 크기조정 계수 복호화부(302)로부터 입력된 저역의 복호 크기조정 계수와 미세 스펙트럼 복호화부(303)로부터 입력된 미세 스펙트럼 복호 정보를 이용해 저역 스펙트럼을 복호하여, 가산기(A)에 출력한다. 일반적으로는, 미세 스펙트럼 복호 정보에 복호 크기조정 계수를 곱셈함으로써 복호 스펙트럼을 산출한다.
가산기(A)는, 저역 스펙트럼 복호화부(501)로부터 입력된 복호 저역 스펙트럼(잔차(殘差))과 주파수 영역 변환부(304)로부터 입력된 제 1 레이어 복호 신호 (스펙트럼)를 가산하고 복호 저역 스펙트럼을 구하여 가산기(B)에 출력한다.
고역 스펙트럼 복호화부(502)는, 크기조정 계수 복호화부(302)로부터 입력된 고역의 복호 크기조정 계수와 미세 스펙트럼 복호화부(303)로부터 입력된 미세 스펙트럼 복호 정보를 이용하여 고역 스펙트럼을 복호하여, 가산기(B)에 출력한다.
가산기(B)는, 가산기(A)로부터 입력되는 복호 저역 스펙트럼과, 고역 스펙트럼 복호화부(502)로부터 입력되는 복호 고역 스펙트럼을 합쳐서 전역(저역과 고역을 합한 전(全)주파수 대역)의 스펙트럼을 생성하여, 복호 스펙트럼으로서 출력한다.
도 6에서는, 도 5와 비교해 고역 스펙트럼 복호화부(602)의 동작만이 다르다.
고역 스펙트럼 복호화부(602)는, 크기조정 계수 복호화부(302)로부터 입력된 고역의 복호 크기조정 계수와 미세 스펙트럼 복호화부(303)로부터 입력된 고역의 미세 스펙트럼 복호 정보를 이용하여 고역의 스펙트럼을 복호한다. 이 때, 일부 대역의 고역 미세 스펙트럼 복호 정보는 수신되지 않기 때문에, 해당하는 대역의 고역 스펙트럼은 정확하게 복호할 수 없다. 따라서, 고역 스펙트럼 복호화부(602)는, 복호 크기조정 계수와, 가산기(A)로부터 입력되는 저역의 복호 스펙트럼과, 수신되어 정확하게 복호할 수 있는 고역의 스펙트럼을 이용하여, 의사적으로 고역의 스펙트럼을 생성한다. 구체적인 생성 방법에 대해서는 후술한다.
도 7에서는, 도 5 및 도 6에 있어서, 고역 미세 스펙트럼 복호 정보가 전부 수신되지 않는 경우의 동작이 된다. 이 경우, 고역 스펙트럼 복호화부(702)는, 크 기조정 계수 복호화부(302)로부터 입력된 고역의 복호 크기조정 계수만을 이용하여 고역의 스펙트럼을 복호한다.
또, 저역 스펙트럼 복호화부(701)는, 크기조정 계수 복호화부(302)로부터 입력된 저역의 복호 크기조정 계수와, 미세 스펙트럼 복호화부(303)로부터 입력된 저역의 미세 스펙트럼 복호 정보를 이용하여 저역의 스펙트럼을 복호한다. 이 때, 일부 대역의 저역 미세 스펙트럼 복호 정보는 수신되어 있지 않기 때문에, 그 일부 대역에 대해서는 복호 처리를 행하지 않고, 영(zero) 스펙트럼으로 한다. 이 경우, 가산기(A) 및 (B)를 경유하여 출력되는 해당 대역의 스펙트럼은 제 1 레이어 복호 신호(스펙트럼) 그 자체가 된다.
도 8에서는, 도 7에 있어서 저역 미세 스펙트럼 복호 정보가 전부 수신되지 않는 경우의 동작이 된다. 저역 스펙트럼 복호화부(801)는, 저역의 복호 크기조정 계수가 입력되지만, 미세 스펙트럼 복호 정보가 전혀 입력되지 않기 때문에, 복호 처리를 행하지 않는다.
도 9에서는, 도 8에 있어서 저역의 복호 크기조정 계수가 전혀 입력되지 않는 경우의 동작이 된다. 다만, 고역 스펙트럼 복호화부(902)에서는, 일부 복호 크기조정 계수(고역)가 입력되지 않을 경우, 그 대역의 스펙트럼은 영(zero)으로서 출력한다.
이어서, 의사적으로 고역 스펙트럼을 생성하는 방법에 대해 도 9를 예로 들어 설명한다. 도 9에 있어서, 고역 스펙트럼을 의사적으로 생성하는 것은 고역 스펙트럼 복호화부(902)이다. 고역 스펙트럼 복호화부(902)의 구성을 보다 상세하게 나타낸 것이 도 10이다.
도 10의 고역 스펙트럼 복호화부(902)는, 진폭 조정부(1011)와, 의사(擬似) 스펙트럼 생성부(1012)와, 크기조정부(1013)를 구비한다.
진폭 조정부(1011)는, 주파수 영역 변환부(304)로부터 입력되는 제 1 레이어 복호 신호 스펙트럼의 진폭을 조정하여, 의사 스펙트럼 생성부(1012)에 출력한다.
의사 스펙트럼 생성부(1012)는, 진폭 조정부(1011)로부터 입력된 진폭 조정 후의 제 1 레이어 복호 신호 스펙트럼을 이용해 의사적(擬似的)으로 고역의 스펙트럼을 생성하여, 크기조정부(1013)에 출력한다.
크기조정부(1013)는, 의사 스펙트럼 생성부(1012)로부터 입력된 스펙트럼을 크기조정하여 가산기(B)에 출력한다.
도 11은 고역 스펙트럼을 의사적으로 생성하는 상기 일련의 처리 양상의 일례를 나타낸 모식도이다.
우선, 제 1 레이어의 복호 신호 스펙트럼의 진폭 조정을 행한다. 진폭 조정 방법은, 예를 들면, 대수 영역에서 정수배(γ×S, γ는 O≤γ≤1)의 범위에 있는 진폭 조정 계수(실수), S는 대수 스펙트럼) 하거나, 선형 영역에서 정수승(sγ, s는 선형 스펙트럼)하거나 하면 좋다. 또, 진폭 조정을 위한 조정 계수로서, 유성음에 있어서 저역에 있어서의 하모닉스의 골의 깊이와 고역에 있어서의 하모닉스의 골의 깊이를 맞추는데 필요한 계수의 대표적인 것을 이용하면 좋다. 또, 조정 계수는 고정된 정수로 해도 좋지만, 저역 스펙트럼의 하모닉스의 골의 깊이를 나타내는 지 표(예를 들면, 직접적으로는 저역에 있어서의 스펙트럼 진폭의 분산값 등, 간접적으로는 제 1 레이어 부호화부(201)에 있어서의 피치 게인값 등)에 따라 적당한 조정 계수를 복수 준비하고, 상기 지표에 따라 대응하는 조정 계수를 선택적으로 이용하면 더욱 좋다. 또, 저역의 스펙트럼 형상(포락)정보나 피치 주기 정보 등도 이용하여, 모음(母音) 마다의 특징에 따라 조정 계수를 선택적으로 이용하는 것도 좋다. 또, 최적(最適) 조정 계수를 별도 전송 정보로서 부호기측에서 부호화하여 전송하도록 해도 좋다.
다음에, 진폭 조정 후의 스펙트럼을 이용하여 의사적으로 고역의 스펙트럼을 생성한다. 생성 방법으로서 고역 스펙트럼을 저역 스펙트럼의 경상(鏡像)으로서 생성하는 미러링의 예를 도 11에 나타낸다. 미러링 외에도, 진폭 조정 후의 스펙트럼을 주파수축의 고역 방향으로 시프트하여 고역 스펙트럼을 생성하는 방법, 저역 스펙트럼으로부터 구해지는 피치 래그(pitch lag)를 이용하여 진폭 조정 후의 스펙트럼에 대해 주파수축 방향으로 피치 필터링 처리를 행하여 고역 스펙트럼을 생성하는 방법 등이 있다. 어떤 방법으로 하더라도, 생성한 고역의 하모닉스 구조가 붕괴되지 않도록 함과 동시에, 저역 스펙트럼의 하모닉스 구조와 생성한 고역 스펙트럼의 하모닉스 구조가 연속적으로 이어지도록 한다.
마지막으로, 부호화 단위 대역마다 진폭의 크기조정를 행하여 고역 스펙트럼을 생성한다.
도 12는, 진폭 조정부(1211)에, 제 1 레이어의 스펙트럼 정보(예를 들면 복호 LSP 파라미터 등)가 제 1 레이어 복호화부(102)로부터 입력되는 경우를 나타낸 것이다. 이 경우, 진폭 조정부(1211)는, 진폭 조정에 이용하는 조정 계수를, 입력된 제 1 레이어의 스펙트럼 정보에 기초하여 결정한다. 그리고, 조정 계수의 결정에 있어서, 제 1 레이어의 스펙트럼 정보 이외에, 제 1 레이어의 피치 정보(피치 주기나 피치 게인)를 이용해도 좋다.
도 13은, 진폭 조정부(1311)에, 진폭 조정 계수가 별도 입력되는 경우를 나타낸 것이다. 이 경우, 부호기 측에 있어서 진폭 조정 계수가 양자화 및 부호화되어 전송된다.
(실시형태 2)
도 14는, 본 발명의 실시형태 2에 따른 제 2 레이어 복호화부(103)의 구성을 나타내는 블록도이다.
도 14의 제 2 레이어 복호화부(103)는, 분리부(1401), 스펙트럼 복호화부(1402A), 확장 대역 복호화부(1403), 스펙트럼 복호화부(1402B), 주파수 영역 변환부(1404) 및 시간 영역 변환부(1405)를 구비한다.
분리부(1401)는, 제 2 레이어용 부호화 파라미터를, 제 1 스펙트럼 부호화 파라미터, 확장 대역 부호화 파라미터, 제 2 스펙트럼 부호화 파라미터로 분리하여, 스펙트럼 복호화부(1402A), 확장 대역 복호화부(1403), 스펙트럼 복호화부(1402B)에 각각 출력한다.
주파수 영역 변환부(1404)는, 제 1 레이어 복호화부(102)로부터 입력된 제 1 레이어 복호 신호를 주파수 영역의 파라미터(예를 들면 MDCT 계수 등)로 변환하여, 제 1 레이어 복호 신호 스펙트럼으로서 스펙트럼 복호화부(1402A)에 출력한다.
스펙트럼 복호화부(1402A)는, 주파수 영역 변환부(1404)로부터 입력된 제 1 레이어의 복호 신호 스펙트럼에, 분리부(1401)로부터 입력된 제 1 스펙트럼 부호화 파라미터를 복호하여 얻어지는 제 1 레이어의 부호화 오차의 양자화 스펙트럼을 더하여, 제 1 복호 스펙트럼으로서 확장 대역 복호화부(1403)에 출력한다. 또, 스펙트럼 복호화부(1402A)에서는 주로 저역 성분에 대한 제 1 레이어의 부호화 오차가 개선된다.
확장 대역 복호화부(1403)는, 분리부(1401)로부터 입력된 확장 대역 부호화 파라미터로부터 각종 파라미터를 복호하고, 스펙트럼 복호화부(1402A)로부터 입력된 제 1 복호 스펙트럼을 기초로 하여, 그 복호한 각종 파라미터를 이용해서 고역 스펙트럼을 복호 생성한다. 그리고, 확장 대역 복호화부(1403)는, 전(全)대역의 스펙트럼을 제 2 복호 스펙트럼으로서 스펙트럼 복호화부(1402B)에 출력한다.
스펙트럼 복호화부(1402B)는, 확장 대역 복호화부(1403)로부터 입력된 제 2 복호 스펙트럼에, 분리부(1401)로부터 입력된 제 2 스펙트럼 부호화 파라미터를 복호하여 얻어지는 제 2 복호 스펙트럼의 부호화 오차를 양자화한 스펙트럼을 더하여, 제 3 복호 스펙트럼으로서 시간 영역 변환부(1405)에 출력한다.
시간 영역 변환부(1405)는, 스펙트럼 복호화부(1402B)로부터 입력된 제 3 복호 스펙트럼을 시간 영역의 신호로 변환하여, 제 2 레이어 복호 신호로서 출력한다.
또한, 도 14에 있어서, 스펙트럼 복호화부(1402A) 및 스펙트럼 복호화 부(1402B)의 한쪽 또는 양쪽이 없는 구성을 취할 수도 있다. 스펙트럼 복호화부(1402A)가 없는 구성일 경우는, 주파수 영역 변환부(1404)로부터 출력된 제 1 레이어 복호 신호 스펙트럼은, 확장 대역 복호화부(1403)에 입력된다. 또, 스펙트럼 복호화부(1402B)가 없는 구성일 경우는, 확장 대역 복호화부(1403)가 출력하는 제 2 복호 스펙트럼이 시간 영역 변환부(1405)에 입력된다.
도 14의 제 2 레이어 복호화부(103)에 대응하는 제 2 레이어 부호화부(204)의 구성의 일례를 도 15에 나타낸다.
도 15에 있어서, 음성 신호(원신호)는, 청각 마스킹 산출부(1501) 및 주파수 영역 변환부(1502A)에 입력된다.
청각 마스킹 산출부(1501)는, 입력되는 음성 신호를 이용하여 청각 마스킹을 산출하여 제 1 스펙트럼 부호화부(1503), 확장 대역 부호화부(1504) 및 제 2 스펙트럼 부호화부(1505)에 출력한다.
주파수 영역 변환부(1502A)는, 입력된 음성 신호를 주파수 영역의 스펙트럼 파라미터(예를 들면 MDCT 계수)로 변환하여, 제 1 스펙트럼 부호화부(1503), 확장 대역 부호화부(1504) 및 제 2 스펙트럼 부호화부(1505)에 출력한다.
주파수 영역 변환부(1502B)는, 입력되는 제 1 레이어 복호 신호를 MDCT 등의 스펙트럼 파라미터로 변환하여, 제 1 스펙트럼 부호화부(1503)에 출력한다.
제 1 스펙트럼 부호화부(1503)는, 청각 마스킹 산출부(1501)로부터 입력되는 청각 마스킹을 이용하여, 주파수 영역 변환부(1502A)로부터 입력되는 입력 음성 신호 스펙트럼과 주파수 영역 변환부(1502B)로부터 입력되는 제 1 레이어 복호 스펙 트럼과의 차분 스펙트럼을 부호화하여, 제 1 스펙트럼 부호화 파라미터로서 출력함과 동시에, 제 1 스펙트럼 부호화 파라미터를 복호하여 얻어지는 제 1 복호 스펙트럼을 확장 대역 부호화부(1504)에 출력한다.
확장 대역 부호화부(1504)는, 청각 마스킹 산출부(1501)로부터 입력되는 청각 마스킹을 이용하여, 주파수 영역 변환부(1502A)로부터 입력되는 입력 음성 신호 스펙트럼과 제 1 스펙트럼 부호화부(1503)로부터 입력되는 제 1 복호 스펙트럼과의 오차 스펙트럼을 부호화하여, 확장 대역 부호화 파라미터로서 출력함과 동시에, 확장 대역 부호화 파라미터를 복호하여 얻어지는 제 2 복호 스펙트럼을 제 2 스펙트럼 부호화부(1505)에 출력한다.
제 2 스펙트럼 부호화부(1505)는, 청각 마스킹 산출부(1501)로부터 입력되는 청각 마스킹을 이용하여, 주파수 영역 변환부(1502A)로부터 입력되는 입력 음성 신호 스펙트럼과 확장 대역 부호화부(1504)로부터 입력되는 제 2의 복호 스펙트럼과의 오차 스펙트럼을 부호화하여, 제 2 스펙트럼 부호화 파라미터로서 출력한다.
이어서, 도 14의 스펙트럼 복호화부(1402A), (1402B)의 구체적인 예를 도 16 및 도 17에 나타낸다.
도 16에 있어서, 분리부(1601)는, 입력되는 부호화 파라미터를, 크기조정 계수를 나타내는 부호화 파라미터(크기조정 계수 파라미터)와 스펙트럼 미세 구조를 나타내는 부호화 파라미터(미세 스펙트럼 파라미터)로 분리하여, 크기조정 계수 복호화부(1602)와 미세 스펙트럼 복호화부(1603)에 각각 출력한다.
크기조정 계수 복호화부(1602)는, 입력된 크기조정 계수 파라미터를 복호하 여 저역 크기조정 계수와 고역 크기조정 계수를 얻어, 그 복호 크기조정 계수를 스펙트럼 복호화부(1604)에 출력함과 동시에, 미세 스펙트럼 복호화부(1603)에도 출력한다.
미세 스펙트럼 복호화부(1603)는, 크기조정 계수 복호화부(1602)로부터 입력된 복호 크기조정 계수를 이용하여 각 대역의 청각적 중요도를 산출하여, 각 대역의 미세 스펙트럼 정보에 할당된 비트수를 구한다. 그리고, 미세 스펙트럼 복호화부(1603)는, 분리부(1601)로부터 입력된 미세 스펙트럼 파라미터를 복호하여 각 대역의 복호 미세 스펙트럼 정보를 얻어, 스펙트럼 복호화부(1604)에 출력한다. 그리고, 청각적 중요도의 산출에 복호 스펙트럼 A의 정보를 이용해도 좋다. 그 경우, 복호 스펙트럼 A도 미세 스펙트럼 복호화부(1603)에 입력되도록 구성한다.
스펙트럼 복호화부(1604)는, 입력된 복호 스펙트럼 A와, 크기조정 계수 복호화부(1602)로부터 입력된 복호 크기조정 계수(저역 및 고역)와, 미세 스펙트럼 복호화부(1603)로부터 입력된 복호 미세 스펙트럼 정보로부터 복호 스펙트럼 B를 복호하여 출력한다.
도 16과 도 14의 대응 관계에 대해 설명하면, 도 16에 나타내는 구성이 스펙트럼 복호화부(1402A)의 구성인 경우, 도 16의 부호화 파라미터가 도 14의 제 1 스펙트럼 부호화 파라미터에, 도 16의 복호 스펙트럼 A가 도 14의 제 1 레이어 복호 신호 스펙트럼에, 도 16의 복호 스펙트럼 B가 도 14의 제 1의 복호 스펙트럼에 각각 상당한다. 또, 도 16에 나타내는 구성이 스펙트럼 복호화부(1402B)의 구성인 경우, 도 16의 부호화 파라미터가 도 14의 제 2 스펙트럼 부호화 파라미터에, 도 16의 복호 스펙트럼 A가 도 14의 제 2 복호 스펙트럼에, 도 16의 복호 스펙트럼 B가 도 14의 제 3 복호 스펙트럼에 각각 상당한다.
도 16의 스펙트럼 복호화부(1402A), (1402B)에 대응하는 제 1 스펙트럼 부호화부(1503)의 구성의 일례를 도 18에 나타낸다. 도 18에서는, 도 15에 있어서의 제 1 스펙트럼 부호화부(1503)의 구성을 나타내고 있다. 도 18에 나타내는 제 1 스펙트럼 부호화부(1503)는, 도 4에 나타내는 크기조정 계수 부호화부(403), 미세 스펙트럼 부호화부(404), 부호화 파라미터 다중화부(405) 및 도 16에 나타내는 스펙트럼 복호화부(1604)로 구성되어 있으며, 그 동작은 도 4 및 도 16에 있어서 설명한 것과 동일하므로 여기서의 설명을 생략한다. 또, 도 18의 제 1 레이어 복호 스펙트럼을 제 2 복호 스펙트럼에, 제 1 스펙트럼 부호화 파라미터를 제 2 스펙트럼 부호화 파라미터에, 각각 대체시키면, 도 18에 나타내는 구성은 도 15에 있어서의 제 2 스펙트럼 부호화부(1505)의 구성이 된다. 단, 제 2 스펙트럼 부호화부(1505)의 구성에서는, 스펙트럼 복호화부(1604)는 제외된다.
도 17은, 크기조정 계수를 이용하지 않을 경우의 스펙트럼 복호화부(1402A), (1402B)의 구성을 나타내고 있다. 이 경우, 스펙트럼 복호화부(1402A), (1402B)는, 청각 중요도 및 비트 배분 산출부(1701)와, 미세 스펙트럼 복호화부(1702)와, 스펙트럼 복호화부(1703)를 구비한다.
도 17에 있어서, 청각 중요도 및 비트 배분 산출부(1701)는, 입력되는 복호 스펙트럼 A로부터 각 대역의 청각 중요도를 구하여, 청각 중요도에 따라 결정되는 각 대역에 대한 비트 배분을 구한다. 구해진 청각 중요도와 비트 배분 정보는, 미 세 스펙트럼 복호화부(1702)에 출력된다.
미세 스펙트럼 복호화부(1702)는, 입력되는 부호화 파라미터를, 청각 중요도 및 비트 배분 산출부(1701)로부터 입력된 청각 중요도 및 비트 배분 정보에 기초해 복호하여 각 대역의 복호 미세 스펙트럼 정보를 얻어, 스펙트럼 복호화부(1703)에 출력한다.
스펙트럼 복호화부(1703)는, 입력된 복호 스펙트럼 A에, 미세 스펙트럼 복호화부(1702)로부터 입력된 미세 스펙트럼 복호 정보를 더하여, 복호 스펙트럼 B로서 출력한다.
도 17과 도 14의 대응 관계에 대해 설명하면, 도 17에 나타내는 구성이 스펙트럼 복호화부(1402A)의 구성인 경우, 도 17의 부호화 파라미터가 도 14의 제 1 스펙트럼 부호화 파라미터에, 도 17의 복호 스펙트럼 A가 도 14의 제 1 레이어 복호 신호 스펙트럼에, 도 17의 복호 스펙트럼 B가 도 14의 제 1 복호 스펙트럼에, 각각 상당한다. 또, 도 17에 나타내는 구성이 스펙트럼 복호화부(1402B)의 구성인 경우, 도 17의 부호화 파라미터가 도 14의 제 2 스펙트럼 부호화 파라미터에, 도 17의 복호 스펙트럼 A가 도 14의 제 2 복호 스펙트럼에, 도 17의 복호 스펙트럼 B가 도 14의 제 3 복호 스펙트럼에, 각각 상당한다.
또한, 도 16과 도 18의 대응과 마찬가지로 하여, 도 17의 스펙트럼 복호화부(1402A), (1402B)에 대응하는 제 1 스펙트럼 부호화부를 구성할 수가 있다.
이어서, 도 14에 나타내는 확장 대역 복호화부(1403)의 상세한 것에 대해 도 19 ~ 도 23을 이용하여 설명한다.
도 19는, 확장 대역 복호화부(1403)의 구성을 나타내는 블록도이다. 도 19에 나타내는 확장 대역 복호화부(1403)는, 분리부(1901), 진폭 조정부(1902), 필터 상태 설정부(1903), 필터링부(1904), 스펙트럼 잔차 형상 코드북(1905), 스펙트럼 잔차 게인 코드북(1906), 곱셈기(1907), 스케일 팩터 복호화부(1908), 크기조정부(1909) 및 스펙트럼 합성부(1910)를 구비한다.
분리부(1901)는, 도 14의 분리부(1401)로부터 입력되는 부호화 파라미터를, 진폭 조정 계수 부호화 파라미터, 래그 부호화 파라미터, 잔차 형상 부호화 파라미터, 잔차 게인 부호화 파라미터, 스케일 팩터 부호화 파라미터로 분리하여, 진폭 조정부(1902), 필터링부(1904), 스펙트럼 잔차 형상 코드북(1905), 스펙트럼 잔차 게인 코드북(1906), 스케일 팩터 복호화부(1908)에 각각 출력한다.
진폭 조정부(1902)는, 분리부(1901)로부터 입력된 진폭 조정 계수 부호화 파라미터를 복호하고, 복호된 진폭 조정 계수를 이용하여, 도 14의 스펙트럼 복호화부(1402A)로부터 입력된 제 1 복호 스펙트럼의 진폭을 조정하고, 진폭 조정 후의 제 1 복호 스펙트럼을 필터 상태 설정부(1903)에 출력한다. 진폭 조정은, 예를 들면 제 1 복호 스펙트럼을 S(n), 진폭 조정 계수를 γ로 하면, {S(n)}γ로 표시되는 등의 방법으로 행한다. 여기서, S(n)는 선형 영역에서의 스펙트럼 진폭, n은 주파수이다.
필터 상태 설정부(1903)는, 전달 함수 P(z)=(1-z-T)-1로 표시되는 등의 피치 필터의 필터 상태로, 진폭 조정 후의 제 1 복호 스펙트럼을 설정한다. 구체적으로 는, 필터 상태 설정부(1903)는, 진폭 조정 후의 제 1 복호 스펙트럼 S1[0 ~ Nn]을 생성 스펙트럼 버퍼 S[0~Nn]에 대입하고, 대입 후의 생성 스펙트럼 버퍼를 필터링부 (1904)에 출력한다. 여기서, z는 z변환에 있어서의 변수이다. z-1은 복소변수이며 지연 연산자로 불린다. 또, T는 피치 필터의 래그, Nn은 제 1 복호 스펙트럼의 유효 스펙트럼 점수(필터 상태로서 이용하는 스펙트럼의 상한(上限) 주파수에 상당)이며, 생성 스펙트럼 버퍼 S[n]는, n = 0 ~ Nw의 범위로 정의되는 배열 변수이다. 또, Nw는 대역 확장 후의 스펙트럼 점수이며, 본 필터링 처리에 의해 (Nw-Nn)점의 스펙트럼이 생성된다.
필터링부(1904)는, 분리부(1901)로부터 입력된 래그 부호화 파라미터 T를 이용하여, 필터 상태 설정부(1903)로부터 입력된 생성 스펙트럼 버퍼 S[n]에 대해서 필터링 처리를 행한다. 구체적으로는, 필터링부(1904)는, S[n]=S[n－T]＋gC[n], n=Nn ~ Nw에 의해 S[n]을 생성한다. 여기서, g는 스펙트럼 잔차 게인, C[n]는 스펙트럼 잔차 형상 벡터를 각각 가리키고 있으며, gC[n]은 곱셈기(1907)로부터 입력된다. 생성된 S[Nn~Nw]는 크기조정부(1909)에 출력된다.
스펙트럼 잔차 형상 코드북(1905)은, 분리부(1901)로부터 입력된 잔차 형상 부호화 파라미터를 복호하고, 복호 결과에 대응하는 스펙트럼 잔차 형상 벡터를 곱셈기(1907)에 출력한다.
스펙트럼 잔차 게인 코드북(1906)은, 분리부(1901)로부터 입력된 잔차 게인 부호화 파라미터를 복호하고, 복호 결과에 대응하는 잔차 게인을 곱셈기(1907)에 출력한다.
곱셈기(1907)는, 스펙트럼 잔차 형상 코드북(1905)으로부터 입력된 잔차 형상 벡터 C[n]과 스펙트럼 잔차 게인 코드북(1906)으로부터 입력된 잔차 게인 g와의 곱셈 결과 gC[n]를 필터링부(1904)에 출력한다.
스케일 팩터 복호화부(1908)는, 분리부(1901)로부터 입력된 스케일 팩터 부호화 파라미터를 복호하고, 복호 스케일 팩터를 크기조정부(1909)에 출력한다.
크기조정부(1909)는, 필터링부(1904)로부터 입력된 스펙트럼 S[Nn ~ Nw]에, 스케일 팩터 복호화부(1908)로부터 입력된 스케일 팩터를 곱하여 스펙트럼 합성부(1910)에 출력한다.
스펙트럼 합성부(1910)는, 저역(S[0 ~ Nn])에 도 14의 스펙트럼 복호화부(1402A)로부터 입력되는 제 1 복호 스펙트럼을, 고역(S[Nn ~ Nw])에 크기조정부(1909)로부터 입력되는 스펙트럼을, 각각 대입하여 얻어지는 스펙트럼을 제 2 복호 스펙트럼으로서 도 14의 스펙트럼 복호화부(1402B)에 출력한다.
이어서, 스펙트럼 잔차 형상 부호화 파라미터와 스펙트럼 잔차 게인 부호화 파라미터를 완전하게는 수신할 수 없는 경우의 확장 대역 복호화부(1403)의 구성을 도 20에 나타낸다. 이 경우, 완전하게 수신할 수 있는 정보는, 진폭 조정 계수의 부호화 파라미터, 래그 부호화 파라미터, 스케일 팩터 부호화 파라미터이다.
도 20에 있어서, 분리부(2001) 및 필터링부(2002) 이외의 구성은 도 19에 있어서의 각 부와 동일하므로 설명을 생략한다.
도 20에 있어서, 분리부(2001)는, 도 14의 분리부(1401)로부터 입력되는 부 호화 파라미터를, 진폭 조정 계수 부호화 파라미터, 래그 부호화 파라미터, 스케일 팩터 부호화 파라미터로 분리하여, 진폭 조정부(1902), 필터링부(2002), 스케일 팩터 복호화부(1908)에 각각 출력한다.
필터링부(2002)는, 분리부(2001)로부터 입력된 래그 부호화 파라미터 T를 이용하여, 필터 상태 설정부(1903)로부터 입력된 생성 스펙트럼 버퍼 S[n]에 대해서 필터링 처리를 행한다. 구체적으로는, 필터링부(2002)는, S[n]=S[n－T], n = Nn ~ Nw에 의해 S[n]을 생성한다. 생성된 S[Nn ~ Nw]는 크기조정부(1909)에 출력된다.
이어서, 또 래그 부호화 파라미터도 수신할 수 없는 경우의 확장 대역 복호화부(1403)의 구성을 도 21에 나타낸다. 이 경우, 완전하게 수신할 수 있는 정보는, 진폭 조정 계수의 부호화 파라미터, 스케일 팩터 부호화 파라미터이다.
도 21에서는, 도 20에 있어서의 필터 상태 설정부(1903) 및 필터링부(2002)가, 의사(擬似) 스펙트럼 생성부(2102)로 대체되어 있다. 도 21에 있어서, 분리부(2101) 및 의사 스펙트럼 생성부(2102) 이외의 구성은 도 19에 있어서의 각부와 동일하므로 설명을 생략한다.
도 21에 있어서, 분리부(2101)는, 도 14의 분리부(1401)로부터 입력되는 부호화 파라미터를, 진폭 조정 계수 부호화 파라미터와 스케일 팩터 부호화 파라미터로 분리하여, 진폭 조정부(1902), 스케일 팩터 복호화부(1908)에 각각 출력한다.
의사 스펙트럼 생성부(2102)는, 진폭 조정부(1902)로부터 입력되는 진폭 조정 후의 제 1 복호 스펙트럼을 이용하여 고역 스펙트럼을 의사적으로 생성하여, 크기조정부(1909)에 출력한다. 고역 스펙트럼의 구체적인 생성 방법으로서는, 고역 스펙트럼을 저역 스펙트럼의 경상(鏡像)으로 하여 생성하는 미러링에 기초하는 방법, 진폭 조정 후의 스펙트럼을 주파수축의 고역 방향으로 시프트하는 방법, 저역 스펙트럼으로부터 피치 래그를 구하여 이 피치 래그를 이용해서 진폭 조정 후의 스펙트럼에 대해 주파수축 방향으로 피치 필터링 처리를 행하는 방법 등이 있다. 그리고, 복호중의 프레임이 무성(無聲) 프레임이라고 판단될 경우는, 랜덤하게 생성한 잡음 스펙트럼을 이용해서 의사(擬似) 스펙트럼을 생성해도 좋다.
이어서, 또 진폭 조정 정보도 수신할 수 없는 경우의 확장 대역 복호화부(1403)의 구성을 도 22에 나타낸다. 이 경우, 완전하게 수신할 수 있는 정보는, 스케일 팩터 부호화 파라미터이다. 도 22에 있어서, 분리부(2201) 및 의사 스펙트럼 생성부(2202) 이외의 구성은 도 19에 있어서의 각 부와 동일하므로 설명을 생략한다.
도 22에 있어서, 분리부(2201)는, 도 14의 분리부(1401)로부터 입력되는 부호화 파라미터로부터 스케일 팩터 부호화 파라미터를 분리하여, 스케일 팩터 복호화부(1908)에 출력한다.
의사 스펙트럼 생성부(2202)는, 제 1 복호 스펙트럼을 이용하여 고역 스펙트럼을 의사적으로 생성하여, 크기조정부(1909)에 출력한다. 고역 스펙트럼의 구체적인 생성 방법으로서는, 고역 스펙트럼을 저역 스펙트럼의 경상(鏡像)으로 생성하는 미러링에 따르는 방법, 진폭 조정 후의 스펙트럼을 주파수축 고역 방향으로 시프트하는 방법, 저역 스펙트럼으로부터 피치 래그를 구해 이 피치 래그를 이용하여 진폭 조정 후의 스펙트럼에 대해 주파수축 방향으로 피치 필터링 처리를 행하는 방 법 등이 있다. 또한, 복호중의 프레임이 무성(無聲) 프레임이라고 판단될 경우는, 랜덤하게 생성한 잡음 스펙트럼을 이용하여 의사 스펙트럼을 생성해도 좋다. 또, 진폭 조정의 방법은, 예를 들면, 대수 영역에서 정수배(γ×S, S는 대수 스펙트럼)하거나 선형 영역에서 정수승(sγ, s는 선형 스펙트럼)하거나 하면 좋다. 또, 진폭 조정을 위한 조정 계수로서, 유성음에 있어서 저역에 있어서의 하모닉스의 골의 깊이와 고역에 있어서의 하모닉스의 골의 깊이를 맞추는데 필요한 계수의 대표적인 것을 이용하면 좋다. 또, 조정 계수는 고정된 정수로 해도 좋지만, 저역 스펙트럼의 하모닉스의 골의 깊이를 나타내는 지표(예를 들면, 직접적으로는 저역에 있어서의 스펙트럼 진폭의 분산값, 간접적으로는 제 1 레이어 부호화부(201)에 있어서의 피치 게인값)에 따라 적당한 조정 계수를 복수 준비하고, 상기 지표에 따라 대응하는 조정 계수를 선택적으로 이용하면 더욱 좋다. 또, 저역의 스펙트럼 형상(포락)정보나 피치 주기 정보 등도 이용하여, 모음(母音)마다의 특징에 따라 조정 계수를 선택적으로 이용하는 것도 좋다. 보다 구체적으로는, 실시형태 1에 있어서 설명한 의사(擬似) 스펙트럼의 생성과 동일하므로, 여기서의 설명은 생략한다.
도 23은, 도 20의 구성에 있어서 고역성분을 생성하는 일련의 동작을 나타낸 모식도이다. 도 23에 나타내는 바와 같이, 우선 제 1 복호 스펙트럼의 진폭 조정을 행한다. 이어서, 진폭 조정 후의 제 1 복호 스펙트럼을 피치 필터의 필터 정보로서 필터링 처리(피치 필터링)를 주파수축 방향으로 행하여 고역성분을 생성한다. 이어서, 생성된 고역 성분에 대해서 크기조정 계수의 대역마다 크기조정를 행하여 최종적인 고역 스펙트럼을 생성한다. 그리고, 생성된 고역 스펙트럼과 제 1 복호 스펙트럼을 합하여 제 2 복호 스펙트럼을 생성한다.
도 19의 확장 대역 복호화부(1403)에 대응하는 확장 대역 부호화부(1504)의 구성의 일례를 도 24에 나타낸다.
도 24에 있어서, 진폭 조정부(2401)는, 주파수 영역 변환부(1502A)로부터 입력되는 입력 음성 신호 스펙트럼을 이용하여, 제 1 스펙트럼 부호화부(1503)로부터 입력되는 제 1 복호 스펙트럼의 진폭 조정을 행하고, 진폭 조정 계수의 부호화 파라미터를 출력함과 동시에, 진폭 조정 후의 제 1 복호 스펙트럼을 필터 상태 설정부(2402)에 출력한다. 진폭 조정부(2401)는, 제 1 복호 스펙트럼의 최대 진폭 스펙트럼과 최소 진폭 스펙트럼의 비(比)(다이내믹 레인지)가 입력 음성 신호 스펙트럼의 고역의 다이내믹 레인지에 가까워질만한 진폭 조정 처리를 행한다. 진폭 조정의 방법으로서는, 예를 들면 상기의 방법을 들 수 있다. 또, 예를 들면 수학식(1)과 같은 변환식을 이용하여 진폭 조정을 행하는 것도 가능하다. S1이 변환전의 스펙트럼, S1'가 변환 후의 스펙트럼이다.
Figure 112007033606201-PCT00001
여기서, sign( )는 양호(+)/음호(-)를 되돌리는 함수, γ은 0≤γ≤1의 범위에 있는 실수를 나타낸다. 수학식(1)을 이용할 경우, 진폭 조정부(2401)는, 진폭 조정 후의 제 1 복호 스펙트럼이 입력 음성 신호 스펙트럼의 고역부의 다이내믹 레인지에 가장 가까워질 때의 진폭 조정 계수 γ을, 미리 준비되어 있는 복수의 후보 중에서 선택하고, 그 선택한 진폭 조정 계수 γ의 부호화 파라미터를 다중화부(203)에 출력한다.
필터 상태 설정부(2402)는, 진폭 조정부(2401)로부터 입력되는 진폭 조정 후의 제 1 복호 스펙트럼을, 도 19의 필터 상태 설정부(1903)와 동일하게 하여, 피치 필터의 내부 상태로 설정한다.
래그 설정부(2403)는, 래그 T를 미리 정해진 탐색 범위 TMIN ~ TMAX 중에서 조금씩 변화시키면서, 필터링부(2404)에 순차적으로 출력한다.
스펙트럼 잔차 형상 코드북(2405)은 복수의 스펙트럼 잔차 형상 벡터의 후보를 격납하고 있으며, 탐색부(2406)로부터의 지시에 따라 전부 또는 미리 한정된 후보중에서 순차적으로 스펙트럼 잔차 형상 벡터를 선택해서 출력한다. 마찬가지로 스펙트럼 잔차 게인 코드북(2407)은 복수의 스펙트럼 잔차 게인의 후보를 격납하고 있으며, 탐색부(2406) 로부터의 지시에 따라 전부 또는 미리 한정된 후보중에서 순차적으로 스펙트럼 잔차 벡터를 선택하여 출력한다.
곱셈부(2408)에서는, 스펙트럼 잔차 형상 코드북(2405)으로부터 출력되는 스펙트럼 잔차 형상 벡터의 후보와, 스펙트럼 잔차 게인 코드북(2407)으로부터 출력되는 스펙트럼 잔차 게인의 후보를 곱하고, 곱한 결과를 필터링부(2404)에 출력한다.
필터링부(2404)는, 필터 상태 설정부(2402)에 의해 설정된 피치 필터의 내부 상태와, 래그 설정부(2403)로부터 출력되는 래그 T와, 게인 조정된 스펙트럼 잔차 형상 벡터를 이용해 필터링을 행하여, 입력 음성 신호 스펙트럼의 추정값을 산출한 다. 이 동작은, 도 19의 필터링부(1904)의 동작과 동일하다.
탐색부(2406)는, 래그, 스펙트럼 잔차 형상 벡터 및 스펙트럼 잔차 게인의 복수의 조합 중에서, 입력 음성 신호 스펙트럼(원(原)스펙트럼)의 고역부와 필터링부(2404)의 출력 신호의 상호 상관이 최대가 될 때의 조합을, 합성에 의한 분석법(AbS；Analysis by Synthesis)을 이용하여 결정한다. 이 때, 청각 마스킹을 이용하여 청감적으로 가장 유사한 조합을 결정한다. 또, 후단에서 행해지는 스케일 팩터에 의한 크기조정을 고려한 탐색을 행한다. 탐색부(2406)에 의해 결정된 래그의 부호화 파라미터, 스펙트럼 잔차 형상 벡터의 부호화 파라미터 및 스펙트럼 잔차 게인의 부호화 파라미터는, 다중화부(203) 및 확장 대역 복호화부(2409)에 출력된다.
또한, 상기의 AbS에 의한 부호화 파라미터 결정법에 있어서, 피치 계수, 스펙트럼 잔차 형상 벡터 및 스펙트럼 잔차 게인을 동시에 결정해도 좋다. 또는, 연산량을 삭감하기 위해서 피치 계수 T, 스펙트럼 잔차 형상 벡터, 스펙트럼 잔차 게인의 순서로 결정해도 좋다.
확장 대역 복호화부(2409)는, 진폭 조정부(2401)로부터 출력되는 진폭 조정 계수의 부호화 파라미터, 탐색부(2406)로부터 출력되는 래그의 부호화 파라미터, 스펙트럼 잔차 형상 벡터의 부호화 파라미터 및 스펙트럼 잔차 게인의 부호화 파라미터를 이용하여 제 1 복호 스펙트럼에 대한 복호 처리를 행하고, 입력 음성 신호 스펙트럼의 추정 스펙트럼(즉, 크기조정 전의 스펙트럼)을 생성하여, 스케일 팩터 부호화부(2410)에 출력한다. 복호 순서는 도 19의 확장 대역 복호화부(1403)와 동 일하다(단, 도 19의 크기조정부(1909) 및 스펙트럼 합성부(1910)의 처리를 제외함).
스케일 팩터 부호화부(2410)는, 주파수 영역 변환부(1502A)로부터 출력되는 입력 음성 신호 스펙트럼(원(原)스펙트럼)의 고역부와, 확장 대역 복호화부(2409)로부터 출력되는 추정 스펙트럼과, 청각 마스킹을 이용하여, 청감상 가장 적합한 추정 스펙트럼의 스케일 팩터(크기조정 계수)를 부호화하고, 그 부호화 파라미터를 다중화부(203)에 출력한다.
도 25는, 도 1의 분리부(101)가 수신하는 비트 스트림의 내용을 나타내는 모식도이다. 이 도면에 나타내는 바와 같이, 비트 스트림에서는 복수의 부호화 파라미터가 시간다중되어 있다. 또, 도 25의 왼쪽이 MSB(Most Significant Bit, 비트 스트림 중에서 중요도가 가장 높은 비트), 오른쪽이 LSB(Least Significant Bit, 비트 스트림 중에서 중요도가 가장 낮은 비트)를 나타내고 있다. 이와 같이 부호화 파라미터가 배열됨으로써, 전송로상에서 비트 스트림을 부분적으로 파기할 경우에, LSB쪽에서부터 차례로 파기함으로써, 파기로 인한 품질 열화를 최소한으로 억제할 수 있다. LSB에서부터 (1)까지 파기될 경우는 도 20, LSB에서부터 (2)까지 파기될 경우는 도 21, LSB에서부터 (3)까지 파기될 경우는 도 22를 이용하여 각각 설명한 방법으로 복호 처리를 행할 수 있다. 또, LSB에서부터 (4)까지 파기될 경우는, 제 1 레이어의 복호 신호를 출력 신호로 한다.
또한, 부호화 파라미터를 LSB쪽에서부터 우선적으로 파기하는 네트워크의 실현 방법에 대해서는 특별히 한정되지 않는다. 예를 들면, 도 25에서 단락지어진 각 부호화 파라미터에 우선(優先)순위를 매겨서 별개의 패킷으로 전송함으로써 우선(優先)제어를 행하는 패킷망을 사용할 수도 있다.
또, 본 실시형태에서는, 도 19에 있어서, 스펙트럼 잔차 형상 코드북(1905), 스펙트럼 잔차 게인 코드북(1906), 곱셈기(1907)를 구비하는 구성을 나타냈지만, 이들을 구비하지 않는 구성을 취할 수도 있다. 이 경우, 부호화기측은, 잔차 형상 벡터의 부호화 파라미터와 잔차 게인의 부호화 파라미터를 전송할 필요가 없어, 저비트레이트로 통신을 행할 수 있다. 또, 이 경우의 복호 처리 절차는, 스펙트럼 잔차 정보(형상 및 게인)의 복호 처리가 없는 점만이 도 19를 이용한 설명과 다르다. 즉, 복호 처리 절차는 도 20을 이용해서 설명한 처리 절차가 되고, 비트 스트림은 도 25에 있어서 (1)의 위치가 LSB가 된다.
(실시형태 3)
본 실시형태는, 실시형태 2에 있어서, 도 14에 나타낸 제 2 레이어 복호화부(103)의 확장 대역 복호화부(1403)의 다른 구성을 나타내는 것이다. 본 실시형태에서는, 해당 프레임 및 전(前)프레임의 확장 대역 부호화 파라미터로부터 복호되는 복호 파라미터와, 해당 프레임의 수신 비트 스트림에 대한 데이터 로스(data loss) 정보를 이용하여 해당 프레임의 복호 파라미터를 결정하여 제 2 복호 스펙트럼을 복호한다.
도 26은, 본 발명의 실시형태 3에 따른 확장 대역 복호화부(1403)의 구성을 나타내는 블록도이다. 도 26의 확장 대역 복호화부(1403)에 있어서, 진폭 조정 계 수 복호화부(2601)는, 진폭 조정 계수 부호화 파라미터로부터 진폭 조정 계수를 복호한다. 래그 복호화부(2602)는, 래그 부호화 파라미터로부터 래그를 복호한다. 복호 파라미터 제어부(2603)는, 확장 대역 부호화 파라미터로부터 복호되는 각 복호 파라미터, 수신 데이터 로스 정보 및 각 버퍼(2604a ~ 2604e)로부터 출력되는 전(前)프레임의 각 복호 파라미터를 이용하여, 해당 프레임의 제 2 복호 스펙트럼의 복호에 이용할 복호 파라미터를 결정한다. 버퍼(2604a ~ 2604e)는 각각, 해당 프레임의 복호 파라미터인, 진폭 조정 계수, 래그, 잔차 형상 벡터, 스펙트럼 잔차 게인, 스케일 팩터를 기억하는 버퍼이다. 또한, 도 26에 있어서의 이외의 구성은, 도 19의 확장 대역 복호화부(1403)의 구성과 동일하기 때문에 설명을 생략한다.
이어서, 이와 같이 구성된 확장 대역 복호화부(1403)의 동작을 설명한다.
우선, 해당 프레임의 제 2 레이어 부호화 데이터의 일부인 확장 대역 부호화 파라미터에 포함되는 각 복호 파라미터, 즉, 스케일 팩터, 래그, 진폭 조정 계수, 잔차 형상 벡터, 스펙트럼 잔차 게인의 각각의 부호화 파라미터는, 각각의 복호화부(1908),(2602),(2601),(1905),(1906)에 의해 복호된다. 그리고, 복호 파라미터 제어부(2603)에 있어서, 복호된 각 복호 파라미터 및 그 전(前)프레임의 복호 파라미터를 이용하여, 수신 데이터 로스 정보에 기초하여, 해당 프레임의 제 2 복호 스펙트럼의 복호에 이용할 복호 파라미터를 결정한다.
여기서, 수신 데이터 로스 정보란, 로스(패킷 로스나, 전송 오류에 의해 오류가 검출된 경우 등을 포함함)로 말미암아, 확장 대역 부호화 파라미터의 어느 부분이 확장 대역 복호화부(1403)에서 이용할 수 없는지를 나타내는 정보이다.
그리고, 복호 파라미터 제어부(2603)에서 얻어진 해당 프레임의 복호 파라미터 및 제 1 복호 스펙트럼을 이용하여, 제 2 복호 스펙트럼이 복호된다. 그 구체적 동작은 실시형태 2에 있어서의 도 19의 확장 대역 복호화부(1403)와 동일하므로 설명은 생략한다.
이어서, 복호 파라미터 제어부(2603)의 제 1의 동작 형태를 이하에서 설명한다.
제 1의 동작 형태에서는, 복호 파라미터 제어부(2603)는, 로스로 인해 얻지 못한 부호화 파라미터에 대응하는 주파수 대역의 복호 파라미터로서, 전(前)프레임에 대응하는 주파수 대역의 복호 파라미터를 대용한다.
구체적으로는,
SF(n, m)： 제 n 프레임의 제 m 주파수 대역의 스케일 팩터,
T(n, m)： 제 n 프레임의 제 m 주파수 대역의 래그,
γ(n, m)： 제 n 프레임의 제 m 주파수 대역의 진폭 조정 계수,
c(n, m)： 제 n 프레임의 제 m 주파수 대역의 잔차 형상 벡터,
g(n, m)： 제 n 프레임의 제 m 주파수 대역의 스펙트럼 잔차 게인,
m = ML ~ MH,
ML： 제 2 레이어에 있어서의 고역 주파수 대역의 최저 주파수 대역의 번호,
MH： 제 2 레이어에 있어서의 고역 주파수 대역의 최고 주파수 대역의 번호,
라 하면, 해당 프레임의 제 m 대역의 상기 어떤 부호화 파라미터가 로스하여 수신할 수 없음이 수신 데이터 로스 정보에 의해 나타날 경우는, 상기 로스한 해당 부호화 파라미터에 대응하는 복호 파라미터로서 전(前)프레임(제n-1 프레임)의 제 m 대역의 복호 파라미터가 출력된다.
즉,
스케일 팩터가 로스한 경우：
SF(n, m) ← SF(n-1, m)
래그가 로스한 경우：
T(n, m) ← T(n-1, m)
진폭 조정 계수가 로스한 경우：
γ(n, m) ←γ(n-1, m)
잔차 형상 벡터가 로스한 경우：
c(n, m) ← c(n-1, m)
스펙트럼 잔차 게인이 로스한 경우：
g(n, m) ← g(n-1, m)
이다.
또한, 상기 대신에, 하기의 (a) 또는 (b) 중의 하나로 해도 좋다.
(a) 상기 5 종류 파라미터의 어느 하나라도 로스한 주파수 대역에서는, 5종류 전부 또는 임의의 조합으로 관련지은 복수 종류의 복호 파라미터로서, 전(前)프레임의 대응하는 파라미터를 이용한다.
(b) 상기 5 종류의 파라미터의 어느 하나라도 로스한 주파수 대역에서는, 잔차 형상 벡터 및(또는) 스펙트럼 잔차 게인을 0으로 한다.
한편, 로스가 발생하지 않은 주파수 대역에서는, 수신한 해당 프레임의 부호화 파라미터를 이용하여 복호한 복호 파라미터를 그대로 출력한다.
그리고, 상기에 의해 얻어진, 해당 프레임의 고역 주파수 전부의 대역의 복호 파라미터 SF(n, m), T(n, m), γ(n, m), c(n, m), g(n, m)： m = ML ~ MH를 해당 프레임의 복호 파라미터로서 출력한다.
또한, 제 2 레이어의 부호화 파라미터 전부가 로스한 경우에는, 제 2 레이어의 프레임 보상에서는, 해당 프레임의 고역 주파수의 전대역의 확장 대역 복호 파라미터로서, 전(前)프레임의 대응하는 복호 파라미터를 이용한다.
또, 상기의 설명에서는, 로스가 발생한 프레임에서는 항상 전(前)프레임의 복호 파라미터를 이용하여 복호를 행하는 형태를 설명했지만, 다른 형태로서 전(前)프레임과 해당 프레임의 신호의 상관성에 기초하여, 상관성이 임계값보다 높을 경우에만 상기에서 설명한 방법에 의해 복호를 행하고, 상관성이 임계값보다 낮을 경우에는, 실시형태 2에 따라, 해당 프레임내에 한정된 수법을 이용하여 복호를 행하도록 해도 좋다. 이 경우, 전(前)프레임의 신호와 해당 프레임 신호의 상관성을 나타내는 지표로서는, 예를 들면, 제 1 레이어의 부호화 파라미터로부터 얻어지는 LPC 파라미터 등의 스펙트럼 포락 정보, 피치 주기나 피치 게인 파라미터 등의 신호의 유성(有聲) 정상성(定常性)에 관한 정보, 제 1 레이어의 저역 복호 신호, 제 1 레이어의 저역 복호 스펙트럼 그 자체 등을 이용하여 산출된, 전(前)프레임과 해당 프레임 간의 상관계수나 스펙트럼 거리 등이 있다.
이어서, 복호 파라미터 제어부(2603)의 제 2의 동작 형태를 이하에 설명한 다.
제 2의 동작 형태에서는, 복호 파라미터 제어부(2603)는, 해당 프레임의 데이터 로스가 발생한 주파수 대역에 대해서, 전(前)프레임의 해당 주파수 대역의 복호 파라미터 및 전(前)프레임과 해당 프레임의 해당 주파수 대역에 인접하는 주파수 대역의 복호 파라미터를 이용하여, 해당 주파수 대역의 복호 파라미터를 구한다.
구체적으로는, 해당 프레임의 제m대역의 부호화 파라미터가 로스하여 수신할 수 없음이 수신 데이터 로스 정보에 의해 나타날 경우는, 상기 로스한 해당 부호화 파라미터에 대응하는 복호 파라미터로서 전(前)프레임(제 n-1 프레임)의 제 m 대역의 복호 파라미터 및 전(前)프레임 및 해당 프레임의 해당 주파수 대역에 인접하는 대역(전 프레임과 해당 프레임에서 동일한 대역)의 복호 파라미터를 이용하여 하기와 같이 복호 파라미터를 얻는다.
즉,
스케일 팩터가 로스한 경우：
SF(n, m) ← SF(n-1, m)*SF(n, m-1)/SF(n-1, m-1)
래그가 로스한 경우：
T(n, m) ← T(n-1, m)*T(n, m-1)/T(n-1, m-1)
진폭 조정 계수가 로스한 경우：
γ(n, m) ← γ(n-1, m)*γ(n, m-1)/(n-1, m-1)
스펙트럼 잔차 게인이 로스한 경우：
g(n, m) ← g(n-1, m)*g(n, m-1)/g(n-1, m-1)
잔차 형상 벡터가 로스한 경우：
c(n, m)←c(n-1, m) 또는 0
이다.
상기 대신에, 하기의 (a) 또는 (b) 중의 한가지로 해도 좋다.
(a) 상기 5 종류 파라미터의 어느 하나라도 로스한 주파수 대역에서는, 5종류 전부 또는 임의의 조합으로 관련지은 복수 종류의 복호 파라미터로서, 상기에 따라 구한 파라미터를 이용한다.
(b) 상기 5 종류 파라미터의 어느 하나라도 로스한 주파수 대역에서는, 잔차 형상 벡터 및(또는) 스펙트럼 잔차 게인을 0으로 한다.
한편, 로스가 발생하지 않은 주파수 대역에서는, 수신한 해당 프레임의 부호화 파라미터를 이용하여 복호한 복호 파라미터를 그대로 출력한다.
그리고, 상기에 의해 얻어진, 해당 프레임의 고역 주파수 전부의 대역의 복호 파라미터 SF(n, m), T(n, m), γ(n, m), c(n, m), g(n, m)： m = ML ~ MH를 해당 프레임의 복호 파라미터로서 출력한다.
또한, 상기에서는, 해당 주파수 대역m의 인접 주파수 대역을 m-1로 한 예로 설명했지만, 주파수 대역 m＋1의 파라미터를 이용해도 좋다. 단, 인접하는 주파수 대역도 부호화 파라미터가 로스한 경우에는, 로스가 발생하지 않은 가장 가까운 주파수 대역 등 다른 주파수 대역의 복호 파라미터를 이용하도록 해도 좋다.
또, 상기 제 1의 동작 형태와 마찬가지로, 전(前)프레임의 신호와 해당 프레 임의 신호의 상관성에 기초하여, 상관성이 임계값보다 높을 경우만 상기에서 설명한 방법을 이용하여 복호를 행하도록 해도 좋다.
또, 상기 5 종류의 복호 파라미터 중, 일부의 파라미터(스케일 팩터, 또는 스케일 팩터 및 진폭 조정 계수)만, 상기에서 설명한 처리에 의해 산출한 복호 파라미터를 이용하고, 그 이외의 복호 파라미터를 전(前)프레임의 해당 주파수 대역의 파라미터를 이용하여 복호를 행하든가, 또는, 실시형태 2에서 설명한 방법에 의해 복호를 행하도록 해도 좋다.
또, 다른 동작 형태로서, 복수의 부호화 프레임을 모아 1개의 패킷에 다중화하여 전송하는 등의 시스템에 있어서, 시간적으로 미래의 부호화 파라미터를 우선적으로 보호하도록(로스시키지 않음) 제어하는 형태가 있다. 이 형태에서는, 수신측에서는, 복수 프레임을 모아서 수신한 비트 스트림을 복호할 때에, 로스한 해당 프레임의 부호화 파라미터의 복호를, 해당 프레임의 전후 프레임의 부호화 파라미터를 이용하여, 상기 제 1의 동작 형태 또는 제 2의 동작 형태와 동일하게 행하도록 해도 좋다. 그 때는, 전(前)프레임의 복호 파라미터와 후속 프레임의 복호 파라미터의 중간적인 값이 되는 보간(補間)값을 구하여 복호 파라미터로서 사용하도록 한다.
또, 아래와 같은 형태를 취하는 것도 가능하다.
(1) 확장 대역 부호화 파라미터에 로스가 발생한 주파수 대역에 대해서는, 도 14에 나타내는 제 2 레이어 복호화부(103) 내의 스펙트럼 복호화부(1402B)에서의 복호 스펙트럼을 가산하지 않는다.
(2) 확장 대역 복호화부(1403)에서는, 스펙트럼 잔차 형상 코드북, 스펙트럼 잔차 게인 코드북, 곱셈기를 구비하지 않는 구성으로 해도 좋다.
또, 상기 실시형태 1 ~ 3에 있어서는, 모두 2개 레이어의 구성예를 나타냈지만, 3개 레이어 이상이 되어도 좋다.
이상, 본 발명에 의한 스케일러블 복호화 장치 및 스케일러블 부호화 장치의 실시형태에 대해서 설명했다.
본 발명에 따른 스케일러블 복호화 장치 및 스케일러블 부호화 장치는, 상기의 실시형태 1 ~ 3에 한정되지 않으며, 여러 가지 변경해서 실시하는 것이 가능하다.
본 발명에 따른 스케일러블 복호화 장치 및 스케일러블 부호화 장치는, 이동체 통신 시스템에 있어서의 통신 단말장치 및 기지국 장치에 탑재하는 것이 가능하며, 이에 의해 상기와 같은 작용 효과를 가지는 통신 단말장치 및 기지국 장치를 제공할 수 있다.
또, 여기에서는, 본 발명을 하드웨어로 구성하는 경우를 예로 들어 설명했지만, 본 발명은 소프트웨어로 실현되는 것도 가능하다.
또, 상기 각 실시형태의 설명에 이용한 각 기능 블록은, 전형적으로는 집적회로인 LSI로서 실현된다. 이들은 개별적으로 1칩화 되어도 좋고, 일부 또는 모두를 포함하도록 1칩화되어도 좋다.
여기서는, LSI라고 했지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라고 호칭되는 일도 있다.
또, 집적회로화의 수법은 LSI에 한하는 것은 아니며, 전용 회로 또는 범용 프로세서로 실현되어도 좋다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블 프로세서를 이용해도 좋다.
또, 반도체 기술의 진보 또는 파생하는 별개의 기술에 의해 LSI에 대체되는 집적회로화의 기술이 등장하면, 당연히 그 기술을 이용하여 기능 블록의 집적화를 행하여도 좋다. 바이오 기술의 적응 등이 가능성으로서 있을 수 있다.
본 발명의 스케일러블 복호화 장치의 주된 특징을 이하에 나타낸다.
제 1, 본 발명에서는, 미러링을 이용하여 고역 생성을 행할 때, 미러링할 원래의 저역 스펙트럼의 변동폭을 조정한 후에 미러링을 행하기 때문에, 변동폭 조정에 관한 정보를 전송해도 안해도 좋다. 이로 말미암아, 실제의 고역 스펙트럼에 맞은 조파 구조를 근사(近似)할 수 있어, 과도한 조파 구조의 생성을 회피할 수 있다.
제 2, 본 발명에서는, 전송로 오류 등에 의해 래그 정보가 수신되지 않을 때는, 부호화된 고역 성분을 복호할 때, 상기 제 1의 특징에 의한 요령으로 미러링을 행하여 고역 성분의 복호 처리를 행하기 때문에, 래그 정보를 이용하지 않아도 고역에 조파 구조를 가지는 스펙트럼을 생성할 수 있다. 또, 조파 구조의 강도도 타당한 레벨로 조정할 수 있다. 또한, 미러링 대신에 다른 수법을 이용하여 의사(擬似) 스펙트럼을 생성해도 좋다.
제 3, 본 발명에서는, 스케일 팩터, 진폭 조정 계수, 래그, 스펙트럼 잔차의 순서로 구성된 비트 스트림이 사용되며, 스펙트럼 잔차 정보가 수신되지 않을 경우는, 스케일 팩터, 진폭 조정 계수, 및 래그 정보만으로 복호 신호를 생성하고, 래그 정보와 스펙트럼 잔차 정보가 수신되지 않을 경우는, 상기 제 2의 특징에 의한 복호화의 요령으로 복호 처리를 행한다. 이 때문에, 전송로 오류나 부호화 정보의 소실 및 파기의 발생율이, 스케일 팩터, 진폭 조정 계수, 래그, 스펙트럼 잔차의 순서로 높아지도록 설계되어 있는 (즉, 스케일 팩터가 가장 오류 보호가 강하거나, 전송로상에서 우선적으로 전송 되거나 함) 시스템에 본 발명이 적용될 경우, 전송로 오류에 의한 복호 음성의 품질 열화를 최소한으로 억제할 수 있다. 또, 상기의 각 파라미터 단위로 복호 음성 품질이 서서히 변화하므로, 종래보다 세세한 스케일러빌리티를 실현할 수 있다.
제 4, 본 발명에서는, 확장 대역 복호화부에 있어서, 전(前)프레임의 복호에 이용한 확장 대역 부호화 파라미터로부터 복호될 복호 파라미터를 각각 기억해 두기 위한 버퍼와, 해당 프레임 및 전(前)프레임의 각 복호 파라미터, 해당 프레임의 수신 비트 스트림에 대한 데이터 로스 정보를 이용하여 해당 프레임의 복호 파라미터를 결정하는 복호 파라미터 제어부를 구비하여, 해당 프레임의 제 1 복호 스펙트럼과 복호 파라미터 제어부로부터 출력된 복호 파라미터를 이용하여, 제 2 복호 스펙트럼을 생성한다. 이 때문에, 저역 스펙트럼을 내부 상태로서 가지는 필터를 이용하여 고역 스펙트럼을 부호화하여 얻어지는 확장 대역 부호화 데이터 중의 일부 또는 전부가 로스하여 복호에 이용할 수 없을 경우에, 유사성이 높은 전(前)프레임의 복호 파라미터를 대신에 이용하여 로스 보상을 행할 수 있어, 데이터 로스 발생 시에도 높은 음질의 신호를 복호할 수 있다.
상기 제 4의 특징에 있어서는, 복호 파라미터 제어부가, 해당 프레임의 데이터 로스가 발생한 주파수 대역에 대해서, 전(前)프레임의 해당 주파수 대역 및 전(前)프레임과 해당 프레임의 해당 주파수 대역에 인접하는 주파수 대역의 복호 파라미터를 이용하여, 해당 주파수 대역의 복호 파라미터를 구하도록 해도 좋다. 이에 의해, 유사성이 높은 전(前)프레임의 부호화 파라미터를 이용할 때에, 보상(補償) 대상 주파수 대역에 인접하는 주파수 대역의 시간적 변화 관계를 이용할 수 있어, 보다 정밀도 높은 보상을 행할 수 있다.
본 명세서는, 2004년 11월 5일에 출원한 특허출원 2004-322954에 기초하고 있는 것이다. 이 내용은 모두 여기에 포함시켜 놓는다.
본 발명의 스케일러블 복호화 장치 및 스케일러블 부호화 장치는, 이동체 통신 시스템이나 인터넷 프로토콜을 이용한 패킷 통신 시스템 등의 용도에 적용할 수 있다.

Claims (8)

  1. 저주파 대역의 부호화 정보를 복호하여 저주파 대역의 복호 신호를 얻는 제 1 복호화 수단과,
    상기 저주파 대역의 복호 신호와 고주파 대역의 부호화 정보로부터 고주파 대역의 복호 신호를 얻는 제 2 복호화 수단을 구비하는 스케일러블 복호화 장치로서,
    상기 제 2 복호화 수단은,
    상기 저주파 대역의 복호 신호를 변환하여 저주파 대역의 스펙트럼을 얻는 변환 수단과,
    상기 저주파 대역의 스펙트럼에 대해서 진폭 조정을 실시하는 조정 수단과,
    진폭 조정된 저주파 대역의 스펙트럼과 상기 고주파 대역의 부호화 정보를 이용하여, 고주파 대역의 스펙트럼을 의사적(擬似的)으로 생성하는 생성 수단
    을 구비하는 스케일러블 복호화 장치.
  2. 제 1 항에 있어서,
    상기 생성 수단은, 진폭 조정된 저주파 대역의 스펙트럼에 미러링을 적용하여 상기 고주파 대역의 스펙트럼을 의사적으로 생성하는 스케일러블 복호화 장치.
  3. 제 1 항에 있어서,
    상기 생성 수단은, 상기 고주파 대역의 부호화 정보의 적어도 일부를 복호할 수 없을 경우에, 상기 고주파 대역의 스펙트럼을 의사적으로 생성하는 스케일러블 복호화 장치.
  4. 제 1 항에 있어서,
    상기 생성 수단은, 진폭 조정된 저주파 대역의 스펙트럼에 피치 필터링 처리를 적용하여 상기 고주파 대역의 스펙트럼을 의사적으로 생성하는 스케일러블 복호화 장치.
  5. 제 1 항에 있어서,
    상기 고주파 대역의 부호화 정보는, 중요도가 높은 순서로, 스케일 팩터, 진폭 조정 계수, 래그, 스펙트럼 잔차의 순으로 구성되며,
    상기 생성 수단은, 상기 고주파 대역의 부호화 정보에 있어서 상기 스펙트럼 잔차가 결락(缺落)될 경우에, 상기 스케일 팩터, 상기 진폭 조정 계수, 상기 래그를 이용하여, 상기 고주파 대역의 스펙트럼을 의사적으로 생성하는
    스케일러블 복호화 장치.
  6. 제 1 항에 있어서,
    상기 고주파 대역의 부호화 정보는, 중요도가 높은 순서로, 스케일 팩터, 진폭 조정 계수, 래그, 스펙트럼 잔차의 순으로 구성되며,
    상기 생성 수단은, 상기 고주파 대역의 부호화 정보에 있어서 상기 래그 및 상기 스펙트럼 잔차가 결락(缺落)될 경우에, 진폭 조정된 저주파 대역의 스펙트럼에 미러링을 적용하여 상기 고주파 대역의 스펙트럼을 의사적으로 생성하는
    스케일러블 복호화 장치.
  7. 제 1 항에 있어서,
    상기 고주파 대역의 부호화 정보는, 중요도가 높은 순서로, 스케일 팩터, 진폭 조정 계수, 래그, 스펙트럼 잔차의 순으로 구성되며,
    상기 생성 수단은, 상기 스케일 팩터, 상기 진폭 조정 계수, 상기 래그, 상기 스펙트럼 잔차의 적어도 하나가 결락(缺落)될 경우에, 결락된 정보에 대응하는 과거의 정보를 이용하여 상기 고주파 대역의 스펙트럼을 의사적으로 생성하는
    스케일러블 복호화 장치.
  8. 원(原)신호로부터, 저주파 대역의 부호화 정보와 고주파 대역의 부호화 정보 를 생성하여 청구항 1에 기재한 스케일러블 복호화 장치에 대해서 출력하는 스케일러블 부호화 장치로서,
    상기 원신호를 부호화하여 상기 저주파 대역의 부호화 정보를 얻는 제 1 부호화 수단과,
    상기 저주파 대역의 부호화 정보의 복호 신호로부터 얻어지는 저주파 대역의 스펙트럼을 내부 상태로서 가지는 필터를 이용하여 상기 원신호 스펙트럼의 고주파 대역부의 추정값을 얻음과 동시에, 상기 필터의 특성을 나타내는 정보를 상기 고주파 대역의 부호화 정보로서 출력하는 제 2 부호화 수단
    을 구비하는 스케일러블 부호화 장치.
KR1020077010273A 2004-11-05 2005-11-02 스케일러블 복호화 장치 및 스케일러블 부호화 장치 KR20070084002A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004322954 2004-11-05
JPJP-P-2004-00322954 2004-11-05

Publications (1)

Publication Number Publication Date
KR20070084002A true KR20070084002A (ko) 2007-08-24

Family

ID=36319210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077010273A KR20070084002A (ko) 2004-11-05 2005-11-02 스케일러블 복호화 장치 및 스케일러블 부호화 장치

Country Status (8)

Country Link
US (1) US7983904B2 (ko)
EP (1) EP1808684B1 (ko)
JP (1) JP4977472B2 (ko)
KR (1) KR20070084002A (ko)
CN (1) CN101048649A (ko)
BR (1) BRPI0517780A2 (ko)
RU (2) RU2404506C2 (ko)
WO (1) WO2006049205A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659568B2 (en) 2007-12-31 2017-05-23 Lg Electronics Inc. Method and an apparatus for processing an audio signal

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3336843B1 (en) * 2004-05-14 2021-06-23 Panasonic Intellectual Property Corporation of America Speech coding method and speech coding apparatus
US7769584B2 (en) 2004-11-05 2010-08-03 Panasonic Corporation Encoder, decoder, encoding method, and decoding method
JP4899359B2 (ja) * 2005-07-11 2012-03-21 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
EP1933304A4 (en) * 2005-10-14 2011-03-16 Panasonic Corp DIMENSIONABLE CODING APPARATUS, DIMENSIONABLE DECODING APPARATUS AND METHODS OF USING SAME
JP5030789B2 (ja) * 2005-11-30 2012-09-19 パナソニック株式会社 サブバンド符号化装置およびサブバンド符号化方法
EP1959431B1 (en) * 2005-11-30 2010-06-23 Panasonic Corporation Scalable coding apparatus and scalable coding method
JP5159318B2 (ja) * 2005-12-09 2013-03-06 パナソニック株式会社 固定符号帳探索装置および固定符号帳探索方法
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
CN101115124B (zh) * 2006-07-26 2012-04-18 日电（中国）有限公司 基于音频水印识别媒体节目的方法和装置
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US9454974B2 (en) 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
US8532984B2 (en) * 2006-07-31 2013-09-10 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of active frames
CN101548318B (zh) * 2006-12-15 2012-07-18 松下电器产业株式会社 编码装置、解码装置以及其方法
FR2911020B1 (fr) * 2006-12-28 2009-05-01 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2911031B1 (fr) * 2006-12-28 2009-04-10 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2912249A1 (fr) * 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
JP5294713B2 (ja) * 2007-03-02 2013-09-18 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
JP4708446B2 (ja) * 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
WO2008114078A1 (en) * 2007-03-16 2008-09-25 Nokia Corporation En encoder
US9466307B1 (en) * 2007-05-22 2016-10-11 Digimarc Corporation Robust spectral encoding and decoding methods
US8990073B2 (en) * 2007-06-22 2015-03-24 Voiceage Corporation Method and device for sound activity detection and sound signal classification
JP5098530B2 (ja) * 2007-09-12 2012-12-12 富士通株式会社 復号化装置、復号化方法および復号化プログラム
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US9872066B2 (en) * 2007-12-18 2018-01-16 Ibiquity Digital Corporation Method for streaming through a data service over a radio link subsystem
WO2009081568A1 (ja) * 2007-12-21 2009-07-02 Panasonic Corporation 符号化装置、復号装置および符号化方法
BRPI0908929A2 (pt) * 2008-03-14 2016-09-13 Panasonic Corp dispositivo de codificação, dispositivo de decodificação, e método dos mesmos
WO2009116815A2 (en) * 2008-03-20 2009-09-24 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding using bandwidth extension in portable terminal
JP2009300707A (ja) * 2008-06-13 2009-12-24 Sony Corp 情報処理装置および方法、並びにプログラム
PL4053838T3 (pl) * 2008-12-15 2023-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy
EP2360687A4 (en) * 2008-12-19 2012-07-11 Fujitsu Ltd VOICE BAND EXTENSION DEVICE AND VOICE BAND EXTENSION METHOD
WO2011047887A1 (en) * 2009-10-21 2011-04-28 Dolby International Ab Oversampling in a combined transposer filter bank
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
US8949117B2 (en) * 2009-10-14 2015-02-03 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device and methods therefor
US8977546B2 (en) 2009-10-20 2015-03-10 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device and method for both
EP2555188B1 (en) * 2010-03-31 2014-05-14 Fujitsu Limited Bandwidth extension apparatuses and methods
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
KR20130088756A (ko) * 2010-06-21 2013-08-08 파나소닉 주식회사 복호 장치, 부호화 장치 및 이러한 방법
US8762158B2 (en) * 2010-08-06 2014-06-24 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus therefor
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2012052802A1 (en) * 2010-10-18 2012-04-26 Nokia Corporation An audio encoder/decoder apparatus
WO2012144128A1 (ja) * 2011-04-20 2012-10-26 パナソニック株式会社 音声音響符号化装置、音声音響復号装置、およびこれらの方法
US8620646B2 (en) * 2011-08-08 2013-12-31 The Intellisis Corporation System and method for tracking sound pitch across an audio signal using harmonic envelope
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP5975243B2 (ja) 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
KR102070430B1 (ko) * 2011-10-21 2020-01-28 삼성전자주식회사 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
CN103366751B (zh) * 2012-03-28 2015-10-14 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法
CN103366749B (zh) * 2012-03-28 2016-01-27 北京天籁传音数字技术有限公司 一种声音编解码装置及其方法
CN106409299B (zh) 2012-03-29 2019-11-05 华为技术有限公司 信号编码和解码的方法和设备
EP2842322A1 (en) * 2012-04-24 2015-03-04 Telefonaktiebolaget LM Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9601125B2 (en) * 2013-02-08 2017-03-21 Qualcomm Incorporated Systems and methods of performing noise modulation and gain adjustment
US9711156B2 (en) * 2013-02-08 2017-07-18 Qualcomm Incorporated Systems and methods of performing filtering for gain determination
CN108364657B (zh) 2013-07-16 2020-10-30 超清编解码有限公司 处理丢失帧的方法和解码器
EP2830063A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for decoding an encoded audio signal
EP3614381A1 (en) * 2013-09-16 2020-02-26 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
WO2015083575A1 (ja) * 2013-12-06 2015-06-11 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
RU2764260C2 (ru) 2013-12-27 2022-01-14 Сони Корпорейшн Устройство и способ декодирования
KR102185478B1 (ko) * 2014-02-28 2020-12-02 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 복호 장치, 부호화 장치, 복호 방법, 및 부호화 방법
CN106537500B (zh) * 2014-05-01 2019-09-13 日本电信电话株式会社 周期性综合包络序列生成装置、周期性综合包络序列生成方法、记录介质
PL3594946T3 (pl) * 2014-05-01 2021-03-08 Nippon Telegraph And Telephone Corporation Dekodowanie sygnału dźwiękowego
CN106683681B (zh) 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
KR20230066137A (ko) 2014-07-28 2023-05-12 삼성전자주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックＩｐマネジメント株式会社 音声信号復号装置及び音声信号復号方法
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
US10431231B2 (en) * 2017-06-29 2019-10-01 Qualcomm Incorporated High-band residual prediction with time-domain inter-channel bandwidth extension
CN110556122B (zh) * 2019-09-18 2024-01-19 腾讯科技（深圳）有限公司 频带扩展方法、装置、电子设备及计算机可读存储介质
CN113113032A (zh) * 2020-01-10 2021-07-13 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN112309408A (zh) * 2020-11-10 2021-02-02 北京百瑞互联技术有限公司 一种扩展lc3音频编解码带宽的方法、装置及存储介质
CN113724725B (zh) * 2021-11-04 2022-01-18 北京百瑞互联技术有限公司 一种蓝牙音频啸叫检测抑制方法、装置、介质及蓝牙设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2779886B2 (ja) * 1992-10-05 1998-07-23 日本電信電話株式会社 広帯域音声信号復元方法
JP2964879B2 (ja) * 1994-08-22 1999-10-18 日本電気株式会社 ポストフィルタ
JP3707153B2 (ja) * 1996-09-24 2005-10-19 ソニー株式会社 ベクトル量子化方法、音声符号化方法及び装置
DE69721595T2 (de) * 1996-11-07 2003-11-27 Matsushita Electric Ind Co Ltd Verfahren zur Erzeugung eines Vektorquantisierungs-Codebuchs
GB2351889B (en) * 1999-07-06 2003-12-17 Ericsson Telefon Ab L M Speech band expansion
US7742927B2 (en) * 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
CN1235192C (zh) * 2001-06-28 2006-01-04 皇家菲利浦电子有限公司 传输系统以及用于接收窄带音频信号的接收机和方法
DE60204038T2 (de) * 2001-11-02 2006-01-19 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum codieren bzw. decodieren eines audiosignals
JP3926726B2 (ja) * 2001-11-14 2007-06-06 松下電器産業株式会社 符号化装置および復号化装置
JP3881946B2 (ja) * 2002-09-12 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
AU2003252727A1 (en) * 2002-08-01 2004-02-23 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and audio decoding method based on spectral band repliction
JP3861770B2 (ja) * 2002-08-21 2006-12-20 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
US7844451B2 (en) * 2003-09-16 2010-11-30 Panasonic Corporation Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659568B2 (en) 2007-12-31 2017-05-23 Lg Electronics Inc. Method and an apparatus for processing an audio signal

Also Published As

Publication number Publication date
RU2434324C1 (ru) 2011-11-20
BRPI0517780A2 (pt) 2011-04-19
WO2006049205A1 (ja) 2006-05-11
RU2007116937A (ru) 2008-11-20
JPWO2006049205A1 (ja) 2008-05-29
EP1808684A1 (en) 2007-07-18
US7983904B2 (en) 2011-07-19
CN101048649A (zh) 2007-10-03
RU2404506C2 (ru) 2010-11-20
EP1808684A4 (en) 2010-07-14
EP1808684B1 (en) 2014-07-30
US20080126082A1 (en) 2008-05-29
JP4977472B2 (ja) 2012-07-18

Similar Documents

Publication Publication Date Title
US7983904B2 (en) Scalable decoding apparatus and scalable encoding apparatus
US8457319B2 (en) Stereo encoding device, stereo decoding device, and stereo encoding method
KR101220621B1 (ko) 부호화 장치 및 부호화 방법
KR101414354B1 (ko) 부호화 장치 및 부호화 방법
KR101363793B1 (ko) 부호화 장치, 복호 장치 및 그 방법
JP4859670B2 (ja) 音声符号化装置および音声符号化方法
JP5036317B2 (ja) スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法
KR20080049085A (ko) 음성 부호화 장치 및 음성 부호화 방법
JPWO2008072737A1 (ja) 符号化装置、復号装置およびこれらの方法
WO2006041055A1 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid