KR100813259B1 - 입력신호의 계층적 부호화/복호화 장치 및 방법 - Google Patents

입력신호의 계층적 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR100813259B1
KR100813259B1 KR1020060064694A KR20060064694A KR100813259B1 KR 100813259 B1 KR100813259 B1 KR 100813259B1 KR 1020060064694 A KR1020060064694 A KR 1020060064694A KR 20060064694 A KR20060064694 A KR 20060064694A KR 100813259 B1 KR100813259 B1 KR 100813259B1
Authority
KR
South Korea
Prior art keywords
signal
frequency
encoding
information
input signal
Prior art date
Application number
KR1020060064694A
Other languages
English (en)
Other versions
KR20070008411A (ko
Inventor
성호상
라케쉬 타오리
이강은
이시화
김상욱
김도형
김미영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US11/485,468 priority Critical patent/US20070040709A1/en
Publication of KR20070008411A publication Critical patent/KR20070008411A/ko
Application granted granted Critical
Publication of KR100813259B1 publication Critical patent/KR100813259B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Abstract

오디오 신호의 계층적 부호화/복호화 방법 및 장치가 개시된다. 이 계층적 부호화 방법은 (a) 입력신호의 소정 대역 신호를 부호화하는 단계, (b) 입력신호에서 부호화된 소정 대역 신호가 제거된 여기신호의 주파수 포락선을 부호화하는 단계, (c) 여기신호에서 부호화된 주파수 포락선이 제거된 잔차신호를 부호화하는 단계 및 (d) (a), (b) 및 (c)단계에서 부호화된 결과들을 계층적으로 패킹(packing)하여 비트스트림을 형성하는 단계를 포함한다.

Description

입력신호의 계층적 부호화/복호화 장치 및 방법{Method and apparatus for encoding/decoding input signal}
도 1은 MLT 방식을 이용하는 고대역 오디오 신호 부호화 장치의 블록도이다.
도 2는 하모닉 코더(Harmonic coder)를 이용한 고대역 오디오 부호화 장치의 블록도이다.
도 3은 MDCT 방식을 이용하는 광대역 여기신호 부호화 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 의한 계층적 부호화 및 복호화 장치의 블록도이다.
도 5a는 본 발명의 일 실시예에 따른 계층적 부호화 장치의 블록도이다.
도 5b는 본 발명의 일 실시예에 따른 계층적 부호화 장치의 블록도이다.
도 6a는 도 5a에 도시된 주파수 양자화부(534)의 보다 상세한 블록도이다.
도 6b는 도6a에 도시된 주파수 크기 양자화부(600)의 보다 상세한 블록도이다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 계층적 부호화 방법의 플로우차트이다.
도 7c 및 7d는 본 발명의 일 실시예에 따른 계층적 복호화 방법의 플로우 차트이다.
도 8은 도 7a에 도시된 잔차신호의 주파수 크기 및 위상을 양자화 하는 단계(720)의 보다 상세한 플로우차트이다.
도 9는 본 발명의 일 실시예에 따라 부호화된 입력신호의 비트스트림을 도시한 참고도이다.
본 발명은 입력신호의 계층적 부호화/복호화 방법 및 장치에 관한 것으로서, 특히 광대역 여기신호 및 광대역 여기신호에서 주파수 포락선이 제거된 잔차신호의 주파수 크기 및 위상을 이용하여 입력신호를 계층적으로 부호화/복호화하는 방법 및 장치에 관한 것이다.
오디오 통신의 응용 분야가 다양해지고 네트워크의 전송속도가 향상됨으로 인해 고품질의 오디오 통신에 대한 필요성이 부각되고 있다. 이에 따라 기존의 오디오 통신 대역인 0.3kHz??3.4kHz에 비해 자연성과 명료도 등 다양한 측면에서 우수한 성능을 갖는 0.3kHz??7kHz의 대역폭을 갖는 광대역(wideband) 오디오 신호의 전달이 요구되고 있다.
또한 네트워크 측면에서, 데이터를 패킷단위로 전송하는 패킷 스위칭 네트워크(packet switching network)는 채널의 정체 현상을 초래할 수 있고, 이로 인한 패킷 손실과 오디오의 질 저하가 발생될 수 있다. 이를 해결하기 위하여 손상된 패 킷을 은닉하는 기술이 사용되고 있지만 이는 근본적인 처방이 될 수 없다. 따라서 상기 광대역 오디오 신호를 효과적으로 압축하면서 채널의 정체 현상을 해결할 수 있는 광대역 오디오 부호화 및 복호화 기술이 제안되고 있다.
현재 제안되고 있는 광대역 오디오 부호화 및 복호화는 0.3kHz??7kHz 대역의 오디오 신호를 한꺼번에 압축하고 이를 복원하는 방식과 0.3kHz??4kHz 대역과 4kHz??7kHz 대역으로 나누어 계층적으로 압축하고, 이를 복원하는 방식, 그리고 0.3??3.4kHz 대역을 압축한 후 이를 복원하여 다시 광대역으로 오버샘플링(over-sampling)한 후 원래의 광대역 오디오 신호와의 광대역 여기신호를 구하여 이를 압축하는 방식으로 구분될 수 있다.
상기 두 번째 방식과 세 번째 방식은 데이터 정체 현상에 따라 네트워크가 복호화기에 전달하는 계층 또는 데이터의 양을 조절하여 주어진 환경에서 최적의 통신이 가능하도록 하는 대역폭 확장(band width scalability) 기능을 이용한 광대역 오디오 부호화 및 복호화 방식이다.
상기 두 번째 방식인 0.3kHz??4kHz 대역과 4kHz??7kHz 대역으로 나누어 계층적으로 압축하는 광대역 오디오 부호화 방식에서, 4kHz??7kHz 대역의 고대역 오디오 신호는 MLT(Modulated Lapped Transform, 이하 MLT라 함) 방식에 의해 부호화된다. 도 1은 MLT 방식을 이용하는 고대역 오디오 신호 부호화 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 상기 고대역 오디오 부호화 장치는, 고대역 오디오 신호가 입력되면, MLT부(101)에서 입력되는 고대역 오디오 신호를 MLT하여 MLT 계수를 추출한다. 추출된 MLT 계수의 크기(Magnitude)는 2D-DCT(2 Dimension - Discrete Cosine Transform)부(102)로 출력되고, 추출된 MLT 계수의 부호(sign)는 부호 양자화기(103)로 출력된다.
2D-DCT부(102)는 MLT 계수의 크기로부터 2D-DCT 계수를 추출하고, 상기 추출된 2D-DCT 계수를 DCT 계수 양자화기(104)로 출력한다. DCT 계수 양자화기(104)는 2차원 구조를 갖는 2D-DCT 계수에서 통계적으로 그 크기가 큰 순서대로 나열하고, 나열된 벡터를 양자화한 후, 그 코드북 인덱스를 출력한다. 부호 양자화기(103)는 MLT 계수의 크기가 큰 계수에 해당되는 부호를 양자화하여 출력한다. 출력된 코드북 인덱스 및 양자화된 부호는 고대역 오디오 복호화 장치(미도시)로 제공된다.
그러나, 상기 MLT 방식에 의해 고대역 오디오 신호를 부호화하는 것은 낮은 비트율로 오디오 신호를 전송할 때 고음질의 복원이 어렵고, 비트율이 낮아질수록 오디오 복원 성능의 저하가 두드러진다.
따라서, 이를 개선하기 위하여 도 2에 도시된 바와 같은 하모닉 코더(Harmonic coder)를 이용한 고대역 오디오 부호화 장치가 제안된 바 있다.
도 2를 참조하면, 하모닉 피크(harmonic peak) 검출부(201)는 고대역 오디오 신호가 입력되면, 상기 고대역 오디오 신호의 하모닉 피크를 검출하고, 상기 검출된 하모닉 피크를 토대로 한 고대역 오디오 신호의 크기와 위상(phase)을 출력한다.
크기 양자화기(202)는 입력된 고대역 오디오 신호의 크기를 양자화하여 출 력한다. 위상 양자화기(203)는 입력되는 고대역 오디오 신호의 위상을 양자화하여 출력한다. 출력된 양자화된 크기 및 양자화된 위상은 고대역 오디오 복호화 장치(미도시)로 제공된다.
그러나, 도 2에 도시된 하모닉 코더를 이용한 고대역 오디오 신호 부호화장치는 적은 비트율과 낮은 복잡도로 고음질을 재생할 수 있으나, 입력되는 고대역 오디오 신호에 대한 확장성(scalability)을 지원하는데 한계가 있었다.
또한, 상기 세 번째 방식인 광대역 여기신호 부호화 방식에서는, 상기 대역폭 확장 기능을 갖는 0.3??3.4kHz 대역을 압축한 후 이를 복원하여 다시 광대역으로 오버샘플링(over-sampling)한 후, 원래의 광대역 오디오 신호와의 광대역 여기신호(widebanc excited signal)를 구하여 이를 압축하는 방식을 이용한다. 상기 광대역 여기신호디 부호화 방식에서, 0.05kHz??7kHz 대역의 광대역 여기신호는 MDCT(Modified Discrete Cosine Transform, 이하 MDCT라고 약함) 방식에 의해 부호화된다. 도 3은 MDCT 방식을 이용하는 광대역 여기신호 부호화 장치의 구성을 블록도로 도시한 것이다.
도 3을 참조하면, 상기 광대역 여기신호 부호화 장치는, 광대역 오디오 신호가 입력되면, 다운 샘플링부(301)를 통해 저대역으로 다운 샘플링된 신호를 얻고, 상기 저대역으로 다운 샘플링된 신호를 저대역 오디오 부호화기(302)에서 부호화를 한다. 부호화된 오디오 신호를 업 샘플링부(303)에 의해 광대역 신호를 복원하고, 감산기(304)에 의해 원신호에서 복원된 광대역 신호를 감산하여 광대역 여기신호를 생성한다. 생성된 광대역 여기신호는 MDCT부(305)로 입력되고, MDCT부(305) 는 입력된 광대역 여기신호의 MDCT 계수를 추출한다. 추출된 MDCT 계수는 대역 분할부(306)에 의해 대역별로 분할되고, 정규화(normalization)부(307)에서 대역별로 분할된 MDCT 계수는 정규화된다. 정규화된 MDCT계수는 양자화기(308)에서 양자화되어 코드북 인덱스를 출력한다. 출력된 코드북 인덱스는 고대역 오디오 복호화 장치(미도시)로 제공된다.
그러나, 상기 MDCT 방식에 의한 광대역 여기신호를 부호화하는 방식 역시 상기 하모닉 코더를 이용한 방식과 달리 확장성(scalability)을 지원할 수는 있으나, 입력된 광대역 여기신호의 MDCT 계수를 대역별로 분할하여 부호화하고, 대역별로 부호화된 결과를 복호화 장치(미도시)에 제공하기 때문에, 낮은 비트율로 오디오 신호가 전송되는 경우는 고대역의 낮은 주파수 신호만 복원할 수 있을 뿐 고대역의 높은 주파수 신호는 전혀 복원할 수 없게 된다. 따라서, 낮은 비트율로 오디오 신호가 전송되는 경우 오디오 신호를 고음질로 복원하기 어려운 문제점이 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는, 광대역 여기신호의 주파수 정보를 이용하여 광대역 오디오 신호를 계층적으로 부호화하고, 고대역 전체의 기본적 신호가 복원될 수 있도록 광대역 오디오 신호를 부호화하므로, 낮은 비트율에서도 고음질로 복원할 수 있고, FGS(Fine Granularity Scalable, 이하 FGS라고 함)를 지원할 수 있는 입력신호의 계층적 부호화/복호화 장치 및 방법, 이를 실행하기 위한 프로그램이 저장된 기록매체를 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여, 본 발명에 의한 계층적 부호화 방법은 (a) 입력신호의 소정 대역 신호를 부호화하는 단계, (b) 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 여기신호의 주파수 포락선을 부호화하는 단계, (c) 상기 여기신호에서 상기 부호화된 주파수 포락선이 제거된 잔차신호를 부호화하는 단계 및 (d) 상기 (a), (b) 및 (c)단계에서 부호화된 결과들을 계층적으로 패킹하여 비트스트림을 형성하는 단계를 포함하는 것이 바람직하며, 상기 소정 대역은 상기 입력 신호의 소정 주파수 이하의 대역인 것이 바람직하다.
또한, 상기 (c)단계는 상기 잔차신호의 주파수 정보를 부호화 하는 단계를 포함하는 것이 바람직하여, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 이득(gain), 주파수 크기 및 위상 중 적어도 어느 하나를 포함하는 것이 바람직하다.
또한, 상기 잔차신호의 주파수 위상을 부호화 하는 단계는, (c1) 상기 입력신호의 하모닉 위치를 검출하는 단계, (c2) 상기 검출된 하모닉 위치의 주파수 위상을 부호화하는 단계 및 (c3) 상기 부호화된 주파수 위상을 제외한 나머지 주파수 위상을 부호화하는 단계를 포함하는 것이 바람직하고, 상기 (c3)단계는 상기 여기신호의 주파수 포락선의 크기를 분석하는 단계 및 상기 분석된 크기가 큰 주파수의 위상 정보가 비트스트림의 선단에 위치하도록 상기 나머지 주파수 위상을 부호화하는 단계를 포함하는 것이 바람직하다.
또한, 상기 잔차신호의 주파수 크기를 부호화 하는 단계는 상기 여기신호의 주파수 포락선의 크기를 분석하는 단계 및 상기 분석된 크기가 큰 주파수의 크기 정보가 비트스트림의 선단에 위치하도록 상기 주파수 크기를 부호화하는 단계를 포 함하는 것이 바람직하다.
또한, 상기 (d)단계는 상기 입력신호의 소정 대역 신호를 부호화한 결과를 협대역 계층으로 패킹하고, 상기 여기신호의 주파수 포락선을 부호화한 결과 및 상기 잔차신호의 기본적인 주파수 정보를 부호화한 결과를 광대역 기본계층으로 패킹하고, 상기 잔차신호의 기본적인 주파수 정보를 제외한 나머지 주파수 정보를 부호화한 결과를 광대역 확장계층으로 패킹하는 것이 바람직하다.
상기 기술적 과제를 해결하기 위하여, 본 발명에 의한 다른 계층적 부호화 방법은 (a) 입력신호의 소정 대역 신호를 부호화하는 단계, (b) 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 신호가 다운 샘플링된 여기신호의 주파수 포락선을 부호화하는 단계, (c) 상기 여기신호에서 상기 부호화된 여기신호의 주파수 포락선이 제거된 잔차신호를 부호화하는 단계, (d) 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 신호에서 상기 여기신호가 제거된 고주파 신호의 이득(gain)을 부호화하는 단계, 및 (e) 상기 (a), (b), (c) 및 (d)단계에서 부호화된 결과들을 패킹하여 비트스트림을 형성하는 단계를 포함하는 것이 바람직하다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명에 의한 계층적 부호화 장치는 입력신호의 소정 대역 신호를 부호화하는 저대역 부호화부, 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 여기신호의 주파수 포락선을 부호화하는 선형 예측 분석부, 상기 여기신호에서 상기 부호화된 주파수 포락선이 제거된 잔차신호를 부호화하는 주파수 부호화부 및 상기 저대역 부호화부, 선형예측 분석부 및 주파수 부호화부에서 부호화된 결과들을 계층적으로 패킹하여 비트스트림을 형성하는 다중화부를 포함하는 것이 바람직하다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 의한 계층적 복호화 방법은 (a) 수신된 비트스트림을 계층별로 디패킹하여 분할하는 단계, (b) 상기 분할된 계층들 각각을 복호화함으로써 입력신호의 소정 대역 신호, 상기 입력신호에서 부호화된 상기 입력신호의 소정 대역 신호를 제거한 여기신호의 주파수 포락선 및 상기 여기신호에서 부호화된 상기 여기신호의 주파수 포락선을 제거한 잔차신호를 복원하는 단계, (c) 상기 복원된 여기신호의 주파수 포락선 및 상기 복원된 잔차신호를 이용하여 상기 여기신호를 복원하는 단계 및 (d) 상기 복원된 여기신호 및 상기 복원된 입력신호의 소정 대역 신호를 합성하여 상기 입력신호를 복원하는 단계를 포함하는 것이 바람직하며, 상기 소정 대역은 상기 입력신호의 소정 주파수 이하의 대역인 것이 바람직하다.
또한, 상기 (a)단계는 상기 수신된 비트스트림을 계층별로 디패킹하여 상기 입력신호의 소정 대역 신호를 부호화한 결과를 포함하는 협대역 계층, 상기 여기신호의 주파수 포락선 및 상기 잔차신호의 기본적인 주파수 정보를 부호화한 결과를 포함하는 광대역 기본계층 및 상기 잔차신호의 기본적인 주파수 정보를 제외한 나머지 주파수 정보를 부호화한 결과를 포함하는 광대역 확장계층으로 분할하는 것이 바람직하다.
또한, 상기 (b) 단계는 (b1) 상기 분할된 계층들 각각을 복호화함으로써 상기 잔차신호의 주파수 정보를 복원하는 단계 및 (b2) 상기 (b1)단계에서 복원된 결과를 이용하여 상기 잔차신호를 복원하는 단계를 포함하는 것이 바람직하고, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 이득(gain), 잔차신호의 주파수 크기 및 위상 중 적어도 어느 하나를 포함하는 것이 바람직하다.
상기 잔차신호의 주파수 위상을 복원하는 단계는 상기 잔차신호의 주파수 위상 중 상기 입력신호의 하모닉 위치의 주파수 위상 정보를 복원하는 단계를 포함할 수 있고, 상기 입력신호의 하모닉 위치의 주파수 위상을 제외한 나머지 주파수 위상을 복원하는 단계를 더 포함할 수 있다.
상기 나머지 주파수 위상을 복원하는 단계는 상기 복원된 주파수 포락선의 크기를 분석하는 단계 및 상기 분석된 크기가 큰 순서에 따라 상기 나머지 주파수 위상을 복원하는 단계를 포함하는 것이 바람직하다.
상기 잔차신호의 주파수 크기를 복원하는 단계는 상기 복원된 주파수 포락선의 크기를 분석하는 단계 및 상기 분석된 크기가 큰 순서에 따라 상기 주파수 크기를 복원하는 단계를 포함하는 것이 바람직하다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 다른 계층적 복호화 방법은 (a) 수신된 비트스트림을 계층별로 디패킹(depacking)하여 분할하는 단계, (b) 상기 분할된 계층들을 각각 복호화함으로써 입력신호의 소정 대역 신호, 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 신호가 다운 샘플링된 여기신호의 주파수 포락선, 상기 여기신호에서 상기 부호화된 여기신호의 주파수 포락선이 제거된 잔차신호 및 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 신호에서 상기 여기신호가 제거된 고주파 신호의 이득(gain)을 복원하는 단계, (c) 상기 복원된 여기신호의 주파수 포락선 및 상기 복원된 잔차신호를 이용하 여 상기 여기신호를 복원하는 단계, (d) 상기 고주파 신호의 이득을 이용하여 상기 고주파 신호를 복원하는 단계 및 (e) 상기 복원된 여기신호를 오버 샘플링한 신호, 상기 복원된 고주파 신호 및 상기 복원된 입력신호의 소정 대역 신호를 합성하여 상기 입력신호를 복원하는 단계를 포함하는 것이 바람직하다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 의한 계층적 복호화 장치는 수신된 비트스트림을 계층별로 디패킹(depacking)하여 분할하는 역다중화부, 상기 분할된 계층들을 복호화하여 입력신호의 소정 대역 신호를 복원하는 저대역 복호화부 및 상기 분할된 계층들을 복호화함으로써 상기 입력신호에서 부호화된 상기 입력신호의 소정 대역 신호가 제거된 여기신호에서 부호화된 상기 여기신호의 주파수 포락선이 제거된 잔차신호를 복원하는 주파수 복호화부, 상기 분할된 계층들을 복호화함으로써 상기 여기신호의 주파수 포락선을 복원하고, 상기 복원된 주파수 포락선 및 상기 복원된 잔차신호를 이용하여 상기 여기신호를 합성하는 선형예측 합성부, 상기 복원된 입력신호의 소정 대역 신호 및 상기 복원된 여기신호를 이용하여 상기 입력신호를 복원하는 합성부를 포함하는 것이 바람직하다.
상기 또 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 계층적 부호화/복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 계층적 부호화/복호화 장치 및 방법의 일 실시예에 대해 상세히 설명한다. 다만, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 당해 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 4은 본 발명의 일 실시예에 따른 계층적 부호화 장치(400) 및 복호화 장치(450)의 구성을 도시한 블록도로서, 상기 계층적 부호화 장치(400)는 저대역 부호화부(410), 선형예측 분석부(420), 주파수 부호화부(430) 및 다중화부(440)를 포함하고, 상기 계층적 복호화 장치(450)는 역다중화부(460), 저대역 복호화부(470) 및 선형예측 합성부(480), 주파수 복호화부(490) 및 합성부(475)를 포함한다.
부호화 장치(400)는 입력단자를 통해 입력된 오디오 신호를 부호화 하고, 그 부호화된 결과를 이용하여 비트스트림을 형성하고, 형성된 비트스트림을 복호화 장치(450)로 전송한다. 이 때, 복호화 장치(450)는 수신된 비트스트림을 복호화 하여 오디오 신호를 복원하고, 복원된 결과를 출력하다.
오디오 신호는 입력단자를 통해 소정 시간동안 입력되며, 그 소정 시간은 사전에 결정됨이 바람직하다. 또한, 그 입력된 오디오 신호는 펄스부호변조(PCM : Pulse Coding Modulation) 신호와 같이 시간 영역(time domand)에서 복수의 이산 데이터로 이루어진 신호임이 바람직하다. 여기서, 소정 시간동안 입력된 오디오 신호는 복수의 프레임(frame)으로 구성됨이 바람직하다. 이 때, 프레임이란 부호화 및/또는 복호화의 일(one) 처리단위를 의미한다.
이하, 본 발명의 일 실시예에 따른 부호화 장치(400)의 구체적인 구성 및 동작을 도 5a를 참조하여 다음과 같이 설명한다. 도 5a는 도 4에 도시된 본 발명의 일 실시예에 따른 부호화 장치(400)의 보다 상세한 구성을 도시한 블록도이다.
도 5에 도시된 본 발명의 일 실시예에 따른 부호화 장치(400)는 저대역 부호화기(510), 제1 다운 샘플링부(512), 제1 오버 샘플링부(514), 제1 감산기(516), 제2 다운 샘플링부(518), 선형예측 분석부(520), 시간/주파수 변환부(532), 주파수 양자화부(534), 고주파 에너지 부호화부(545) 및 다중화부(540)를 포함한다. 상기 부호화 장치(400)에 입력되는 오디오 신호는 16kHz의 대역폭을 갖는 광대역 오디오 신호라고 가정하자.
먼저, 제1 다운 샘플링 장치(512)는 16kHz의 원신호를 입력받아 8kHz로 다운 샘플링하고, 상기 8kHz로 다운 샘플링된 원신호를 저대역 부호화기(510)로 입력한다.
저대역 부호화기(510)는 8kHz로 다운 샘플링된 원신호 즉, 저대역 오디오 신호를 부호화하여 저대역 인덱스를 추출한다. 즉, 저대역 부호화기(510)는 오디오 신호의 저대역 신호를 부호화하고, 부호화된 결과를 코드북에서 검색하여 검색된 코드북의 인덱스 값을 추출한다. 저대역 부호화기(510)는 G.729에 의해 저대역 신호를 부호화할 수 있다. 이는 일예에 불과하며, 이 외에 본 발명이 속하는 기술 분야의 당업자가 용이하게 생각할 수 있는 다양한 부호화 방식이 적용될 수 있을 것이다. 추출된 저대역 인덱스는 다중화부(440)로 전송된다.
또한, 저대역 부호화기(510)는 추출된 저대역 인덱스를 이용하여 상기 8kHz로 다운 샘플링된 원신호 즉 저대역 오디오 신호를 다시 합성한다.
제1 오버 샘플링 장치(514)는 합성된 저대역 오디오 신호를 16kHz로 오버 샘플링하여 16kHz의 신호로 변환한다. 이 때 상기 변환된 16kHz의 신호는 저대역 신호만 사용하여 오버샘플링되었기 때문에 고대역 신호는 포함되지 않음을 알 수 있다.
따라서 고대역 신호와 저대역 부호화기(510)에서 합성하지 못한 신호를 합성하기 위하여, 제1 감산기(516)는 상기 16kHz의 원신호에서 상기 합성된 16kHz의 신호를 제거하여 16kHz의 광대역 여기신호(Wideband excited signal)를 추출한다.
상기 제2 다운 샘플링부(518)는 상기 추출된 16kHz의 광대역 여기신호를 12.8kHz로 다운 샘플링하고, 상기 12.8kHz로 다운 샘플링된 광대역 여기신호를 선형예측 분석부(520)로 입력한다.
선형예측 분석부(520)는 12.8kHz의 광대역 여기신호의 주파수 포락선을 분석하기 위하여 자기-상관 방식(Auto-correlation method)과 레빈슨-더빈 알고리즘(Levinson Durbin algorithm)을 이용하여 선형 예측 계수(LPC : linear prediction coefficient)를 생성하고, 생성된 선형 예측 계수(LPC)의 인덱스를 추출한다. 상기 선형예측 분석부(520)에서 사용된 방식은 본 발명에서 선형 예측 계수(LPC)를 생성하기 위한 실시예로서 제시된 것이므로, 기타 다양한 방식에 의해 광대역 여기신호의 선형 예측 계수(LPC)를 생성할 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 당업자에게 자명하다 할 것이다.
선형예측 분석부(520)에서 생성된 선형 예측 계수(LPC)의 저대역 성분은 협대역 부호화부(510)에서 생성한 저대역 성분의 선형 예측 계수(LPC)로 대치될 수 있다. 이 경우, 선형예측 분석부(520)는 8kHz에서 12.8kHz사이의 주파수 포락선 정 보인 고대역 성분의 선형 예측 계수(LPC)만 양자할 수 있다. 이는 복호화 장치(450)에서 협대역 부호화부(510)에서 부호화된 선형 예측 계수(LPC)를 사용하여 광대역 여기신호의 저대역 성분의 주파수 포락선을 복원하도록 하기 위함이다. 선형예측 분석부(520)는 생성된 선형 예측 계수(LPC)를 양자화하고, 양자화된 선형 예측 계수(LPC)의 인덱스를 추출하고, 추출된 선형 예층 계수(LPC) 인덱스를 다중화부(440)로 전송한다.
선형예측 분석부(520)는 추출된 선형 예측 계수(LPC)를 통하여 상기12.8kHz의 광대역 여기신호의 선형 예측 분석을 수행한다. 이 과정을 주파수 도메인에서 해석한다면, 광대역 여기 신호의 주파수 포락선을 제거하여 주파수 도메인 특성이 평평한 선형 예측 잔차 신호(Linear prediction residual signal)를 생성하는 과정이다.
상기 과정 까지는 하나의 프레임 단위로 입력된 오디오 신호의 처리가 이루어 질 수 있다. 앞에서 언급하였듯이 프레임은 입력된 오디오 신호에 대한 일 처리단위인데, 하나의 프레임은 복수의 하위프레임으로 분할될 수 있다. 이후 과정은 각각의 하위프레임에 대해 부호화 과정이 수행될 수 있다.
시간/주파수 변환부(532)는 선형예측 분석부(520)를 통하여 생성된 선형 예측 잔차 신호를 입력받고, 이 선형 예측 잔차 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 상기 시간/주파수 변환 과정을 수생하기 위한 방법은 다양하다. 본 발명에서는 FFT(Fast Fourier Transform)를 사용하여 시간/주파수 변환 과정을 수행한다. 이는 일 실시예일 뿐이며, 당업자에게 자명한 기타 다른 방법이 사 용될 수 있다.
시간/주파수 변환부(532)에서 FFT를 사용하는 경우, 선형 예측 잔차 신호의 N 개의 시간 도메인 값이 복소수 형태를 갖는 2N 개의 주파수 성분으로 출력되며, 2N 개의 성분 중 0 번째와 N 번째를 제외하고는 모두 대칭형태를 갖는다. 따라서, 나이키스트(Nyquist) 주파수 성분인 N 번째 데이터는 0으로 처리하여 총 2N 개의 복소수 값 중 대칭되는 N 개의 복소수 값을 이용하여 선형 예측 잔차 신호의 주파수 성분 정보를 표현할 수 있다. 시간/주파수 변환부(532)에서 출력된 복소수 형태의 선형 예측 잔차 신호의 주파수 성분 값은 주파수 크기와 위상 정보로 분리하여 양자화될 수 있으며, 주파수 위상정보는 VQ(vector quantization), SQ(Scalar quantization), SVQ (Split VQ), MSVQ(Multi-stage Split VQ)등 전송률, 메모리, 복잡도 등의 제한에 따라 다양한 양자화 방식이 사용될 수 있다.
주파수 양자화부(534)는 선형 예측 잔차 신호의 주파수 크기 및 위상 정보를 입력받고, 이를 각각 양자화하고 양자화된 주파수 크기 및 위상의 인덱스를 추출하하고, 추출된 인덱스들을 다중화부(440)로 전송한다. 또한, 입력받은 선형 예측 잔차 신호의 주파수 크기를 이용하여 선형 예측 잔차 신호의 이득(gain)을 계산하여 양자화하고, 양자화된 선형 예측 잔차 신호의 이득 인덱스를 추출하고, 추출한 인덱스를 다중화부(440)로 전송한다.
이하, 도 6a 및 6b를 참조하여, 선형 예측 잔차 신호의 주파수 크기 및 위상을 양자화하는 방법과 선형 예측 잔차 신호의 주파수 파워를 양자화하는 방법을 살펴본다. 도 6a은 도 5에 도시된 주파수 양자화부(534)의 일 실시예에 따른 구성 을 도시한 블록도로서, 주파수 크기 양자화부(600) 및 주파수 위상 양자화부(610)를 포함한다. 도 6b는 도 6a에 도시된 주파수 크기 부호화부(600)의 일 실시예에 따른 구성의 블록도로서, 대역 분리부(620), 파워계산부(630), 파워 양자화부(640), 정규화부(650), 정규화 데이터 양자화부(660) 및 보간 데이터 양자화부(670)를 포함한다.
이하, 도 6b에 도시된 본 발명의 일 실시예에 따른 주파수 크기 부호화부(600)의 동작을 살펴본다. 앞에서 설명한 바와 같이, 선형 예측 잔차 신호를 분석하기 위한 과정은 하나의 프레임을 구성하는 하위 프레임 단위로 처리될 수 있다.
먼저, 대역 분리부(620)는 시간/주파수 변환부(532)에서 획득된 주파수 크기들을 하위 프레임 단위로 입력받고, 입력받은 주파수 크기를 주파수 도메인에서 K개의 서브 대역으로 분리한다. 파워 계산부(630)는 각 서브 대역에 해당하는 주파수 크기들의 주파수 파워를 계산한다. 주파수 크기의 파워는 수학식 1에 의해 계산될 수 있다.
Figure 112006049375772-pat00001
여기서 s(start)와 e(end)는 각 서브 대역에 해당하는 첫 번째 주파수 인덱스와 마지막 주파수 인덱스를 의미하며, mn 은 하위 프레임에서 n 번째 주파수 크기를 의미한다. 따라서 상기 대역 분리부(620)에서 주파수 대역을 K 개의 서브 대 역으로 분할하였다면, K개의 주파수 파워 정보가 생성되며, 생성된 주파수 파워 정보는 파워 양자화부(630)에서 양자화 된다. 각 서브 대역의 주파수 파워 정보는 상호간에 강한 상관관계를 갖고 있기 때문에 K개의 벡터로 그룹핑된 후 벡터 양자화된다. 양자화된 파워 정보는 선형 예측 잔차 신호의 이득값 정보에 해당한다. 따라서 파워 양자화부(640)는 양자화된 파워 정보는 복화화 장치(450)에 제공된다. 복호화시 계층적인 구조를 지원하다보면 각 계층에서 정확한 에너지를 복원하기 위해서 각 계층별로 추가적인 이득(gain)이 필요한데, 이 방식에 의하면 항상 최종 크기가 정해져 있으므로 각 계층별 추가적인 이득이 없이도 각 계층의 에너지를 복원할 수 있다.
정규화부(650)는 각 서브 대역의 주파수 크기를 상기 파워 양자화부에서 양자화된 각 서브 대역의 주파수 파워값으로 나눠 정규화한다. 정규화 데이터 양자화부(660)는 정규화된 주파수 크기를 양자화한다.
물론, 주파수 크기 부호화부(600)는 정규화부(650)에서 정규화된 주파수 크기를 모두 양자화하고, 양자화된 주파수 크기의 인덱스를 추출하여 다중화부(440)로 출력할 수 있다. 그러나, 본 발명의 일 실시예에 따르면 주파수 크기 부호화부(600)는 상기 정규화부(650)에서 정규화된 주파수 크기 중 일부의 주파수 크기만 양자화하고, 양자화되지 않은 나머지 주파수 크기는 상기 양자화된 주파수 크기를 보간하여 양자화하도록 마련될 수 도 있다. 보간법을 이용하여 주파수 크기를 양자화하는 동작을 계속하여 살펴보겠다.
정규화 데이터 양자화부(660)는 정규화된 주파수 크기 중 일부의 주파수 크기만 양자화한다. 예를 들어, 홀수 번째 또는 짝수 번째의 주파수 크기만 양자화할 수 있을 것이다. 이후, 보간데이터 양자화부(670)는 정규화 데이터 양자화부(660)에서 양자화되지 않은 나머지 짝수 번째 또는 홀수 번째의 주파수 크기를 보간하여 양자화한다.
상기 과정은 앞에서 언급한 것처럼 하위프레임단위로 처리될 수 있다. 이 때, 주파수 크기 양자화부(600)는 상기 하위프레임 중 일부 하위프레임의 주파수 크기만 양자화하고, 양자화되지 않은 하위프레임의 주파수 크기는 상기 양자화된 하위프레임의 주파수 크기를 보간하여 양자화할 수 있다. 예를 들어, 한 프레임이 2개의 하위프레임으로 구성되는 경우, 각 프레임의 첫 번째 하위프레임의 주파수 크기만 양자화한 후, 양자화 되지 않은 두 번째 하위 프레임의 주파수 크기는 첫 번째 하위 프레임의 양자화된 값을 보간하여 양자화한다.
주파수 크기 양자화부(600)는 양자화된 주파수 크기의 인덱스를 추출하여 다중화부(440)로 출력한다. 또한 주파수 크기 양자화 과정에서 추출된 양자화된 주파수 파워의 인덱스를 추출하여 다중화부(440)로 출력한다. 상기 주파수 파워는 선형 예측 잔차 신호의 이득 정보에 해당된다. 다중화부(440)는 샹기 양자화된 주파수 크기 및 이득값 인덱스를 비트 패킹(packing)하여 비트스트림 형태로 복호화 장치(450)로 전송한다. 복호화 장치(450)는 수신된 비트스트림에서 주파수 크기 및 이득값을 복호화하고, 복호화된 결과를 이용하여 정규화된 주파수 크기에 주파수 파워를 곱하여 스케일된 주파수 크기를 얻는다.
이하, 도 8을 참조하여 본 발명의 일 실시예에 따른 주파수 크기 및 위상 을 양자화하는 방법을 살펴본다. 도 8은 본 발명의 일 실시예에 따른 주파수 크기 및 위상을 양자화하는 방법을 도시한 플로우챠트이다.
주파수 위상을 양자화 하는 단계는, 하모닉 위치의 주파수 위상을 양자화하는 단계 및 양자화되지 않은 나머지 주파수 위상을 양자화 하는 단계를 포함한다.
제 800단계에서 주파수 양자화부(534)는 광대역 오디오 신호의 하모닉 위치를 검출한다.
제 810단계에서 주파수 양자화부(534)는 검출된 하모닉 위치의 주파수 위상을 양자화하고, 양자화된 주파수 위상의 인덱스를 추출한다. 광대역 계층에서 광대역 오디오 신호를 제공하기 위하여 가장 기본적으로 전송되어야 할 정보는 오디오 신호의 하모닉 성분이다. 따라서 본 발명의 일 실시예에서는 주파수 도메인에서 광대역 오디오 신호의 하모닉 위치에 해당하는 위상을 먼저 추출하여 양자화한 후, 나머지 주파수 위상을 양자화 할 수 있다. 제 810 단계에서 추출된 하모닉 위치의 주파수 위상에 관한 인덱스는 다중화부(440)로 전송되며, 다중화부(440)에서는 이 인덱스를 고대역 전체의 기본적인 오디오 신호를 복원할 수 있도록 구성된 광대역 기본 계층에 포함하여 복호화 장치(450)로 전송한다.
이 때, 오디오 신호의 하모닉 위치는 저대역 부호화기(510)에서 추출한 저대역 오디오 신호의 피치 정보를 이용하면 쉽게 구할 수 있다. 저대역 오디오 신호의 주파수 대역이 8kHz이고, 광대역 오디오 신호의 주파수 대역이 16kHz인 경우, 저대역 부호화기(510)에서 추출된 피치 정보를
Figure 112006049375772-pat00002
라 할 때, i 번째 하모닉 위치의 위치 li 는 수학식 2를 통하여 다음과 같이 구할 수 있다.
Figure 112006049375772-pat00003
여기서, N은 주파수 성분의 개수이다.
본 발명의 일 실시예에 따른 부호화 장치(400)에 따르면, 주파수의 위상 정보 중 하모닉 위치의 주파수 위상 정보를 나머지 주파수 위상 정보보다 비트스트림의 선단에 위치하도록 하므로, 하모닉 위치의 위상 정보를 이용하여 최소한의 비트수만으로도 고대역 신호의 기본적인 음질이 보상되도록 할 수 있다.
일반적으로 피치가 긴 신호의 경우 많은 하모닉을 갖게 되며, 피치가 짧은 신호의 경우는 적은 하모닉을 갖게 된다. 따라서 광대역 기본 계층을 위하여 할당 된 비트를 고려할 때, 양자화 해야 할 하모닉 위치의 주파수 위상 정보가 제한 될 수 있다. 이 경우, 일부 하모닉 위치 주파수 위상만 양자화하여 광대역 기본 계층을 형성하도록 할 수 있다. 이러한 이유로 하모닉 위치의 주파수 위상 정보 중 일부의 정보만 광대역 기본 계층에 포함되어 복호화 장치(450)에 전송되는 경우, 복호화 장치(450)에서는 양자화되지 못한 하모닉 위치의 위상 정보를 랜덤(random) 위상을 사용하여 채울 수 있다. 복호화 장치(450)는 상기 광대역 기본 계층에 포함된 하모닉 위치의 위상 정보 및 선형 예측부(420)에서 추출된 선형 예측 정보를 이용하여 고대역 전구간의 기본적인 오디오 신호를 복원할 수 있을 것이다.
만약, 상기 광대역 기본 계층에 포함되지 못한 하모닉 위치의 주파수 위상 이 있다면, 광대역 기본 계층에 포함되지 못한 하모닉 위치의 주파수 위상을 양자화한 후, 광대역 확장계층에 포함하여 복호화 장치(450)에 전송할 수 있을 것이다.
제 820 내지 제 840단계에서는 제 810단계에서 양자화되지 않은 나머지 주파수 위상을 양자화하고, 양자화된 주파수 위상의 인덱스를 추출한다. 상기 나머지 주파수 위상은 신호의 주파수 포락선에 의하여 순서적으로 양자화 된다.
제 820단계에서 주파수 양자화부(534)는 선형예측 분석부(520)에서 생성된 선형 예측 계수(LCP)를 이용하여 광대역 여기신호의 주파수 포락선의 크기가 큰 주파수에 큰 가중치를 매긴다.
제 830단계에서 주파수 양자화부(534)는 상기 주파수에 매겨진 가중치가 큰 주파수 순서에 따라 나머지 주파수 위상을 양자화하고, 양자화된 나머지 주파수 위상의 인덱스를 추출한다.
제 840단계에서 주파수 양자화부(534)는 상기 주파수에 매겨진 가중치가 큰 주파수 순서에 따라 주파수의 크기를 양자화하고, 양하화된 주파수 크기의 인덱스를 추출한다.
상기 제 820 내지 840단계는 광대역 여기신호의 주파수 포락선의 크기가 큰 주파수의 정보를 비트스트림의 상위에, 주파수 포락선의 크기가 작은 주파수 위치는 비트스트림의 하위에 위치시키기 위한 과정이다. 이는 주파수 포락선의 크기가 큰 위치의 주파수 위상이 오디오 신호를 복원하는데 있어서 음질향상에 더 중요한 정보이기 때문이다. 이 때, 주파수 위상 양자화 단위는 제공될 FGS 단위에 맞게 비트가 할당 되도록 할 수 있다.
이제 다시 도5a에 대한 설명으로 돌아가면, 살펴본 상기 과정을 통하여 제2 다운 샘플링부(518)에서 출력된 12.8kHz의 광대역 여기신호의 주파수 정보를 추출할 수 있었다. 그러나, 제 2 다운 샘플링부(518)에서 16kHz의 광대역 여기신호가 12.8kHz로 다운 샘플링됨에 따라 주파수 도메인에서 광대역 오디오 신호의 12.8kHz 이상의 주파수 정보가 손실되었음을 됨을 알 수 있다.
이를 보상해 주기 위하여, 고주파 에너지 부호화부(545)는 16kHz의 광대역 여기신호의 고주파 에너지와 선형예측 분석부(520)에서 추출된 12.8kHz의 광대역 여기신호에 대한 선형 예측 계수(LPC)를 사용하여 생성된 가상의 고주파 에너지의 차이를 계산하여 양자화한 후 그 인덱스를 추출한다(제 730단계). 복호화 장치(450)는 수신된 비트스트림에서 고주파 에너지 인덱스 즉 고주파 신호의 이득 인덱스를 복호화하여 고주파 에너지 정보를 복원하고, 복원된 고주파 에너지 정보 및 복원된 선형 예측 계수(LPC)를 이용하여 난수 발생기를 통하여 가상을 고주파를 생성하여 12.8kHz 이상의 광대역 오디오 신호를 보상하여 준다.
상기 고주파 에너지 부호화부(545)는 제2 다운 샘플링부(518)에서 16kHz의 광대역 여기신호를 12.8kHz로 다운 샘플링하고, 다운 샘플링된 광대역 여기신호의 정보를 부호화하기때문에 필요한 구성이다. 따라서 본 발명의 다른 실시예에 따르면, 제2 다운 샘플링부(518) 및 고대역 에너지 부호화(545)를 구비하지 않고, 감산기(516)에서 출력된 16kHz의 광대역 여기신호를 선형예측 분석부(520) 및 주파수 부호화부(530)에서 부호화하여 고대역 전 구간의 오디오 신호가 복원될 수 있도록 할 수 있을 것이다.
다중화부(440)는 저대역 부호화기(510), 선형예측 분석부(520), 주파수 양자화부(534) 및 고주파 에너지 부호화부(545)에서 추출되어 전송된 각 인덱스들을 계층적으로 패킹하여 비트스트림을 형성한다. 저대역 인덱스를 협대역 계층에, 선형 예측 계수(LPC) 인덱스, 선형 예측 잔차 신호의 이득 인덱스, 하모닉 위치의 주파수 인덱스를 광대역 기본계층에, 나머지 인덱스들 즉, 선형 예측 잔차 신호의 주파수 크기의 인덱스, 선형 예측 잔차 신호의 하모닉 위치의 주파수 위상을 제외한 나머지 주파수 위상의 인덱스 및 고주파 에너지 인덱스를 광대역 확장계층에 각각 포함시켜 계층적으로 비트스트림을 형성하고, 이 비트스트림을 복호화 장치(450)로 전송한다.
이하, 도 7a 및 7b를 참조하여, 본 발명의 일 실시예에 따른 계층적 부호화 방법을 살펴본다.
제 700단계에서 부호화 장치(400)는 16kHz의 광대역 오디오 신호를 8kHz로 다운 샘플링하고, 8kH로 다운 샘플링된 저대역 오디오 신호를 부호화 하여 저대역 신호의 인덱스를 추출한다.
제 705단계에서, 부호화 장치(400)는 상기 추출된 저대역 인덱스를 이용하여 8kHz로 다운 샘플링된 광대역 오디오 신호를 합성하고, 상기 합성된 8kHz의 광대역 오디오 신호를 16kHz의 신호로 오버 샘플링한다.
제 710단계에서 부호화 장치(400)는 상기 16kHz로 오버 샘플링된 신호를 16kHz의 원래 광대역 오디오 신호에서 제거하여 16kHz의 광대역 여기신호를 생성한다.
제 715단계에서 부호화 장치(400)는 상기 생성된 16kH의 광대역 여기신호를 12.8kHz로 다운 샘플링하고, 상기 12.8kHz로 다운 샘플링된 광대역 여기신호의 주파수 포락선을 분석하여 선형 예측 계수(LPC)를 생성하고, 생성된 선형 예측 계수(LPC)의 인덱스를 추출한다.
제 720단계에서 부호화 장치(400)는 상기 생성된 선형 예측 계수(LPC)를 이용하여 12.8kHz의 광대역 여기신호에서 주파수 포락선을 제거하여 선형 예측 잔차 신호를 생성한다.
제 725단계에서 부호화 장치(400)는 상기 생성된 선형 예측 잔차 신호를 주파수 도메인으로 변환하고, 선형 예측 잔차 신호의 주파수 크기 및 위상을 획득한다.
제 730단계에서 부호화 장치(400)는 상기 획득된 선형 예측 잔차 신호의 이득(gain), 주파수 크기 및 위상을 양자화하고, 양자화된 이득, 주파수 크기 및 위상 인덱스를 추출한다.
제 735단계에서 부호화 장치(400)는 상기 16kHz의 광대역 여기신호 및 생성된 선형 예측 계수(LPC)를 이용하여 주파수 도메인에서 12.8kHz 이상의 오디오 신호인 고주파 신호의 에너지를 계산하여 양자화하고, 양자화된 고주파 신호의 에너지 인덱스를 추출한다.
제 740단계에서 부호화 장치(400)는 제 700단계에서 추출된 저대역 인덱스, 제 715단계에서 추출된 선형 예측 계수(LPC)의 인덱스, 제 730 단계에서 추출된 선형 예측 잔차 신호의 주파수 크기 및 위상, 이득 인덱스 및 제 735단계에서 추출된 고주파 신호의 에너지 인덱스 즉 고주파 신호의 이득 인덱스를 계층적으로 패킹하여 부호화된 광대역 오디오 신호의 비트스트림을 형성하고, 형성된 비트스트림을 복호화 장치(450)로 전송한다.
도 9는 본 발명의 일 실시예에 따라 계층적으로 부호화된 비트스트림(900)을 도시한 참고도이다. 상기 비트스트림(900)은 크게 협대역 계층(910) 및 고대역 전 구간의 기본적인 오디오 신호를 복원하기 위한 광대역 기본 계층(920) 및 광대역 오디오 신호를 계층적으로 복원하기 위한 확장계층(930)으로 구성된다.
상기 협대역 계층(910)은 도 5a의 저대역 부호화부(510)에서 부호화된 광대역 오디오 신호의 저대역 정보로서, 비트스트림의 맨 앞쪽에 위치한다. 이는 협대역 계층만 복호화 장치(450)에서 수신되더라도 광대역 오디오 신호의 저대역 신호는 복원할 수 있도록 하여, 기본적인 음질을 보장하기 위함이다.
상기 광대역 기본 계층(920)은 고대역 전 구간의 기본적인 오디오 신호를 복원하기 위한 것으로, 광대역 여기신호의 주파수 포락선 정보 즉 선형 예측 계수(LPC) 정보(922), 잔차신호의 이득값 정보(924), 주파수 위상 양자화부에서 우선적으로 양자화된 최소한의 하모닉 위치의 주파수 위상 정보(926)를 포함한다.
상기 확장계층은(930)은 고대역 주파수 정보(940)가 저대역 주파수 정보(950)보다 비트스트림(900)의 선단에 위치하도록 마련된다. 이는 상기 협대역 계층(910)을 통하여 저대역의 오디오 신호를 복원할 수 있기 때문이다.
또한, 고대역 및 저대역의 주파수 정보(940, 950) 내에서 주파수 위상 정보(942, 952)가 주파수 크기 정보(944, 954)보다 비트스트림의 선단에 위치하도록 마련된다. 이는 주파수 크기 정보(944, 954)가 있더라도 주파수 위상 정보(942, 952) 없이는 선형 예측 잔차 신호의 복원이 불가능 하기 때문이다. 그러나 주파수 위상 정보(942, 952)만 복호화 장치(450)에서 수신된 경우, 상기 광대역 기본 계층(920)에서 복원된 잔차 신호의 이득값 정보(924) 즉, 주파수 파워 정보를 이용하여 대략적인 주파수의 크기를 추정하여 복원할 수 있기 때문이다.
또한, 주파수 크기 및 위상 정보(942, 944, 952, 944) 내에서도 광대역 여기신호의 주파수 포락선을 분석하여 주파수 포락선의 크기가 큰 순서에 따라 잔차신호의 주파수 크기 및 위상을 양자화하여 포락선의 크기가 큰 주파수의 정보가 비트스트림의 상위에 포락선의 크기가 작은 주파수의 정보가 비트스트림의 하위에 위치하도록 하여, 적은 비트만으로도 효율적으로 광대역 오디오 신호를 복원할 수 있도록 한다.
확장계층(930)의 고대역 주파수 정보(940)에는 주파수 크기 및 위상(942, 944) 정보 외에 고대역 에너지 정보(946)가 더 포함될 수 있다. 이는 앞서 언급하였듯이, 12.8kHz로 다운 샘플링된 광대역 여기신호의 정보만 부호화하는 경우, 주파수 도메인에서 6.8kHz 이상의 광대역 신호의 주파수 정보가 손실되기 때문에, 이를 보상하기 위하여 고대역 에너지 부호화부(545)에서 6.8kHz 이상의 고주파 에너지 정보를 부호화한 정보이다. 따라서, 본 발명의 다른 실시예에 의하여, 16kHz의 광대역 여기신호를 다운 샘플링하지 않는 경우는 고주파 에너지 정보(846)는 포함되지 않을 수 있을 것이다.
이하, 상기 도 5b를 참조하여본 발명의 일 실시예에 따른 계층적 복호화 장치의 동작을 살펴본다.
도 5b는 본 발명의 일 실시예에 따른 복호화 장치(450)의 구성을 도시한 블록도로서, 역다중화부(560), 저대역 복호화부(570), 제3 오버 샘플링부(572), 주파수 역양자화부(594), 주파수/시간 변환부(592), 선형예측 합성부(580), 제2 오버 샘플링부(582), 제1 가산기(584), 제2 가산기(586), 고주파 발생부(588), 제1 후처리부(574) 및 제2 후처리부(576)을 포함한다.
우선, 역다중화부(560)는 계층적으로 부호화된 광대역 오디오 신호의 비트스트림이 수신되면 수신된 비트스트림을 계층별로 디패킹하여 분할한다. 도 9에 도시된 부호화된 광대역 오디오 신호의 비트스트림은 크게 협대역 계층(910), 광대역 기본 계층(920) 및 확장계층(930)으로 구성되며, 협대역 계층은 저대역 오디오 신호, 광대역 기본 계층(920)은 광대역 여기신호의 주파수 포락선, 선형 예측 잔차 신호의 이득값, 하모닉 위치의 주파수 위상 정보가 포함되어 있으며, 광대역 확장계층(930)은 선형 예측 잔차 신호의 주파수 크기 및 하모닉 위치를 제외한 나머지 주파수 위상, 고주파 에너지 정보가 포함되어 있다.
저대역 복호화부(570)는 역다중화부(560)에서 분할되어 전송된 협대역 계층(910)을 복호화하여 광대역 오디오 신호의 저대역 신호를 복원한다. 만약 복호화 장치(450)에 부호화 장치(400)에서 전송한 비트스트림 중 협대역 계층(910)만 수신되었다면, 저대역 복호화부(910)에서 복원된 최소한의 음질인 저대역 오디오 신호만 출력되도록 할 수 있다. 이 때 복원된 저대역 신호는 제1 후처리부(574)에서 후처리 과정을 거친 후 출력되도록 함이 바람직하다.
주파수 복호화부(590)는 계층적으로 구성된 전체 비트스트림 중 일부만 수신된 경우, 수신된 비트스트림에 포함된 계층만으로 선형 예측 잔차 신호를 복원한다. 먼저 역다중화부(560)에서 분할된 선형 예측 잔차 신호의 주파수 정보에 대한 계층들을 복호화 하여 잔차 신호의 주파수 크기 및 위상을 복원한다. 만약 잔차 신호의 하모닉 위치의 주파수 위상 정보만이 수신되었다면, 선형 예측 잔차 신호의 이득(gain) 정보를 이용하여 주파수 크기를 추정하고, 수신된 하모닉 위치의 주파수 위상 정보 및 추정된 선형 예측 잔차 신호의 주파수 크기를 이용하여 최소한의 선형 예측 잔차 신호를 복원한다.
부호화 장치(400)에서 전송한 비트스트림에 포함된 확장 계층이 더 수신되는 경우에는 수신된 확장계층에 포함된 선형 예측 잔차 신호의 주파수 정보를 이용하여 선형 예측 잔차 신호를 복원하는데, 본 발명의 일 실시예에 따르면 주파수 크기 정보 보다 주파수 위상 정보가 비트스트림의 선단에 위치하므로 주파수 크기 정보는 주파수 위상 정보보다 먼저 전송되어 받을 수 없으며, 고대역의 주파수 정보(940)가 저대역의 주파수 정보(950)보다 비트스트림의 선단에 위치하므로 저대역 주파수 정보(940)가 고대역 주파수 정보(950)보다 먼저 전송될 수 없다. 따라서 우선적으로 고대역의 선형 예측 잔차 신호가 복원될 수 있으며, 더 많은 정보를 포함한 비트스트림이 수신된다면, 점차적으로 저대역 선형 예측 잔차 신호도 복원될 수 있다. 이처럼 본 발명의 따른 계층적 부호화/복호화 장치 및 방법은 광대역 오디오 신호가 다양한 계층으로 부호화/복호화될 수 있도록 마련하여, 확장성을 지원할 수 있도록 하고 있다.
주파수 역양자화부(594)에서 역양자화된 선형 예측 잔차 신호의 주파수 크기 및 주파수 위상 정보는 주파수/시간 변환부(932)를 통하여 시간 도메인의 선형 예측 잔차 신호로 변환되며, 선형 예측 합성부(580)로 입력된다 본 발명의 일 실시예에 따르면 상기 시간/주파수 변환부(532)에서 FFT를 사용하였으므로, 주파수/시간 변환부(592)에서는 IFFT를 사용하는 것이 바람직할 것이다. 만약, 부호화 장치(400)에서 다른 시간/주파수 변환방법을 사용하였다면 복호화 장치(450)에서는 부호화 장치(400)에서 사용된 시간/주파수 변환방법과 대응되는 주파수/시간 변환방법을 사용할 수 있다.
선형 예측 합성부(580)는 광대역 기본계층을 복호화하여 주파수 포락선 정보를 복원한다. 즉, 광대역 기본 계층(920)의 선형 예측 계수 정보(922)를 복호화하여 부호화 장치(400)의 선형 예측 분석부(520)에서 부호화된 선형 예측 계수(LPC)를 복원하는 것이다. 또한, 선형 예측 합성부(920)는 복원된 선형 예측 계수(LPC)를 사용하여 선형 예측 합성(Linear prediction synthesis)을 한다. 즉, 주파수/시간 변환부(592)에서 입력받은 선형 예측 잔차 신호와 복원된 주파수 포락선 정보를 이용하여 광대역 여기신호를 복원한다. 도 5에 도시된 본 발명의 일 실시예에 따라, 부호화 장치(500)에서 16kHz의 광대역 여기신호를 12.8kHz로 다운 샘플링하여 12.8kHz의 광대역 여기신호를 부호화하고, 그 결과가 전송되었다면, 상기 선형 예측 합성부(580)에서는 12.8kHz의 광대역 여기신호가 복원될 것이다.
이 경우, 상기 복원된 12.8kHz 광대역 여기신호를 제2 오버 샘플링부(582)에서 16kHz로 오버 샘플링한다. 앞서 도 5에 도시된 고주파 에너지 부호화부(545) 를 설명할 때도 언급하였듯이, 부호화화 장치(400)의 제2 다운 샘플링부(518)에서 16kHz 광대역 여기신호를 12.8kHz로 다운 샘플링하므로 손실된 12.8kHz 이상의 고주파 신호를 보상하기 위하여, 부호화 장치(400)는 고주파 에너지 부호화부(545)에서 12.8kHz의 고주파 에너지를 계산하고 양자화하여 복호화 장치(450)로 전송한다.
고주파 발생부(588)는 난수 발생기에 의해 발생된 난수를 선형 예측 합성을 통하여 가상의 16kHz의 신호를 만든다. 상기 생성된 가상의 16kHz 신호를 고대역 통과 필터를 사용하여 12.8kHz 이상의 고주파 성분만을 추출한 후, 수신된 고주파 에너지 인덱스 즉 고주파 신호의 이득 인덱스(946)를 곱하여 12.8kHz이상의 고주파 오디오 신호를 생성한다. 하지만 고주파 에너지 정보(946)가 비트스트림(900)을 통하여 수신되지 않았을 경우, 상기 선형 예측 합성부(5800)에서 복원된 광대역 여기신호 및 주파수 기울기를 통하여 고주파 에너지 정보(826)를 추정할 수 있다.
제 2 가산기(586)는 고주파 발생부(588)에서 복원된 12.8kH 이상의 고주파 신호와 제2 오버 샘플링부(582)에서 16kHz로 오버 샘플링된 12.8kHz 광대역 여기신호를 합성하여 16kHz의 광대역 여기신호를 복원한다.
제 3 오버 샘플링부(572)는 저대역 복호화기(570)에서 복원된 저대역 오디오 신호를 16kHz로 오버 샘플링하여, 16kHz의 저대역 오디오 신호로 변환한다.
제 1 가산기(584)는 16kHz 저대역 오디오 신호와 제2 가산기(386)에서 생성된 생성된 16kHz의 광대역 여기신호를 합성하여 최종적으로 합성된 광대역 오디오 신호를 복원한다.
상기 최종적으로 합성된 광대역 오디오 신호는 더욱 명료한 오디오 신호를 제공하기 위하여 제2 후처리부(576)를 통하여 후처리 과정을 거칠 수 있다.
제1 후처리부(574) 및 제 2 후처리부(576)에서 수행되는 후처리 과정은 이미 음성 코덱에서 잘 알려진 포만트(formant) 후처리 필터와 이득값 보상 과정일 수 있다. 이 수행된다. 포만트 후처리 필터는 오디오 신호의 포만트 성분을 강조하여 오디오 신호를 더욱 명료하게 해주며, 이득값 보상 과정은 포만트 후처리 필터에 의하여 손실된 에너지 값을 보상해주는 역할을 한다.
이하, 도 7c 및 7d를 참조하여, 본 발명의 일 실시예에 따른 계층적 복호화 방법을 살펴본다.
제 745단계에서 복호화 장치(450)는 부호화 장치(400)에서 전송한 비트스트림을 수신하여, 계층별로 분할한다. 본 발명의 일 실시예에 따라 수신된 비트스트림이 도 9에 도시된 계층으로 구성되었다면, 수신된 비트스트림은 협대역 계층(910), 광대역 기본 계층(920) 및 확장계층(930)으로 분할될 수 있고, 광대역 기본 계층(920)내에서도 선형 예측 계수 인덱스(922), 선형 예측 잔차 신호의 이득 인덱스(924) 및 오디오 신호의 하모닉 위치의 주파수 위상 인덱스(926)로 분할될 수 있고, 광대역 확장계층(930) 내에서도 선형 예측 잔차 신호의 고대역의 주파수 위상 인덱스(942), 고대역의 주파수 크기 인덱스(944), 저대역의 주파수 위상 인덱스(952), 저대역의 주파수 크기 인덱스(954) 및 고주파 신호의 이득 인덱스(926)로 분할될 수 있다. 그러나, 네트워크 채널의 환경 또는 비트스트림의 전송률에 따라 수신되는 비트스트림에 포함된 계층을 달라질 수 있으며, 복호화 장치(450)는 수신되는 비트스트림에 포함된 정보만으로 광대역 오디오 신호를 계층적으로 복원할 수 있을 것이다.
제 750단계에서 복호화 장치(450)는 협대역 계층을 복호화하여 8kHz의 저대역 오디오 신호를 복원하고, 복원된 8kH 저대역 오디오 신호를 16kHz의 저대역 오디오 신호로 오버 샘플링한다.
제 755단계에서 복호화 장치(450)는 광대역 기본계층(920)에서 선형 예측 잔차 신호의 이득 인덱스(924)및 하모닉 위치의 주파수 위상 인덱스(926)를 복호화하고, 광대역 확장계층(930)을 복호화하여 선형 예측 잔차 신호의 주파수 크기 및 위상, 이득 정보를 복원한다. 이때, 제 745단계에서 수신된 비트스트림에 포함된 선형 예측 잔차 신호의 주파수 정보량에 따라 복원되는 선형 예측 잔차 신호의 주파수 크기 및 위상 정보량 달라질 것이다.
제 760단계에서 복호화 장치(450)는 복원된 선형 예측 잔차 신호의 주파수 크기 및 위상, 이득 정보를 시간 도메인의 선형 예측 잔차 신호로 변환한다. 제 755단계에서 복원되는 선형 예측 잔차 신호의 주파수 정보는 상황에 따라 달라질 수 있다. 따라서 제760단계에서는 제 755단계에서 복원된 정보만으로 선형 예측 잔차 신호를 계층적으로 복원한다.
제 765단계에서 복호화 장치(450)는 광대역 기본 계층(920)의 선형 예측 계수 인덱스(922)를 복호화하여 12.8kHz의 광대역 여기신호의 주파수 포락선 정보를 복원한다.
제 770단계에서 복호화 장치(450)는 제760단계에서 복원된 선형 예측 잔차 신호와 제 765단계에서 복원된 12.8kHz의 광대역 여기신호의 주파수 포락선 정보를 이용하여 12.8kHz의 광대역 여기신호를 복원하고, 복원된 12.8kHz의 광대역 여기신호를 16kHz로 오버 샘플링한다.
제 775단계에서 복호화 장치(450)는 광대역 기본 계층(920)의 고주파 에너지 인덱스 또는 고주파 이득 인덱스(926)를 복호화하여 12.8kHz이상의 광대역 오디오 신호인 고주파 신호를 복원한다.
제 780단계는 복호화 장치(450)는 제 770단계에서 16kHz로 오버 샘플링된 광대역 여기신호 및 제 775단계에서 복원된 고주파 신호를 합성하여 16kHz의 광대역 여기신호를 복원한다.
제 785단계에서 복호화 장치(450)는 제 780단계에서 복원된 16kHz 광대역 여기신호와 제 750단계에서 오버 샘플링된 16kHz의 저대역 오디오 신호를 합성하여 16kHz의 광대역 오디오 신호를 복원한다.
이처럼 본 발명의 일 실시예에 따른 부호화/복호화 방법에 의하면, 광대역 오디오 신호를 부호화하여 계층적으로 비트스트림을 형성함에 있어서, 고대역 전체의 기본적인 신호를 복원할 수 있는 광대역 기본계층을 마련하고, 낮은 비트율에서도 고음질이 복원될 수 있도록 청각의 민감도에 따라 선형 예측 잔차 신호의 주파수 정보를 계층적으로 패킹하여 광대역 확장계층을 마련하므로, 네트워크 상태나 수신단의 전송율의 한계로 인해 오디오신호가 낮은 비트율로 전송되더라도 고음질의 오디오 신호를 복원할 수 있고, 계층적으로 오디오 신호를 복원할 수 있는 확장성을 지원할 수 있다.
또한, 본 발명에 따른 계층적 부호화 및 복호화 방법을 수행하기 위한 프 로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 사용자 추적 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 본 발명에 따르면, 광대역 여기신호의 주파수 정보를 계층적으로 부호화/복호화 하므로, 고대역 오디오 신호의 기본적인 정보를 부호화한 광대역 기본계층을 마련하고, 청각의 민감도에 따라 광대역 여기신호의 주파수 정보를 계층적으로 부호화하여 다수의 계층을 가진 광대역 확장계층을 마련하므로, 낮은 비트율에서도 고대역 전체의 기본적인 오디오 신호를 복원할 수 있고, 부호화된 오디오 신호가 다수의 계층을 구비하여 FSG(Fine Granularity Scalable)을 지원할 수 있다.
또한, 저대역 오디오 신호는 협대역 계층을 이용하여 복원될 수 있도록 부호화/복호화하므로 복원된 오디오 신호가 기본적인 음질을 유지하도록 할 수 있다.

Claims (30)

  1. (a) 입력신호의 소정 대역 신호를 부호화하는 단계;
    (b) 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 여기신호의 주파수 포락선을 부호화하는 단계;
    (c) 상기 여기신호에서 상기 부호화된 주파수 포락선이 제거된 잔차신호를 부호화하는 단계; 및
    (d) 상기 (a), (b) 및 (c)단계에서 부호화된 결과들을 계층적으로 패킹(packing)하여 비트스트림(bitstream)을 형성하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  2. 제1항에 있어서, 상기(d)단계는
    상기 입력신호의 소정 대역 신호를 부호화한 결과를 협대역 계층으로 패킹하고, 상기 여기신호의 주파수 포락선을 부호화한 결과 및 상기 잔차신호의 기본적인 주파수 정보를 부호화한 결과를 광대역 기본계층으로 패킹하고, 상기 잔차신호의 기본적인 주파수 정보를 제외한 나머지 주파수 정보를 부호화한 결과를 광대역 확장계층으로 패킹하는 것을 특징으로 하는 계층적 부호화 방법.
  3. 제1항에 있어서, 상기 소정 대역은
    상기 입력 신호의 소정 주파수 이하의 대역인 것을 특징으로 하는 계층적 부 호화 방법.
  4. 제1항에 있어서, 상기 (c)단계는,
    상기 잔차신호의 주파수 정보를 부호화 하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  5. 제4항에 있어서, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 이득(gain), 주파수 크기 및 위상 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  6. 제5항에 있어서, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 주파수 위상 정보를 포함하고,
    상기 (c)단계는,
    (c1) 상기 입력신호의 하모닉 위치를 검출하는 단계;
    (c2) 상기 검출된 하모닉 위치의 주파수 위상을 부호화하는 단계; 및
    (c3) 상기 부호화된 주파수 위상을 제외한 나머지 주파수 위상을 부호화하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  7. 제6항에 있어서, 상기 (c3)단계는,
    상기 여기신호의 주파수 포락선의 크기를 분석하는 단계; 및
    상기 분석된 크기가 큰 주파수의 위상 정보가 비트스트림의 선단에 위치하도록 상기 나머지 주파수 위상을 부호화하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  8. 제5항에 있어서, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 주파수 크기를 포함하고,
    상기 (c)단계는,
    상기 여기신호의 주파수 포락선의 크기를 분석하는 단계; 및
    상기 분석된 크기가 큰 주파수의 크기 정보가 비트스트림의 선단에 위치하도록 상기 주파수 크기를 부호화하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  9. 제5항에 있어서, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 주파수 크기 정보를 포함하고,
    상기 (c)단계는,
    (c4) 임의의 프레임을 구성하는 주파수 대역을 복수의 서브 대역으로 분할하고, 상기 분할된 각 서브 대역별로 주파수 파워를 계산하고, 양자화하는 단계;
    (c5) 상기 양자화된 주파수 파워를 이용하여 주파수 크기를 정규화하고, 상기 정규화된 주파수 크기를 양자화하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  10. 제9항에 있어서, 상기 (c5)단계는,
    상기 정규화된 주파수 크기 중 일부 주파수 크기만 양자화하고, 양자화되지 않은 나머지 주파수 크기는 상기 양자화된 주파수 크기를 보간하여 양자화하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  11. 제5항에 있어서, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 주파수 크기를 포함하고,
    상기 (c)단계는,
    상기 입력신호의 한 프레임이 복수의 하위프레임으로 구성된 경우,
    상기 하위프레임 중 일부 하위프레임의 주파수 크기만 양자화하고, 양자화되지 않은 나머지 하위프레임의 주파수 크기는 상기 양자화된 하위프레임의 주파수 크기를 보간하여 양자화하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  12. 제6항에 있어서, 상기 (d)단계는
    (d1)상기 (a)단계에서 부호화된 소정 대역 신호를 이용하여 협대역 계층을 형성하는 단계;
    (d2) 상기 (b) 및 (c)단계에서 부호화된 주파수 포락선, 잔차신호의 이득 및 하모닉 위치의 주파수 위상 중 적어도 어느 하나를 이용하여 광대역 기본계층을 형 성하는 단계; 및
    (d3) 상기 (c)단계에서 부호화된 주파수 크기 및 나머지 주파수 위상 중 적어도 어느 하나를 이용하여 광대역 확장계층을 형성하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  13. 제12항에 있어서, 상기 (d3)단계는,
    상기 소정 대역을 제외한 나머지 대역의 부호화된 주파수 크기 및 나머지 주파수 위상 정보가 상기 소정 대역의 부호화된 주파수 크기 및 나머지 주파수 위상 정보보다 비트스트림의 선단에 위치하도록 상기 광대역 확장계층을 형성하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  14. 제13항에 있어서, 상기 (d3)단계는,
    상기 나머지 주파수 위상 정보가 상기 주파수 크기 정보보다 비트스트림의 선단에 위치하도록 상기 광대역 확장계층을 형성하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  15. (a) 입력신호의 소정 대역 신호를 부호화하는 단계;
    (b) 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 신호가 다운 샘플링된 여기신호의 주파수 포락선을 부호화하는 단계;
    (c) 상기 여기신호에서 상기 부호화된 여기신호의 주파수 포락선이 제거된 잔차신호를 부호화하는 단계;
    (d) 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 신호에서 상기 여기신호가 제거된 고주파 신호의 이득(gain)을 부호화하는 단계; 및
    (e) 상기 (a), (b), (c) 및 (d)단계에서 부호화된 결과들을 계층적으로 패킹하여 비트스트림을 형성하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법.
  16. 입력신호의 소정 대역 신호를 부호화하는 저대역 부호화부;
    상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 여기신호의 주파수 포락선을 부호화하는 선형 예측 분석부;
    상기 여기신호에서 상기 부호화된 주파수 포락선이 제거된 잔차신호를 부호화하는 주파수 부호화부; 및
    상기 저대역 부호화부, 선형예측 분석부 및 주파수 부호화부에서 부호화된 결과들을 계층적으로 패킹하여 비트스트림을 형성하는 다중화부를 포함하는 것을 특징으로 하는 계층적 부호화 장치.
  17. (a) 입력신호의 소정 대역 신호를 부호화하는 단계;
    (b) 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 여기신호의 주파수 포락선을 부호화하는 단계;
    (c) 상기 여기신호에서 상기 부호화된 주파수 포락선이 제거된 잔차신호를 부호화하는 단계; 및
    (d) 상기 (a), (b) 및 (c)단계에서 부호화된 결과들을 계층적으로 패킹하여 비트스트림을 형성하는 단계를 포함하는 것을 특징으로 하는 계층적 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  18. (a) 수신된 비트스트림을 계층별로 디패킹(depacking)하여 분할하는 단계;
    (b) 상기 분할된 계층들 각각을 복호화함으로써 입력신호의 소정 대역 신호, 상기 입력신호에서 부호화된 상기 입력신호의 소정 대역 신호를 제거한 여기신호의 주파수 포락선 및 상기 여기신호에서 부호화된 상기 여기신호의 주파수 포락선을 제거한 잔차신호를 복원하는 단계;
    (c) 상기 복원된 여기신호의 주파수 포락선 및 상기 복원된 잔차신호를 이용하여 상기 여기신호를 복원하는 단계; 및
    (d) 상기 복원된 여기신호 및 상기 복원된 입력신호의 소정 대역 신호를 합성하여 상기 입력신호를 복원하는 단계를 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  19. 제18항에 있어서, 상기 소정 대역은 상기 입력신호의 소정 주파수 이하의 대역인 것을 특징으로 하는 계층적 복호화 방법.
  20. 제18항에 있어서, 상기 (a)단계는,
    상기 수신된 비트스트림을 계층별로 디패킹하여 상기 입력신호의 소정 대역 신호를 부호화한 결과를 포함하는 협대역 계층, 상기 여기신호의 주파수 포락선 및 상기 잔차신호의 기본적인 주파수 정보를 부호화한 결과를 포함하는 광대역 기본계층 및 상기 잔차신호의 기본적인 주파수 정보를 제외한 나머지 주파수 정보를 부호화한 결과를 포함하는 광대역 확장계층으로 분할하는 것을 특징으로 하는 계층적 복호화 방법.
  21. 제18항에 있어서, 상기 (b) 단계는,
    (b1) 상기 분할된 계층들 각각을 복호화함으로써 상기 잔차신호의 주파수 정보를 복원하는 단계; 및
    (b2) 상기 (b1)단계에서 복원된 결과를 이용하여 상기 잔차신호를 복원하는 단계를 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  22. 제21항에 있어서, 상기 잔차신호의 주파수 정보는,
    상기 잔차신호의 이득(gain), 잔차신호의 주파수 크기 및 위상 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  23. 제22항에 있어서, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 주파수 위상 정보를 포함하고,
    상기 (b1)단계는,
    상기 잔차신호의 주파수 위상 중 상기 입력신호의 하모닉 위치의 주파수 위상 정보를 복원하는 단계를 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  24. 제23항에 있어서, 상기 (b1)단계는,
    상기 입력신호의 하모닉 위치의 주파수 위상을 제외한 나머지 주파수 위상을 복원하는 단계를 더 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  25. 제24항에 있어서,
    상기 (b1)단계는,
    상기 복원된 주파수 포락선의 크기를 분석하는 단계; 및
    상기 분석된 크기가 큰 순서에 따라 상기 나머지 주파수 위상을 복원하는 단계를 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  26. 제22항에 있어서, 상기 잔차신호의 주파수 정보는 상기 잔차신호의 주파수 크기 정보를 포함하고,
    상기 (b1)단계는,
    상기 복원된 주파수 포락선의 크기를 분석하는 단계; 및
    상기 분석된 크기가 큰 순서에 따라 상기 주파수 크기를 복원하는 단계를 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  27. 제18항에 있어서, 상기 수신된 비트스트림은,
    상기 입력신호의 소정 대역 신호를 부호화한 결과를 포함하는 협대역 계층, 상기 여기신호의 주파수 포락선, 상기 잔차신호의 이득 및 상기 입력신호의 하모닉 위치의 주파수 위상을 부호화한 결과를 포함하는 광대역 기본계층 및 상기 잔차신호의 주파수 크기 및 상기 입력신호의 하모닉 위치의 주파수 위상을 제외한 나머지 주파수 위상을 부호화한 결과를 포함하는 광대역 확장계층 중 적어도 어느 한 계층을 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  28. (a) 수신된 비트스트림을 계층별로 디패킹(depacking)하여 분할하는 단계;
    (b) 상기 분할된 계층들을 각각 복호화함으로써 입력신호의 소정 대역 신호, 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 신호가 다운 샘플링된 여기신호의 주파수 포락선, 상기 여기신호에서 상기 부호화된 여기신호의 주파수 포락선이 제거된 잔차신호 및 상기 입력신호에서 상기 부호화된 소정 대역 신호가 제거된 신호에서 상기 다운 샘플링된 여기신호가 제거된 고주파 신호의 이득(gain)을 복원하는 단계;
    (c) 상기 복원된 여기신호의 주파수 포락선 및 상기 복원된 잔차신호를 이용하여 상기 여기신호를 복원하는 단계;
    (d) 상기 고주파 신호의 이득을 이용하여 상기 고주파 신호를 복원하는 단계; 및
    (e) 상기 복원된 여기신호를 오버 샘플링한 신호, 상기 복원된 고주파 신호 및 상기 복원된 입력신호의 소정 대역 신호를 합성하여 상기 입력신호를 복원하는 단계를 포함하는 것을 특징으로 하는 계층적 복호화 방법.
  29. 수신된 비트스트림을 계층별로 디패킹(depacking)하여 분할하는 역다중화부;
    상기 분할된 계층을 복호화하여 입력신호의 소정 대역 신호를 복원하는 저대역 복호화부; 및
    상기 분할된 계층을 복호화함으로써 상기 입력신호에서 부호화된 상기 입력신호의 소정 대역 신호가 제거된 여기신호에서 부호화된 상기 여기신호의 주파수 포락선이 제거된 잔차신호를 복원하는 주파수 복호화부;
    상기 분할된 계층을 복호화함으로써 상기 여기신호의 주파수 포락선을 복원하고, 상기 복원된 주파수 포락선 및 상기 복원된 잔차신호를 이용하여 상기 여기신호를 합성하는 선형예측 합성부;
    상기 복원된 입력신호의 소정 대역 신호 및 상기 복원된 여기신호를 이용하여 상기 입력신호를 복원하는 합성부를 포함하는 것을 특징으로 하는 계층적 복호화 장치.
  30. (a) 수신된 비트스트림을 계층별로 디패킹(depacking)하여 분할하는 단계;
    (b) 상기 분할된 계층들 각각을 복호화함으로써 입력신호의 소정 대역 신호, 상기 입력신호에서 부호화된 상기 입력신호의 소정 대역 신호를 제거한 여기신호의 주파수 포락선 및 상기 여기신호에서 부호화된 상기 여기신호의 주파수 포락선을 제거한 잔차신호를 복원하는 단계;
    (c) 상기 복원된 여기신호의 주파수 포락선 및 상기 복원된 잔차신호를 이용하여 상기 여기신호를 복원하는 단계; 및
    (d) 상기 복원된 여기신호 및 상기 복원된 입력신호의 소정 대역 신호를 합성하여 상기 입력신호를 복원하는 단계를 포함하는 것을 특징으로 하는 계층적 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060064694A 2005-07-13 2006-07-11 입력신호의 계층적 부호화/복호화 장치 및 방법 KR100813259B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/485,468 US20070040709A1 (en) 2005-07-13 2006-07-13 Scalable audio encoding and/or decoding method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050063303 2005-07-13
KR1020050063303 2005-07-13

Publications (2)

Publication Number Publication Date
KR20070008411A KR20070008411A (ko) 2007-01-17
KR100813259B1 true KR100813259B1 (ko) 2008-03-13

Family

ID=38010609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060064694A KR100813259B1 (ko) 2005-07-13 2006-07-11 입력신호의 계층적 부호화/복호화 장치 및 방법

Country Status (2)

Country Link
US (1) US20070040709A1 (ko)
KR (1) KR100813259B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414375B1 (ko) 2008-06-13 2014-07-04 삼성전자주식회사 대역 확장 기법을 이용한 부호화/복호화 장치 및 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101261524B1 (ko) * 2007-03-14 2013-05-06 삼성전자주식회사 노이즈를 포함하는 오디오 신호를 저비트율로부호화/복호화하는 방법 및 이를 위한 장치
KR101380170B1 (ko) * 2007-08-31 2014-04-02 삼성전자주식회사 미디어 신호 인코딩/디코딩 방법 및 장치
EP2255534B1 (en) * 2008-03-20 2017-12-20 Samsung Electronics Co., Ltd. Apparatus and method for encoding using bandwidth extension in portable terminal
WO2010070770A1 (ja) * 2008-12-19 2010-06-24 富士通株式会社 音声帯域拡張装置及び音声帯域拡張方法
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP5975243B2 (ja) * 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
EP3608909B1 (en) 2013-12-27 2021-08-25 Sony Group Corporation Decoding apparatus and method, and program
FR3023646A1 (fr) * 2014-07-11 2016-01-15 Orange Mise a jour des etats d'un post-traitement a une frequence d'echantillonnage variable selon la trame
KR20220005379A (ko) * 2020-07-06 2022-01-13 한국전자통신연구원 천이구간 부호화 왜곡에 강인한 오디오 부호화/복호화 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6441302A (en) * 1987-08-07 1989-02-13 Uniden Kk Notch filter
KR100352351B1 (ko) * 1994-02-05 2003-01-06 소니 가부시끼 가이샤 정보부호화방법및장치와정보복호화방법및장치
KR20040029318A (ko) * 2001-11-14 2004-04-06 마쯔시다덴기산교 가부시키가이샤 오디오 부호화 및 복호화
KR20040062261A (ko) * 2003-01-02 2004-07-07 삼성전자주식회사 비트율 조절가능한 오디오 부호화 방법, 복호화 방법,부호화 장치 및 복호화 장치
KR20050004956A (ko) * 2003-06-27 2005-01-13 주식회사 포스코 고형분 알칼리 용액 혼합장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003091989A1 (en) * 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6441302A (en) * 1987-08-07 1989-02-13 Uniden Kk Notch filter
KR100352351B1 (ko) * 1994-02-05 2003-01-06 소니 가부시끼 가이샤 정보부호화방법및장치와정보복호화방법및장치
KR20040029318A (ko) * 2001-11-14 2004-04-06 마쯔시다덴기산교 가부시키가이샤 오디오 부호화 및 복호화
KR20040062261A (ko) * 2003-01-02 2004-07-07 삼성전자주식회사 비트율 조절가능한 오디오 부호화 방법, 복호화 방법,부호화 장치 및 복호화 장치
KR20050004956A (ko) * 2003-06-27 2005-01-13 주식회사 포스코 고형분 알칼리 용액 혼합장치

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
10-0352351
10-2004-0029318
10-2004-0062261
10-2005-0004956
특0141302

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414375B1 (ko) 2008-06-13 2014-07-04 삼성전자주식회사 대역 확장 기법을 이용한 부호화/복호화 장치 및 방법

Also Published As

Publication number Publication date
US20070040709A1 (en) 2007-02-22
KR20070008411A (ko) 2007-01-17

Similar Documents

Publication Publication Date Title
KR100813259B1 (ko) 입력신호의 계층적 부호화/복호화 장치 및 방법
KR102240271B1 (ko) 대역폭 확장신호 생성장치 및 방법
KR101171098B1 (ko) 혼합 구조의 스케일러블 음성 부호화 방법 및 장치
EP2224432B1 (en) Encoder, decoder, and encoding method
CN105913851B (zh) 对音频/语音信号进行编码和解码的方法和设备
EP2056294B1 (en) Apparatus, Medium and Method to Encode and Decode High Frequency Signal
JP5117407B2 (ja) オーディオ符号化／復号化で知覚的に重み付けするための装置
EP2239731B1 (en) Encoding device, decoding device, and method thereof
EP2041745B1 (en) Adaptive encoding and decoding methods and apparatuses
US7805314B2 (en) Method and apparatus to quantize/dequantize frequency amplitude data and method and apparatus to audio encode/decode using the method and apparatus to quantize/dequantize frequency amplitude data
KR100707186B1 (ko) 오디오 부호화 및 복호화 장치와 그 방법 및 기록 매체
KR100721537B1 (ko) 광대역 음성 부호화기의 고대역 음성 부호화 장치 및 그방법
US20090192792A1 (en) Methods and apparatuses for encoding and decoding audio signal
EP2200026B1 (en) Encoding apparatus and encoding method
US20070296614A1 (en) Wideband signal encoding, decoding and transmission
KR101449431B1 (ko) 계층형 광대역 오디오 신호의 부호화 방법 및 장치
KR102052144B1 (ko) 음성 신호의 대역 선택적 양자화 방법 및 장치
EP0351479B1 (en) Low bit rate voice coding method and device
JPH09127985A (ja) 信号符号化方法及び装置
KR100682966B1 (ko) 주파수 크기데이터 양자화/역양자화 방법 및 장치와 이를이용한 오디오 부호화/복호화 방법 및 장치
JPH09127987A (ja) 信号符号化方法及び装置
KR20070008211A (ko) 스케일러블 대역 확장 음성 부호화/복호화 방법 및 장치
KR20130007521A (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
JPH09127986A (ja) 符号化信号の多重化方法及び信号符号化装置
KR20080034817A (ko) 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee