KR101411900B1 - 오디오 신호의 부호화 및 복호화 방법 및 장치 - Google Patents

오디오 신호의 부호화 및 복호화 방법 및 장치 Download PDF

Info

Publication number
KR101411900B1
KR101411900B1 KR1020070044717A KR20070044717A KR101411900B1 KR 101411900 B1 KR101411900 B1 KR 101411900B1 KR 1020070044717 A KR1020070044717 A KR 1020070044717A KR 20070044717 A KR20070044717 A KR 20070044717A KR 101411900 B1 KR101411900 B1 KR 101411900B1
Authority
KR
South Korea
Prior art keywords
signal
frequency component
band
energy value
frequency
Prior art date
Application number
KR1020070044717A
Other languages
English (en)
Other versions
KR20080099081A (ko
Inventor
주기현
안톤 포로브
오은미
김중회
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070044717A priority Critical patent/KR101411900B1/ko
Priority to US11/956,690 priority patent/US20080281604A1/en
Priority to CN201310127932.8A priority patent/CN103297058B/zh
Priority to PCT/KR2008/002572 priority patent/WO2008136645A1/en
Priority to CN201310127779.9A priority patent/CN103258540B/zh
Priority to JP2010507326A priority patent/JP5296777B2/ja
Priority to CN2008800153546A priority patent/CN101682333B/zh
Publication of KR20080099081A publication Critical patent/KR20080099081A/ko
Priority to JP2013125014A priority patent/JP2013174932A/ja
Application granted granted Critical
Publication of KR101411900B1 publication Critical patent/KR101411900B1/ko
Priority to JP2015184515A priority patent/JP6178373B2/ja
Priority to JP2017137414A priority patent/JP6386634B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/093—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using sinusoidal excitation models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes

Abstract

본 발명은 오디오 신호를 부호화하거나 복호화하는 방법 및 장치에 관한 것이다. 본 발명인 오디오 신호의 부호화 방법 및 장치는 오디오 신호에서 중요한 주파수 성분(들)을 검출하여 부호화하고, 오디오 신호에 대해 포락선을 부호화한다. 또한, 본 발명인 오디오 신호의 복호화 방법 및 장치는 중요한 주파수 성분(들)이 포함된 밴드에 마련된 포락선을 중요한 주파수 성분(들)의 에너지 값을 고려하여 포락선을 조절함으로써 오디오 신호를 복호화한다. 이렇게 함으로써 적은 비트를 이용하여 부호화하거나 복호화함에도 불구하고 오디오 신호의 음질을 저하시키지 않으므로 코딩 효율을 극대화할 수 있다.

Description

오디오 신호의 부호화 및 복호화 방법 및 장치{Method and apparatus for encoding and decoding audio signal}
도 1은 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 2는 본 발명에 의한 오디오 신호의 복호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 3은 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 4는 본 발명에 의한 오디오 신호의 복호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 5는 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 6은 본 발명에 의한 오디오 신호의 복호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 7은 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 8은 본 발명에 의한 오디오 신호의 복호화 장치에 대한 일 실시예를 블록 도로 도시한 것이다.
도 9는 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 10은 본 발명에 의한 오디오 신호의 복호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 11은 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 12는 본 발명에 의한 오디오 신호의 복호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
도 13은 본 발명에 의한 복호화 장치에 포함되는 신호 조절부(220, 620, 825 및 1020)의 일 실시예를 블록도로 도시한 것이다.
도 14는 도 2, 6, 8 및 10에 도시된 신호 생성부(215, 615, 820 및 1015)에서 단수의 신호만을 이용하여 신호를 생성하는 경우 이득값을 적용하는 일 실시예를 도시한 것이다.
도 15는 도 2, 6, 8 및 10에 도시된 신호 생성부(215, 615, 820 및 1015)에서 복수의 신호들을 이용하여 신호를 생성하는 경우 이득값을 적용하는 일 실시예를 도시한 것이다.
도 16은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 17은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐 름도로 도시한 것이다.
도 18은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 19은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 20은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 21은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 22은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 23은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 24은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 25은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 26은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 27은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐 름도로 도시한 것이다.
도 28은 본 발명에 의한 오디오 신호의 복호화 방법에 포함된 제1720단계, 제2120단계, 제2325단계 및 제2520단계에 대한 일 실시예를 흐름도로 도시한 것이다.
도 29는 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것
도 30은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
〈도면의 주요 부호에 대한 간단한 설명〉
200: 역다중화부 205: 주파수성분 복호화부
210: 에너지값 복호화부 213: 토널러티 복호화부
215: 신호 생성부 220: 신호 조절부
225: 신호 합성부 230; 역변환부
본 발명은 음성 신호 또는 음악 신호와 같은 오디오 신호를 부호화하거나 복호화하는 방법 및 장치에 관한 것으로, 보다 상세하게는 제한된 환경에서 보다 효율적으로 오디오 신호를 부호화하거나 복호화하는 방법 및 장치에 관한 것이다.
오디오 신호를 부호화하거나 복호화함에 있어서 데이터 크기 및 전송률과 관 은 수행 환경이 제한된다. 그러나 이렇게 제한된 환경에서 음질을 최대한 향상시키는 것이 가장 중요하다. 이러한 과제에 대한 해결책으로 오디오 신호에서 인간이 인식하는데 중요한 데이터에는 비트를 많이 할당하여 부호화하고 인간이 인식하는데 중요하지 않은 데이터에는 비트를 적게 할당하는 방식이 요구된다.
본 발명이 이루고자 하는 기술적 과제는, 오디오 신호에서 중요한 주파수 성분(들)을 검출하여 부호화하고, 오디오 신호에 대해 포락선을 부호화하는 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 중요한 주파수 성분(들)이 포함된 밴드에 마련된 포락선을 중요한 주파수 성분(들)의 에너지 값을 고려하여 포락선을 조절함으로써 오디오 신호를 복호화하는 방법 및 장치를 제공하는 것이다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 부호화 방법은, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계 및 상기 입력신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 부호화 방법은, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계 및 상기 입력신호의 포락선을 추출하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 부호화 방법은, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계, 상기 입력신호 가운데 기 설정된 주파수 보다 작은 영역에 마련된 신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 단계 및 상기 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가운데 기 설정된 주파수 보다 큰 영역의 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 복호화 방법은, 주파수 성분(들)을 복호화하는 단계, 각 밴드에 마련될 신호의 에너지값을 복호화하는 단계, 상기 복호화된 에너지 값(들)을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 단계, 상기 계산된 에너지값을 갖는 신호를 각 밴드별로 생성하는 단계 및 상기 주파수 성분(들)과 상기 생성된 신호(들)을 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 복호화 방법은, 주파수 성분(들)을 복호화하는 단계, 오디오 신호의 포락선을 복호화하는 단계, 각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 마련된 상기 포락선을 조절하는 단계 및 상기 주파수 성분(들)과 상기 조절된 포락선을 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 복호화 방법은, 주파수 성분(들)을 복호화하는 단계, 기 설정된 주파수 보다 작은 영역에 마련된 각 밴드의 신호에 대한 에너지값을 복호화하는 단계, 상기 복호화된 에너지 값을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 단계, 기 설정된 주파수 보다 작은 영역에 마련된 각 밴드에 대하여 상기 계산된 에너지값을 갖는 신호를 생성하는 단계, 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가운데 기 설정된 주파수 보다 큰 영역에 마련된 신호를 복호화하는 단계, 각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 상기 복호화된 기 설정된 주파수 보다 큰 영역에 마련된 신호를 조절하는 단계 및 상기 주파수 성분(들), 생기 생성된 신호 및 상기 조절된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계 및 상기 입력신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 단계를 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.
상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계 및 상기 입력신호의 포락선을 추출하여 부호화하는 단계를 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.
상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계, 상기 입력신호 가운데 기 설정된 주파수 보다 작은 영역에 마련된 신호에 대해 소정의 밴드 단위 로 에너지값을 계산하여 부호화하는 단계 및 상기 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가운데 기 설정된 주파수 보다 큰 영역의 신호를 부호화하는 단계를 포함하는 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.
상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 주파수 성분(들)을 복호화하는 단계, 각 밴드에 마련될 신호의 에너지값을 복호화하는 단계, 상기 복호화된 에너지 값(들)을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 단계, 각 밴드에 대하여 상기 계산된 에너지값을 갖는 신호를 생성하는 단계 및 상기 주파수 성분(들)과 상기 생성된 신호(들)을 합성하는 단계를 포함하는 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.
상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 주파수 성분(들)을 복호화하는 단계, 오디오 신호의 포락선을 복호화하는 단계, 각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 마련된 상기 포락선을 조절하는 단계 및 상기 주파수 성분(들)과 상기 조절된 포락선을 합성하는 단계를 포함하는 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.
상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 주파수 성분(들)을 복호화하는 단계, 기 설정된 주파수 보다 작은 영역에 마련된 각 밴드의 신호에 대한 에너지값을 복호화하는 단계, 상기 복호화된 에너지 값을 기준으로 상기 복호화 된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 단계, 기 설정된 주파수 보다 작은 영역에 마련된 각 밴드에 대하여 상기 계산된 에너지값을 갖는 신호를 생성하는 단계, 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가운데 기 설정된 주파수 보다 큰 영역에 마련된 신호를 복호화하는 단계, 각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 상기 복호화된 기 설정된 주파수 보다 큰 영역에 마련된 신호를 조절하는 단계 및 상기 주파수 성분(들), 생기 생성된 신호 및 상기 조절된 신호를 합성하는 단계를 포함하는 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 부호화 장치는, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 주파수성분 부호화부 및 상기 입력신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 에너지값 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 부호화 장치는, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 주파수성분 부호화부 및 상기 입력신호의 포락선을 추출하여 부호화하는 포락선 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 부호화 장치는, 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 주파수성분 부호화부, 상기 입력신호 가운데 기 설정된 주파수 보다 작은 영역에 마련 된 신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 에너지값 부호화부 및 상기 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가운데 기 설정된 주파수 보다 큰 영역의 신호를 부호화하는 대역폭확장 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 복호화 장치는, 주파수 성분(들)을 복호화하는 주파수성분 복호화부, 각 밴드에 마련될 신호의 에너지값을 복호화하는 에너지값 복호화부, 상기 복호화된 에너지 값(들)을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 에너지값 계산부, 상기 계산된 에너지값을 갖는 신호를 각 밴드별로 생성하는 신호 생성부 및 상기 주파수 성분(들)과 상기 생성된 신호(들)을 합성하는 신호 합성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 복호화 장치는, 주파수 성분(들)을 복호화하는 주파수성분 복호화부, 오디오 신호의 포락선을 복호화하는 포락선 복호화부, 각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 마련된 상기 포락선을 조절하는 포락선 조절부 및 상기 주파수 성분(들)과 상기 조절된 포락선을 합성하는 신호 합성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오 신호의 복호화 장치는, 주파수 성분(들)을 복호화하는 주파수성분 복호화부, 기 설정된 주파수 보다 작은 영역에 마련된 각 밴드의 신호에 대한 에너지값을 복호화하는 에너지값 복호화부, 상기 복호화된 에너지 값을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 에너지값 계산부, 기 설정된 주파수 보다 작은 영역에 마련된 각 밴드에 대하여 상기 계산된 에너지값을 갖는 신호를 생성하는 신호 생성부, 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가운데 기 설정된 주파수 보다 큰 영역에 마련된 신호를 복호화하는 대역폭확장 복호화부, 각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 상기 복호화된 기 설정된 주파수 보다 큰 영역에 마련된 신호를 조절하는 신호 조절부 및 상기 주파수 성분(들), 생기 생성된 신호 및 상기 조절된 신호를 합성하는 신호 합성부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 방법 및 장치에 대해 상세히 설명한다.
도 1은 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 부호화 장치는 제1 변환부(100), 제2 변환부(105), 주파수성분 검출부(110), 주파수성분 부호화부(115), 에너지값 계산부(120), 에너지값 부호화부(125), 토널리티 부호화부(130) 및 다중화부(135)를 포함하여 이루어진다.
제1 변환부(100)는 입력단자 IN을 통하여 입력된 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다. 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
제2 변환부(105)는 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력단자 IN을 통하여 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다.
제1 변환부(100)에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제2 변환부(105)에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 변환부(100)는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환부(105)는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수성분 검출부(110)는 제1 변환부(100)에서 변환된 신호에서 기 설정된 기준에 따라 제2 변환부(105)에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다. 주파수성분 검출부(110)에서 중요한 주파 수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
주파수성분 부호화부(115)는 주파수성분 검출부(110)에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다.
에너지값 계산부(120)는 제1 변환부(100)에서 변환된 신호의 각 밴드에 마련된 신호에 대한 에너지 값을 계산한다. 여기서, 밴드의 예로서 QMF(Quadrature Mirror Filter)의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
에너지값 부호화부(125)는 에너지값 계산부(120)에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다.
토널리티 부호화부(130)는 주파수성분 검출부(110)에서 검출된 주파수 성분(들)이 포함된 각 밴드에 마련된 신호의 각 토널리티(tonality)를 계산하여 부호화한다. 그러나 본 발명에서는 토널리티 부호화부(130)를 반드시 포함하여 실시하여 야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 토널리티 부호화부(130)가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
다중화부(135)는 주파수성분 부호화부(115)에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 에너지값 부호화부(125)에서 부호화된 각 밴드의 에너지 값과 각 밴드의 위치를 나타내는 정보를 포함하여 다중화하고, 출력단자 OUT을 통해 다중화된 비트스트림을 출력한다. 소정의 경우 다중화부(135)는 토널리티 부호화부(130)에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 2는 본 발명에 의한 오디오 신호의 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 복호화 장치는 역다중화부(200), 주파수성분 복호화부(205), 에너지값 복호화부(210), 신호 생성부(215), 신호 조절부(220), 신호 합성부(225) 및 역변환부(230)를 포함하여 이루어진다.
역다중화부(200)는 부호화단으로부터 입력단자 IN을 통해 비트스트림을 입력받아 역다중화한다. 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 각 밴드의 에너지 값, 부호화기(미도시)에서 에너지 값이 부호화된 밴드(들)의 위치 및 토널리티(들) 등을 역다중화부(200)에서 역다중화할 수 있다.
주파수성분 복호화부(205)는 부호화기(미도시)에서 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다.
에너지값 복호화부(210)는 각 밴드에 마련된 신호의 에너지 값을 복호화한다.
토널리티 복호화부(213)는 주파수성분 복호화부(205)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)에 대한 토널리티(tonality)(들)를 복호화한다. 그러나 본 발명에서는 토널리티 복호화부(213)를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 신호 생성부(215)에서 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 토널리티 복호화부(213)가 필요할 수 있다. 예를 들어, 신호 생성부(215)에서 임의로 생성된 신호와 패치된 신호를 모두 이용하여 주파수성분 복호화부(205)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요할 수 있다. 만일 본 발명에서 토널리티 복호화부(213)를 포함하여 실시할 경우, 신호 조절부(220)는 토널리티 복호화부(213)에서 복호화된 토널리티(들)까지 고려하여 신호 생성부(215)에서 생성된 신호를 조절한다.
신호 생성부(215)는 에너지값 복호화부(210)에서 복호화된 각 밴드의 에너지값을 갖는 신호를 각 밴드에 생성한다.
여기서, 신호 생성부(215)에서 각 밴드에 신호를 생성하는 방법으로 다음 기술된 예들이 있다. 첫째, 신호 생성부(215)는 임의로 노이즈 신호를 생성한다. 예를 들어, 랜덤 노이즈 신호(random noise signal)가 있다. 둘째, 신호 생성부(215)는 소정의 밴드에 마련된 신호가 기 설정된 주파수 보다 큰 영역에 해당하는 고주파수 신호이고 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호가 이미 복호화되어 이용할 수 있다면 저주파수 신호를 복사하여 신호를 생성할 수 있다. 예를 들어, 저주파수 신호를 패치(patch)하거나 폴딩(folding)하여 신호를 생성할 수 있다.
신호 조절부(220)는 신호 생성부(215)에서 생성된 신호(들) 가운데 주파수성분 복호화부(205)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)을 조절한다. 여기서, 신호 조절부(220)는 에너지값 복호화부(210)에서 복호화된 각 밴드의 에너지 값을 기준으로 주파수성분 복호화부(205)에서 복호화된 주파수 성분(들)의 에너지 값(들)을 고려하여 신호 생성부(220)에서 생성된 신호의 에너지가 조절되도록 신호 생성부(220)에서 생성된 신호를 조절한다. 신호 조절부(220)에 대한 보다 상세한 일 실시예는 도 13의 설명과 함께 후술하기로 한다.
그러나 신호 조절부(220)는 신호 생성부(215)에서 생성된 신호 가운데 주파수성분 복호화부(205)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 신호(들)를 조절하지 않는다.
신호 합성부(225)는 주파수성분 복호화부(205)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 주파수성분 복호화부(205)에서 복호화된 주파수 성분과 신호 조절부(220)에서 조절된 신호를 합성하여 마련하고, 주파수성분 복호화부(205)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 신호 생성부(215)에서 생성된 신호로 마련한다.
역변환부(230)는 도 1의 제1 변환부(100)에서 수행하는 변환의 역과정으로 신호 합성부(225)에서 마련된 신호를 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환하여 출력단자 OUT을 통해 출력한다. 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
도 3은 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 부호화 장치는 제1 변환부(300), 제2 변환부(305), 주파수성분 검출부(310), 주파수성분 부호화부(315), 포락선 추출부(320), 포락선 부호화부(325) 및 다중화부(330)를 포함하여 이루어진다.
제1 변환부(300)는 입력단자 IN을 통하여 입력된 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다. 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
제2 변환부(305)는 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력단자 IN을 통하여 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다.
제1 변환부(300)에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제2 변환부(305)에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 변환부(300)는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환부(305)는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수성분 검출부(310)는 제1 변환부(300)에서 변환된 신호에서 기 설정된 기준에 따라 제2 변환부(305)에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다. 주파수성분 검출부(310)에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으 며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
주파수성분 부호화부(315)는 주파수성분 검출부(310)에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다.
포락선 추출부(320)는 제1 변환부(300)에서 변환된 신호의 포락선을 추출한다.
포락선 부호화부(325)는 포락선 추출부(320)에서 추출한 포락선을 부호화한다.
다중화부(330)는 주파수성분 부호화부(315)에서 부호화된 주파수 성분(들)과 주파수 성분(들)이 마련된 위치를 나타내는 정보, 포락선 부호화부(325)에서 부호화된 포락선을 포함하여 다중화하고, 출력단자 OUT을 통해 다중화된 비트스트림을 출력한다.
도 4는 본 발명에 의한 오디오 신호의 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 복호화 장치는 역다중화부(400), 주파수성분 복호화부(405), 포락선 복호화부(410), 에너지 계산부(415), 포락선 조절부(420), 신호 합성부(425) 및 역변환부(430)를 포함하여 이루어진다.
역다중화부(400)는 부호화단으로부터 입력단자 IN을 통해 비트스트림을 입력받아 역다중화한다. 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 부호화기(미도시)에서 부호화된 포락선 등을 역다중화부(400)에서 역다중화할 수 있다.
주파수성분 복호화부(405)는 부호화기(미도시)에서 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다.
포락선 복호화부(410)는 부호화기(미도시)에서 부호화된 포락선을 복호화한다.
에너지 계산부(415)는 주파수성분 복호화부(405)에서 복호화된 각 주파수 성분(들)의 에너지 값을 계산한다.
포락선 조절부(420)는 포락선 복호화부(410)에서 복호화된 포락선 가운데 주파수성분 복호화부(405)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)를 조절한다. 여기서, 포락선 조절부(420)는 포락선 복호화부(410)에서 복호화된 각 밴드에 마련된 포락선의 에너지값이 주파수성분 복호화부(405)에서 복호화된 주파수 성분(들)이 포함된 각 밴드에 마련된 포락선의 에너지값으로부터 해당 밴드에 포함된 주파수 성분(들)의 에너지값을 감산한 값이 되도록 해당 밴드에 마련된 포락선을 조절한다.
그러나 포락선 조절부(420)는 포락선 복호화부(415)에서 복호화된 포락선 가운데 주파수성분 복호화부(405)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 신호(들)를 조절하지 않는다.
신호 합성부(425)는 주파수성분 복호화부(405)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 주파수성분 복호화부(405)에서 복호화된 주파수 성분과 포락선 조절부(420)에서 조절된 포락선을 합성하여 마련하고, 주파수성분 복호화부(405)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 포락선 복호화부(410)에서 복호화된 신호로 마련한다.
역변환부(430)는 도 3의 제1 변환부(300)에서 수행하는 변환의 역과정으로 신호 합성부(425)에서 마련된 신호를 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환하여 출력단자 OUT을 통해 출력한다. 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
도 5는 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 부호화 장치는 제1 변환부(500), 제2 변환부(505), 주파수성분 검출부(510), 주파수성분 부호화부(515), 에너지값 계산부(520), 에너지값 부호화부(525), 제3 변환부(530), 대역폭확장 부호화부(535), 토널리티 부호화부(540) 및 다중화부(545)를 포함하여 이루어진다.
제1 변환부(500)는 입력단자 IN을 통하여 입력된 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다. 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
제2 변환부(505)는 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력단자 IN을 통하여 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다.
제1 변환부(500)에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제2 변환부(505)에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 변환부(500)는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환부(505)는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수성분 검출부(510)는 제1 변환부(500)에서 변환된 신호에서 기 설정된 기준에 따라 제2 변환부(505)에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다. 주파수성분 검출부(510)에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시 할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
주파수성분 부호화부(515)는 주파수성분 검출부(510)에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다.
제3 변환부(530)는 입력단자 IN을 통해 입력받은 오디오 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제3 변환부(530)에서는 QMF를 적용하여 도메인을 변환한다.
대역폭확장 부호화부(535)는 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호를 이용하여 주파수성분 검출부(510)에서 검출된 주파수 성분(들)이 포함되지 않은 밴드(들) 가운데 기 설정된 주파수 보다 큰 영역에 해당하는 제3 변환부(530)에서 변환된 신호를 부호화한다. 대역폭확장 부호화부(535)에서 부호화함에 있어서, 저주파수 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 소정 밴드(들)의 신호(들)을 복호화할 수 있는 정보를 생성하여 부호화한다.
에너지값 계산부(520)는 제3 변환부(530)로부터 변환된 신호를 입력받아 주파수성분 부호화부(515)에서 부호화된 주파수 성분(들)이 포함된 밴드(들) 또는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 마련된 신호(들)의 에너지 값(들)을 계산한다. 여기서, 밴드의 예로서 QMF(Quadrature Mirror Filter)의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
에너지값 부호화부(525)는 에너지값 계산부(520)에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다.
토널리티 부호화부(540)는 주파수성분 검출부(515)에서 검출된 주파수 성분(들)이 포함된 밴드(들)에 마련된 제3 변환부(530)에서 변환된 신호(들)에 대한 토널리티(tonality)를 계산하여 부호화한다. 그러나 본 발명에서는 토널리티 부호화부(540)를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 토널리티 부호화부(540)가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
다중화부(545)는 주파수성분 부호화부(515)에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 에너지값 부호화부(525)에서 부호화된 각 밴드의 에너지 값과 각 밴드의 위치를 나타내는 정보 및 대역폭확장 부호화부(535)에서 저주파수 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 주파수 성분(들)을 포함하지 않은 밴드에 마련된 신호를 복호화할 수 있는 정보를 포함하여 다중화하고, 출력단자 OUT을 통해 다중화된 비트스트림을 출력한다. 소정의 경우 다중화부(545)는 토널리티 부호화부(540)에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 6은 본 발명에 의한 오디오 신호의 복호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 복호화 장치는 역다중화부(600), 주파수성분 복호화부(605), 에너지값 복호화부(610), 토널리티 복호화부(613), 신호 생성부(615), 신호 조절부(620), 제1 신호 합성부(625), 제1 역변환부(630), 제2 변환부(635), 동기화부(640), 대역폭확장 부호화부(645), 제2 역변환부(650) 및 제2 신호 합성부(655)를 포함하여 이루어진다.
역다중화부(600)는 부호화단으로부터 입력단자 IN을 통해 비트스트림을 입력받아 역다중화한다. 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 각 밴드의 에너지 값, 부호화기(미도시)에서 에너지 값이 부호화된 밴드(들)의 위치, 기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 주파수 성분(들)을 포함하지 않은 밴드(들)에 마련된 신호를 복호화할 수 있는 정보 및 토널리티(들) 등을 역다중화부(600)에서 역다중화할 수 있다.
주파수성분 복호화부(605)는 부호화기(미도시)에서 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다.
제1 역변환부(630)는 도 5의 제1 변환부(500)에서 수행하는 변환의 역과정으로 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)을 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다. 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제2 변환부(635)는 분석 필터뱅크(analysis filterbank)에 의해 제1 역변환 부(630)에서 역변환된 신호를 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제2 변환부(635)에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
동기화부(640)는 주파수성분 복호화부(605)에서 적용되는 프레임과 대역폭확장 복호화부(645)에서 적용되는 프레임이 서로 일치하지 않는 경우 주파수성분 복호화부(605)에서 적용되는 프레임과 대역폭확장 복호화부(645)에서 적용되는 프레임을 동기화한다. 여기서, 동기화부(640)는 주파수성분 복호화부(605)에서 적용되는 프레임을 기준으로 대역폭확장 복호화부(645)에서 적용되는 프레임 중 전부 또는 일부를 처리하는 것이 바람직하다.
에너지값 복호화부(610)는 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)이 포함된 밴드(들) 또는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)의 신호에 대한 에너지값을 복호화한다.
토널리티 복호화부(613)는 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)의 토널리티(tonality)(들)를 복호화한다. 그러나 본 발명에서는 토널리티 복호화부(613)를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 신호 생성부(615)에서 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 토널리티 복호화부(613)가 필요할 수 있다. 예를 들어, 신호 생성부(615)에서 임의로 생성된 신호와 패치된 신호를 모두 이용하여 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요할 수 있다. 만일 본 발명에서 토널리티 복호화부(613)를 포함하여 실시할 경우, 신호 조절부(620)는 토널리티 복호화부(613)에서 복호화된 토널리티(들)까지 고려하여 신호 생성부(615)에서 생성된 신호를 조절한다.
신호 생성부(615)는 에너지값 복호화부(610)에서 복호화된 주파수 성분(들)이 포함된 밴드(들) 또는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)의 에너지값을 갖는 각 밴드에 마련된 신호를 생성한다.
여기서, 신호 생성부(615)에서 신호를 생성하는 방법으로 다음 기술된 예들이 있다. 첫째, 신호 생성부(615)는 임의로 노이즈 신호를 생성한다. 예를 들어, 랜덤 노이즈 신호(random noise signal)가 있다. 둘째, 신호 생성부(615)는 소정의 밴드에 마련된 신호가 기 설정된 주파수 보다 큰 영역에 해당하는 고주파수 신호이고 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호가 이미 복호화되어 이용할 수 있다면 저주파수 신호를 복사하여 신호를 생성할 수 있다. 예를 들어, 저주파수 영역에 해당하는 신호를 패치(patch)하거나 폴딩(folding)하여 해당 밴드의 신호를 생성할 수 있다.
신호 조절부(620)는 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 신호 생성부(615)에서 생성된 신호(들)를 조절한다. 여기서, 신호 조절부(620)는 에너지값 복호화부(610)에서 복호화된 각 밴드의 에너지 값을 기준으로 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)의 에너지 값(들)을 고려하여 신호 생성부(620)에서 생성된 신호의 에너지가 조절되도록 신호 생성부(620)에서 생성된 신호를 조절한다. 신호 조절부(620)에 대한 보다 상세한 일 실시예는 도 13의 설명과 함께 후술하기로 한다.
제1 신호 합성부(625)는 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 주파수성분 복호화부(605)에서 복호화되어 제1 역변환부(630)에서 역변환된 주파수 성분과 신호 조절부(620)에서 조절된 신호를 합성하여 마련하고, 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들) 가운데 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 대하여 신호 생성부(615)에서 생성된 신호로 마련한다.
대역폭확장 복호화부(645)는 제2 변환부(635)에서 변환된 신호(들) 가운데 기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(605)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 신호(들)를 복호화한다. 여기서, 대역폭확장 복호화부(645)는 복호화함에 있어서, 역다중화부(600)에서 역다중화된 기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 신호를 복호화할 수 있는 정보를 이용한다.
제2 역변환부(650)는 도 6의 제2 변환부(635)에서 수행하는 변환의 역과정으로 대역폭확장 복호화부(645)에서 복호화된 신호의 도메인을 합성 필터뱅크(synthesis filterbank)를 통해 역변환한다.
제2 신호 합성부(655)는 제1 신호 합성부(625)에서 합성된 신호와 제2 역변환부(650)에서 역변환된 신호를 합성한다. 제1 신호 합성부(625)에서 합성된 신호는 주파수성분 복호화부(605)에서 복호화된 주파수 성분이 포함된 밴드(들)에 마련 된 신호(들)과 주파수성분 복호화부(605)에서 복호화된 주파수 성분이 포함되지 않은 밴드(들) 가운데 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 마련된 신호(들)이다. 또한, 제2 역변환부(650)에서 역변환된 신호는 주파수성분 복호화부(605)에서 복호화된 주파수 성분이 포함되지 않은 밴드(들) 가운데 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들)에 마련된 신호(들)이다. 이에 따라 주파수 전 영역에 대한 오디오 신호를 제2 신호 합성부(655)는 복원하여 출력단자 OUT을 통해 출력할 수 있다.
도 7은 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 부호화 장치는 제1 변환부(700), 제2 변환부(705), 주파수성분 검출부(710), 주파수성분 부호화부(715), 에너지값 계산부(720), 에너지값 부호화부(725), 제3 변환부(730), 대역폭확장 부호화부(735), 토널리티 부호화부(740) 및 다중화부(745)를 포함하여 이루어진다.
제1 변환부(700)는 입력단자 IN을 통하여 입력된 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다. 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
제2 변환부(705)는 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력단자 IN을 통하여 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다.
제1 변환부(700)에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제2 변환부(705)에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하 여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 변환부(700)는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환부(705)는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수성분 검출부(710)는 제1 변환부(700)에서 변환된 신호에서 기 설정된 기준에 따라 제2 변환부(705)에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다. 주파수성분 검출부(710)에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
주파수성분 부호화부(715)는 주파수성분 검출부(710)에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다.
제3 변환부(730)는 입력단자 IN을 통해 입력받은 오디오 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제3 변환부(730)에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
대역폭확장 부호화부(735)는 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호를 이용하여 제3 변환부(730)에서 변환된 신호 가운데 기 설정된 제2 주파수 보다 큰 영역에 해당하는 고주파수 신호를 부호화한다. 대역폭확장 부호화부(735)에서 부호화함에 있어서, 저주파수 신호를 이용하여 제2 주파수 보다 큰 영역에 해당하는 신호를 복호화할 수 있는 정보를 생성하여 부호화한다.
에너지값 계산부(720)는 제3 변환부(730)에서 변환된 신호에 대하여 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 마련된 신호의 에너지 값(들)을 계산한다. 여기서, 밴드의 예로서 QMF의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
에너지값 부호화부(725)는 에너지값 계산부(720)에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다.
토널리티 부호화부(740)는 제3 변환부(730)에서 변환된 신호에 대하여 주파수성분 검출부(715)에서 검출된 주파수 성분(들)이 포함된 밴드에 마련된 신호(들)의 각 토널리티(tonality)를 계산하여 부호화한다. 그러나 본 발명에서는 토널리티 부호화부(740)를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 토널리티 부호화부(740)가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
다중화부(745)는 주파수성분 부호화부(715)에서 부호화된 주파수 성분(들)과 주파수 성분(들)이 마련된 위치를 나타내는 정보, 에너지값 부호화부(725)에서 부호화된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보 및 대역폭확장 부호화부(735)에서 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 포함하여 다중화하고, 출력단자 OUT을 통해 다중화된 비트스트림을 출력한다. 소정의 경우 다중화부(745)는 토널리티 부호화부(740)에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 8은 본 발명에 의한 오디오 신호의 복호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 복호화 장치는 역다중화부(800), 주파 수성분 복호화부(805), 에너지값 복호화부(810), 토널리티 복호화부(815), 신호 생성부(820), 신호 조절부(825), 제1 신호 합성부(830), 제1 역변환부(835), 제2 변환부(840), 동기화부(845), 대역폭확장 부호화부(850), 제2 신호 조절부(855), 제2 신호 합성부(860), 제2 역변환부(865) 및 영역 합성부(870)를 포함하여 이루어진다.
역다중화부(800)는 부호화단으로부터 입력단자 IN을 통해 비트스트림을 입력받아 역다중화한다. 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 각 밴드의 에너지 값, 부호화기(미도시)에서 에너지 값이 부호화된 밴드(들)의 위치, 기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 신호를 복호화할 수 있는 정보 및 토널리티(들) 등을 역다중화부(800)에서 역다중화할 수 있다.
주파수성분 복호화부(805)는 부호화기(미도시)에서 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다.
제1 역변환부(835)는 도 7의 제1 변환부(700)에서 수행하는 변환의 역과정으로 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)을 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다. 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제2 변환부(840)는 제1 역변환부(835)에서 역변환된 저주파수 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제2 변환부(840)에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
동기화부(845)는 주파수성분 복호화부(805)에서 적용되는 프레임과 대역폭확장 복호화부(850)에서 적용되는 프레임이 서로 일치하지 않는 경우 주파수성분 복호화부(805)에서 적용되는 프레임과 대역폭확장 복호화부(850)에서 적용되는 프레임을 동기화한다. 여기서, 동기화부(845)는 주파수성분 복호화부(805)에서 적용되는 프레임을 기준으로 대역폭확장 복호화부(850)에서 적용되는 프레임 중 전부 또는 일부를 처리하는 것이 바람직하다.
에너지값 복호화부(810)는 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호의 각 밴드(들)에 대한 에너지값을 복호화한다.
토널리티 복호화부(815)는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)에 대한 토널리티(tonality)(들)를 복호화한다. 그러나 본 발명에서는 토널리티 복호화부(815)를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 신호 생성부(820)에서 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 토널리티 복호화부(815)가 필요할 수 있다. 예를 들어, 신호 생성부(820)에서 임의로 생성된 신호와 패치된 신호를 모두 이용하여 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요할 수 있다. 만일 본 발명에서 토널리티 복호화부(815)를 포함하여 실시할 경우, 신호 조절부(825)는 토널리티 복호화부(815)에서 복호화된 토널리티(들)까지 고려하여 신호 생성부(820)에서 생성된 신호를 조절한다.
신호 생성부(820)는 에너지값 복호화부(810)에서 복호화된 밴드(들)의 에너지값을 갖는 각 밴드에 마련된 신호를 생성한다.
여기서, 신호 생성부(820)에서 신호를 생성하는 방법으로 다음 기술된 예들이 있다. 첫째, 신호 생성부(820)는 임의로 노이즈 신호를 생성한다. 예를 들어, 랜덤 노이즈 신호(random noise signal)가 있다. 둘째, 신호 생성부(820)는 소정의 밴드에 마련된 신호가 이미 복호화되어 이용할 수 있다면 연관이 높은 기 복호화된 밴드의 신호를 복사하여 신호를 생성할 수 있다. 예를 들어, 기 복호화된 밴드의 신호를 패치(patch)하거나 폴딩(folding)하여 신호를 생성할 수 있다.
신호 조절부(825)는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 신호 생성부(820)에서 생성된 신호(들)를 조절한다. 여기서, 신호 조절부(825)는 에너지값 복호화부(810)에서 복호화된 각 밴드의 에너지 값을 기준으로 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)의 에너지 값(들)을 고려하여 신호 생성부(820)에서 생성된 신호의 에너지가 조절되도록 신호 생성부(820)에서 생성된 신호를 조절한다. 신호 조절부(815)에 대한 보다 상세한 일 실시예는 도 13의 설명과 함께 후술하기로 한다.
제1 신호 합성부(830)는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 주파수성분 복호화부(805)에서 복호화되어 제1 역변환부(835)에서 역변환된 주파수 성분(들)과 신호 조절부(825)에서 조절된 신호를 합성하여 마련하고, 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 신호 생성부(820)에서 생성된 신호로 마련한다. 이에 따라 제1 신호 합성부(830)에서는 저주파수 신호를 복원한다.
대역폭확장 복호화부(850)는 제2 변환부(840)에서 변환된 저주파수 신호(들)를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 신호인 고주파수 신호를 복호화한다. 여기서, 대역폭확장 복호화부(850)는 복호화함에 있어서 역다중화부(800)에서 역다중화된 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 이용한다.
제2 신호 조절부(855)는 대역폭확장 복호화부(850)에서 복호화된 고주파수 신호 가운데 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)를 조절한다.
우선, 제2 신호 조절부(855)는 기 설정된 주파수 보다 큰 영역에 마련된 주파수 성분(들)의 에너지 값을 계산한다. 그리고 제2 신호 조절부(855)에서 조절하는 밴드(들)에 마련된 신호(들)에 대한 에너지가 대역폭확장 복호화부(850)에서 복호화된 신호의 에너지값에서 각 밴드에 포함된 주파수 성분의 에너지값을 감산한 값이 되도록 대역폭확장 복호화부(850)에서 복호화된 해당 밴드에 마련된 고주파수 신호를 조절한다.
제2 신호 합성부(860)는 기 설정된 주파수 보다 큰 영역에 해당하는 밴드 (들) 가운데 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)과 제2 신호 조절부(855)에서 조절된 신호를 합성하여 마련하고, 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(805)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 대역폭확장 복호화부(850)에서 복호화된 신호로 마련한다. 이에 따라 제2 신호 합성부(860)에서는 고주파수 신호를 복원한다.
제2 역변환부(865)는 제2 변환부(840)에서 수행하는 변환의 역과정으로 제2 신호 합성부(860)에서 복원된 고주파수 신호의 도메인을 합성 필터뱅크(synthesis filterbank)를 통해 역변환한다.
제3 신호 합성부(870)는 제1 신호 합성부(830)에서 복원된 저주파수 신호와 제2 역변환부(865)에서 역변환된 고주파수 신호를 합성하여 출력단자 OUT을 통해 출력한다.
도 9는 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 부호화 장치는 영역 분할부(900), 제1 변환부(903), 제2 변환부(905), 주파수성분 검출부(910), 주파수성분 부호화부(915), 에너지값 계산부(920), 에너지값 부호화부(925), 토널리티 부호화부(930), 제3 변환부(935), 대역폭확장 부호화부(940) 및 다중화부(945)를 포함하여 이루어진다.
영역 분할부(900)는 기 설정된 주파수를 기준으로 하여 입력단자 IN을 통하 여 입력된 신호를 저주파수 신호와 고주파수 신호로 분할한다. 여기서, 저주파수 신호는 기 설정된 제1 주파수 보다 작은 영역에 해당하는 신호이며, 고주파수 신호는 기 설정된 제2 주파수 보다 큰 영역에 해당하는 신호를 말한다. 제1 주파수와 제2 주파수는 서로 동일한 값으로 설정되는 것이 바람직하지만, 반드시 동일한 값으로 설정하여 실시해야 하는 것은 아니다.
제1 변환부(903)는 영역 분할부(900)에서 분할된 저주파수 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다.
제2 변환부(905)는 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 영역 분할부(900)에서 분할된 저주파수 신호를 시간 도메인에서 주파수 도메인으로 변환한다.
제1 변환부(903)에서 변환된 신호는 저주파수 신호를 부호화하는 데 이용되며, 제2 변환부(905)에서 변환된 신호는 저주파수 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 변환부(903)는 저주파수 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환부(905)는 저주파수 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신 호는 저주파수 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수성분 검출부(910)는 제1 변환부(903)에서 변환된 저주파수 신호에서 기 설정된 기준에 따라 제2 변환부(905)에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다. 주파수성분 검출부(910)에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
주파수성분 부호화부(915)는 주파수성분 검출부(910)에서 검출된 저주파수 신호의 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다.
제3 변환부(935)는 영역 분할부(900)에서 분할된 고주파수 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제3 변환부(935)에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
에너지값 계산부(920)는 제3 변환부(935)에서 변환된 저주파수 신호의 각 밴드에 마련된 신호에 대한 에너지 값을 계산한다. 여기서, 밴드의 예로서 QMF의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
에너지값 부호화부(925)는 에너지값 계산부(920)에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다.
토널리티 부호화부(930)는 주파수성분 검출부(910)에서 검출된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)에 대한 각 토널리티(tonality)를 계산하여 부호화한다. 그러나 본 발명에서는 토널리티 부호화부(930)를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호(들)를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 토널리티 부호화부(930)가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
대역폭확장 부호화부(940)는 저주파수 신호를 이용하여 제3 변환부(730)에서 변환된 고주파수 신호를 부호화한다. 대역폭확장 부호화부(735)에서 부호화함에 있어서, 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 생성하여 부호화한다.
다중화부(945)는 주파수성분 부호화부(915)에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 에너지값 부호화부(925)에서 부호화된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보 및 대역폭확장 부호화부(940)에서 부호화된 저주파수 신호를 이용하여 고주파수 신호를 부호화하는 정보를 포함하여 다중화하고, 출력단자 OUT을 통해 다중화된 비트스트림을 출력한다. 소정의 경우 다중화부(945)는 토널리티 부호화부(930)에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 10은 본 발명에 의한 오디오 신호의 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 복호화 장치는 역다중화부(1000), 주파수성분 복호화부(1005), 에너지값 복호화부(1010), 신호 생성부(1015), 신호 조절부(1020), 신호 합성부(1025), 제1 역변환부(1030), 제2 변환부(1035), 동기화부(1040), 대역폭확장 복호화부(1045), 제2 역변환부(1050) 및 영역 합성부(1055)를 포함하여 이루어진다.
역다중화부(1000)는 부호화단으로부터 입력단자 IN을 통해 비트스트림을 입력받아 역다중화한다. 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 각 밴드의 에너지 값, 부호화기(미도시)에서 에너지 값이 부호화된 밴드(들)의 위치, 저주파수 신호를 이용하여 고주파수 신호를 부호화 하는 정보 및 토널리티(들) 등을 역다중화부(1000)에서 역다중화할 수 있다.
주파수성분 복호화부(1005)는 부호화기(미도시)에서 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호에 대하여 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다.
제1 역변환부(1030)는 도 9의 제1 변환부(903)에서 수행하는 변환의 역과정으로 주파수성분 복호화부(1005)에서 복호화된 주파수 성분(들)을 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다. 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제2 변환부(1035)는 분석 필터뱅크(analysis filterbank)에 의해 제1 역변환부(1030)에서 역변환된 저주파수 신호를 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제2 변환부(1035)에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
동기화부(1040)는 주파수성분 복호화부(1005)에서 적용되는 프레임과 대역폭확장 복호화부(1045)에서 적용되는 프레임이 서로 일치하지 않는 경우 주파수성분 복호화부(1005)에서 적용되는 프레임과 대역폭확장 복호화부(1045)에서 적용되는 프레임을 동기화한다. 여기서, 동기화부(1040)는 주파수성분 복호화부(1005)에서 적용되는 프레임을 기준으로 대역폭확장 복호화부(1045)에서 적용되는 프레임 중 전부 또는 일부를 처리하는 것이 바람직하다.
에너지값 복호화부(1010)는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 마련된 각 밴드별 신호의 에너지 값을 복호화한다.
신호 생성부(1015)는 에너지값 복호화부(1010)에서 복호화된 각 밴드의 에너지값을 갖는 신호를 각 밴드별로 생성한다.
여기서, 신호 생성부(1015)에서 신호를 생성하는 방법으로 다음 기술된 예들이 있다. 첫째, 신호 생성부(1015)는 임의로 노이즈 신호를 생성한다. 예를 들어, 랜덤 노이즈 신호(random noise signal)가 있다. 둘째, 신호 생성부(1015)는 소정의 밴드에 마련된 신호가 고주파수 영역에 해당하는 신호이고 저주파수 영역에 해당하는 신호가 이미 복호화되어 이용할 수 있다면 저주파수 영역에 해당하는 신호를 복사하여 신호를 생성할 수 있다. 예를 들어, 저주파수 영역에 해당하는 신호를 패치(patch)하거나 폴딩(folding)하여 신호를 생성할 수 있다.
신호 조절부(1020)는 주파수성분 복호화부(1005)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 신호 생성부(1015)에서 생성된 신호(들)를 조절한다. 여기서, 신호 조절부(1020)는 에너지값 복호화부(1010)에서 복호화된 각 밴드의 에너지 값을 기준으로 주파수성분 복호화부(1005)에서 복호화된 주파수 성분(들)의 에너지 값(들)을 고려하여 신호 생성부(1020)에서 생성된 신호의 에너지가 조절되도록 신호 생성부(1020)에서 생성된 신호를 조절한다. 신호 조절부(1020)에 대한 보다 상세한 일 실시예는 도 13의 설명과 함께 후술하기로 한다.
그러나 신호 조절부(1020)는 주파수성분 복호화부(1005)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 신호 생성부(1015)에서 생성된 신호를 조절하지 않는다.
신호 합성부(1025)는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(1005)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 주파수성분 복호화부(1005)에서 복호화되어 제1 역변환부(1030)에서 역변환된 주파수 성분과 신호 조절부(1020)에서 조절된 신호를 합성하여 마련하고, 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(1005)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 신호 생성부(1015)에서 생성된 신호로 마련한다. 이에 따라 신호 합성부(1025)에서는 저주파수 신호를 복원한다.
대역폭확장 복호화부(1045)는 제2 변환부(1035)에서 변환된 저주파수 신호를 이용하여 고주파수 신호를 복호화한다. 여기서, 대역폭확장 복호화부(1045)는 복호화함에 있어서, 역다중화부(1000)에서 역다중화된 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 이용한다.
제2 역변환부(1050)는 제2 변환부(1035)에서 수행하는 변환의 역과정으로 대역폭확장 복호화부(1045)에서 복호화된 고주파수 신호의 도메인을 합성 필터뱅크(synthesis filterbank)를 통해 역변환한다.
영역 합성부(1055)는 신호 합성부(1025)에서 복원된 저주파수 신호와 제2 역변환부(1050)에서 역변환된 고주파수 신호를 합성하여 출력단자 OUT을 통해 출력한다.
도 11은 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 부호화 장치는 영역 분할부(1100), 제1 변환부(1103), 제2 변환부(1105), 주파수성분 검출부(1110), 주파수성분 부호 화부(1115), 포락선 추출부(1120), 포락선 부호화부(1125), 제3 변환부(1130), 대역폭확장 부호화부(1135) 및 다중화부(1140)를 포함하여 이루어진다.
영역 분할부(1100)는 기 설정된 주파수를 기준으로 하여 입력단자 IN을 통하여 입력된 신호를 저주파수 신호와 고주파수 신호로 분할한다. 여기서, 저주파수 신호는 기 설정된 제1 주파수 보다 작은 영역에 해당하는 신호이며, 고주파수 신호는 기 설정된 제2 주파수 보다 큰 영역에 해당하는 신호를 말한다. 제1 주파수와 제2 주파수는 서로 동일한 값으로 설정되는 것이 바람직하지만, 반드시 동일한 값으로 설정하여 실시해야 하는 것은 아니다.
제1 변환부(1103)는 영역 분할부(1100)에서 분할된 저주파수 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다.
제2 변환부(1105)는 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 영역 분할부(1100)에서 분할된 저주파수 신호를 시간 도메인에서 주파수 도메인으로 변환한다.
제1 변환부(1103)에서 변환된 신호는 저주파수 신호를 부호화하는 데 이용되며, 제2 변환부(1105)에서 변환된 신호는 저주파수 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 변환부(1103)는 저주파수 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환부(1105)는 저주파수 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수성분 검출부(1110)는 제1 변환부(1103)에서 변환된 저주파수 신호에서 기 설정된 기준에 따라 제2 변환부(1105)에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다. 주파수성분 검출부(1110)에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
주파수성분 부호화부(1115)는 주파수성분 검출부(1110)에서 검출된 저주파수 신호의 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다.
포락선 추출부(1120)는 제1 변환부(1103)에서 변환된 저주파수 신호의 포락선을 추출한다.
포락선 부호화부(1125)는 포락선 추출부(1120)에서 추출한 저주파수 신호의 포락선을 부호화한다.
제3 변환부(1130)는 영역 분할부(1100)에서 분할된 고주파수 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제3 변환부(1130)에서는 QMF를 적용하여 도메인을 변환한다.
대역폭확장 부호화부(1135)는 저주파수 신호를 이용하여 제3 변환부(1130)에서 변환된 고주파수 신호를 부호화한다. 대역폭확장 부호화부(1135)에서 부호화함에 있어서, 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 생성하여 부호화한다.
다중화부(1140)는 주파수성분 부호화부(1105)에서 부호화된 주파수 성분(들)과 주파수 성분(들)이 마련된 위치를 나타내는 정보, 포락선 부호화부(1125)에서 부호화된 저주파수 신호의 포락선 및 대역폭확장 부호화부(1135)에서 부호화된 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 포함하여 다중화하고, 출력단자 OUT을 통해 다중화된 비트스트림을 출력한다.
도 12는 본 발명에 의한 오디오 신호의 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 복호화 장치는 역다중화부(1200), 주파수성분 복호화부(1205), 포락선 복호화부(1210), 에너지 계산부(1215), 포락선 조절부(1220), 신호 합성부(1225), 제1 역변환부(1230), 제2 변환부(1235), 동기화부(1240), 대역폭확장 복호화부(1245), 제2 역변환부(1250) 및 영역 합성부(1255)를 포함하여 이루어진다.
역다중화부(1200)는 부호화단으로부터 입력단자 IN을 통해 비트스트림을 입력받아 역다중화한다. 예를 들어, 주파수 성분(들)과 주파수 성분(들)이 마련된 위치를 나타내는 정보, 부호화기(미도시)에서 부호화된 저주파수 신호의 포락선 및 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보 등을 역다중화부(1200)에서 역다중화할 수 있다. 여기서, 저주파수 신호는 기 설정된 제1 주파수 보다 작은 영역에 해당하는 신호이며, 고주파수 신호는 기 설정된 제2 주파수 보다 큰 영역에 해당하는 신호를 말한다. 제1 주파수와 제2 주파수는 서로 동일한 값으로 설정되는 것이 바람직하지만, 반드시 동일한 값으로 설정하여 실시해야 하는 것은 아니다.
주파수성분 복호화부(1205)는 부호화기(미도시)에서 기 설정된 기준에 의해 저주파수 신호에서 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다.
포락선 복호화부(1210)는 부호화기(미도시)에서 부호화된 저주파수 신호의 포락선을 복호화한다.
에너지 계산부(1215)는 주파수성분 복호화부(1205)에서 복호화된 각 주파수 성분(들)의 에너지 값(들)을 계산한다.
포락선 조절부(1220)는 주파수성분 복호화부(1205)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 포락선 복호화부(1210)에서 복호화된 저주파수 신호의 포락선을 조절한다. 여기서, 포락선 조절부(1220)는 포락선 복호화부(1210)에서 복호화된 각 밴드에 마련된 포락선의 에너지값이 주파수성분 복호화부(1205)에서 복호화된 주파수 성분(들)이 포함된 각 밴드에 마련된 포락선 복호화부(1210)에서 복호화된 포락선의 에너지값으로부터 그 밴드에 포함된 주파수 성분(들)의 에너지값을 감산한 값이 되도록 포락선 복호화부(1210)에서 복호화된 포락선을 조절한다.
그러나 포락선 조절부(1220)는 주파수성분 복호화부(1205)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 포락선 복호화부(1210)에서 복호화된 포락선을 조절하지 않는다.
신호 합성부(1225)는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(1205)에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 주파수성분 복호화부(1205)에서 복호화된 주파수 성분과 포락선 조절부(1220)에서 조절된 포락선을 합성하여 마련하고, 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 주파수성분 복호화부(1205)에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 포락선 복호화부(1210)에서 복호화된 신호로 마련한다. 이에 따라 신호 합성부(1225)에서는 저주파수 신호를 복원한다.
제1 역변환부(1230)는 도 11의 제1 변환부(1103)에서 수행하는 변환의 역과정으로 신호 합성부(1225)에서 복원된 저주파수 신호를 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다. 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제2 변환부(1235)는 분석 필터뱅크(analysis filterbank)에 의해 제1 역변환부(1230)에서 역변환된 저주파수 신호를 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제2 변환부(1235)에서는 QMF를 적용하여 도메인을 변환한다.
동기화부(1240)는 주파수성분 복호화부(1205)에서 적용되는 프레임과 대역폭확장 복호화부(1245)에서 적용되는 프레임이 서로 일치하지 않는 경우 주파수성분 복호화부(1205)에서 적용되는 프레임과 대역폭확장 복호화부(1245)에서 적용되는 프레임을 동기화한다. 여기서, 동기화부(1240)는 주파수성분 복호화부(1205)에서 적용되는 프레임을 기준으로 대역폭확장 복호화부(1245)에서 적용되는 프레임 중 전부 또는 일부를 처리하는 것이 바람직하다.
대역폭확장 복호화부(1245)는 제2 변환부(1235)에서 변환된 저주파수 신호를 이용하여 고주파수 신호를 복호화한다. 여기서, 대역폭확장 복호화부(1245)는 복호화함에 있어서 역다중화부(1200)에서 역다중화된 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 이용한다.
제2 역변환부(1250)는 제2 변환부(1235)에서 수행하는 변환의 역과정으로 대역폭확장 복호화부(1245)에서 복호화된 고주파수 신호의 도메인을 합성 필터뱅 크(synthesis filterbank)를 통해 역변환한다.
영역 합성부(1255)는 제1 역변환부(1230)에서 역변환된 저주파수 신호와 제2 역변환부(1250)에서 역변환된 고주파수 신호를 합성하여 출력단자 OUT을 통해 출력한다.
도 13은 본 발명에 의한 복호화 장치에 포함되는 신호 조절부(220, 620, 825 및 1020)의 일 실시예를 블록도로 도시한 것으로서, 상기 신호 조절부(220, 620, 825 및 1020)는 제1 에너지 계산부(1300), 제2 에너지 계산부(1310), 이득값 계산부(1320) 및 이득값 적용부(1330)를 포함하여 이루어진다. 도 2, 6, 8 및 10을 참조하여 도 13에 도시된 실시예를 설명하기로 한다.
제1 에너지 계산부(1300)는 입력단자 IN 1을 통해 신호 생성부(215, 615, 820 및 1015)에서 주파수 성분(들)이 포함된 밴드(들)에 생성된 신호(들)를 입력받아 각 밴드에 마련된 신호의 에너지 값을 계산한다.
제2 에너지 계산부(1310)는 입력단자 IN 2를 통해 주파수성분 복호화부(205, 605, 805 및 1005)에서 복호화된 주파수 성분(들)을 입력받아 각 주파수 성분의 에너지 값을 계산한다.
이득값 계산부(1320)는 에너지값 복호화부(210, 610, 810 및 1010)로부터 주파수 성분(들)이 포함된 밴드(들)의 에너지 값(들)을 입력단자 IN 3을 통해 입력받아 제1 에너지 계산부(1300)에서 계산된 각 에너지 값이 에너지값 복호화부(210, 610, 810 및 1010)로부터 입력받은 각 에너지 값에서 제2 에너지 계산부(1310)에서 계산된 각 에너지 값을 감산한 값이 되도록 이득값을 계산한다. 예를 들어, 이득 값 계산부(1320)는 다음 기재된 수학식 1에 의하여 이득값을 계산할 수 있다.
[수학식 1]
Figure 112007034255594-pat00001
여기서,
Figure 112007034255594-pat00002
은 에너지값 복호화부(210, 610, 810 및 1010)로부터 입력받은 각 에너지 값이고,
Figure 112007034255594-pat00003
는 제2 에너지 계산부(1310)에서 계산된 각 에너지 값이며,
Figure 112007034255594-pat00004
는 제1 에너지 계산부(1300)에서 계산된 각 에너지 값을 말한다.
만일 이득값 계산부(1320)에서 토널리티까지 고려하여 이득값을 계산할 경우, 이득값 계산부(1320)는 에너지값 복호화부(210, 610, 810 및 1010)로부터 주파수 성분(들)이 포함된 밴드(들)의 에너지 값(들)을 입력단자 IN 3을 통해 입력받고 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)에 대한 토널리티(들)를 입력단자 IN 4를 통해 입력받아 입력받은 각 에너지 값, 각 토널리티 및 제2 에너지 계산부(1310)에서 계산된 각 에너지 값을 이용함으로써 이득값(들)을 계산한다.
이득값 적용부(1330)는 입력단자 IN 1을 통해 신호 생성부(215, 615, 820 및 1015)에서 주파수 성분(들)이 포함된 각 밴드에 생성된 신호에 이득값 계산부(1320)에서 계산된 각 밴드에 대한 이득값을 적용한다.
도 14는 도 2, 6, 8 및 10에 도시된 신호 생성부(215, 615, 820 및 1015)에서 단수의 신호만을 이용하여 신호를 생성하는 경우 이득값을 적용하는 일 실시예 를 도시한 것이다.
이득값 적용부(1330)는 입력단자 IN 1을 통해 신호 생성부(215, 615, 820 및 1015)에서 주파수 성분(들)이 포함된 밴드(들)에 생성된 신호(들)를 입력받아 이득값 계산부(1320)에서 계산된 이득값을 승산한다.
제1 신호 합성부(1400)는 이득값 적용부(1330)에서 이득값이 승산된 신호(들)에 입력단자 IN 2를 통해 주파수성분 복호화부(205, 605, 805 및 1005)에서 복호화된 주파수 성분(들)을 입력받아 합성한다.
도 15는 도 2, 6, 8 및 10에 도시된 신호 생성부(215, 615, 820 및 1015)에서 복수의 신호들을 이용하여 신호를 생성하는 경우 이득값을 적용하는 일 실시예를 도시한 것이다.
먼저, 이득값 적용부(1330)는 신호 생성부(215, 615, 820 및 1015)에서 임의로 생성된 신호를 입력단자 IN 1을 통해 입력받아 이득값 계산부(1320)에서 계산된 제1 이득값을 승산한다.
또한, 이득값 적용부(1330)는 신호 생성부(215, 615, 820 및 1015)에서 소정의 밴드에 마련된 신호를 복사한 신호, 저주파수 신호를 복사한 신호, 소정의 밴드에 마련된 신호를 이용하여 생성된 신호 및 저주파수 신호를 이용하여 생성된 신호 가운데 어느 하나의 신호를 입력단자 IN 1'을 통해 입력받아 이득값 계산부(1320)에서 계산된 제2 이득값을 승산한다.
제2 합성부(1500)는 이득값 적용부(1330)에서 제1 이득값이 승산된 신호와 이득값 적용부(1330)에서 제2 이득값이 승산된 신호를 합성한다.
제3 신호 합성부(1510)는 제2 합성부(1500)에서 합성된 신호에 입력단자 IN 2를 통해 주파수성분 복호화부(205, 605, 805 및 1005)에서 복호화된 주파수 성분(들)을 입력받아 합성한다.
도 16은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 입력받은 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다(제1600단계). 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다(제1605단계).
제1600단계에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제1605단계에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1600단계에서는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제1605단계에서는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오 디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제1600단계에서 변환된 신호에서 기 설정된 기준에 따라 제1605단계에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다(제1610단계). 제1610단계에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
제1610단계에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다(제1615단계).
제1600단계에서 변환된 신호의 각 밴드에 마련된 신호에 대한 에너지 값을 계산한다(제1620단계). 여기서, 밴드의 예로서 QMF(Quadrature Mirror Filter)의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
제1620단계에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다(제1625단계).
제1610단계에서 검출된 주파수 성분(들)이 포함된 각 밴드에 마련된 신호(들)의 토널리티(tonality)를 계산하여 부호화한다(제1630단계). 그러나 본 발명에서는 제1630단계를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 제1630단계가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
제1615단계에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 제1625단계에서 부호화된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 포함하여 다중화함으로써 비트스트림을 생성한다(제1635단계). 소정의 경우 제1635단계에서는 제1630단계에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 17은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 비트스트림을 입력받아 역다중화한다(제1700단계). 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 각 밴드의 에너지 값, 부호화기(미도시)에서 에너지 값이 부호화된 밴드(들)의 위치 및 토널리티(들) 등을 제1700단계에서 역다중화할 수 있다.
부호화기(미도시)에서 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다(제1705단계).
각 밴드에 마련된 신호의 에너지 값을 복호화한다(제1710단계).
제1705단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)에 대한 토널리티(tonality)(들)를 복호화한다(제1713단계). 그러나 본 발명에서는 제1713단계를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 제1715단계에서 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 제1713단계가 필요할 수 있다. 예를 들어, 제1715단계에서 임의로 생성된 신호와 패치된 신호를 모두 이용하여 제1705단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요할 수 있다. 만일 본 발명에서 제1713단계를 포함하여 실시할 경우, 제1720단계는 제1713단계에서 복호화된 토널리티(들)까지 고려하여 제1715단계에서 생성된 신호를 조절한다.
제1710단계에서 복호화된 각 밴드의 에너지값을 갖는 신호를 각 밴드에 생성한다(제1715단계).
여기서, 제1715단계에서 각 밴드에 신호를 생성하는 방법으로 다음 기술된 예들이 있다. 첫째, 제1715단계에서는 임의로 노이즈 신호를 생성한다. 예를 들어, 랜덤 노이즈 신호(random noise signal)가 있다. 둘째, 신호 생성부(215)는 소정의 밴드에 마련된 신호가 기 설정된 주파수 보다 큰 영역에 해당하는 고주파수 신호이고 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호가 이미 복호화되어 이용할 수 있다면 저주파수 신호를 복사하여 신호를 생성할 수 있다. 예를 들어, 저주파수 신호를 패치(patch)하거나 폴딩(folding)하여 신호를 생성할 수 있다.
제1705단계에서 복호화한 주파수 성분(들)이 포함된 밴드인지 여부를 판단한다(제1718단계).
만일 제1718단계에서 주파수 성분(들)이 포함된 밴드로 판단되면, 제1715단계에서 생성된 신호(들) 가운데 주파수 성분(들)이 포함된 밴드에 마련된 신호(들)를 조절한다(제1720단계). 제1720단계에서는 제1710단계에서 복호화된 각 밴드의 에너지 값을 기준으로 제1705단계에서 복호화된 주파수 성분(들)의 에너지 값(들)을 고려하여 제1720단계에서 생성된 신호의 에너지가 조절되도록 제1720단계에서 생성된 신호를 조절한다. 제1720단계에 대한 보다 상세한 일 실시예는 도 28의 설명과 함께 후술하기로 한다.
그러나 만일 제1718단계에서 주파수 성분(들)이 포함되지 않은 밴드로 판단되면, 제1715단계에서 생성된 신호 가운데 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 신호(들)를 조절하지 않는다.
제1705단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 제 1705단계에서 복호화된 주파수 성분과 제1720단계에서 조절된 신호를 합성하여 마련하고, 제1705단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 제1715단계에서 생성된 신호로 마련한다(제1725단계).
도 16의 제1600단계에서 수행하는 변환의 역과정으로 제1725단계에서 마련된 신호를 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다(제1730단계). 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
도 18은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 입력된 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다(제1800단계). 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다(제1805단계).
제1800단계에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제1805단계에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1800단계에서는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제1805단계에서는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제1800단계에서 변환된 신호에서 기 설정된 기준에 따라 제1805단계에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다(제1810단계). 제1810단계에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
제1810단계에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다(제1815단계).
제1800단계에서 변환된 신호의 포락선을 추출한다(제1820단계).
제1820단계에서 추출한 포락선을 부호화한다(제1825단계).
제1815단계에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 제1825단계에서 부호화된 포락선을 포함하여 다중화함으로써 비트스트림을 생성한다(제1830단계).
도 19는 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 비트스트림을 입력받아 역다중화한다(제1900단계). 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 부호화기(미도시)에서 부호화된 포락선 등을 제1900단계에서 역다중화할 수 있다.
부호화기(미도시)에서 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다(제1905단계).
부호화기(미도시)에서 부호화된 포락선을 복호화한다(제1910단계).
제1905단계에서 복호화된 각 주파수 성분(들)의 에너지 값을 계산한다(제1915단계).
제1905단계에서 복호화한 주파수 성분(들)이 포함된 밴드인지 여부를 판단한 다(제1918단계).
만일 제1918단계에서 주파수 성분(들)이 포함된 밴드로 판단되면, 제1910단계에서 복호화된 포락선 가운데 제1905단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)를 조절한다(제1920단계). 여기서, 제1920단계에서는 제1910단계에서 복호화된 각 밴드에 마련된 포락선의 에너지값이 제1905단계에서 복호화된 주파수 성분(들)이 포함된 각 밴드에 마련된 포락선의 에너지값으로부터 해당 밴드에 포함된 주파수 성분(들)의 에너지값을 감산한 값이 되도록 해당 밴드에 마련된 포락선을 조절한다.
만일 제1918단계에서 주파수 성분(들)이 포함되지 않은 밴드로 판단되면, 제1915단계에서 복호화된 포락선 가운데 제1905단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 신호(들)를 조절하지 않는다.
제1905단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 제1905단계에서 복호화된 주파수 성분과 제1920단계에서 조절된 포락선을 합성하여 마련하고, 제1905단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 제1910단계에서 복호화된 신호로 마련한다(제1925단계).
도 18의 제1800단계에서 수행하는 변환의 역과정으로 제1925단계에서 마련된 신호를 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다(제1930단계). 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
도 20은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐 름도로 도시한 것이다.
먼저, 입력된 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다(제2000단계). 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다(제2005단계).
제2000단계에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제2005단계에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제2000단계에서는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2005단계에서는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2000단계에서 변환된 신호에서 기 설정된 기준에 따라 제2005단계에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다(제2010단계). 제2010단계에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
제2010단계에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다(제2015단계).
입력받은 오디오 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제2030단계). 예를 들어, 제2030단계에서는 QMF를 적용하여 도메인을 변환한다.
기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호를 이용하여 제2010단계에서 검출된 주파수 성분(들)이 포함되지 않은 밴드 가운데 기 설정된 주 파수 보다 큰 영역에 해당하는 제2030단계에서 변환된 신호를 부호화한다(제2035단계). 제2035단계에서 부호화함에 있어서, 저주파수 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 소정 밴드(들)의 신호(들)을 복호화할 수 있는 정보를 생성하여 부호화한다.
제2030단계에서 변환된 신호를 입력받아 제2015단계에서 부호화된 주파수 성분(들)이 포함된 밴드(들) 또는 기 설정된 제1 주파수 보다 작은 영역에 해당하는 밴드(들)에 마련된 신호(들)의 에너지 값(들)을 계산한다(제2036단계). 여기서, 밴드의 예로서 QMF(Quadrature Mirror Filter)의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
제2036단계에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다(제2037단계).
제2015단계에서 검출된 주파수 성분(들)이 포함된 밴드(들)에 마련된 제2000단계에서 변환된 신호(들)에 대한 각 토널리티(tonality)를 계산하여 부호화한다(제2040단계). 그러나 본 발명에서는 제2040단계를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 제2040단계가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
제2015단계에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 제2037단계에서 부호화된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보 및 제2035단계에서 저주파수 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 주파수 성분(들)을 포함하지 않는 밴드에 마련된 신호를 복호화할 수 있는 정보를 포함하여 다중화함으로써 비트스트림을 출력한다(제2045단계). 소정의 경우 제2045단계에서는 제2040단계에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 21은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 비트스트림을 입력받아 역다중화한다(제2100단계). 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 각 밴드의 에너지 값, 부호화기(미도시)에서 에너지 값이 부호화된 밴드(들)의 위치, 기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 주파수 성분(들)을 포함하지 않는 밴드(들)에 마련된 신호를 복호화할 수 있는 정보 및 토널리티(들) 등을 제2100단계에서 역다중화할 수 있다.
부호화기(미도시)에서 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다(제2105단계).
도 20의 제2000단계에서 수행하는 변환의 역과정으로 제2105단계에서 복호화된 주파수 성분(들)을 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도 메인으로 변환한다(제2106단계). 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
분석 필터뱅크(analysis filterbank)에 의해 제2106단계에서 역변환된 신호를 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제2107단계). 예를 들어, 제2106단계에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
제2105단계에서 적용되는 프레임과 제2145단계에서 적용되는 프레임이 서로 일치하는지 여부를 판단한다(제2108단계).
만일 제2105단계에서 적용되는 프레임과 후술될 제2145단계에서 적용되는 프레임이 서로 일치하지 않는다고 제2108단계에서 판단되면, 제2105단계에서 적용되는 프레임과 제2145단계에서 적용되는 프레임을 동기화한다(제2109단계). 여기서, 제2109단계에서는 제2105단계에서 적용되는 프레임을 기준으로 제2145단계에서 적용되는 프레임 중 전부 또는 일부를 처리하는 것이 바람직하다.
제2105단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들) 또는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)의 신호에 대한 에너지값을 복호화한다(제2110단계).
제2105단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)의 토널리티(tonality)(들)를 복호화한다(제2113단계). 그러나 본 발명에서는 제2113단계를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 후술될 제2115단계에서 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용 하여 단수의 신호를 생성할 경우에 제2113단계가 필요할 수 있다. 예를 들어, 제2115단계에서 임의로 생성된 신호와 패치된 신호를 모두 이용하여 제2105단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요할 수 있다. 만일 본 발명에서 제2113단계를 포함하여 실시할 경우, 후술될 제2120단계에서는 제2113단계에서 복호화된 토널리티(들)까지 고려하여 제2115단계에서 생성된 신호를 조절한다.
제2110단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들) 또는 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)의 에너지값을 갖는 각 밴드에 마련된 신호를 생성한다(제2115단계).
여기서, 제2115단계에서 신호를 생성하는 방법으로 다음 기술된 예들이 있다. 첫째, 제2115단계에서는 임의로 노이즈 신호를 생성한다. 예를 들어, 랜덤 노이즈 신호(random noise signal)가 있다. 둘째, 제2113단계에서는 소정의 밴드에 마련된 신호가 기 설정된 주파수 보다 큰 영역에 해당하는 고주파수 신호이고 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호가 이미 복호화되어 이용할 수 있다면 저주파수 신호를 복사하여 신호를 생성할 수 있다. 예를 들어, 저주파수 신호를 패치(patch)하거나 폴딩(folding)하여 해당 밴드의 신호를 생성할 수 있다.
제2105단계에서 복호화한 주파수 성분(들)이 포함된 밴드인지 여부를 판단한다(제2118단계).
만일 제2118단계에서 주파수 성분(들)이 포함된 밴드로 판단되면, 제2115단 계에서 생성된 신호(들) 가운데 제2105단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)를 조절한다(제2120단계). 제2120단계에서는 제2110단계에서 복호화된 각 밴드의 에너지 값을 기준으로 제2105단계에서 복호화된 주파수 성분(들)의 에너지 값(들)을 고려하여 제2120단계에서 생성된 신호의 에너지가 조절되도록 제2120단계에서 생성된 신호를 조절한다. 제2036단계에 대한 보다 상세한 일 실시예는 도 28의 설명과 함께 후술하기로 한다.
그러나 만일 제2118단계에서 주파수 성분(들)이 포함되지 않은 밴드로 판단되면, 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 제2115단계에서 생성된 신호를 조절하지 않는다.
제2105단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 제2105단계에서 복호화되어 제2106단계에서 변환된 주파수 성분(들)과 제2120단계에서 조절된 신호를 합성하여 마련하고, 제2105단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들) 가운데 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 대하여 제2115단계에서 생성된 신호로 마련한다(제2125단계).
기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들)에 대하여 제2105단계에서 복호화한 주파수 성분(들)이 포함된 밴드인지 여부를 판단한다(제2143단계).
만일 제2143단계에서 주파수 성분(들)이 포함된 밴드로 판단되면, 제2107단계에서 변환된 신호(들) 가운데 기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 제2105단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 신호(들)를 복호화한다(제2145단계). 제2145단계에서 복호화함에 있어서, 제2100단계에서 역다중화된 기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 신호를 복호화할 수 있는 정보를 이용한다.
제2107단계에서 수행하는 변환의 역과정으로 제2145단계에서 복호화된 신호의 도메인을 합성 필터뱅크(synthesis filterbank)를 통해 역변환한다(제2150단계).
제2125단계에서 합성된 신호와 제2150단계에서 역변환된 신호를 합성한다(제2155단계). 제2106단계에서 역변환된 신호는 제2105단계에서 복호화된 주파수 성분이 포함된 밴드(들)에 마련된 신호(들)과 제2105단계에서 복호화된 주파수 성분이 포함되지 않은 밴드(들) 가운데 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 마련된 신호(들)이다. 또한, 제2150단계에서 역변환된 신호는 제2105단계에서 복호화된 주파수 성분이 포함되지 않은 밴드(들) 가운데 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들)에 마련된 신호(들)이다. 이에 따라 주파수 전 영역에 대한 오디오 신호를 제2155단계에서는 합성하여 오디오 신호를 복원할 수 있다.
도 22는 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 입력된 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다(제2200단계). 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다(제2205단계).
제2200단계에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제2205단계에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제2200단계에서는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2205단계에서는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2200단계에서 변환된 오디오 신호에서 기 설정된 기준에 따라 제2205단계에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다(제2210단계). 제2210단계에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
제2210단계에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다(제2215단계).
입력된 오디오 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제2230단계). 예를 들어, 제2230단계에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 마련된 신호의 에너지 값(들)을 계산한다(제2220단계). 여기서, 밴드의 예로서 QMF의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
제2220단계에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다(제2225단계).
기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호를 이용하여 기설정된 주파수 보다 큰 영역에 해당하는 고주파수 신호를 부호화한다(제2235단계). 제2235단계에서 부호화함에 있어서, 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 생성하여 부호화한다.
제2215단계에서 검출된 주파수 성분(들)이 포함된 밴드에 마련된 신호(들)의 각 토널리티(tonality)를 계산하여 부호화한다(제2240단계). 그러나 본 발명에서는 제2240단계를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 제2240단계가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
제2215단계에서 부호화된 주파수 성분(들)과 주파수 성분(들)이 마련된 위치를 나타내는 정보, 제2225단계에서 부호화된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보 및 제2235단계에서 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 포함하여 다중화함으로써 비트스트림을 생성한다(제2245단계). 소정의 경우 제2245단계에서는 제2240단계에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 23은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐 름도로 도시한 것이다.
먼저, 부호화단으로부터 비트스트림을 입력받아 역다중화한다(제2300단계). 예를 들어, 주파수 성분(들)과 주파수 성분(들)이 마련된 위치를 나타내는 정보, 각 밴드의 에너지 값, 부호화기(미도시)에서 에너지 값이 부호화된 밴드(들)의 위치, 기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 신호를 복호화할 수 있는 정보 및 토널리티(들) 등을 제2300단계에서 역다중화할 수 있다.
부호화기(미도시)에서 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 신호 가운데 기 설정된 기준에 의해 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다(제2305단계).
도 22의 제2200단계에서 수행하는 변환의 역과정으로 제2305단계에서 복호화된 주파수 성분(들)을 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다(제2307단계). 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제2307단계에서 역변환된 저주파수 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제2309단계). 예를 들어, 제2309단계에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
제2305단계에서 적용되는 프레임과 제2350단계에서 적용되는 프레임이 서로 일치하는지 여부를 판단한다(제2311단계).
만일 제2305단계에서 적용되는 프레임과 후술될 제2350단계에서 적용되는 프레임이 서로 일치하지 않는다고 제2311단계에서 판단되면, 제2305단계에서 적용되는 프레임과 제2350단계에서 적용되는 프레임을 동기화한다(제2313단계). 여기서, 제2313단계에서는 제2305단계에서 적용되는 프레임을 기준으로 제2350단계에서 적용되는 프레임 중 전부 또는 일부를 처리하는 것이 바람직하다.
저주파수 신호의 각 밴드(들)에 대한 에너지값을 복호화한다(제2314단계).
기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2305단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)에 대한 토널리티(tonality)(들)를 복호화한다(제2315단계). 그러나 본 발명에서는 제2315단계를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 후술될 제2320단계에서 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 제2315단계가 필요할 수 있다. 예를 들어, 제2320단계에서 임의로 생성된 신호와 패치된 신호를 모두 이용하여 제2305단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요할 수 있다. 만일 본 발명에서 제2315단계를 포함하여 실시할 경우, 제2325단계는 제2315단계에서 복호화된 토널리티(들)까지 고려하여 제2320단계에서 생성된 신호를 조절한다.
제2314단계에서 복호화된 밴드(들)의 에너지값(들)을 갖는 각 밴드에 마련된 신호를 생성한다(제2320단계).
여기서, 제2320단계에서 신호를 생성하는 방법으로 다음 기술된 예들이 있다. 첫째, 제2320단계에서는 임의로 노이즈 신호를 생성한다. 예를 들어, 랜덤 노이즈 신호(random noise signal)가 있다. 둘째, 신호 생성부(820)는 소정의 밴드에 마련된 신호가 이미 복호화되어 이용할 수 있다면 연관이 높은 기 복호화된 밴드의 신호를 복사하여 신호를 생성할 수 있다. 예를 들어, 기 복호화된 밴드의 신호를 패치(patch)하거나 폴딩(folding)하여 신호를 생성할 수 있다.
제1 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2305단계에서 복호화한 주파수 성분(들)이 포함된 밴드인지 여부를 판단한다(제2323단계).
만일 제2323단계에서 주파수 성분(들)이 포함된 밴드로 판단되면, 해당 밴드(들)에 대하여 제2320단계에서 생성된 신호(들)를 조절한다(제2325단계). 제2325단계에서는 제2314단계에서 복호화된 각 밴드의 에너지 값을 기준으로 제2305단계에서 복호화된 주파수 성분(들)의 에너지 값(들)을 고려하여 제2320단계에서 생성된 신호의 에너지가 조절되도록 제2320단계에서 생성된 신호를 조절한다. 제2325단계에 대한 보다 상세한 일 실시예는 도 28의 설명과 함께 후술하기로 한다.
그러나 만일 제2323단계에서 주파수 성분(들)이 포함되지 않은 밴드로 판단되면, 주파수 성분(들)이 포함되지 않은 밴드(들)에 마련된 제2320단계에서 생성된 신호를 조절하지 않는다.
기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2305단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 제2305단계에서 복호화된 주파수 성분(들)과 제2325단계에서 조절된 신호를 합성하여 마련하고, 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2305단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 제2320단계에서 생성된 신호 로 마련한다(제2330단계). 이에 따라 제2330단계에서는 저주파수 신호를 복원한다.
제2330단계에서 복원된 저주파수 신호(들)를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 신호인 고주파수 신호를 복호화한다(제2350단계). 제2350단계에서 복호화함에 있어서, 제2300단계에서 역다중화된 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 이용한다.
기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들)에 대하여 제2305단계에서 복호화한 주파수 성분(들)이 포함된 밴드인지 여부를 판단한다(제2353단계).
만일 제2353단계에서 주파수 성분(들)이 포함된 밴드로 판단되면, 제2350단계에서 복호화된 고주파수 신호 가운데 제2305단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)를 조절한다(제2355단계).
우선, 제2355단계에서는 기 설정된 주파수 보다 큰 영역에 마련된 주파수 성분(들)의 에너지 값을 계산한다. 그리고 제2355단계에서 조절하는 밴드(들)에 마련된 신호(들)에 대한 에너지가 제2350단계에서 복호화된 신호의 에너지값에서 각 밴드에 포함된 주파수 성분(들)의 에너지값을 감산한 값이 되도록 제2350단계에서 복호화된 해당 밴드에 마련된 고주파수 신호를 조절한다.
기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 제2305단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 제2305단계에서 복호화된 주파수 성분(들)과 제2355단계에서 조절된 신호를 합성하여 마련하고, 기 설정된 주파수 보다 큰 영역에 해당하는 밴드(들) 가운데 제2305단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 제2350단계에서 복호화된 신호로 마련한다(제2360단계). 이에 따라 제2360단계에서는 고주파수 신호를 복원한다.
제2311단계에서 수행하는 변환의 역과정으로 제2 신호 합성부(870)에서 복원된 고주파수 신호의 도메인을 합성 필터뱅크(synthesis filterbank)를 통해 역변환한다(제2365단계).
제2330단계에서 복원된 저주파수 신호와 제2365단계에서 역변환된 고주파수 신호를 합성하여 오디오 신호를 복원한다(제2370단계).
도 24는 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 기 설정된 주파수를 기준으로 하여 입력된 신호를 저주파수 신호와 고주파수 신호로 분할한다(제2400단계). 여기서, 저주파수 신호는 기 설정된 제1 주파수 보다 작은 영역에 해당하는 신호이며, 고주파수 신호는 기 설정된 제2 주파수 보다 큰 영역에 해당하는 신호를 말한다. 제1 주파수와 제2 주파수는 서로 동일한 값으로 설정되는 것이 바람직하지만, 반드시 동일한 값으로 설정하여 실시해야 하는 것은 아니다.
제2400단계에서 분할된 저주파수 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다(제2403단계).
심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 제2400단계에서 분할된 저주파수 신호를 시간 도메인에서 주파수 도메인으로 변환한다(제2405단계).
제2403단계에서 변환된 신호는 저주파수 신호를 부호화하는 데 이용되며, 제2405단계에서 변환된 신호는 저주파수 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제2403단계에서는 저주파수 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2405단계에서는 저주파수 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2403단계에서 변환된 저주파수 신호에서 기 설정된 기준에 따라 제2405단계에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다(제2410단계). 제2410단계에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가 중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
제2410단계에서 검출된 제2403단계에서 변환된 저주파수 신호의 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다(제2415단계).
제2400단계에서 분할된 고주파수 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제2435단계). 예를 들어, 제2435단계에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
제2403단계에서 변환된 저주파수 신호의 각 밴드에 마련된 신호에 대한 에너지 값을 계산한다(제2420단계). 여기서, 밴드의 예로서 QMF의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
제2420단계에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다(제2425단계).
제2410단계에서 검출된 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호 (들)에 대한 각 토널리티(tonality)를 계산하여 부호화한다(제2430단계). 그러나 본 발명에서는 제2430단계를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호(들)를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 제2430단계가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
저주파수 신호를 이용하여 제2430단계에서 변환된 고주파수 신호를 부호화한다(제2440단계). 제2440단계에서 부호화함에 있어서, 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 생성하여 부호화한다.
제2415단계에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 제2425단계에서 부호화된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보 및 제2440단계에서 부호화된 저주파수 신호를 이용하여 고주파수 신호를 부호화하는 정보를 포함하여 다중화함으로써 비트스트림을 출력한다(제2445단계). 소정의 경우 제2445단계에서는 제2430단계에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 25는 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 비트스트림을 입력받아 역다중화한다(제2500단계). 예를 들어, 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정 보, 각 밴드의 에너지 값, 부호화기(미도시)에서 에너지 값이 부호화된 밴드(들)의 위치, 저주파수 신호를 이용하여 고주파수 신호를 부호화하는 정보 및 토널리티(들) 등을 제2500단계에서 역다중화할 수 있다. 여기서, 저주파수 신호는 기 설정된 제1 주파수 보다 작은 영역에 해당하는 신호이며, 고주파수 신호는 기 설정된 제2 주파수 보다 큰 영역에 해당하는 신호를 말한다. 제1 주파수와 제2 주파수는 서로 동일한 값으로 설정되는 것이 바람직하지만, 반드시 동일한 값으로 설정하여 실시해야 하는 것은 아니다.
부호화기(미도시)에서 기 설정된 기준에 의해 저주파수 신호에서 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다(제2505단계).
기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들)에 마련된 각 밴드별 신호의 에너지 값을 복호화한다(제2510단계).
제2510단계에서 복호화된 각 밴드의 에너지값을 갖는 신호를 밴드별로 생성한다(제2515단계).
여기서, 제2515단계에서 신호를 생성하는 방법으로 다음 기술된 예들이 있다. 첫째, 제2515단계에서는 임의로 노이즈 신호를 생성한다. 예를 들어, 랜덤 노이즈 신호(random noise signal)가 있다. 둘째, 제2515단계에서는 소정의 밴드에 마련된 신호가 고주파수 영역에 해당하는 신호이고 저주파수 영역에 해당하는 신호가 이미 복호화되어 이용할 수 있다면 저주파수 영역에 해당하는 신호를 복사하여 신호를 생성할 수 있다. 예를 들어, 저주파수 영역에 해당하는 신호를 패 치(patch)하거나 폴딩(folding)하여 신호를 생성할 수 있다.
기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2505단계에서 복호화한 주파수 성분(들)이 포함된 밴드인지 여부를 판단한다(제2518단계).
만일 제2518단계에서 주파수 성분(들)이 포함된 밴드로 판단되면, 해당 밴드(들)에 대하여 제2515단계에서 생성된 신호(들)를 조절한다(제2520단계). 제2520단계에서는 제2510단계에서 복호화된 각 밴드의 에너지 값을 기준으로 제2505단계에서 복호화된 주파수 성분(들)의 에너지 값(들)을 고려하여 제2515단계에서 생성된 신호의 에너지가 조절되도록 제2515단계에서 생성된 신호를 조절한다. 제2520단계에 대한 보다 상세한 일 실시예는 도 28의 설명과 함께 후술하기로 한다.
만일 제2518단계에서 주파수 성분(들)이 포함되지 않는 밴드로 판단되면, 해당 밴드(들)에 마련된 제2515단계에서 생성된 신호를 조절하지 않는다.
기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2505단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 제2505단계에서 복호화된 주파수 성분과 제2520단계에서 조절된 신호를 합성하여 마련하고, 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2505단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 제2515단계에서 생성된 신호로 마련한다(제2525단계). 이에 따라 제2525단계에서는 저주파수 신호를 복원한다.
도 24의 제2403단계에서 수행하는 변환의 역과정으로 제2525단계에서 마련된 신호를 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다(제2530단계). 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
분석 필터뱅크(analysis filterbank)에 의해 제2530단계에서 역변환된 저주파수 신호를 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제2535단계). 예를 들어, 제2535단계에서는 QMF(Quadrature Mirror Filter)를 적용하여 도메인을 변환한다.
제2505단계에서 적용되는 프레임과 후술될 제2545단계에서 적용되는 프레임이 서로 일치하는지 여부를 판단한다(제2538단계).
만일 제2505단계에서 적용되는 프레임과 제2545단계에서 적용되는 프레임이 서로 일치하지 않는다고 제2538단계에서 판단되면, 제2505단계에서 적용되는 프레임과 제2545단계에서 적용되는 프레임을 동기화한다(제2540단계). 제2540단계는 제2505단계에서 적용되는 프레임을 기준으로 제2545단계에서 적용되는 프레임 중 전부 또는 일부를 처리하는 것이 바람직하다.
제2535단계에서 변환된 저주파수 신호를 이용하여 고주파수 신호를 복호화한다(제2545단계). 제2545단계에서 복호화함에 있어서, 제2500단계에서 역다중화된 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 이용한다.
제2535단계에서 수행하는 변환의 역과정으로 제2545단계에서 복호화된 고주파수 신호의 도메인을 합성 필터뱅크(synthesis filterbank)를 통해 역변환한다(제2550단계).
제2530단계에서 역변환된 저주파수 신호와 제2550단계에서 역변환된 고주파수 신호를 합성하여 오디오 신호를 복원한다(제2555단계).
도 26은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 기 설정된 주파수를 기준으로 하여 입력단자 IN을 통하여 입력된 신호를 저주파수 신호와 고주파수 신호로 분할한다(제2600단계). 여기서, 저주파수 신호는 기 설정된 제1 주파수 보다 작은 영역에 해당하는 신호이며, 고주파수 신호는 기 설정된 제2 주파수 보다 큰 영역에 해당하는 신호를 말한다. 제1 주파수와 제2 주파수는 서로 동일한 값으로 설정되는 것이 바람직하지만, 반드시 동일한 값으로 설정하여 실시해야 하는 것은 아니다.
제2600단계에서 분할된 저주파수 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다(제2603단계).
심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 제2600단계에서 분할된 저주파수 신호를 시간 도메인에서 주파수 도메인으로 변환한다(제2605단계).
제2603단계에서 변환된 신호는 저주파수 신호를 부호화하는 데 이용되며, 제2605단계에서 변환된 신호는 저주파수 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제2603단계에서는 저주파수 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2605단계에서는 저주파수 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2603단계에서 변환된 저주파수 신호에서 기 설정된 기준에 따라 제2605단계에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다(제2610단계). 제2610단계에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
제2610단계에서 검출된 저주파수 신호의 주파수 성분(들)과 그 주파수 성분 (들)이 마련된 위치를 나타내는 정보를 부호화한다(제2615단계).
제2603단계에서 변환된 저주파수 신호의 포락선을 추출한다(제2620단계).
제2620단계에서 추출한 저주파수 신호의 포락선을 부호화한다(제2625단계).
제2600단계에서 분할된 고주파수 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제2630단계). 예를 들어, 제2630단계에서는 QMF를 적용하여 도메인을 변환한다.
저주파수 신호를 이용하여 제2630단계에서 변환된 고주파수 신호를 부호화한다(제2635단계). 제2635단계에서 부호화함에 있어서, 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 생성하여 부호화한다.
제2605단계에서 부호화된 주파수 성분(들)과 주파수 성분(들)이 마련된 위치를 나타내는 정보, 제2625단계에서 부호화된 저주파수 신호의 포락선 및 제2635단계에서 부호화된 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 포함하여 다중화함으로써 비트스트림을 생성한다(제2640단계).
도 27은 본 발명에 의한 오디오 신호의 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 비트스트림을 입력받아 역다중화한다(제2700단계). 예를 들어, 주파수 성분(들)과 주파수 성분(들)이 마련된 위치를 나타내는 정보, 부호화기(미도시)에서 부호화된 저주파수 신호의 포락선 및 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보 등을 제2700단계에서 역다중화할 수 있다. 여기서, 저주파수 신호는 기 설정된 제1 주파수 보다 작은 영역에 해당하는 신호이며, 고주파수 신호는 기 설정된 제2 주파수 보다 큰 영역에 해당하는 신호를 말한다. 제1 주파수와 제2 주파수는 서로 동일한 값으로 설정되는 것이 바람직하지만, 반드시 동일한 값으로 설정하여 실시해야 하는 것은 아니다.
부호화기(미도시)에서 기 설정된 기준에 의해 저주파수 신호에서 중요한 주파수 성분으로 판단되어 부호화된 소정의 주파수 성분(들)을 복호화한다(제2705단계).
부호화기(미도시)에서 부호화된 저주파수 신호의 포락선을 복호화한다(제2710단계).
제2705단계에서 복호화된 각 주파수 성분의 에너지 값(들)을 계산한다(제2715단계).
기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2705단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 해당하는지 여부를 판단한다(제2718단계).
만일 제2718단계에서 주파수 성분(들)이 포함된 밴드에 해당한다고 판단되면, 해당 밴드(들)에 마련된 제2710단계에서 복호화된 포락선을 조절한다(제2720단계). 제2720단계에서는 제2710단계에서 복호화된 각 밴드에 마련된 포락선의 에너지값이 제2705단계에서 복호화된 주파수 성분(들)이 포함된 각 밴드에 마련된 제2710단계에서 복호화된 포락선의 에너지값으로부터 그 밴드에 포함된 주파수 성분(들)의 에너지값을 감산한 값이 되도록 제2710단계에서 복호화된 포락선을 조절한 다.
만일 제2718단계에서 주파수 성분(들)이 포함되지 않은 밴드에 해당한다고 판단되면, 해당 밴드(들)에 마련된 제2710단계에서 복호화된 포락선을 조절하지 않는다.
기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2705단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)에 대하여 제2705단계에서 복호화된 주파수 성분과 제2720단계에서 조절된 포락선을 합성하여 마련하고, 기 설정된 주파수 보다 작은 영역에 해당하는 밴드(들) 가운데 제2705단계에서 복호화된 주파수 성분(들)이 포함되지 않은 밴드(들)에 대하여 제2710단계에서 복호화된 신호로 마련한다(제2725단계). 이에 따라 제2725단계에서는 저주파수 신호를 복원한다.
도 26의 제2603단계에서 수행하는 변환의 역과정으로 제2725단계에서 복원된 저주파수 신호를 기 설정된 제1 역변환 방식으로 주파수 도메인에서 시간 도메인으로 변환한다(제2730단계). 제1 역변환 방식의 예로 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
분석 필터뱅크(analysis filterbank)에 의해 제2730단계에서 역변환된 저주파수 신호를 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제2735단계). 예를 들어, 제2735단계에서는 QMF를 적용하여 도메인을 변환한다.
제2705단계에서 적용되는 프레임과 후술될 제2745단계에서 적용되는 프레임이 서로 일치하는지 여부를 판단한다(제2738단계).
만일 제2705단계에서 적용되는 프레임과 제2745단계에서 적용되는 프레임이 서로 일치하지 않는다고 제2738단계에서 판단되면, 제2705단계에서 적용되는 프레임과 제2745단계에서 적용되는 프레임을 동기화한다(제2740단계). 제2740단계에서는 제2705단계에서 적용되는 프레임을 기준으로 제2745단계에서 적용되는 프레임 중 전부 또는 일부를 처리하는 것이 바람직하다.
제2735단계에서 변환된 저주파수 신호를 이용하여 고주파수 신호를 복호화한다(제2745단계). 제2745단계에서 복호화함에 있어서, 제2700단계에서 역다중화된 저주파수 신호를 이용하여 고주파수 신호를 복호화할 수 있는 정보를 이용한다.
제2735단계에서 수행하는 변환의 역과정으로 제2745단계에서 복호화된 고주파수 신호의 도메인을 합성 필터뱅크(synthesis filterbank)를 통해 역변환한다(제2750단계).
제2730단계에서 역변환된 저주파수 신호와 제2750단계에서 역변환된 고주파수 신호를 합성하여 오디오 신호를 복원한다(제2755단계).
도 28은 본 발명에 의한 오디오 신호의 복호화 방법에 포함된 제1720단계, 제2120단계, 제2325단계 및 제2520단계에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 제1715단계, 제2115단계, 제2320단계 및 제2515단계에서 주파수 성분(들)이 포함된 밴드(들)에 생성된 신호(들)를 입력받아 각 밴드에 마련된 신호의 에너지 값을 계산한다(제2800단계).
제1705단계, 제2105단계, 제2305단계 및 제2505단계에서 복호화된 주파수 성 분(들)을 입력받아 각 주파수 성분의 에너지 값을 계산한다(제2805단계).
제1710단계, 제2110단계, 제2314단계 및 제2510단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)의 에너지 값(들)을 제2800단계에서 계산된 각 에너지 값이 제1710단계, 제2110단계, 제2314단계 및 제2510단계에서 입력받은 각 에너지 값에서 제2805단계에서 계산된 각 에너지 값을 감산한 값이 되도록 이득값을 계산한다(제2810단계). 예를 들어, 제2810단계에서는 다음 기재된 수학식 2에 의하여 이득값을 계산할 수 있다.
[수학식 2]
Figure 112007034255594-pat00005
여기서,
Figure 112007034255594-pat00006
은 제1710단계, 제2110단계, 제2314단계 및 제2510단계에서 복호화된 각 에너지 값이고,
Figure 112007034255594-pat00007
는 제2805단계에서 계산된 각 에너지 값이며,
Figure 112007034255594-pat00008
는 제2800단계에서 계산된 각 에너지 값을 말한다.
만일 제2810단계에서 토널리티까지 고려하여 이득값을 계산할 경우, 제2810단계에서는 제2805단계에서 복호화된 주파수 성분(들)이 포함된 밴드(들)의 에너지 값(들)을 입력받고 주파수 성분(들)이 포함된 밴드(들)에 마련된 신호(들)에 대한 토널리티(들)를 입력받아 입력받은 각 에너지 값, 각 토널리티 및 제2805단계에서 계산된 각 에너지 값을 이용함으로써 이득값(들)을 계산한다.
제1715단계, 제2115단계, 제2320단계 및 제2515단계에서 주파수 성분(들)이 포함된 각 밴드에 생성된 신호에 제2810단계에서 계산된 각 밴드에 대한 이득값을 적용한다(제2815단계).
도 29는 본 발명에 의한 오디오 신호의 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 상기 오디오 신호의 부호화 장치는 제1 변환부(2900), 제2 변환부(2905), 주파수성분 검출부(2910), 주파수성분 부호화부(2915), 제3 변환부(2918), 에너지값 계산부(2920), 에너지값 부호화부(2925), 토널리티 부호화부(2930) 및 다중화부(2935)를 포함하여 이루어진다.
제1 변환부(2900)는 입력단자 IN을 통하여 입력된 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다. 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
제2 변환부(2905)는 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력단자 IN을 통하여 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다.
제1 변환부(2900)에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제2 변환부(2905)에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 변환부(2900)는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실 수부로 표현하고, 제2 변환부(2905)는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수성분 검출부(2910)는 제1 변환부(2900)에서 변환된 신호에서 기 설정된 기준에 따라 제2 변환부(2905)에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다. 주파수성분 검출부(2910)에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
주파수성분 부호화부(2915)는 주파수성분 검출부(2910)에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다.
제3 변환부(2918)는 입력단자 IN을 통해 입력받은 오디오 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다. 예를 들어, 제3 변환부(530)에서는 QMF를 적용하여 도메인을 변환한다.
에너지값 계산부(2920)는 제3 변환부(2918)에서 변환된 신호의 각 밴드에 마련된 신호에 대한 에너지 값을 계산한다. 여기서, 밴드의 예로서 QMF(Quadrature Mirror Filter)의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
에너지값 부호화부(2925)는 에너지값 계산부(2920)에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다.
토널리티 부호화부(2930)는 주파수성분 검출부(2910)에서 검출된 주파수 성분(들)이 포함된 각 밴드에 마련된 신호의 각 토널리티(tonality)를 계산하여 부호화한다. 그러나 본 발명에서는 토널리티 부호화부(2930)를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 토널리티 부호화부(2930)가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신 호와 패치(patch)된 신호를 모두 이용하여 주파수 성분(들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
다중화부(2935)는 주파수성분 부호화부(2915)에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 에너지값 부호화부(2925)에서 부호화된 각 밴드의 에너지 값과 각 밴드의 위치를 나타내는 정보를 포함하여 다중화하고, 출력단자 OUT을 통해 다중화된 비트스트림을 출력한다. 소정의 경우 다중화부(2935)는 토널리티 부호화부(2930)에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
도 30은 본 발명에 의한 오디오 신호의 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 입력받은 오디오 신호를 기 설정된 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환한다(제3000단계). 여기서, 오디오 신호의 예로 음성(speech) 신호 또는 음악(music) 신호 등이 있다.
심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 다른 기 설정된 방식인 제2 변환 방식으로도 입력된 오디오 신호를 시간 도메인에서 주파수 도메인으로 변환한다(제3005단계).
제3000단계에서 변환된 신호는 오디오 신호를 부호화하는 데 이용되며, 제3005단계에서 변환된 신호는 오디오 신호에 대해 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제3000단계에서는 오디오 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제3005단계에서는 오디오 신호를 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 오디오 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 오디오 신호에 대하여 심리 음향 모델을 적용하여 중요한 주파수 성분을 검출하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제3000단계에서 변환된 신호에서 기 설정된 기준에 따라 제3005단계에서 변환된 신호를 이용하여 중요한 주파수 성분으로 판단되는 주파수 성분(들)을 검출한다(제3010단계). 제3010단계에서 중요한 주파수 성분를 검출함에 있어서 다음과 같은 방법들이 있다. 첫째, SMR(Signal to Masking Ratio) 값을 계산하여 마스킹 역치 보다 큰 신호를 중요한 주파수 성분으로 결정한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요한 주파수 성분을 결정한다. 셋째, 각 서브 밴드 별로 SNR(Signal to Noise Ratio) 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 결정한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있으며, 전술된 방법은 단순한 예에 불과하며 전술된 방법에 한정하여 실시해야 하는 것은 아니다.
제3010단계에서 검출된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보를 부호화한다(제3015단계).
입력받은 오디오 신호를 분석 필터뱅크(analysis filterbank)에 의해 소정의 주파수 밴드 별로 시간 도메인에 의해 나타내도록 도메인을 변환한다(제3018단계). 예를 들어, 제3018단계에서는 QMF를 적용하여 도메인을 변환한다.
제3018단계에서 변환된 신호의 각 밴드에 마련된 신호에 대한 에너지 값을 계산한다(제3020단계). 여기서, 밴드의 예로서 QMF(Quadrature Mirror Filter)의 경우 밴드는 1개의 서브밴드(subband) 또는 1개의 스케일 팩터 밴드(scale factor band)가 될 수 있다.
제3020단계에서 계산된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 부호화한다(제3025단계).
제3010단계에서 검출된 주파수 성분(들)이 포함된 각 밴드에 마련된 신호(들)의 토널리티(tonality)를 계산하여 부호화한다(제3030단계). 그러나 본 발명에서는 제3030단계를 반드시 포함하여 실시하여야 하는 것은 아니다. 다만, 복호화기(미도시)에서 주파수 성분(들)이 마련된 밴드(들)에 신호를 생성함에 있어서, 단수의 신호를 이용하여 생성하는 것이 아니라 복수의 신호들을 이용하여 단수의 신호를 생성할 경우에 제3030단계가 필요할 수 있다. 예를 들어, 복호화기(미도시)에서 임의로 생성된 신호와 패치(patch)된 신호를 모두 이용하여 주파수 성분 (들)이 포함된 밴드(들)에 마련될 신호(들)을 생성할 경우 필요하다.
제3015단계에서 부호화된 주파수 성분(들)과 그 주파수 성분(들)이 마련된 위치를 나타내는 정보, 제3025단계에서 부호화된 각 밴드의 에너지 값과 그 밴드의 위치를 나타내는 정보를 포함하여 다중화함으로써 비트스트림을 생성한다(제3035단계). 소정의 경우 제3035단계에서는 제3030단계에서 부호화된 토널리티(들)도 포함하여 다중화할 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
본 발명에 의한 오디오 신호의 부호화 방법 및 장치에 의하면, 오디오 신호에서 중요한 주파수 성분(들)을 검출하여 부호화하고, 오디오 신호에 대해 포락선 을 부호화한다. 또한, 본 발명에 의한 오디오 신호의 복호화 방법 및 장치에 의하면, 중요한 주파수 성분(들)이 포함된 밴드에 마련된 포락선을 중요한 주파수 성분(들)의 에너지 값을 고려하여 포락선을 조절함으로써 오디오 신호를 복호화한다.
이렇게 함으로써 적은 비트를 이용하여 부호화하거나 복호화함에도 불구하고 오디오 신호의 음질을 저하시키지 않으므로 코딩 효율을 극대화할 수 있는 효과를 거둘 수 있다.

Claims (48)

  1. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계; 및
    상기 입력신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  2. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계; 및
    상기 입력신호의 포락선을 추출하여 부호화하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  3. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계;
    상기 입력신호 가운데 기 설정된 주파수 보다 작은 영역에 마련된 신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 단계; 및
    상기 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가운데 기 설정된 주파수 보다 큰 영역의 신호를 부호화하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    소정의 밴드(들)에 마련된 신호에 대한 토널리티(들)를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  5. 주파수 성분(들)을 복호화하는 단계;
    각 밴드에 마련될 신호의 에너지값을 복호화하는 단계;
    상기 복호화된 에너지 값(들)을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 단계;
    상기 계산된 에너지값을 갖는 신호를 각 밴드별로 생성하는 단계; 및
    상기 주파수 성분(들)과 상기 생성된 신호(들)을 합성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  6. 제5항에 있어서, 상기 계산하는 단계는
    상기 복호화된 각 밴드의 에너지 값에서 각 밴드에 포함된 상기 주파수 성분(들)의 에너지 값을 감산한 값을 각 밴드에 생성될 신호의 에너지값으로 계산하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  7. 제5항에 있어서, 상기 생성하는 단계에서 생성하는 신호는
    임의로 생성한 신호인 것을 특징으로 하는 오디오 신호의 복호화 방법.
  8. 제5항에 있어서, 상기 생성하는 단계에서 생성하는 신호는
    기 설정된 주파수 보다 작은 영역에 해당하는 신호를 복사한 신호인 것을 특징으로 하는 오디오 신호의 복호화 방법.
  9. 제5항에 있어서, 상기 생성하는 단계에서 생성하는 신호는
    기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 생성한 신호인 것을 특징으로 하는 오디오 신호의 복호화 방법.
  10. 제5항에 있어서,
    소정의 밴드(들)에 대한 토널리티를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  11. 제10항에 있어서, 상기 계산하는 단계는
    상기 토널리티(들)도 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  12. 주파수 성분(들)을 복호화하는 단계;
    오디오 신호의 포락선을 복호화하는 단계;
    각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 마련된 상기 포락선을 조절하는 단계; 및
    상기 주파수 성분(들)과 상기 조절된 포락선을 합성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  13. 제12항에 있어서, 상기 조절하는 단계는
    각 밴드에 마련된 상기 포락선의 에너지값이 상기 각 밴드에 마련된 포락선의 에너지값에서 상기 각 밴드에 마련된 주파수 성분(들)의 에너지값을 감산한 값이 되도록 상기 각 밴드에 마련된 포락선을 조절하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  14. 주파수 성분(들)을 복호화하는 단계;
    기 설정된 주파수 보다 작은 영역에 마련된 각 밴드의 신호에 대한 에너지값을 복호화하는 단계;
    상기 복호화된 에너지 값을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 단계;
    기 설정된 주파수 보다 작은 영역에 마련된 각 밴드에 대하여 상기 계산된 에너지값을 갖는 신호를 생성하는 단계;
    기 설정된 주파수 보다 작은 영역의 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 신호를 복호화하는 단계;
    각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 상기 복호화된 기 설정된 주파수 보다 큰 영역에 마련된 신호를 조절하는 단계; 및
    상기 주파수 성분(들), 상기 생성된 신호 및 상기 조절된 신호를 합성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  15. 제14항에 있어서, 상기 계산하는 단계는
    상기 복호화된 각 밴드의 에너지 값에서 각 밴드에 포함된 상기 주파수 성분(들)의 에너지 값을 감산한 값을 각 밴드에 생성될 신호의 에너지값으로 계산하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  16. 제14항에 있어서, 상기 생성하는 단계에서 생성하는 신호는
    임의로 생성한 신호인 것을 특징으로 하는 오디오 신호의 복호화 방법.
  17. 제14항에 있어서, 상기 생성하는 단계에서 생성하는 신호는
    기 설정된 주파수 보다 작은 영역에 해당하는 신호를 복사한 신호인 것을 특징으로 하는 오디오 신호의 복호화 방법.
  18. 제14항에 있어서, 상기 생성하는 단계에서 생성하는 신호는
    기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 생성한 신호인 것을 특징으로 하는 오디오 신호의 복호화 방법.
  19. 제14항에 있어서,
    소정의 밴드(들)에 대한 토널리티를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  20. 제19항에 있어서, 상기 계산하는 단계는
    상기 토널리티(들)도 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  21. 제14항에 있어서,
    상기 주파수 성분(들)을 복호화하는 단계에서 이용되는 프레임과 상기 생성하는 단계 또는 상기 기 설정된 주파수 보다 큰 영역에 마련된 신호를 복호화하는 단계에서 이용되는 프레임이 일치하지 않는 경우 프레임을 동기화하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 복호화 방법.
  22. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계; 및
    상기 입력신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 단계를 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  23. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하 는 단계; 및
    상기 입력신호의 포락선을 추출하여 부호화하는 단계를 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  24. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 단계;
    상기 입력신호 가운데 기 설정된 주파수 보다 작은 영역에 마련된 신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 단계; 및
    상기 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가운데 기 설정된 주파수 보다 큰 영역의 신호를 부호화하는 단계를 포함하는 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  25. 주파수 성분(들)을 복호화하는 단계;
    각 밴드에 마련될 신호의 에너지값을 복호화하는 단계;
    상기 복호화된 에너지 값(들)을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 단계;
    각 밴드에 대하여 상기 계산된 에너지값을 갖는 신호를 생성하는 단계; 및
    상기 주파수 성분(들)과 상기 생성된 신호(들)을 합성하는 단계를 포함하는 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  26. 주파수 성분(들)을 복호화하는 단계;
    오디오 신호의 포락선을 복호화하는 단계;
    각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 마련된 상기 포락선을 조절하는 단계; 및
    상기 주파수 성분(들)과 상기 조절된 포락선을 합성하는 단계를 포함하는 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  27. 주파수 성분(들)을 복호화하는 단계;
    기 설정된 주파수 보다 작은 영역에 마련된 각 밴드의 신호에 대한 에너지값을 복호화하는 단계;
    상기 복호화된 에너지 값을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 단계;
    기 설정된 주파수 보다 작은 영역에 마련된 각 밴드에 대하여 상기 계산된 에너지값을 갖는 신호를 생성하는 단계;
    기 설정된 주파수 보다 작은 영역의 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 신호를 복호화하는 단계;
    각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 상기 복호화된 기 설정된 주파수 보다 큰 영역에 마련된 신호를 조절하는 단계; 및
    상기 주파수 성분(들), 상기 생성된 신호 및 상기 조절된 신호를 합성하는 단계를 포함하는 포함하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  28. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 주파수성분 부호화부; 및
    상기 입력신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 에너지값 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  29. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 주파수성분 부호화부; 및
    상기 입력신호의 포락선을 추출하여 부호화하는 포락선 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  30. 입력신호에서 기 설정된 기준에 따라 주파수 성분(들)을 검출하여 부호화하는 주파수성분 부호화부;
    상기 입력신호 가운데 기 설정된 주파수 보다 작은 영역에 마련된 신호에 대해 소정의 밴드 단위로 에너지값을 계산하여 부호화하는 에너지값 부호화부; 및
    상기 기 설정된 주파수 보다 작은 영역의 신호를 이용하여 상기 입력신호 가 운데 기 설정된 주파수 보다 큰 영역의 신호를 부호화하는 대역폭확장 부호화부를 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  31. 제28항 내지 제30항 중 어느 한 항에 있어서,
    소정의 밴드(들)에 마련된 신호에 대한 토널리티(들)를 부호화하는 토널리티부호화부를 더 포함하는 것을 특징으로 하는 오디오 신호의 부호화 장치.
  32. 주파수 성분(들)을 복호화하는 주파수성분 복호화부;
    각 밴드에 마련될 신호의 에너지값을 복호화하는 에너지값 복호화부;
    상기 복호화된 에너지 값(들)을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 에너지값 계산부;
    상기 계산된 에너지값을 갖는 신호를 각 밴드별로 생성하는 신호 생성부; 및
    상기 주파수 성분(들)과 상기 생성된 신호(들)을 합성하는 신호 합성부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  33. 제32항에 있어서, 상기 에너지값 계산부는
    상기 복호화된 각 밴드의 에너지 값에서 각 밴드에 포함된 상기 주파수 성분(들)의 에너지 값을 감산한 값을 각 밴드에 생성될 신호의 에너지값으로 계산하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  34. 제32항에 있어서, 상기 신호 생성부에서 생성하는 신호는
    임의로 생성한 신호인 것을 특징으로 하는 오디오 신호의 복호화 장치.
  35. 제32항에 있어서, 상기 신호 생성부에서 생성하는 신호는
    기 설정된 주파수 보다 작은 영역에 해당하는 신호를 복사한 신호인 것을 특징으로 하는 오디오 신호의 복호화 장치.
  36. 제32항에 있어서, 상기 신호 생성부에서 생성하는 신호는
    기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 생성한 신호인 것을 특징으로 하는 오디오 신호의 복호화 장치.
  37. 제32항에 있어서,
    소정의 밴드(들)에 대한 토널리티를 복호화하는 토널리티 복호화부를 더 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  38. 제37항에 있어서, 상기 에너지값 계산부는
    상기 토널리티(들)도 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  39. 주파수 성분(들)을 복호화하는 주파수성분 복호화부;
    오디오 신호의 포락선을 복호화하는 포락선 복호화부;
    각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 마련된 상기 포락선을 조절하는 포락선 조절부; 및
    상기 주파수 성분(들)과 상기 조절된 포락선을 합성하는 신호 합성부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  40. 제39항에 있어서, 상기 포락선 조절부는
    각 밴드에 마련된 상기 포락선의 에너지값이 상기 각 밴드에 마련된 포락선의 에너지값에서 상기 각 밴드에 마련된 주파수 성분(들)의 에너지값을 감산한 값이 되도록 상기 각 밴드에 마련된 포락선을 조절하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  41. 주파수 성분(들)을 복호화하는 주파수성분 복호화부;
    기 설정된 주파수 보다 작은 영역에 마련된 각 밴드의 신호에 대한 에너지값을 복호화하는 에너지값 복호화부;
    상기 복호화된 에너지 값을 기준으로 상기 복호화된 주파수 성분(들)의 에너지 값을 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 에너지값 계산부;
    기 설정된 주파수 보다 작은 영역에 마련된 각 밴드에 대하여 상기 계산된 에너지값을 갖는 신호를 생성하는 신호 생성부;
    기 설정된 주파수 보다 작은 영역의 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 신호를 복호화하는 대역폭확장 복호화부;
    각 밴드에 마련된 상기 주파수 성분(들)의 에너지 값을 고려하여 상기 복호화된 기 설정된 주파수 보다 큰 영역에 마련된 신호를 조절하는 신호 조절부; 및
    상기 주파수 성분(들), 상기 생성된 신호 및 상기 조절된 신호를 합성하는 신호 합성부를 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  42. 제41항에 있어서, 상기 에너지값 계산부는
    상기 복호화된 각 밴드의 에너지 값에서 각 밴드에 포함된 상기 주파수 성분(들)의 에너지 값을 감산한 값을 각 밴드에 생성될 신호의 에너지값으로 계산하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  43. 제41항에 있어서, 상기 신호 생성부에서 생성하는 신호는
    임의로 생성한 신호인 것을 특징으로 하는 오디오 신호의 복호화 장치.
  44. 제41항에 있어서, 상기 신호 생성부에서 생성하는 신호는
    기 설정된 주파수 보다 작은 영역에 해당하는 신호를 복사한 신호인 것을 특징으로 하는 오디오 신호의 복호화 장치.
  45. 제41항에 있어서, 상기 신호 생성부에서 생성하는 신호는
    기 설정된 주파수 보다 작은 영역에 해당하는 신호를 이용하여 생성한 신호인 것을 특징으로 하는 오디오 신호의 복호화 장치.
  46. 제41항에 있어서,
    소정의 밴드(들)에 대한 토널리티를 복호화하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  47. 제46항에 있어서, 상기 에너지값 계산부는
    상기 토널리티(들)도 고려하여 각 밴드에 생성될 신호의 에너지값을 계산하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
  48. 제41항에 있어서,
    상기 주파수성분 복호화부에서 이용되는 프레임과 상기 신호 생성부 또는 상기 대역폭확장 복호화부에서 이용되는 프레임이 일치하지 않는 경우 프레임을 동기화하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 복호화 장치.
KR1020070044717A 2007-05-08 2007-05-08 오디오 신호의 부호화 및 복호화 방법 및 장치 KR101411900B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020070044717A KR101411900B1 (ko) 2007-05-08 2007-05-08 오디오 신호의 부호화 및 복호화 방법 및 장치
US11/956,690 US20080281604A1 (en) 2007-05-08 2007-12-14 Method and apparatus to encode and decode an audio signal
PCT/KR2008/002572 WO2008136645A1 (en) 2007-05-08 2008-05-08 Method and apparatus to encode and decode an audio signal
CN201310127779.9A CN103258540B (zh) 2007-05-08 2008-05-08 对音频信号编码的设备
CN201310127932.8A CN103297058B (zh) 2007-05-08 2008-05-08 对音频信号解码的设备
JP2010507326A JP5296777B2 (ja) 2007-05-08 2008-05-08 オーディオ信号の符号化及び復号化方法並びにその装置
CN2008800153546A CN101682333B (zh) 2007-05-08 2008-05-08 对音频信号编码和解码的方法和设备
JP2013125014A JP2013174932A (ja) 2007-05-08 2013-06-13 オーディオ信号の符号化及び復号化方法並びにその装置
JP2015184515A JP6178373B2 (ja) 2007-05-08 2015-09-17 オーディオ信号の符号化及び復号化方法並びにその装置
JP2017137414A JP6386634B2 (ja) 2007-05-08 2017-07-13 オーディオ信号の符号化及び復号化方法並びにその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070044717A KR101411900B1 (ko) 2007-05-08 2007-05-08 오디오 신호의 부호화 및 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080099081A KR20080099081A (ko) 2008-11-12
KR101411900B1 true KR101411900B1 (ko) 2014-06-26

Family

ID=39943698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070044717A KR101411900B1 (ko) 2007-05-08 2007-05-08 오디오 신호의 부호화 및 복호화 방법 및 장치

Country Status (5)

Country Link
US (1) US20080281604A1 (ko)
JP (4) JP5296777B2 (ko)
KR (1) KR101411900B1 (ko)
CN (3) CN101682333B (ko)
WO (1) WO2008136645A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653916B1 (ko) 2015-03-11 2016-09-09 문제선 안전 당김줄단속구가 구비된 블라인드

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411900B1 (ko) * 2007-05-08 2014-06-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 장치
WO2009154797A2 (en) * 2008-06-20 2009-12-23 Rambus, Inc. Frequency responsive bus coding
GB2473267A (en) * 2009-09-07 2011-03-09 Nokia Corp Processing audio signals to reduce noise
EP2830054A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework
US9666202B2 (en) 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
CN105765655A (zh) * 2013-11-22 2016-07-13 高通股份有限公司 高频带译码中的选择性相位补偿
KR101913241B1 (ko) * 2013-12-02 2019-01-14 후아웨이 테크놀러지 컴퍼니 리미티드 인코딩 방법 및 장치
EP2980794A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
KR102570480B1 (ko) * 2019-01-04 2023-08-25 삼성전자주식회사 오디오 신호 처리 방법 및 이를 지원하는 전자 장치
US11115731B1 (en) * 2020-05-12 2021-09-07 Amazon Technologies, Inc. Wireless transmitter/receiver architecture for low-power wide area networks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040162720A1 (en) 2003-02-15 2004-08-19 Samsung Electronics Co., Ltd. Audio data encoding apparatus and method

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040217A (en) * 1989-10-18 1991-08-13 At&T Bell Laboratories Perceptual coding of audio signals
JP3371590B2 (ja) * 1994-12-28 2003-01-27 ソニー株式会社 高能率符号化方法及び高能率復号化方法
US5692102A (en) * 1995-10-26 1997-11-25 Motorola, Inc. Method device and system for an efficient noise injection process for low bitrate audio compression
JP3189660B2 (ja) * 1996-01-30 2001-07-16 ソニー株式会社 信号符号化方法
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
JP4464488B2 (ja) * 1999-06-30 2010-05-19 パナソニック株式会社 音声復号化装置及び符号誤り補償方法、音声復号化方法
US20070110042A1 (en) * 1999-12-09 2007-05-17 Henry Li Voice and data exchange over a packet based network
US6968564B1 (en) * 2000-04-06 2005-11-22 Nielsen Media Research, Inc. Multi-band spectral audio encoding
JP3590342B2 (ja) * 2000-10-18 2004-11-17 日本電信電話株式会社 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体
WO2002071395A2 (en) * 2001-03-02 2002-09-12 Matsushita Electric Industrial Co., Ltd. Apparatus for coding scaling factors in an audio coder
JP4506039B2 (ja) * 2001-06-15 2010-07-21 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
JP3923783B2 (ja) * 2001-11-02 2007-06-06 松下電器産業株式会社 符号化装置及び復号化装置
CN1288622C (zh) * 2001-11-02 2006-12-06 松下电器产业株式会社 编码设备和解码设备
DE60202881T2 (de) * 2001-11-29 2006-01-19 Coding Technologies Ab Wiederherstellung von hochfrequenzkomponenten
JP2003177791A (ja) * 2001-12-07 2003-06-27 Sony Corp コンテンツ符号化装置、コンテンツ符号化方法、コンテンツ符号化プログラム、及びコンテンツ符号化プログラムが記録された記録媒体、並びにコンテンツ復号装置、コンテンツ復号方法、コンテンツ復号プログラム、及びコンテンツ復号プログラムが記録された記録媒体
DE60323331D1 (de) * 2002-01-30 2008-10-16 Matsushita Electric Ind Co Ltd Verfahren und vorrichtung zur audio-kodierung und -dekodierung
JP3881946B2 (ja) * 2002-09-12 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
CN1328707C (zh) * 2002-07-19 2007-07-25 日本电气株式会社 音频解码设备以及解码方法
ES2261974T3 (es) * 2002-08-01 2006-11-16 Matsushita Electric Industrial Co., Ltd. Parato decodificador y metodo de decodificacion audio basado en una duplicacion de banda espectral.
DE60303689T2 (de) * 2002-09-19 2006-10-19 Matsushita Electric Industrial Co., Ltd., Kadoma Audiodecodierungsvorrichtung und -verfahren
JP4657570B2 (ja) * 2002-11-13 2011-03-23 ソニー株式会社 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体
KR101015497B1 (ko) * 2003-03-22 2011-02-16 삼성전자주식회사 디지털 데이터의 부호화/복호화 방법 및 장치
KR20050121733A (ko) * 2003-04-17 2005-12-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 발생
ES2281795T3 (es) * 2003-04-17 2007-10-01 Koninklijke Philips Electronics N.V. Sintesis de señal de audio.
WO2005001814A1 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics N.V. Improving quality of decoded audio by adding noise
FR2867649A1 (fr) * 2003-12-10 2005-09-16 France Telecom Procede de codage multiple optimise
JPWO2005076481A1 (ja) * 2004-02-10 2008-01-10 松下電器産業株式会社 符号化復号化装置
JP2007524124A (ja) * 2004-02-16 2007-08-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ トランスコーダ及びそのための符号変換方法
JPWO2005106848A1 (ja) * 2004-04-30 2007-12-13 松下電器産業株式会社 スケーラブル復号化装置および拡張レイヤ消失隠蔽方法
JP4168976B2 (ja) * 2004-05-28 2008-10-22 ソニー株式会社 オーディオ信号符号化装置及び方法
KR100634506B1 (ko) * 2004-06-25 2006-10-16 삼성전자주식회사 저비트율 부호화/복호화 방법 및 장치
JP2006018023A (ja) * 2004-07-01 2006-01-19 Fujitsu Ltd オーディオ信号符号化装置、および符号化プログラム
EP1782419A1 (en) * 2004-08-17 2007-05-09 Koninklijke Philips Electronics N.V. Scalable audio coding
JPWO2006025313A1 (ja) * 2004-08-31 2008-05-08 松下電器産業株式会社 音声符号化装置、音声復号化装置、通信装置及び音声符号化方法
EP1815463A1 (en) * 2004-11-05 2007-08-08 Koninklijke Philips Electronics N.V. Efficient audio coding using signal properties
KR20070109982A (ko) * 2004-11-09 2007-11-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩 및 디코딩
KR100721537B1 (ko) * 2004-12-08 2007-05-23 한국전자통신연구원 광대역 음성 부호화기의 고대역 음성 부호화 장치 및 그방법
US8082156B2 (en) * 2005-01-11 2011-12-20 Nec Corporation Audio encoding device, audio encoding method, and audio encoding program for encoding a wide-band audio signal
WO2006107833A1 (en) * 2005-04-01 2006-10-12 Qualcomm Incorporated Method and apparatus for vector quantizing of a spectral envelope representation
US9043214B2 (en) * 2005-04-22 2015-05-26 Qualcomm Incorporated Systems, methods, and apparatus for gain factor attenuation
KR100803205B1 (ko) * 2005-07-15 2008-02-14 삼성전자주식회사 저비트율 오디오 신호 부호화/복호화 방법 및 장치
KR100851970B1 (ko) * 2005-07-15 2008-08-12 삼성전자주식회사 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치
KR100717058B1 (ko) * 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
WO2007090988A2 (fr) * 2006-02-06 2007-08-16 France Telecom Procede et dispositif de codage hierarchique d'un signal audio source, procede et dispositif de decodage, programmes et signal correspondants
EP1869669B1 (en) * 2006-04-24 2008-08-20 Nero AG Advanced audio coding apparatus
JP4004526B1 (ja) * 2006-05-18 2007-11-07 シャープ株式会社 信号処理方法、信号処理装置及びコンピュータプログラム
US20080208575A1 (en) * 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
KR101355376B1 (ko) * 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
KR101411900B1 (ko) * 2007-05-08 2014-06-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040162720A1 (en) 2003-02-15 2004-08-19 Samsung Electronics Co., Ltd. Audio data encoding apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Christof Faller et al., 'Binaural cue coding-Part II: Schemes and applications', IEEE Trans. on speech and audio processing, Vol. 11, No. 6, NOVEMBER 2003 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653916B1 (ko) 2015-03-11 2016-09-09 문제선 안전 당김줄단속구가 구비된 블라인드

Also Published As

Publication number Publication date
CN103258540A (zh) 2013-08-21
CN101682333A (zh) 2010-03-24
US20080281604A1 (en) 2008-11-13
JP2017203995A (ja) 2017-11-16
KR20080099081A (ko) 2008-11-12
JP2013174932A (ja) 2013-09-05
CN103258540B (zh) 2016-08-03
CN103297058B (zh) 2017-03-01
JP2015228044A (ja) 2015-12-17
JP5296777B2 (ja) 2013-09-25
CN103297058A (zh) 2013-09-11
CN101682333B (zh) 2013-05-22
JP2010526346A (ja) 2010-07-29
JP6178373B2 (ja) 2017-08-09
JP6386634B2 (ja) 2018-09-05
WO2008136645A1 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
KR101355376B1 (ko) 고주파수 영역 부호화 및 복호화 방법 및 장치
KR101411900B1 (ko) 오디오 신호의 부호화 및 복호화 방법 및 장치
KR101747918B1 (ko) 고주파수 신호 복호화 방법 및 장치
KR101373004B1 (ko) 고주파수 신호 부호화 및 복호화 장치 및 방법
US10255928B2 (en) Apparatus, medium and method to encode and decode high frequency signal
KR20070115637A (ko) 대역폭 확장 부호화 및 복호화 방법 및 장치
KR101375582B1 (ko) 대역폭 확장 부호화 및 복호화 방법 및 장치
JP2015172779A (ja) オーディオ及び／またはスピーチ信号符号化及び／または復号化方法及び装置
TW200405267A (en) Audio decoding apparatus and audio decoding method
KR101390188B1 (ko) 적응적 고주파수영역 부호화 및 복호화 방법 및 장치
KR101352608B1 (ko) 음성 신호의 대역폭 확장 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 6