KR101434209B1 - Apparatus for encoding audio/speech signal - Google Patents

Apparatus for encoding audio/speech signal Download PDF

Info

Publication number
KR101434209B1
KR101434209B1 KR1020130085690A KR20130085690A KR101434209B1 KR 101434209 B1 KR101434209 B1 KR 101434209B1 KR 1020130085690 A KR1020130085690 A KR 1020130085690A KR 20130085690 A KR20130085690 A KR 20130085690A KR 101434209 B1 KR101434209 B1 KR 101434209B1
Authority
KR
South Korea
Prior art keywords
signal
domain
unit
encoding
frequency
Prior art date
Application number
KR1020130085690A
Other languages
Korean (ko)
Other versions
KR20130095703A (en
Inventor
오은미
김중회
손창용
주기현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130085690A priority Critical patent/KR101434209B1/en
Publication of KR20130095703A publication Critical patent/KR20130095703A/en
Application granted granted Critical
Publication of KR101434209B1 publication Critical patent/KR101434209B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation

Abstract

본 발명은 스피치 신호와 오디오 신호를 부호화하는 방법 및 장치에 관한 것으로서, 스피치 신호, 오디오 신호 및 스피치 신호와 오디오 신호가 혼합된 신호 모두를 효율적으로 부호화/복호화하며, 적은 비트를 사용하고도 음질을 보다 향상시킨다. The present invention relates to a method and apparatus for encoding a speech signal and an audio signal, and more particularly to a method and apparatus for efficiently encoding / decoding both a speech signal, an audio signal and a mixed signal of a speech signal and an audio signal, .

Description

오디오/스피치 신호 부호화장치{Apparatus for encoding audio/speech signal}[0001] Apparatus for encoding audio / speech signal [0002]

본 발명은 코덱(codec)에 관한 것으로, 보다 상세하게는 스피치 신호(speech signal)와 오디오 신호(audio signal)를 부호화하는 방법 및 장치에 관한 것이다.The present invention relates to a codec, and more particularly, to a method and apparatus for encoding a speech signal and an audio signal.

종래의 코덱은 스피치 코덱(speech)과 오디오 코덱(audio)으로 분류된다. 스피치 코덱은 음성 발성 모델을 이용하여 주로 50Hz에서 7kHz에 이르는 주파수 대역에 해당하는 신호를 부호화거나 복호화한다. 이러한 스피치 코덱은 일반적으로 성대와 성도를 모델링함으로써 음성 신호를 대표하는 파라미터를 추출하여 부호화 및 복호화를 수행한다. 오디오 코덱은 HE-AAC와 같이 심리 음향 모델을 적용하여 주로 0Hz에서 24Hz에 이르는 주파수 대역에 해당하는 신호를 부호화하거나 복호화한다. 이러한 오디오 코덱은 인간의 청각 특성을 이용하여 감도가 낮은 신호를 생략함으로써 부호화 및 복호화를 수행한다.Conventional codecs are classified into a speech codec (speech) and an audio codec (audio). The speech codec encodes or decodes a signal corresponding to a frequency band ranging mainly from 50 Hz to 7 kHz using a speech utterance model. Such a speech codec generally encodes and decodes parameters representative of a speech signal by modeling vocal cords and syllables. The audio codec applies a psychoacoustic model like HE-AAC to encode or decode a signal corresponding to a frequency band ranging from 0 Hz to 24 Hz. The audio codec performs coding and decoding by omitting low-sensitivity signals using human auditory characteristics.

그러나 이와 같은 스피치 코덱과 오디오 코덱은 스피치 신호와 오디오 신호를 모두 효율적으로 수행하기 어려운 문제점을 갖는다. 스피치 코덱은 스피치 신호를 부호화하거나 복호화하는 데 적합하지만 오디오 신호를 부호화하거나 복호화하는 데 있어서 음질이 저하된다. 오디오 코덱은 오디오 신호를 부호화하거나 복호화할 경우 압축 효과가 뛰어나지만 음성 신호를 부호화/복호화함에 있어서 신호를 압축하는 효율이 떨어진다. 그러므로 스피치 신호, 오디오 신호, 스피치와 오디오가 혼합된 신호를 각각 부호화/복호화함에 있어서 적은 비트를 이용함에도 불구하고 음질을 향상시킬 수 있는 방법 및 장치가 요구된다.However, such a speech codec and an audio codec have a problem that it is difficult to efficiently perform both a speech signal and an audio signal. The speech codec is suitable for encoding or decoding a speech signal, but the sound quality is degraded in encoding or decoding an audio signal. The audio codec is excellent in compression effect when encoding or decoding an audio signal, but has a low efficiency of compressing a signal in encoding / decoding a voice signal. Accordingly, there is a need for a method and apparatus for improving speech quality in spite of using a small number of bits in encoding / decoding a speech signal, an audio signal, and a mixed signal of speech and audio.

본 발명이 이루고자 하는 기술적 과제는, 스피치 신호 및 오디오 신호 모두를 효율적으로 부호화하고 복호화하는 방법 및 장치를 제공하는 것이다.SUMMARY OF THE INVENTION The present invention provides a method and apparatus for efficiently encoding and decoding both a speech signal and an audio signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a domain conversion unit for converting an input signal into a frequency domain from a time domain by a first conversion method and a second conversion method, And a frequency domain encoding unit for encoding the signal converted by the first conversion method in the frequency domain using the signal converted by the first conversion method.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 MDCT(Modified Discrete Cosine Transform) 및 MDST(Modified Discrete Sine Transform)에 의해 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 중요주파수성분 부호화부, 및 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 잔여스펙트럼 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a domain converter for converting an input signal from a time domain to a frequency domain by a Modified Discrete Cosine Transform (MDCT) and a Modified Discrete Sine Transform (MDST) An important frequency component encoding unit for selecting and encoding an important frequency component in the signal converted by the MDCT using the signal converted by the MDST, and a residual spectral component removing unit for removing the important frequency component from the signal converted by the MDCT, And a residual spectral encoding unit for extracting and encoding the extracted spectral components.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a domain converter for converting a signal into a time domain or a frequency domain on a subband basis, A time domain encoding unit for encoding the signal of the subband (s) determined to be encoded in the time domain in the time domain, and a subband (s) determined to be encoded in the frequency domain, And a frequency domain encoding unit for encoding in the domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a domain converter for converting an input signal into a frequency domain and dividing the input signal into subbands, A domain inversion unit for inversely transforming a signal of the subband (s) determined to be encoded in the time domain into a time domain, and a demodulator for decoding the signal of the inversely transformed subband (s) And a frequency domain encoding unit for encoding the signals of the subband (s) determined to be encoded in the frequency domain in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, FV-MLT(Frequency Varying Modulated Lapped Transform)에 의해 신호의 도메인을 변환하는 도메인 변환부, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a domain converter for converting a domain of a signal by a frequency-variable modulated lapped transform (FV-MLT) A time domain coding unit for coding in the time domain and a subband (s) decided to be encoded in the frequency domain are divided into a frequency domain, a frequency domain, And a frequency domain encoding unit for encoding in the domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 도메인 역변환부, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a domain converter for converting an input signal into a frequency domain by a first conversion method and a second conversion method and dividing the input signal into sub-bands, A mode inverse transformer for inversely transforming a subband in a frequency domain or in a time domain to determine whether to perform encoding in a time domain or a subband (s) determined to be encoded in a time domain to a time domain by a first inverse transform method, A time domain encoding unit for encoding the signal of the inverse transformed subband (s) in the time domain, and a subband (s) determined to be encoded in the frequency domain using the signal transformed by the second transformation scheme, And a frequency domain encoding unit The.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 시간도메인 부호화부 및 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a domain converter for converting an input signal into a frequency domain by MDCT and MDST and dividing the input signal into subbands, A mode determining unit for determining whether to encode in the time domain, a mode determining unit for determining whether to encode in the time domain, a time for encoding in the time domain by inverse transforming the subband (s) determined to be encoded in the time domain into an inverse modulated discrete cosine transform (IMDCT) Domain encoding unit and a frequency domain encoding unit encoding the subband (s) determined to be encoded in the frequency domain using the signal converted by the MDST in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)하는 스테레오 부호화부, 상기 다운믹싱된 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the input signal, And a frequency domain encoding unit for encoding the signal converted by the first conversion system in the frequency domain using the signal converted by the second conversion system .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 중요주파수성분 부호화부 및 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 잔여스펙트럼 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the input signal, a downmixing unit for converting the downmixed signal into a frequency domain An important frequency component coding unit for selecting and encoding an important frequency component in the signal converted by the MDCT using the signal converted by the MDST, And a residual spectral coding unit for extracting and encoding the residual spectral components excluding the components.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus comprising: a stereo encoding unit for extracting and downmixing a parameter by analyzing an input signal; a domain conversion unit for converting a signal into a time domain or a frequency domain for each subband; A mode decision unit for deciding whether to encode in the frequency domain or in the time domain for each subband, a time domain encoding unit for encoding the signals of the subband (s) determined to be encoded in the time domain in the time domain, And a frequency domain encoding unit for encoding the signal of the subband (s) determined to be encoded in the domain in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus comprising: a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the input signal; a downmixing unit for converting the downmixed signal into a frequency domain, A mode determination unit for determining whether to perform coding in the frequency domain or in the time domain for each of the divided subbands, and a signal of the subband (s) determined to be encoded in the time domain to the time domain Domain inverse transform unit, a time domain coding unit for coding the signal of the inverse transformed subband (s) in the time domain, and a frequency domain coding unit for coding the signal of the subband (s) determined to be encoded in the frequency domain in the frequency domain .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus comprising: a stereo encoding unit for extracting and downmixing a parameter by analyzing an input signal; a domain conversion unit for converting a domain of a signal by an FV- A time domain encoding unit for encoding the subbands in the frequency domain or in the frequency domain, a mode determination unit for determining whether to encode the subbands in the frequency domain or the time domain, a time domain encoding unit for encoding the subbands (s) And a frequency domain encoding unit for encoding the determined subband (s) in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 도메인 역변환부, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the input signal, a downmixing unit for converting the downmixed signal into a first conversion method and a second conversion method A mode decision unit for deciding whether to encode in the frequency domain or in the time domain for each of the divided subbands, a subband determining unit for determining whether to encode in the time domain, A time domain encoding unit for encoding the signal of the inverse transformed subband (s) in the time domain, and a time domain encoding unit for transforming the signal transformed by the second transformation scheme Which is determined to be encoded in the frequency domain using And the load (s) characterized in that it comprises a frequency-domain coding for coding in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 시간도메인 부호화부 및 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the input signal, and converting the downmixed signal into a frequency domain by MDCT and MDST A mode determination unit for determining whether to perform coding in the frequency domain or in the time domain for each of the divided subbands, and a subband (s) determined to be encoded in the time domain to the IMDCT And a frequency domain encoding unit for encoding in the frequency domain the subband (s) determined to be encoded in the frequency domain using the signal transformed by the MDST, .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 하는 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a band dividing unit dividing an input signal into a low frequency band signal and a high frequency band signal, A frequency domain encoding unit for encoding the signal converted by the first conversion system using the signal converted by the second conversion system in the frequency domain, And a high frequency band encoding unit for encoding the divided high frequency band signal using a band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 중요주파수성분 부호화부, 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 잔여스펙트럼 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a band dividing unit dividing an input signal into a low frequency band signal and a high frequency band signal, An important frequency component encoding unit for selecting and encoding an important frequency component in the signal converted by the MDCT using the signal converted by the MDST, A residual spectral encoding unit for extracting and encoding the residual spectral components excluding the significant frequency components, and a high frequency band encoding unit for encoding the divided high frequency band signals using the low frequency band signals.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a band dividing unit dividing an input signal into a low frequency band signal and a high frequency band signal, a domain conversion unit converting the signal into a time domain or a frequency domain on a subband- A mode determination unit for determining whether to encode in the frequency domain or in the time domain for each subband of the divided low frequency band signal, a signal of the subband (s) determined to be encoded in the time domain, A frequency domain encoding unit for encoding a signal of a subband (s) determined to be encoded in the frequency domain in a frequency domain, and a high frequency band encoding unit for encoding the divided high frequency band signal using a low frequency band signal, part It characterized in that it comprises.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a band dividing unit dividing an input signal into a low frequency band signal and a high frequency band signal, A mode decision unit for deciding whether to encode in the frequency domain or in the time domain for each of the divided subbands, a signal of a subband (s) determined to be encoded in the time domain, A time domain encoding unit for encoding the signal of the inverse transformed subband (s) in the time domain, a frequency domain encoding unit for encoding the signal of the subband (s) determined to be encoded in the frequency domain in the frequency domain, Partial and low-frequency band signals Use will be characterized in that it comprises the which encodes the divided high frequency band signal the high frequency band encoding unit.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a band dividing unit dividing an input signal into a low frequency band signal and a high frequency band signal, a domain converting unit converting the domain of the signal by the FV- A mode determination unit for determining whether to encode in the frequency domain or in the time domain for each subband of the divided low frequency band signal, a time domain for encoding in the time domain the subband (s) determined to be encoded in the time domain, A frequency domain encoding unit for encoding the subband (s) determined to be encoded in the frequency domain in the frequency domain, and a high frequency band encoding unit for encoding the divided high frequency band signal using the low frequency band signal. do.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a band dividing unit dividing an input signal into a low frequency band signal and a high frequency band signal, A mode determination unit for determining whether to perform coding in the frequency domain or in the time domain for each of the divided subbands, a mode determination unit for determining whether to perform coding in the frequency domain or in the time domain, A domain inversion section for inversely transforming the subband (s) into a time domain by a first inverse transform method, a time domain encoding section for encoding the signal of the inversely transformed subband (s) in the time domain, Which is encoded in the frequency domain using a signal The is characterized in that it comprises a sub-band (s) for high-frequency bands for encoding the divided high frequency band signal using a frequency domain encoder and the low frequency band signal is encoded in a frequency domain encoding unit.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 시간도메인 부호화부, 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a band dividing unit dividing an input signal into a low frequency band signal and a high frequency band signal, a frequency division unit for dividing the divided low frequency band signal into MDCT and MDST, A mode decision unit for deciding whether to encode in the frequency domain or in the time domain for each of the divided subbands, a subband (s) determined to be encoded in the time domain, A frequency domain encoding unit for encoding in the frequency domain the subband (s) determined to be encoded in the frequency domain using the signal transformed by the MDST, a time domain encoding unit for performing inverse transform on the time domain by the IMDCT, And low-frequency band signals And a high frequency band encoding unit for encoding the divided high frequency band signal using the high frequency band encoding unit.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the encoded signal, and a low- Band division unit, a domain conversion unit for converting the divided low-frequency band signal into a frequency domain from a time domain by using a first conversion method and a second conversion method, And a high frequency band encoding unit for encoding the divided high frequency band signal using a low frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 중요주파수성분 부호화부, 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 잔여스펙트럼 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the encoded signal, and a low- Band dividing section, a domain transforming section for transforming the divided low-frequency band signal into a frequency domain from a time domain by MDCT and MDST, a frequency transforming section for transforming an important frequency component in the signal converted by the MDCT using the signal transformed by the MDST A residual spectral encoding unit for extracting and encoding a residual spectral component excluding the significant frequency component from the signal converted by the MDCT and encoding the extracted high frequency band signal using a low frequency band signal, High-frequency band coding for encoding In that it comprises the features.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 하는 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the encoded signal, and a low- Band division unit, a domain conversion unit for converting a signal into a time domain or a frequency domain for each subband, a mode determination unit for determining whether to perform coding in the frequency domain or in the time domain for each subband of the divided low- A time domain encoding unit for encoding the signal of the subband (s) determined to be encoded in the time domain in the time domain, a frequency domain encoding unit for encoding the signal of the subband (s) determined to be encoded in the frequency domain in the frequency domain, And low frequency vans In that it comprises using said signals for encoding the divided high frequency band signal and the high frequency band coding section according to claim.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the input signal, a low frequency band signal extracting unit for separating the downmixed signal into high frequency band signals, Band division unit, a domain conversion unit for converting the divided low-frequency band signals into frequency domains and dividing the divided low-frequency band signals into sub-bands, a mode decision unit for determining whether to perform coding in the frequency domain or in the time domain, A domain inversion unit for inversely transforming the signal of the subband (s) determined to be encoded in the time domain into the time domain, a time domain encoding unit for encoding the signal of the inverse transformed subband (s) in the time domain, Lt; RTI ID = 0.0 > And a high frequency band encoding unit for encoding the divided high frequency band signal using a low frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the encoded signal, and a low- Band division unit, a domain conversion unit for converting the domain of the signal by the FV-MLT, a mode determination unit for determining whether to encode in the frequency domain or the time domain for each subband of the divided low-frequency band signal, A frequency domain encoding unit for encoding, in the frequency domain, a subband (s) determined to be encoded in the frequency domain, a frequency domain encoding unit for encoding the subband (s) determined to be encoded in the domain in the time domain, And the divided high frequency bands And a high-frequency band coding unit for coding the signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 도메인 역변환부, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the encoded signal, and a low- Band dividing section, a domain transforming section for transforming the divided low-frequency band signals into a frequency domain by a first transforming method and a second transforming method, and dividing the divided low-frequency band signals into sub-bands, A domain inversion section for inversely transforming a subband (s) determined to be encoded in the time domain into a time domain by a first inverse transformation method, a signal inverse transform section A time domain encoding unit for encoding the time domain signal in the time domain, A frequency domain coding unit for coding the subband (s) determined to be encoded in the frequency domain using the signal converted by the second conversion scheme in the frequency domain, and the high frequency band signal using the low frequency band signal And a high-frequency band coding unit.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 시간도메인 부호화부, 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an audio / speech signal encoding apparatus including a stereo encoding unit for analyzing an input signal to extract a parameter and downmixing the encoded signal, and a low- Band division unit, a domain transform unit for transforming the divided low-frequency band signals into frequency domain by MDCT and MDST, and dividing the divided low-frequency band signals into sub-bands, A time domain encoding unit for encoding in a time domain an inverse transform of the subband (s) determined to be encoded in the time domain by the IMDCT in a time domain and a signal transformed in the time domain, The subdivision determined to be encoded Using a frequency domain encoder and the low-frequency band signal for encoding a code (s) in the frequency domain, characterized by including the portion for encoding a high-frequency band-divided high frequency band signal coding.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부 및 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding apparatus including an important frequency component decoding unit for decoding an important frequency component, a residual spectral decoding unit for decoding a residual spectral component excluding the important frequency component, And a domain inversion unit which combines the results and inversely transforms the frequency domain into the time domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 스피치 툴 복호화부 및 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding apparatus including an important frequency component decoding unit for decoding an important frequency component, a residual spectral decoding unit for decoding a residual spectral component excluding the important frequency component, A speech tool decoding unit for decoding a result encoded by a speech tool, and a domain inversion unit for synthesizing the decoded result and inversely transforming the decoded result into a time domain in a frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, comprising: a domain determination unit for determining a domain encoded for each subband; a domain converter for converting a signal into a time domain or a frequency domain for each subband; A frequency domain decoding unit for decoding the signal of the subband determined to be encoded in the frequency domain, and a time domain decoding unit for decoding the signal of the subband determined to be encoded in the time domain in the time domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부 및 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, comprising: a domain determination unit for determining a domain encoded for each subband; a domain converter for converting a signal into a time domain or a frequency domain for each subband; A residual spectral decoding unit for decoding the residual spectral components excluding the significant frequency components, and a sub-band determining unit for dividing a signal of a sub-band determined to be encoded in the time domain into a time- And a time domain decoding unit for decoding the time domain data.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부 및 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding a signal of a subband determined to be encoded in the frequency domain in a frequency domain, a frequency domain decoding unit for decoding the signal converted in the frequency domain, And a domain inversion unit which combines the decoded signals in the frequency domain and inversely transforms the frequency domain to the time domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부 및 FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, and a domain converting unit for converting the signal domain by the FV-MLT.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부 및 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding a signal of the subband determined to be encoded in the frequency domain in the frequency domain, and a frequency domain decoding unit for converting the signal decoded in the frequency domain, And a domain inversion unit for combining the decoded signal and the decoded signal in the frequency domain and performing inverse conversion from the frequency domain to the time domain by the MDCT.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱(upmixing)하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding apparatus including an important frequency component decoding unit for decoding an important frequency component, a residual spectral decoding unit for decoding a residual spectral component excluding the important frequency component, And a stereo decoding unit for upmixing the inverse-transformed signal to the time domain into a stereo signal using a domain inverse transforming unit for inversely transforming the frequency domain to a time domain by synthesizing the result and upmixing the signal to stereo transmitted from the encoding unit, .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 스피치 툴 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding apparatus including an important frequency component decoding unit for decoding an important frequency component, a residual spectral decoding unit for decoding a residual spectral component excluding the significant frequency component, A speech tool decoding unit for decoding a result coded by the speech tool, a domain inversion unit for synthesizing the decoded result and inversely transforming the signal in the frequency domain into a time domain, And a stereo decoding unit for up-mixing the signal inverted to the domain into a stereo signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, comprising: a domain determination unit for determining a domain encoded for each subband; a domain converter for converting a signal into a time domain or a frequency domain for each subband; A frequency domain decoding unit for decoding the signal of the subband determined to have been encoded in the frequency domain, a time domain decoding unit for decoding the signal of the subband determined to be encoded in the time domain in the time domain, And a stereo decoding unit for up-mixing the signal converted into the time domain into a stereo signal by using a parameter for mixing.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, comprising: a domain determination unit for determining a domain encoded for each subband; a domain converter for converting a signal into a time domain or a frequency domain for each subband; A residual spectral decoding unit for decoding the residual spectral components excluding the important frequency components, and a residual spectral decoding unit for dividing the signal of the sub-band determined to be encoded in the time domain into a time- And a stereo decoding unit for upmixing the signal inversely converted to the time domain to a stereo signal using a parameter upmixed to the stereo transmitted from the encoding unit.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, a frequency domain decoding unit for decoding the signal converted in the frequency domain, A domain inversion unit for synthesizing the decoded signal in the frequency domain and inverse-transforming the signal in the frequency domain to a time domain, and a signal for up-mixing the inverse-transformed signal in the time domain into a stereo signal And a stereo decoding unit for mixing the signals.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, a domain conversion unit for converting the domain of the signal by the FV-MLT, and a stereo up- And a stereo decoding unit for up-mixing the signal converted into the time domain by the FV-MLT into a stereo signal using a parameter.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in a time domain, A frequency domain decoding unit for decoding a signal of the subband determined to be encoded in the frequency domain in the frequency domain, a frequency domain decoding unit for decoding the signal in the frequency domain, Domain inverse-transformed from a frequency domain to a time domain by means of MDCT and a stereo transmitted from an encoding end to synthesize a signal decoded in the frequency domain and an inverse- A characterized in that it comprises a stereo decoding section for upmixing in a stereo signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding apparatus including an important frequency component decoding unit for decoding an important frequency component, a residual spectral decoding unit for decoding a residual spectral component excluding the important frequency component, A high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal and a high frequency band decoding unit for decoding a signal obtained by decoding the high frequency band signal and the signal reverse- And a band synthesizing section for combining the signals.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 스피치 툴 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding apparatus including an important frequency component decoding unit for decoding an important frequency component, a residual spectral decoding unit for decoding a residual spectral component excluding the significant frequency component, A speech tool decoding unit for decoding a result encoded by the speech tool, a domain inverting unit for synthesizing the decoded result and inversely transforming the frequency domain into a time domain, a high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal, And a band combining unit for combining the signal inversely transformed into the time domain and the signal obtained by decoding the high frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, comprising: a domain determination unit for determining a domain encoded for each subband; a domain converter for converting a signal into a time domain or a frequency domain for each subband; A frequency domain decoding unit for decoding the signal of the subband determined to have been encoded in the frequency domain, a time domain decoding unit for decoding the signal of the subband determined to be encoded in the time domain in the time domain, a high frequency band A high frequency band decoding unit for decoding a signal and a band combining unit for combining the signal converted into the time domain and a signal obtained by decoding the high frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, comprising: a domain determination unit for determining a domain encoded for each subband; a domain converter for converting a signal into a time domain or a frequency domain for each subband; A residual spectral decoding unit for decoding the residual spectral components excluding the important frequency components, and a residual spectral decoding unit for dividing the signal of the sub-band determined to be encoded in the time domain into a time- A high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal and a high frequency band decoding unit for decoding the high frequency band signal and a band synthesis unit for synthesizing a signal obtained by decoding the high frequency band signal, It characterized in that it comprises.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, a frequency domain decoding unit for decoding the signal converted in the frequency domain, A high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal, a high frequency band decoding unit for decoding the high frequency band signal using the low frequency band signal, And a band synthesizer for synthesizing the decoded signal of the high frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding a signal of a subband determined to be encoded in the frequency domain in the frequency domain, a domain conversion unit for converting the domain of the signal by the FV-MLT, a high frequency band signal And a band combining unit for combining the signal converted into the time domain by the FV-MLT and the signal obtained by decoding the high frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 하는 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding a signal of the subband determined to be encoded in the frequency domain in the frequency domain, a frequency domain decoding unit for decoding the signal in the frequency domain, A high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal and a high frequency band decoding unit for decoding the high frequency band signal using a low frequency band signal, In that it comprises the inversion signal and the high frequency band signal to synthesize the decoded signal to the band synthesis portion, characterized.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding apparatus including an important frequency component decoding unit for decoding an important frequency component, a residual spectral decoding unit for decoding a residual spectral component excluding the important frequency component, A high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal, a high frequency band decoding unit for decoding the high frequency band signal and a signal obtained by decoding the high frequency band signal, And a stereo decoding unit for upmixing the synthesized signal into a stereo signal using a band synthesis unit for synthesizing and a parameter for upmixing to stereo transmitted from the encoding end.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 스피치 툴 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding apparatus including an important frequency component decoding unit for decoding an important frequency component, a residual spectral decoding unit for decoding a residual spectral component excluding the important frequency component, A speech tool decoding unit for decoding a result encoded by the speech tool, a domain inverting unit for synthesizing the decoded result and inversely transforming the frequency domain into a time domain, a high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal, A band synthesizer for synthesizing the signal inversely transformed into the time domain and a signal obtained by decoding the high frequency band signal, and a stereo mixer for upmixing the synthesized signal into a stereo signal using parameters upmixed to the stereo transmitted from the encoder, complex It characterized in that it comprises a conversion unit.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, comprising: a domain determination unit for determining a domain encoded for each subband; a domain converter for converting a signal into a time domain or a frequency domain for each subband; A frequency domain decoding unit for decoding the signal of the subband determined to have been encoded in the frequency domain, a time domain decoding unit for decoding the signal of the subband determined to be encoded in the time domain in the time domain, a high frequency band A high frequency band decoding unit for decoding the high frequency band signal, a band combining unit for combining the signal converted into the time domain and a signal obtained by decoding the high frequency band signal, and a synthesizing unit It characterized by including stereo decoding unit for upmixing in a stereo signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, comprising: a domain determination unit for determining a domain encoded for each subband; a domain converter for converting a signal into a time domain or a frequency domain for each subband; A residual spectral decoding unit for decoding the residual spectral components excluding the important frequency components, and a residual spectral decoding unit for dividing the signal of the sub-band determined to be encoded in the time domain into a time- A high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal, a band combining unit for synthesizing a signal obtained by decoding the high frequency band signal and the time domain converted signal, And a stereo decoding unit for up-mixing the synthesized signal into a stereo signal using a parameter upmixed to the stereo transmitted from the encoding end.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, a frequency domain decoding unit for decoding the signal converted in the frequency domain, A high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal, a high frequency band decoding unit for decoding the high frequency band signal using the low frequency band signal, Group characterized by including a high frequency band signal by using the stereo upmixing parameters to transmit the decoded signal from the band combining unit and the encoding stage of synthesizing mixing up the composite signal to a stereo signal, the stereo decoding unit.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, a domain conversion unit for converting the signal domain by the FV-MLT, and a high-frequency band signal using the low- A band synthesis unit for synthesizing a signal converted into the time domain by the FV-MLT and a signal obtained by decoding the high-frequency band signal, and a high-frequency band decoding unit for performing up- The synthesized signal is converted into a stereo signal It characterized in that it comprises upmixing stereo decoding section for.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding an audio / speech signal, the apparatus comprising: a domain determination unit for determining a domain encoded for each subband; a time domain decoding unit for decoding a signal of a subband determined to be encoded in the time domain, A frequency domain decoding unit for decoding a signal of the subband determined to be encoded in the frequency domain in the frequency domain, a frequency domain decoding unit for decoding the signal in the frequency domain, A high frequency band decoding unit for decoding a high frequency band signal using a low frequency band signal, a high frequency band decoding unit for decoding the high frequency band signal using a low frequency band signal, a domain inversion unit for combining the decoded signal and the decoded signal in the frequency domain, And a stereo decoding unit for upmixing the synthesized signal to a stereo signal using a parameter for upmixing the signal to the stereo transmitted from the encoding unit and a band synthesizing unit for synthesizing the signal in which the high frequency band signal is decoded, .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 단계 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: converting an input signal into a frequency domain from a time domain by a first conversion method and a second conversion method; And encoding the signal converted by the first conversion method in the frequency domain using the converted signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 MDCT에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 단계 및 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method, comprising: converting an input signal from a time domain to a frequency domain using an MDCT; Selecting and coding an important frequency component in the signal and extracting and encoding the residual spectral components excluding the significant frequency component from the signal converted by the MDCT.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method for converting a signal into a time domain or a frequency domain on a subband basis, Encoding the signal of the subband (s) determined to be encoded in the time domain in the time domain and encoding the signal of the subband (s) determined to be encoded in the frequency domain in the frequency domain, .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 단계, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising the steps of: converting an input signal into a frequency domain and dividing the input signal into subbands, , Inverse transforming the signal of the subband (s) determined to be encoded in the time domain into the time domain, encoding the signal of the inverse transformed subband (s) in the time domain, And encoding the signal of the subband (s) determined to be encoded in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다. According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising the steps of: converting a signal domain using an FV-MLT; determining whether to perform encoding in a frequency domain or a time domain for each subband; Encoding the subband (s) determined to be encoded in the time domain in the time domain, and encoding the subband (s) determined to be encoded in the frequency domain in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: converting an input signal into a frequency domain by a first conversion method and a second conversion method and dividing the input signal into sub-bands; Determining whether to encode in the frequency domain or in the time domain; inversely transforming the subband (s) determined to be encoded in the time domain into a time domain by a first inverse transform scheme; ) In a time domain and encoding the subband (s) determined to be encoded in the frequency domain using the signal transformed by the second transform scheme in the frequency domain do.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 단계 및 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: converting an input signal into a frequency domain by MDCT and MDST and dividing the input signal into subbands, Determining whether to encode in a time domain or in a time domain, inverse transforming the subband (s) determined to be encoded in the time domain into a time domain by IMDCT and encoding in the time domain, and using the signal converted by the MDST And encoding the subband (s) determined to be encoded in the frequency domain in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 단계 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract a parameter and downmixing the input signal; and decoding the downmixed signal by a first conversion method and a second conversion method, Domain to a frequency domain, and encoding the signal converted by the first conversion method in the frequency domain using the signal converted by the second conversion method.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 단계 및 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract a parameter and downmixing the downmixed signal; converting the downmixed signal into a frequency domain from a time domain by MDCT and MDST; Selecting and encoding an important frequency component in a signal transformed by the MDCT using the signal transformed by the MDST, and extracting a residual spectral component excluding the important frequency component from the signal transformed by the MDCT And encoding the encoded data.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix a parameter; converting a signal into a time domain or a frequency domain on a subband basis; Comprising the steps of: determining whether to encode in the frequency domain or in the time domain; encoding the signal of the subband (s) determined to be encoded in the time domain in the time domain; ) In the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 단계, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising the steps of: analyzing an input signal to extract a parameter and downmixing; converting the downmixed signal into a frequency domain, Determining whether to perform coding in the frequency domain or in the time domain for each divided subband; inversely transforming the signal of the subband (s) determined to be encoded in the time domain into a time domain; Encoding the signal of the band (s) in the time domain and encoding the signal of the subband (s) determined to be encoded in the frequency domain in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising the steps of: analyzing an input signal to extract and downmix a parameter; converting a signal domain by an FV-MLT; Comprising the steps of: determining whether to encode in the frequency domain or in the time domain; encoding in the time domain the subband (s) determined to be encoded in the time domain; and subband (s) And encoding in the domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising the steps of: analyzing an input signal to extract a parameter and downmixing the parameter; and performing a downmixing on the downmixed signal using a first conversion method and a second conversion method, Domain, and dividing the subband by subband; determining whether to perform coding in the frequency domain or in the time domain for each divided subband; determining subband (s) determined to be encoded in the time domain, Inverse transformed into a time domain by an inverse transform method, coding the signal of the inversely transformed subband (s) in the time domain, and transforming the subband (s) determined to be encoded in the frequency domain using the signal transformed by the second transform method Encoding the band (s) in the frequency domain The features.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 단계 및 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix a parameter; converting the downmixed signal into a frequency domain by MDCT and MDST; Determining whether to encode in the frequency domain or in the time domain for each of the divided subbands; inversely transforming the subband (s) determined to be encoded in the time domain into the time domain by the IMDCT Encoding in a time domain and encoding the subband (s) determined to be encoded in the frequency domain using the signal transformed by the MDST in a frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method including dividing an input signal into a low frequency band signal and a high frequency band signal, Encoding the signal transformed by the first conversion method in the frequency domain using the signal transformed by the second transform method, and encoding the signal by the low frequency band signal using the low frequency band signal, And encoding the converted high frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 단계, 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method including dividing an input signal into a low frequency band signal and a high frequency band signal, and dividing the divided low frequency band signal into a frequency domain Selecting and encoding an important frequency component from the signal transformed by the MDCT using the signal transformed by the MDST, encoding the residual spectral component excluding the important frequency component in the signal converted by the MDCT, And encoding the divided high frequency band signal using a low frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계, 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method including dividing an input signal into a low frequency band signal and a high frequency band signal, converting the signal into a time domain or a frequency domain on a subband basis, Determining whether to encode in the frequency domain or in the time domain for each subband of the low frequency band signal; encoding the signal of the subband (s) determined to be encoded in the time domain in the time domain; Encoding the signal of the subband (s) determined to be encoded in the frequency domain, and encoding the divided high frequency band signal using the low frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 단계, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method including dividing an input signal into a low frequency band signal and a high frequency band signal, converting the divided low frequency band signal into a frequency domain, Comprising the steps of: determining whether to perform coding in the frequency domain or in the time domain for each of the divided subbands; inversely transforming the signal of the subband (s) determined to be encoded in the time domain into a time domain; Encoding the signal of the subband (s) in the frequency domain, coding the subband (s) signal in the frequency domain, coding the signal of the subband (s) in the frequency domain, comprising the step of encoding the And that is characterized.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method including dividing an input signal into a low frequency band signal and a high frequency band signal, converting the domain of the signal by the FV-MLT, Determining whether to encode in the frequency domain or in the time domain for each subband of the band signal, encoding in the time domain the subband (s) determined to be encoded in the time domain, and encoding in the frequency domain Encoding the determined subband (s) in the frequency domain and encoding the divided high frequency band signal using a low frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method including dividing an input signal into a low frequency band signal and a high frequency band signal, Transforming the subband into a frequency domain and dividing the subband by subband; determining whether to perform coding in the frequency domain or in the time domain for each divided subband; determining subband (s) determined to be encoded in the time domain; Encoding the signal of the inverse transformed subband (s) in the time domain, and encoding the signal of the inverse transformed subband (s) in the frequency domain using the signal transformed by the second transform method The determined subband (s) are encoded in the frequency domain Using the system and the low-frequency band signals characterized by comprising the step of encoding the high-frequency band-divided signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method including dividing an input signal into a low frequency band signal and a high frequency band signal, converting the divided low frequency band signal into a frequency domain by MDCT and MDST, Determining whether to encode in the frequency domain or in the time domain for each of the divided subbands, determining the subband (s) determined to be encoded in the time domain by the IMDCT in a time domain Encoding the subband (s) determined to be encoded in the frequency domain using the signal converted by the MDST in a frequency domain, and encoding the subband (s) in the frequency domain using the low frequency band signal, The stage that encodes the signal And a system.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix parameters; dividing the downmixed signal into a low frequency band signal and a high frequency band signal; Converting the divided low-frequency band signals into a frequency domain from a time domain by a first conversion method and a second conversion method, converting the divided low-frequency band signals into a frequency domain by a first conversion method using the signals converted by the second conversion method, Encoding the signal in the frequency domain and encoding the divided high frequency band signal using the low frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 단계, 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix parameters; dividing the downmixed signal into a low frequency band signal and a high frequency band signal; Converting the divided low frequency band signal into a frequency domain from time domain by MDCT and MDST, selecting and encoding an important frequency component from the signal converted by the MDCT using the signal converted by the MDST, Extracting a remaining spectrum component excluding the significant frequency component from the signal converted by the MDCT, and encoding the divided high frequency band signal using the low frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix parameters; dividing the downmixed signal into a low frequency band signal and a high frequency band signal; Determining whether to encode in the frequency domain or in the time domain for each subband of the divided low frequency band signal, determining whether to encode in the time domain or not in the time domain, Encoding the signal of the subband (s) in the time domain, encoding the signal of the subband (s) determined to be encoded in the frequency domain in the frequency domain, and encoding the divided high frequency band signal using the low frequency band signal Encoding step Characterized in that it also.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 단계, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix parameters; dividing the downmixed signal into a low frequency band signal and a high frequency band signal; Converting the divided low frequency band signals into a frequency domain and dividing the divided low frequency band signals into subbands; determining whether to perform coding in the frequency domain or in the time domain for each divided subband; The method includes the steps of inverse transforming a signal of a subband (s) into a time domain, encoding the signal of the inversely transformed subband (s) in a time domain, transforming a signal of a subband (s) And a low frequency band Using a call is characterized in that it comprises the step of encoding the high-frequency band-divided signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix parameters; dividing the downmixed signal into a low frequency band signal and a high frequency band signal; Determining whether to encode in the frequency domain or in the time domain for each subband of the divided low frequency band signal, determining a subband determined to be encoded in the time domain, (S) in the frequency domain, encoding the sub-band (s) determined to be encoded in the frequency domain in the frequency domain, and encoding the divided high-frequency band signal using the low-frequency band signal .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix parameters; dividing the downmixed signal into a low frequency band signal and a high frequency band signal; Converting the divided low frequency band signals into frequency domains by a first conversion method and a second conversion method and dividing the divided low frequency band signals into subbands; determining whether to perform coding in a frequency domain or a time domain for each of the divided subbands; , Inverse transforming the subband (s) determined to be encoded in the time domain into a time domain by a first inverse transform method, coding the signal of the inversely transformed subband (s) in the time domain, 2 < / RTI > Encoding the subband (s) determined to be encoded in the frequency domain and encoding the divided high frequency band signal using the low frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal encoding method comprising: analyzing an input signal to extract and downmix parameters; dividing the downmixed signal into a low frequency band signal and a high frequency band signal; Dividing the divided low frequency band signals into frequency domains by MDCT and MDST and dividing them into subbands, determining whether to encode the subbands in the frequency domain or the time domain, (S) determined to be encoded in the time domain by the IMDCT and encoding the subband (s) determined in the frequency domain using the signal transformed by the MDST, Steps and Cursors in Domain Encoding Using the number of band signals is characterized in that it comprises the step of encoding the high-frequency band-divided signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계 및 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method including decoding an important frequency component, decoding a residual spectral component excluding the important frequency component, and synthesizing the decoded result, And inversely transforming the time domain into a time domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 단계 및 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method including decoding a significant frequency component, decoding a residual spectral component excluding the significant frequency component, And synthesizing the decoded result and inverse transforming the decoded result into the time domain in the frequency domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계 및 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계 를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method, comprising: determining a domain encoded for each subband; converting a signal into a time domain or a frequency domain for each subband; Decoding the signal of the subband in the frequency domain and decoding the signal of the subband determined to be encoded in the time domain in the time domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method, comprising: determining a domain encoded for each subband; converting a signal into a time domain or a frequency domain for each subband; Decoding the residual spectral components excluding the important frequency components, and decoding the signals of the sub-bands determined to be encoded in the time domain in the time domain. do.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계 및 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Decoding the signal decoded in the domain into the frequency domain, decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, and synthesizing the signal converted in the frequency domain and the signal decoded in the frequency domain And inversely transforming from the frequency domain to the time domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계 및 FV-MLT에 의해 신호의 도메인을 변환하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Decoding the signal of the subband determined to have been encoded in the frequency domain and transforming the domain of the signal by the FV-MLT.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계 및 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Decoding a signal decoded in the domain into a frequency domain by IMDCT, decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, and decoding the signal converted into the frequency domain and the signal decoded in the frequency domain And performing inverse transform from the frequency domain to the time domain by MDCT.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method including decoding a significant frequency component, decoding a residual spectral component excluding the significant frequency component, synthesizing the decoded result, And upmixing the inverse-transformed signal to the time domain into a stereo signal using the upmixing parameter to the stereo transmitted from the encoding end.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method including decoding a significant frequency component, decoding a residual spectral component excluding the significant frequency component, Synthesizing the decoded result and inverse-transforming the decoded result into a time domain in the frequency domain, and up-mixing the inverse-transformed signal to the time domain into a stereo signal using parameters up-mixed to the stereo transmitted from the encoding end The method comprising the steps of:

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method, comprising: determining a domain encoded for each subband; converting a signal into a time domain or a frequency domain for each subband; Decoding the signals of the subbands determined to have been encoded in the time domain in the time domain, and decoding the signals of the subbands in the time domain using the upmixing parameters transmitted from the encoding end to the stereo, And upmixing the converted signal into a stereo signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method, comprising: determining a domain encoded for each subband; converting a signal into a time domain or a frequency domain for each subband; Decoding the residual spectral components excluding the important frequency components, decoding the subband signal determined to have been encoded in the time domain in the time domain, and decoding the subband signals transmitted in the time domain, And upmixing the signal inversely converted to the time domain into a stereo signal using a parameter for upmixing in stereo.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Decoding the signal decoded in the domain into a frequency domain, decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, synthesizing the signal converted into the frequency domain and the signal decoded in the frequency domain Frequency domain to a time domain, and upmixing the inverse-transformed signal to the time domain into a stereo signal using parameters up-mixed to stereo transmitted from an encoding end.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; By the FV-MLT, a signal of the subband determined to have been encoded in the frequency domain, a step of converting the domain of the signal by the FV-MLT, and a step of performing upmixing to the stereo by the FV- And upmixing the signal converted into the time domain into a stereo signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Converting a signal decoded in the domain into a frequency domain by IMDCT, decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, and decoding the signal converted in the frequency domain and the signal decoded in the frequency domain And performing inverse conversion from the frequency domain to the time domain by the MDCT and upmixing the signal that has been inversely transformed to the time domain into a stereo signal using the upmixing parameter to the stereo transmitted from the encoding end to The.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method including decoding a significant frequency component, decoding a residual spectral component excluding the significant frequency component, synthesizing the decoded result, And decoding the high frequency band signal using a low frequency band signal and synthesizing a signal obtained by decoding the high frequency band signal and an inverse transformed signal in the time domain.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method including decoding a significant frequency component, decoding a residual spectral component excluding the significant frequency component, Decoding the high frequency band signal using the low frequency band signal, decoding the high frequency band signal and the inverse transformed signal using the low frequency band signal, decoding the high frequency band signal using the low frequency band signal, And synthesizing the received signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method, comprising: determining a domain encoded for each subband; converting a signal into a time domain or a frequency domain for each subband; Decoding a signal of a subband determined to be encoded in the time domain in the time domain, decoding the high frequency band signal using the low frequency band signal, and decoding the high frequency band signal in the time domain, And combining the converted signal with a signal obtained by decoding the high frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method, comprising: determining a domain encoded for each subband; converting a signal into a time domain or a frequency domain for each subband; Decoding the residual spectral components except for the significant frequency component, decoding the subband signal determined to have been encoded in the time domain in the time domain, using the low frequency band signal, And decoding the high frequency band signal, and synthesizing the signal converted into the time domain and the signal obtained by decoding the high frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Decoding the signal decoded in the domain into a frequency domain, decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, synthesizing the signal converted into the frequency domain and the signal decoded in the frequency domain Frequency domain to a time domain, decoding a high-frequency band signal using a low-frequency band signal, and synthesizing a signal obtained by decoding the high-frequency band signal and an inverse-transformed signal in the time domain. The.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Decoding the signal of the subband determined to have been encoded in the frequency domain, converting the domain of the signal by the FV-MLT, decoding the high frequency band signal using the low frequency band signal, and decoding the high frequency band signal by the FV- And combining the signal converted into the time domain and the signal obtained by decoding the high frequency band signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Converting a signal decoded in the domain into a frequency domain by IMDCT, decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, and decoding the signal converted in the frequency domain and the signal decoded in the frequency domain Synthesizing a high-frequency band signal and a low-frequency band signal, inverse-transforming the frequency domain to a time domain by MDCT, decoding a high-frequency band signal using a low-frequency band signal, and synthesizing a signal obtained by decoding the high- To .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method including decoding a significant frequency component, decoding a residual spectral component excluding the significant frequency component, synthesizing the decoded result, Decoding the high frequency band signal using a low frequency band signal, synthesizing a signal obtained by decoding the high frequency band signal and the signal reversely converted to the time domain, And upmixing the synthesized signal into a stereo signal using a parameter for mixing.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method including decoding a significant frequency component, decoding a residual spectral component excluding the significant frequency component, Decoding the high frequency band signal using the low frequency band signal, decoding the high frequency band signal and the inverse transformed signal in the time domain, decoding the high frequency band signal, decoding the high frequency band signal, And upmixing the synthesized signal to a stereo signal using parameters upmixed to the stereo transmitted from the encoding stage.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method, comprising: determining a domain encoded for each subband; converting a signal into a time domain or a frequency domain for each subband; Decoding a signal of a subband determined to be encoded in the time domain in a time domain, decoding a high frequency band signal using a low frequency band signal, decoding the high frequency band signal in the time domain, Mixing the converted signal with a signal obtained by decoding the high frequency band signal, and upmixing the synthesized signal into a stereo signal using a parameter upmixed to the stereo transmitted from the encoding end .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method, comprising: determining a domain encoded for each subband; converting a signal into a time domain or a frequency domain for each subband; Decoding the residual spectral components except for the significant frequency component, decoding the subband signal determined to have been encoded in the time domain in the time domain, using the low frequency band signal, A high frequency band signal is decoded; a step of synthesizing the signal converted into the time domain and a signal obtained by decoding the high frequency band signal; and a step of converting the synthesized signal into a stereo signal using up-Characterized in that it comprises the step of mixing up the arcs.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Decoding the signal decoded in the domain into a frequency domain, decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, synthesizing the signal converted into the frequency domain and the signal decoded in the frequency domain Frequency domain to a time domain, decoding a high-frequency band signal using a low-frequency band signal, synthesizing a signal obtained by decoding the inverse-transformed signal in the time domain and a signal obtained by decoding the high-frequency band signal, Using the parameter to stereo upmixing characterized in that it comprises the step of mixing up the composite signal to a stereo signal.

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Decoding the signal of the subband determined to be encoded in the frequency domain, converting the domain of the signal by the FV-MLT, decoding the high-frequency band signal using the low-frequency band signal, Mixing the signal converted into the time domain and the signal obtained by decoding the high frequency band signal and upmixing the synthesized signal into a stereo signal using parameters upmixed to the stereo transmitted from the encoding end .

상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an audio / speech signal decoding method comprising: determining a domain encoded for each subband; decoding a signal of a subband determined to be encoded in a time domain in a time domain; Converting a signal decoded in the domain into a frequency domain by IMDCT, decoding the signal of the subband determined to be encoded in the frequency domain in the frequency domain, and decoding the signal converted in the frequency domain and the signal decoded in the frequency domain Synthesizing a high-frequency band signal and a low-frequency band signal, inverse-transforming the frequency domain to a time domain by MDCT, decoding a high-frequency band signal using a low-frequency band signal, And To call by using the parameters for upmixing in a stereo transmitted from a flower bed characterized in that it comprises the step of mixing up the composite signal to a stereo signal.

전술된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것을 특징으로 한다.And is a computer-readable recording medium on which a program for causing a computer to execute the above-described invention is recorded.

본 발명에 의한 오디오/스피치 신호 부호화 및 복호화 방법 및 장치에 의하면, 스피치 신호, 오디오 신호 및 스피치 신호와 오디오 신호가 혼합된 신호 모두를 효율적으로 부호화하고 복호화할 수 있다. 또한, 부호화 및 복호화를 수행함에 있어서 적은 비트를 사용하고도 음질을 보다 향상시킬 수 있는 효과를 거둘 수 있다.According to the method and apparatus for encoding / decoding an audio / speech signal according to the present invention, both a speech signal, an audio signal, and a mixed signal of a speech signal and an audio signal can be efficiently encoded and decoded. In addition, even when a small number of bits are used in encoding and decoding, the sound quality can be improved.

도 1은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제1 실시예를 블록도로 도시한 것이다.
도 2는 본 발명에 의한 오디오/스피치 신호 부호화 장치에서 주파수도메인 부호화부(110)의 일 실시예를 블록도로 도시한 것이다.
도 3은 본 발명에 의한 오디오/스피치 신호 부호화 장치에서 주파수도메인 부호화부(110)의 다른 일 실시예를 블록도로 도시한 것이다.
도 4은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제2 실시예를 블록도로 도시한 것이다.
도 5는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제3 실시예를 블록도로 도시한 것이다.
도 6은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제4 실시예를 블록도로 도시한 것이다.
도 7은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제5 실시예를 블록도로 도시한 것이다.
도 8은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제6 실시예를 블록도로 도시한 것이다.
도 9는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제7 실시예를 블록도로 도시한 것이다.
도 10은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제8 실시예를 블록도로 도시한 것이다.
도 11은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제1 일 실시예를 블록도로 도시한 것이다.
도 12는 본 발명에 의한 오디오/스피치 신호 복호화 장치에서 주파수도메인 복호화부(1110)의 일 실시예를 블록도로 도시한 것이다.
도 13은 본 발명에 의한 오디오/스피치 신호 복호화 장치에서 주파수도메인 복호화부(1110)의 다른 일 실시예를 블록도로 도시한 것이다.
도 14는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제2 일 실시예를 블록도로 도시한 것이다.
도 15는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제3 일 실시예를 블록도로 도시한 것이다.
도 16은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제4 일 실시예를 블록도로 도시한 것이다.
도 17은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제5 일 실시예를 블록도로 도시한 것이다.
도 18은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제6 일 실시예를 블록도로 도시한 것이다.
도 19는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제7 일 실시예를 블록도로 도시한 것이다.
도 20은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제8 일 실시예를 블록도로 도시한 것이다.
도 21은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.
도 22는 본 발명에 의한 오디오/스피치 신호 부호화 방법에서 제2110단계의 일 실시예를 흐름도로 도시한 것이다.
도 23은 본 발명에 의한 오디오/스피치 신호 부호화 방법에서 제2110단계의 다른 일 실시예를 흐름도로 도시한 것이다.
도 24는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.
도 25는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.
도 26은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제4 실시예를 흐름도로 도시한 것이다.
도 27은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제5 실시예를 흐름도로 도시한 것이다.
도 28은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제6 실시예를 흐름도로 도시한 것이다.
도 29는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제7 실시예를 흐름도로 도시한 것이다.
도 30은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제8 실시예를 흐름도로 도시한 것이다.
도 31은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.
도 32는 본 발명에 의한 오디오/스피치 신호 복호화 방법에서 제3110단계의 일 실시예를 흐름도로 도시한 것이다.
도 33은 본 발명에 의한 오디오/스피치 신호 복호화 방법에서 제3110단계의 다른 일 실시예를 흐름도로 도시한 것이다.
도 34는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.
도 35는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.
도 36은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제4 실시예를 흐름도로 도시한 것이다.
도 37은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제5 실시예를 흐름도로 도시한 것이다.
도 38은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제6 실시예를 흐름도로 도시한 것이다.
도 39는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제7 실시예를 흐름도로 도시한 것이다.
도 40은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제8 실시예를 흐름도로 도시한 것이다.1 is a block diagram of a first embodiment of an audio / speech signal encoding apparatus according to the present invention.
2 is a block diagram of an embodiment of the frequency domain coding unit 110 in the audio / speech signal encoding apparatus according to the present invention.
FIG. 3 is a block diagram of another embodiment of the frequency domain encoding unit 110 in the audio / speech signal encoding apparatus according to the present invention.
4 is a block diagram of a second embodiment of the audio / speech signal encoding apparatus according to the present invention.
5 is a block diagram of a third embodiment of the audio / speech signal encoding apparatus according to the present invention.
6 is a block diagram of a fourth embodiment of the audio / speech signal encoding apparatus according to the present invention.
7 is a block diagram of a fifth embodiment of the audio / speech signal encoding apparatus according to the present invention.
FIG. 8 is a block diagram of a sixth embodiment of the audio / speech signal encoding apparatus according to the present invention.
9 is a block diagram of a seventh embodiment of the audio / speech signal encoding apparatus according to the present invention.
10 is a block diagram of an audio / speech signal encoding apparatus according to an eighth embodiment of the present invention.
11 is a block diagram of a first embodiment of an audio / speech signal decoding apparatus according to the present invention.
12 is a block diagram of an embodiment of a frequency domain decoding unit 1110 in the audio / speech signal decoding apparatus according to the present invention.
FIG. 13 is a block diagram of another embodiment of the frequency domain decoding unit 1110 in the audio / speech signal decoding apparatus according to the present invention.
FIG. 14 is a block diagram of a second embodiment of an audio / speech signal decoding apparatus according to the present invention.
15 is a block diagram of a third embodiment of an audio / speech signal decoding apparatus according to the present invention.
16 is a block diagram of a fourth embodiment of an audio / speech signal decoding apparatus according to the present invention.
17 is a block diagram of a fifth embodiment of the audio / speech signal decoding apparatus according to the present invention.
18 is a block diagram of a sixth embodiment of an audio / speech signal decoding apparatus according to the present invention.
19 is a block diagram of a seventh embodiment of the audio / speech signal decoding apparatus according to the present invention.
20 is a block diagram of an eighth embodiment of an audio / speech signal decoding apparatus according to the present invention.
FIG. 21 is a flowchart illustrating a first embodiment of the audio / speech signal encoding method according to the present invention.
FIG. 22 is a flowchart illustrating an embodiment of operation 2110 in the audio / speech signal encoding method according to the present invention.
FIG. 23 is a flowchart illustrating a method for encoding audio / speech signals according to another embodiment of the present invention.
FIG. 24 is a flowchart illustrating a second embodiment of the audio / speech signal encoding method according to the present invention.
FIG. 25 is a flowchart illustrating a third embodiment of the audio / speech signal encoding method according to the present invention.
FIG. 26 is a flowchart illustrating a fourth embodiment of the audio / speech signal encoding method according to the present invention.
FIG. 27 is a flowchart illustrating a fifth embodiment of the audio / speech signal encoding method according to the present invention.
FIG. 28 is a flowchart illustrating a sixth embodiment of the audio / speech signal encoding method according to the present invention.
FIG. 29 is a flowchart illustrating a seventh embodiment of the audio / speech signal encoding method according to the present invention.
FIG. 30 is a flowchart illustrating an eighth embodiment of the audio / speech signal encoding method according to the present invention.
FIG. 31 is a flowchart illustrating a first embodiment of a method of decoding an audio / speech signal according to the present invention.
FIG. 32 is a flowchart illustrating an embodiment of operation 3110 in the audio / speech signal decoding method according to the present invention.
FIG. 33 is a flowchart illustrating a method of decoding audio / speech signals according to another embodiment of the present invention.
FIG. 34 is a flowchart illustrating a second embodiment of the audio / speech signal decoding method according to the present invention.
FIG. 35 is a flowchart illustrating a method for decoding an audio / speech signal according to a third embodiment of the present invention.
FIG. 36 is a flowchart illustrating a method for decoding an audio / speech signal according to a fourth embodiment of the present invention.
FIG. 37 is a flowchart illustrating a method for decoding an audio / speech signal according to a fifth embodiment of the present invention.
38 is a flowchart illustrating a method for decoding an audio / speech signal according to a sixth embodiment of the present invention.
FIG. 39 is a flowchart illustrating a method of decoding an audio / speech signal according to a seventh embodiment of the present invention.
40 is a flowchart illustrating an eighth embodiment of a method of decoding an audio / speech signal according to the present invention.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 오디오/스피치 신호 부호화 및 복호화 방법 및 장치에 대해 상세히 설명한다.Hereinafter, a method and apparatus for encoding and decoding audio / speech signals according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제1 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 제1 도메인 변환부(100), 주파수도메인 부호화부(110) 및 다중화부(120)를 포함하여 이루어진다.1 is a block diagram of a first embodiment of an audio / speech signal encoding apparatus according to the present invention. The audio / speech signal encoding apparatus includes a first domain conversion unit 100, a frequency domain encoding unit 110, And a multiplexing unit (120).

제1 도메인 변환부(100)는 입력 단자 IN을 통해 입력된 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(100)는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. The first domain converter 100 converts the input signal input through the input terminal IN into a frequency domain from a time domain and divides the input signal into subbands. Here, the first domain converter 100 converts the input signal from the time domain to the frequency domain by the first conversion method and outputs the input signal by the second conversion method other than the first conversion method to apply the psychoacoustic model Time domain to the frequency domain. The signal converted by the first conversion method is used for encoding the input signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the input signal.

예를 들어, 제1 도메인 변환부(100)는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 실수부와 함께 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, the first domain converter 100 transforms an input signal into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to a first conversion scheme, expresses the input signal as a real part, and outputs an MDST (Modified Discrete Sine Transform), and can be expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the input signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the input signal together with the real part . Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

주파수도메인 부호화부(110)는 제1 도메인 변환부(100)에서 제1 변환 방식에 의해 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 이러한 주파수도메인 부호화부(110)는 도 2 및 3에 도시된 예와 같이 실시할 수 있다.The frequency domain coding unit 110 selects and quantizes an important frequency component (important spectral component) in each subband of the signal converted by the first conversion method in the first domain converter 100, The residual spectral components are extracted to calculate and quantize the noise level of the residual spectral components. The frequency domain coding unit 110 may be implemented as shown in the example shown in FIGS.

첫째, 도 2는 주파수도메인 부호화부(110)의 일 실시예를 블록도로 도시한 것으로서, 주파수도메인 부호화부(110)는 심리음향모델 적용부(200), 중요주파수성분 선택부(210), 양자화부(220), 노이즈 처리부(230)를 포함하여 이루어진다.2 is a block diagram of an embodiment of the frequency domain coding unit 110. The frequency domain coding unit 110 includes a psychoacoustic model application unit 200, an important frequency component selection unit 210, (220), and a noise processor (230).

심리음향모델 적용부(200)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해서 입력 신호에 대해 심리음향모델을 적용한다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다. The psychoacoustic model application unit 200 applies a psychoacoustic model to the input signal in order to eliminate perceptual redundancy due to human auditory characteristics. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

심리음향모델 적용부(200)는 인간의 청각 특성을 이용한 심리음향모델을 적용하여 감도가 낮은 세부 정보를 생략하고, 주파수 별로 감도의 정도를 뜻하는 SMR 값을 할당한다. 심리음향모델 적용부(200)는 제2 변환 방식으로 변환된 신호를 이용하여 심리음향모델을 적용하며, 제2 변환 방식의 예로 MDST가 있다.The psychoacoustic model application unit 200 applies the psychoacoustic model using the human auditory characteristics to omit detailed information having low sensitivity and assigns an SMR value indicating the degree of sensitivity to each frequency. The psychoacoustic model application unit 200 applies the psychoacoustic model using the signal converted into the second conversion method, and MDST is an example of the second conversion method.

중요주파수성분 선택부(210)는 입력 단자 IN 1을 통하여 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분을 선택한다. 중요주파수성분 선택부(210)에서 중요 주파수 성분을 선택하는 방법으로 다음과 같은 방법들이 있다. 첫째, SMR 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택한다. 셋째, 각 서브 밴드 별로 SNR 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있다.The important frequency component selection unit 210 selects an important frequency component in each subband of the signal expressed in the frequency domain input through the input terminal IN 1. The important frequency component selection unit 210 selects the important frequency components as follows. First, the SMR value is calculated and a signal larger than the masking threshold value is selected as an important frequency component. Second, spectral peaks are extracted in consideration of predetermined weights to select important frequency components. Third, an SNR value is calculated for each subband, and a frequency component having a peak value of a predetermined size or more among subbands having a low SNR value is selected as an important frequency component. Each of the three methods described above can be carried out individually, but can also be implemented by combining at least one method.

양자화부(220)는 심리음향모델 적용부(200)에서 할당된 SMR 값으로 중요주파수성분 선택부(210)에서 선택된 중요 주파수 성분을 양자화하여 출력 단자 OUT 1을 통해 출력한다.The quantization unit 220 quantizes an important frequency component selected by the important frequency component selection unit 210 as an SMR value allocated by the psychoacoustic model application unit 200 and outputs the quantized signal through the output terminal OUT 1.

노이즈 처리부(230)는 입력 단자 IN 1을 통하여 입력되는 주파수 도메인으로 표현된 신호에서 중요주파수성분 선택부(210)에서 선택된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하고, 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 여기서, 노이즈 처리부(230)는 양자화된 결과를 출력 단자 OUT 2를 통해 출력한다.The noise processing unit 230 extracts a residual spectral component excluding the important frequency component selected by the important frequency component selection unit 210 from the signal expressed in the frequency domain input through the input terminal IN 1 and outputs the noise level of the residual spectral component And quantizes them. Here, the noise processing unit 230 outputs the quantized result through the output terminal OUT 2.

둘째, 도 3은 주파수도메인 부호화부(110)의 다른 일 실시예를 블록도로 도시한 것으로서, 주파수도메인 부호화부(110)는 음성 툴 부호화부(300), 심리음향모델 적용부(310), 중요주파수성분 선택부(320), 양자화부(330) 및 노이즈 처리부(340)를 포함하여 이루어진다.3 is a block diagram of another embodiment of the frequency domain coding unit 110. The frequency domain coding unit 110 includes a speech tool coding unit 300, a psychoacoustic model application unit 310, A frequency component selection unit 320, a quantization unit 330, and a noise processing unit 340.

음성 툴 부호화부(300)는 어택(attack)이 강한 신호로 판별되는 신호에 대하여 짧은 트랜스폼(transform)의 길이로 좀 더 세밀하게 부호화한다.The speech tool encoding unit 300 encodes the signal that is determined to be a strong attack signal with a length of a short transform in a more detailed manner.

심리음향모델 적용부(310)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해서 입력 신호에 대해 심리음향모델을 적용한다. 또한, 심리음향모델 적용부(310)는 입력 단자 IN 2를 통하여 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에 대하여 할당되는 비트를 계산한다.The psychoacoustic model application unit 310 applies a psychoacoustic model to the input signal to eliminate perceptual redundancy due to human auditory characteristics. In addition, the psychoacoustic model application unit 310 calculates a bit allocated to each subband of the signal expressed in the frequency domain input through the input terminal IN 2.

심리음향모델 적용부(310)는 인간의 청각 특성을 이용한 심리음향모델을 적용하여 감도가 낮은 세부 정보를 생략하고, 주파수 별로 감도의 정도를 뜻하는 SMR 값을 달리하여 할당한다. 심리음향모델 적용부(200)는 제2 변환 방식으로 변환된 신호를 이용하여 심리음향모델을 적용하며, 제2 변환 방식의 예로 MDST가 있다.The psychoacoustic model application unit 310 applies the psychoacoustic model using the human auditory characteristics to omit detailed information having low sensitivity and allocates the SMR values indicating the degree of sensitivity to each frequency differently. The psychoacoustic model application unit 200 applies the psychoacoustic model using the signal converted into the second conversion method, and MDST is an example of the second conversion method.

중요주파수성분 선택부(320)는 입력 단자 IN 2를 통하여 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분을 선택한다. 중요주파수성분 선택부(320)에서 중요 주파수 성분을 선택하는 방법으로 다음과 같은 방법들이 있다. 첫째, SMR 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택한다. 셋째, 각 서브 밴드 별로 SNR 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있다.The critical frequency component selection unit 320 selects an important frequency component in each subband of the signal expressed in the frequency domain input through the input terminal IN 2. The important frequency component selection unit 320 selects the important frequency components as follows. First, the SMR value is calculated and a signal larger than the masking threshold value is selected as an important frequency component. Second, spectral peaks are extracted in consideration of predetermined weights to select important frequency components. Third, an SNR value is calculated for each subband, and a frequency component having a peak value of a predetermined size or more among subbands having a low SNR value is selected as an important frequency component. Each of the three methods described above can be carried out individually, but can also be implemented by combining at least one method.

양자화부(330)는 심리음향모델 적용부(310)에서 할당된 SMR 값으로 중요주파수성분 선택부(320)에서 선택된 중요 주파수 성분을 양자화하여 출력 단자 OUT 4를 통해 출력한다.The quantization unit 330 quantizes an important frequency component selected by the important frequency component selection unit 320 as an SMR value assigned by the psychoacoustic model application unit 310 and outputs the quantized value through the output terminal OUT4.

노이즈 처리부(340)는 입력 단자 IN 2를 통하여 입력되는 주파수 도메인으로 표현된 신호에서 중요주파수성분 선택부(320)에서 선택된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하고, 잔여 스펙트럼 성분의 노이즈 레벨을 서브 밴드 별로 계산하여 양자화한다. 여기서, 노이즈 처리부(340)는 양자화된 결과를 출력 단자 OUT 5를 통해 출력한다.The noise processing unit 340 extracts a residual spectral component excluding the important frequency component selected by the important frequency component selection unit 320 from the signal expressed in the frequency domain inputted through the input terminal IN 2 and outputs the noise level of the residual spectral component And calculates and quantizes each subband. Here, the noise processing unit 340 outputs the quantized result through the output terminal OUT 5.

여기서, 노이즈 레벨은 선형 예측(linear prediction) 분석을 수행하여 계산할 수 있다. 이러한 선형 예측 분석은 자기 상관법(autocorrelation method)을 이용하여 수행하며, 공분산법(covariance method), 더빈의 방법(Durbin's method)등을 이용할 수 있다. 선형 예측을 통해 부호화기에서 현재 프레임에서 노이즈 성분이 얼마나 많은지를 예측한다. 만일 노이즈 성분이 강한 경우 노이즈 레벨을 그대로 전송하고, 만일 노이즈 성분이 적고 톤 성분이 강한 경우에는 상대적으로 노이즈 레벨을 줄여 전송한다. 또한 작은 윈도우일 경우에는 노이즈가 급격하게 변하는 경우이므로 추가적으로 노이즈 레벨을 줄여 전송한다.Here, the noise level can be calculated by performing a linear prediction analysis. The linear prediction analysis is performed using an autocorrelation method, and a covariance method, a Durbin's method, or the like can be used. Through linear prediction, the encoder predicts how much noise is in the current frame. If the noise component is strong, the noise level is transmitted as it is. If the noise component is small and the tone component is strong, the noise level is reduced and transmitted relatively. Also, in the case of a small window, since the noise is rapidly changed, the noise level is further reduced and transmitted.

다중화부(120)는 주파수도메인 부호화부(110)에서 부호화한 결과를 다중화하여 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(110)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The multiplexing unit 120 multiplexes the result of encoding in the frequency domain encoding unit 110 to generate a bitstream and outputs the bitstream through the output terminal OUT. Here, the result of encoding in the frequency domain encoding unit 110 is a result of quantizing the important frequency component in the quantization unit 220 described in the embodiment of FIG. 2 and quantizing the noise level of the residual spectral component in the noise processing unit 230 As a result of encoding in the speech tool encoding unit 300 described in the embodiment of FIG. 3, a result obtained by quantizing the important frequency components in the quantization unit 330 and a noise result of the residual spectral components in the noise processing unit 340 The result of level quantization.

도 4는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 도메인 변환부(400), 모드 결정부(410), 시간도메인 부호화부(420), 주파수도메인 부호화부(430) 및 다중화부(440)를 포함하여 이루어진다.FIG. 4 is a block diagram of an audio / speech signal encoding apparatus according to the present invention. The audio / speech signal encoding apparatus includes a domain conversion unit 400, a mode determination unit 410, A frequency domain coding unit 420, a frequency domain coding unit 430, and a multiplexing unit 440.

도메인 변환부(400)는 입력 단자 IN을 통해 입력된 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고 서브 밴드 별로 분할하며, 소정의 서브 밴드들에 대하여 시간 도메인으로 역변환한다. The domain converter 400 converts the input signal input through the input terminal IN into the frequency domain in the time domain, divides the input signal into the frequency domain, and inversely transforms the predetermined subbands into the time domain.

여기서, 도메인 변환부(400)는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Here, the domain converter 400 may be implemented with all conversion schemes that can simultaneously represent signals in the time domain and the frequency domain by receiving the signals represented in the time domain. More specifically, it is possible to convert a signal expressed in a time domain into a frequency domain, and then adaptively convert temporal resolution of each band to a frequency domain for a predetermined subband, to be. In addition, a signal for applying the psychoacoustic module is generated through the imaginary expression. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

이러한 도메인 변환부(400)는 제1 도메인 변환부(403) 및 제2 도메인 변환부(406)를 포함하여 이루어진다.The domain converting unit 400 includes a first domain converting unit 403 and a second domain converting unit 406.

제1 도메인 변환부(403)는 입력 단자 IN을 통해 입력된 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(403)는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.The first domain converter 403 converts the input signal input through the input terminal IN into a frequency domain from a time domain, and divides the input signal into sub-bands. Here, the first domain converter 403 converts the input signal from the time domain to the frequency domain using the first conversion scheme, and uses the second conversion scheme other than the first conversion scheme to apply the input signal Time domain to the frequency domain. The signal converted by the first conversion method is used for encoding the input signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the input signal.

예를 들어, 제1 도메인 변환부(403)는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.For example, the first domain converter 403 converts an input signal into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to a first conversion scheme, expresses the input signal as a real part, (Modified Discrete Sine Transform), and can be expressed as an imaginary part. Here, a signal converted by MDCT and expressed as a real part is used to encode an input signal, and a signal expressed by an imaginary part converted by MDST is used to apply a psychoacoustic model to an input signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT . Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

제2 도메인 역변환부(406)는 제1 도메인 변환부(403)에서 주파수 도메인으로 변환된 소정의 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(406)는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.The second domain inversion unit 406 inverts the frequency domain-converted predetermined subbands in the first domain converter 403 to the time domain in the frequency domain by an inverse conversion method for the first conversion scheme. For example, the second domain inversion unit 406 performs an inverse conversion by an inverse modified discrete cosine transform (IMDCT) corresponding to an inverse transformation method for the first transformation method.

모드 결정부(410)는 제1 도메인 변환부(403)에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다. 다시 말하면, 모드 결정부(410)는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 모드 결정부(410)는 각 서브 밴드에 대하여 모드 결정부(410)에서 결정된 도메인을 나타내는 식별자를 양자화하여 다중화부(440)로 출력한다.The mode determination unit 410 determines whether it is appropriate to encode each subband of the frequency domain-converted signal in the frequency domain in the first domain converter 403. In other words, the mode determination unit 410 determines whether to encode in the frequency domain or in the time domain for each subband according to a preset reference. The mode determination unit 410 quantizes an identifier indicating a domain determined by the mode determination unit 410 for each subband, and outputs the quantized identifier to the multiplexing unit 440.

여기서, 모드 결정부(410)가 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제1 도메인 변환부(403)로부터 입력되는 주파수 도메인에 해당하는 신호만 이용하는 방법, 입력 단자 IN을 통하여 입력되는 시간 도메인에 해당하는 신호만 이용하는 방법, 제1 도메인 변환부(403)로부터 입력되는 주파수 도메인에 해당하는 신호와 입력 단자 IN을 통하여 입력되는 시간 도메인에 해당하는 신호를 모두 이용하는 방법이 있다.Here, when determining that the mode determining unit 410 is suitable for encoding in a frequency domain for a predetermined subband, a method of using only the signal corresponding to the frequency domain input from the first domain converting unit 403, A method in which only the signal corresponding to the time domain inputted through the input terminal IN and the signal corresponding to the frequency domain inputted from the first domain converter 403 and the signal corresponding to the time domain inputted through the input terminal IN are used There is a method to use.

모드 결정부(410)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드를 제2 도메인 역변환부(406)는 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.The second domain inversion unit 406 inversely transforms the subband determined to be unsuitable in the frequency domain by the mode determination unit 410 to the time domain in the frequency domain by the inverse transformation method for the first transformation scheme.

시간도메인 부호화부(420)는 제2 도메인 역변환부(406)에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다.The time domain encoding unit 420 encodes the signal of the inverse-transformed subband in the time domain in the time domain in the second domain inversion unit 406.

소정의 경우 모드 결정부(410)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드도 시간도메인 부호화부(420)에서 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 주파수도메인 부호화부(430)에서도 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인 뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화하여 다중화부(440)로 출력한다. The sub-band determined by the mode determination unit 410 to be unsuitable for encoding in the frequency domain is also encoded in the time domain by the time-domain encoding unit 420, 430 may also encode signals of the same subband into the frequency domain. Accordingly, the predetermined subband (s) are encoded not only in the time domain but also in the frequency domain. In this case, an identifier indicating that a signal of a predetermined subband is encoded in both the time domain and the frequency domain is quantized and output to the multiplexer 440.

주파수도메인 부호화부(430)는 모드 결정부(410)에서 주파수 도메인으로 부호화하는 것이 적합하다고 판단된 서브 밴드를 주파수 도메인에서 부호화한다. 여기서, 주파수도메인 부호화부(430)는 전술한 도 2 및 3에 도시된 예에 의하여 실시할 수 있다.The frequency domain encoding unit 430 encodes the subbands determined to be suitable for frequency domain encoding by the mode determination unit 410 in the frequency domain. Here, the frequency domain encoding unit 430 can be implemented by the example shown in FIGS. 2 and 3 described above.

다중화부(440)는 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 시간도메인 부호화부(420)에서 부호화한 결과 및 주파수도메인 부호화부(430)에서 부호화한 결과를 포함하여 다중화함으로써 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(430)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The multiplexing unit 440 multiplexes the result of coding by the time domain encoding unit 420 and the result of encoding by the frequency domain encoding unit 430 as a result of quantizing the identifier indicating the domain in which each subband is encoded, And outputs the stream through the output terminal OUT. Here, the result of encoding by the frequency domain encoding unit 430 is a result of quantizing the important frequency component in the quantization unit 220 described in the embodiment of FIG. 2 and quantizing the noise level of the residual spectral component in the noise processing unit 230 As a result of encoding in the speech tool encoding unit 300 described in the embodiment of FIG. 3, a result obtained by quantizing the important frequency components in the quantization unit 330 and a noise result of the residual spectral components in the noise processing unit 340 The result of level quantization.

도 5는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 스테레오 부호화부(500), 제1 도메인 변환부(510), 주파수도메인 부호화부(520) 및 다중화부(530)를 포함하여 이루어진다.5 is a block diagram of an audio / speech signal encoding apparatus according to the present invention. The audio / speech signal encoding apparatus includes a stereo encoding unit 500, a first domain conversion unit 510, a frequency domain An encoding unit 520 and a multiplexing unit 530.

스테레오 부호화부(500)는 입력 단자 IN을 통해 입력된 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다. 스테레오 부호화부(500)에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 부호화부(500)는 추출한 파라미터를 양자화하여 다중화부(530)로 출력한다.When the input signal input through the input terminal IN corresponds to a stereo signal, the stereo encoding unit 500 analyzes the input signal to extract a parameter and downmix it. The parameter extracted by the stereo encoding unit 500 is information necessary for upmixing the mono signal transmitted from the encoding end to the stereo signal from the decoding end. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. Here, the stereo encoding unit 500 quantizes the extracted parameters and outputs them to the multiplexing unit 530.

제1 도메인 변환부(510)는 스테레오 부호화부(500)에서 다운믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(510)는 스테레오 부호화부(500)에서 다운믹싱된 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.The first domain converter 510 converts the downmixed signal from the time domain to the frequency domain in the stereo encoding unit 500, and divides the downmixed signal into subbands. Here, the first domain converter 510 converts the downmixed signal in the stereo encoding unit 500 into a frequency domain in a time domain from a first conversion scheme, The second conversion scheme also converts the input signal from the time domain to the frequency domain. The signal converted by the first conversion method is used for encoding the input signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the input signal. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

예를 들어, 제1 도메인 변환부(510)는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, the first domain converter 510 transforms an input signal into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to a first conversion scheme, expresses the input signal as a real part, (Modified Discrete Sine Transform), and can be expressed as an imaginary part. Here, a signal converted by MDCT and expressed as a real part is used to encode an input signal, and a signal expressed by an imaginary part converted by MDST is used to apply a psychoacoustic model to an input signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

주파수도메인 부호화부(520)는 제1 도메인 변환부(510)로부터 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 이러한 주파수도메인 부호화부(520)는 전술한 도 2 및 3에 도시된 예와 같이 실시할 수 있다.The frequency domain coding unit 520 selects and quantizes an important frequency component (important spectral component) in each subband of the signal represented by the frequency domain input from the first domain converter 510, The noise level of the residual spectral components is calculated and quantized by extracting the spectral components. The frequency domain encoding unit 520 may be implemented as the example shown in FIGS.

다중화부(530)는 스테레오 부호화부(500)에서 양자화된 파라미터 및 주파수도메인 부호화부(520)에서 부호화한 결과를 다중화하여 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(520)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The multiplexing unit 530 multiplexes the parameters quantized by the stereo encoding unit 500 and the result encoded by the frequency domain encoding unit 520 to generate a bitstream and outputs the bitstream through an output terminal OUT. Here, the result of encoding in the frequency domain encoding unit 520 is a result of quantizing the important frequency component in the quantization unit 220 described in the embodiment of FIG. 2 and quantizing the noise level of the residual spectral component in the noise processing unit 230 As a result of encoding in the speech tool encoding unit 300 described in the embodiment of FIG. 3, a result obtained by quantizing the important frequency components in the quantization unit 330 and a noise result of the residual spectral components in the noise processing unit 340 The result of level quantization.

도 6은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 스테레오 부호화부(600), 도메인 변환부(610), 모드 결정부(620), 시간도메인 부호화부(630), 주파수도메인 부호화부(640) 및 다중화부(650)를 포함하여 이루어진다.6 is a block diagram of an audio / speech signal encoding apparatus according to the present invention. The audio / speech signal encoding apparatus includes a stereo encoding unit 600, a domain converting unit 610, a mode determining unit 620, a time domain encoding unit 630, a frequency domain encoding unit 640, and a multiplexing unit 650.

스테레오 부호화부(600)는 입력 단자 IN을 통해 입력된 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다. 스테레오 부호화부(600)에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 부호화부(600)는 추출한 파라미터를 양자화하여 다중화부(530)로 출력한다.When the input signal input through the input terminal IN corresponds to a stereo signal, the stereo encoding unit 600 analyzes the input signal, extracts the parameter, and downmixes the input signal. The parameters extracted by the stereo encoding unit 600 are information necessary for upmixing the mono signal transmitted from the encoding end to the stereo signal from the decoding end. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. Here, the stereo encoding unit 600 quantizes the extracted parameters and outputs them to the multiplexing unit 530.

도메인 변환부(610)는 스테레오 부호화부(600)에서 다운믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고 서브 밴드 별로 분할하며, 소정의 서브 밴드들에 대하여 시간 도메인으로 역변환한다.The domain converting unit 610 converts the downmixed signal from the time domain to the frequency domain in the stereo encoding unit 600, divides the downmixed signal into frequency domains, and inversely transforms the predetermined subbands into the time domain.

여기서, 도메인 변환부(610)는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Here, the domain converter 610 may be implemented with all conversion schemes that can simultaneously express signals in the time domain and the frequency domain by receiving the signals represented in the time domain. More specifically, it is possible to convert a signal expressed in a time domain into a frequency domain, and then adaptively convert temporal resolution of each band to a frequency domain for a predetermined subband, to be. In addition, a signal for applying the psychoacoustic module is generated through the imaginary expression. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

이러한 도메인 변환부(610)는 제1 도메인 변환부(613) 및 제2 도메인 역변환부(616)를 포함하여 이루어진다.The domain converting unit 610 includes a first domain converting unit 613 and a second domain inverting unit 616.

제1 도메인 변환부(613)는 스테레오 부호화부(600)에서 다운믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(613)는 스테레오 부호화부(600)에서 다운믹싱된 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 다운믹싱된 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 다운믹싱된 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.The first domain converter 613 converts the downmixed signal from the time domain to the frequency domain in the stereo encoder 600, and divides the downmixed signal into subbands. Here, the first domain converting unit 613 converts the downmixed signal from the stereo encoding unit 600 into a frequency domain in a time domain by a first conversion method, The second conversion scheme also converts the input signal from the time domain to the frequency domain. The signal converted by the first conversion method is used for encoding the downmixed signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the downmixed signal.

예를 들어, 제1 도메인 변환부(613)는 다운믹싱된 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 다운믹싱된 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 다운믹싱된 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, the first domain converter 613 converts a downmixed signal into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to a first conversion scheme, expresses the downmixed signal by a real part, To the frequency domain by means of Modified Discrete Sine Transform (MDST). Here, the signal converted by the MDCT and represented by the real part is used for encoding the downmixed signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the downmixed signal . Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

제2 도메인 역변환부(616)는 제1 도메인 변환부(613)에서 주파수 도메인으로 변환된 소정의 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(616)는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.The second domain inversion unit 616 performs inverse conversion of the predetermined subbands converted from the first domain transform unit 613 into a time domain in the frequency domain by an inverse transformation method for the first transformation scheme. For example, the second domain inversion unit 616 performs an inverse conversion by an inverse modified discrete cosine transform (IMDCT) corresponding to an inverse transformation scheme for the first transformation scheme.

모드 결정부(620)는 제1 도메인 변환부(613)에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다. 다시 말하면, 모드 결정부(620)는 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 모드 결정부(620)는 각 서브 밴드에 대하여 모드 결정부(620)에서 결정된 도메인을 나타내는 식별자를 양자화하여 다중화부(650)로 출력한다.The mode determiner 620 determines whether it is appropriate to encode each subband of the frequency domain-converted signal in the frequency domain in the first domain converter 613. In other words, the mode determination unit 620 determines whether to encode in the frequency domain or the time domain for each subband. The mode determination unit 620 quantizes identifiers indicating the domains determined by the mode determination unit 620 for each subband, and outputs the quantized identifiers to the multiplexing unit 650.

여기서, 모드 결정부(620)가 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제1 도메인 변환부(613)로부터 입력되는 주파수 도메인에 해당하는 신호만 이용하는 방법, 스테레오 부호화부(600)로부터 입력되는 시간 도메인에 해당하는 신호만 이용하는 방법, 제1 도메인 변환부(613)로부터 입력되는 주파수 도메인에 해당하는 신호 및 스테레오 부호화부(600)로부터 입력되는 시간 도메인에 해당하는 신호를 모두 이용하는 방법이 있다.Here, when determining that the mode determining unit 620 desires to encode a predetermined subband in the frequency domain, a method of using only the signal corresponding to the frequency domain input from the first domain converting unit 613, A signal corresponding to a frequency domain input from the first domain transform unit 613 and a signal corresponding to a time domain input from the stereo encoding unit 600 There is a method of using all of the signals.

제2 도메인 역변환부(616)는 모드 결정부(620)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드를 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(616)는 IMDCT를 적용하여 소정의 서브 밴드를 시간 도메인으로 역변환한다.The second domain inversion unit 616 inversely transforms the subbands determined to be unsuitable in the frequency domain by the mode determination unit 620 to the time domain in the frequency domain by the inverse transformation method for the first conversion scheme. For example, the second domain inversion unit 616 applies IMDCT to invert the predetermined subband to the time domain.

시간도메인 부호화부(630)는 제2 도메인 역변환부(616)에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다. The time domain encoding unit 630 encodes the signal of the inverse-transformed subband in the time domain in the time domain in the second domain inversion unit 616.

소정의 경우 모드 결정부(620)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드도 시간도메인 부호화부(630)에서 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 주파수도메인 부호화부(640)에서도 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인 뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화하여 다중화부(650)로 출력한다.The sub-band determined by the mode determination unit 620 to be unsuitable for encoding in the frequency domain is also encoded in the time domain by the time domain encoding unit 630 in the time domain, 640 may also encode the same subband signal into the frequency domain. Accordingly, the predetermined subband (s) are encoded not only in the time domain but also in the frequency domain. In this case, an identifier indicating that the signal of a predetermined subband is encoded in both the time domain and the frequency domain is quantized and output to the multiplexer 650.

주파수도메인 부호화부(640)는 모드 결정부(620)에서 주파수 도메인으로 부호화하는 것이 적합하다고 판단된 서브 밴드를 주파수 도메인에서 부호화한다. 여기서, 주파수도메인 부호화부(640)는 전술한 도 2 및 3에 도시된 예에 의하여 실시할 수 있다.The frequency domain encoding unit 640 encodes the subbands determined to be suitable for frequency domain encoding by the mode determination unit 620 in the frequency domain. Here, the frequency domain encoding unit 640 can be implemented by the example shown in Figs. 2 and 3 described above.

다중화부(650)는 스테레오 부호화부(600)에서 양자화된 파라미터 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 시간도메인 부호화부(630)에서 부호화한 결과 및 주파수도메인 부호화부(640)에서 부호화한 결과를 포함하여 다중화함으로써 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(630)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The multiplexer 650 quantizes an identifier indicating a domain in which each subband is quantized by the stereo encoder 600 and outputs the result of encoding in the time domain encoder 630 and the result of encoding in the frequency domain encoder 640, And generates a bitstream and outputs the bitstream through an output terminal OUT. Here, the result of encoding in the frequency domain encoding unit 630 is a result of quantizing the important frequency component in the quantization unit 220 described in the embodiment of FIG. 2 and quantizing the noise level of the residual spectral component in the noise processing unit 230 As a result of encoding in the speech tool encoding unit 300 described in the embodiment of FIG. 3, a result obtained by quantizing the important frequency components in the quantization unit 330 and a noise result of the residual spectral components in the noise processing unit 340 The result of level quantization.

도 7은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 밴드 분할부(700), 제1 도메인 변환부(710), 주파수도메인 부호화부(720), 고주파수밴드 부호화부(730) 및 다중화부(740)를 포함하여 이루어진다.FIG. 7 is a block diagram of an audio / speech signal encoding apparatus according to the present invention. The audio / speech signal encoding apparatus includes a band dividing unit 700, a first domain converting unit 710, An encoding unit 720, a high-frequency band encoding unit 730, and a multiplexing unit 740.

밴드 분할부(700)는 입력 단자 IN을 통해 입력된 입력 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다.The band dividing unit 700 divides the input signal input through the input terminal IN into a low frequency band signal and a high frequency band signal on the basis of a predetermined frequency.

제1 도메인 변환부(710)는 밴드 분할부(700)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(710)는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.The first domain converter 710 converts low frequency band signals divided in the band dividing unit 700 from a time domain into a frequency domain and divides the low frequency band signals into sub-bands. Here, the first domain converter 710 converts the low-frequency band signal into a frequency domain in a first conversion scheme and a second conversion scheme other than the first conversion scheme to apply a psychoacoustic model, Transforms the signal from the time domain to the frequency domain. The signal converted by the first conversion method is used for encoding the low frequency band signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the low frequency band signal. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

예를 들어, 제1 도메인 변환부(710)는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, the first domain converter 710 converts a low-frequency band signal into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to a first conversion scheme, expresses the low-frequency band signal by a real part, It can be converted into the frequency domain by Modified Discrete Sine Transform (MDST) and expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the low frequency band signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the low frequency band signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

주파수도메인 부호화부(720)는 제1 도메인 변환부(710)로부터 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 이러한 주파수도메인 부호화부(720)는 전술한 도 2 및 3에 도시된 예와 같이 실시할 수 있다.The frequency domain coding unit 720 selects and quantizes an important frequency component (important spectral component) in each subband of the signal represented by the frequency domain input from the first domain converter 710, The noise level of the residual spectral components is calculated and quantized by extracting the spectral components. The frequency domain encoding unit 720 may be implemented as shown in the example shown in FIGS.

고주파수밴드 부호화부(730)는 저주파수 밴드 신호를 이용하여 밴드 분할부(700)에서 분할된 고주파수 밴드 신호를 부호화한다.The high frequency band encoding unit 730 encodes the divided high frequency band signals in the band dividing unit 700 using a low frequency band signal.

다중화부(740)는 주파수도메인 부호화부(720)에서 부호화한 결과 및 고주파수밴드 부호화부(730)에서 부호화한 결과를 다중화하여 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(720)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The multiplexing unit 740 multiplexes the result of the encoding by the frequency domain encoding unit 720 and the result of encoding by the high frequency band encoding unit 730 to generate a bitstream and outputs the bitstream through the output terminal OUT. Here, the result of encoding in the frequency domain encoding unit 720 is a result of quantizing the important frequency component in the quantization unit 220 described in the embodiment of FIG. 2 and quantizing the noise level of the residual spectral component in the noise processing unit 230 As a result of encoding in the speech tool encoding unit 300 described in the embodiment of FIG. 3, a result obtained by quantizing the important frequency components in the quantization unit 330 and a noise result of the residual spectral components in the noise processing unit 340 The result of level quantization.

도 8은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 밴드 분할부(800), 도메인 변환부(810), 모드 결정부(820), 시간도메인 부호화부(830), 주파수도메인 부호화부(840), 고주파수밴드 부호화부(850) 및 다중화부(860)를 포함하여 이루어진다.8 is a block diagram of an audio / speech signal encoding apparatus according to the present invention. The audio / speech signal encoding apparatus includes a band dividing unit 800, a domain converting unit 810, a mode determining unit 820, a time domain encoding unit 830, a frequency domain encoding unit 840, a high frequency band encoding unit 850 and a multiplexing unit 860.

밴드 분할부(800)는 입력 단자 IN을 통해 입력된 입력 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다.The band dividing unit 800 divides the input signal input through the input terminal IN into a low frequency band signal and a high frequency band signal on the basis of a predetermined frequency.

도메인 변환부(810)는 밴드 분할부(800)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고 서브 밴드 별로 분할하며, 소정의 서브 밴드들에 대하여 시간 도메인으로 역변환한다. The domain converting unit 810 converts low frequency band signals divided in the band dividing unit 800 from a time domain to a frequency domain, divides the frequency domain signals into subbands, and inversely transforms the predetermined frequency subbands into a time domain.

여기서, 도메인 변환부(810)는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Here, the domain converter 810 may be implemented with any conversion scheme that can simultaneously express signals in the time domain and the frequency domain by receiving the signals represented in the time domain. More specifically, it is possible to convert a signal expressed in a time domain into a frequency domain, and then adaptively convert temporal resolution of each band to a frequency domain for a predetermined subband, to be. In addition, a signal for applying the psychoacoustic module is generated through the imaginary expression. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

이러한 도메인 변환부(810)는 제1 도메인 변환부(813) 및 제2 도메인 역변환부(816)를 포함하여 이루어진다.The domain conversion unit 810 includes a first domain conversion unit 813 and a second domain inversion unit 816.

제1 도메인 변환부(813)는 밴드 분할부(800)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(813)는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.The first domain converter 813 converts the low-frequency band signals divided in the band dividing unit 800 from the time domain to the frequency domain, and divides the low-frequency band signals into sub-bands. Here, the first domain converter 813 converts the low-frequency band signal into a frequency domain in a first conversion scheme and applies a second conversion scheme other than the first conversion scheme to apply a psychoacoustic model to the low- Transforms the signal from the time domain to the frequency domain. The signal converted by the first conversion method is used for encoding the low frequency band signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the low frequency band signal.

예를 들어, 제1 도메인 변환부(813)는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, the first domain converter 813 converts a low-frequency band signal into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to a first conversion scheme, expresses the low-frequency band signal by a real part, It can be converted into the frequency domain by Modified Discrete Sine Transform (MDST) and expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the low frequency band signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the low frequency band signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

제2 도메인 역변환부(816)는 제1 도메인 변환부(813)에서 주파수 도메인으로 변환된 소정의 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(816)는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.The second domain inversion unit 816 inverts the predetermined subbands converted from the first domain converter 813 to the time domain in the frequency domain by an inverse conversion method for the first conversion scheme. For example, the second domain inversion unit 816 performs inverse conversion from the frequency domain to the time domain by an inverse modified discrete cosine transform (IMDCT) corresponding to the inverse transformation scheme for the first transformation scheme.

모드 결정부(820)는 제1 도메인 변환부(813)에서 주파수 도메인으로 변환된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다. 다시 말하면, 모드 결정부(820)는 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 모드 결정부(820)는 각 서브 밴드에 대하여 모드 결정부(820)에서 결정된 도메인을 나타내는 식별자를 양자화하여 다중화부(860)로 출력한다.The mode determination unit 820 determines whether it is appropriate to perform encoding in the frequency domain for each subband of the low frequency band signal converted into the frequency domain in the first domain converter 813. In other words, the mode determination unit 820 determines whether to encode in the frequency domain or the time domain for each subband. The mode determination unit 820 quantizes an identifier indicating a domain determined by the mode determination unit 820 for each subband, and outputs the quantized identifier to the multiplexing unit 860.

여기서, 모드 결정부(820)가 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제1 도메인 변환부(813)로부터 입력되는 주파수 도메인에 해당하는 신호만 이용하는 방법, 밴드 분할부(800)로부터 입력되는 시간 도메인에 해당하는 신호만 이용하는 방법, 제1 도메인 변환부(813)로부터 입력되는 주파수 도메인에 해당하는 신호 및 밴드 분할부(800)로부터 입력되는 시간 도메인에 해당하는 신호를 모두 이용하는 방법이 있다.Here, when determining that the mode determining unit 820 is suitable for encoding in a frequency domain for a predetermined subband, a method of using only a signal corresponding to the frequency domain input from the first domain converting unit 813, The signal corresponding to the frequency domain input from the first domain converter 813 and the signal corresponding to the time domain input from the band divider 800 There is a method of using all of the signals.

제2 도메인 역변환부(816)는 모드 결정부(820)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드를 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(816)는 IMDCT를 적용하여 소정의 서브 밴드를 주파수 도메인에서 시간 도메인으로 역변환한다.The second domain inversion unit 816 inverts the subband determined to be unsuitable in the frequency domain by the mode determination unit 820 to the time domain in the frequency domain by the inverse conversion method for the first conversion scheme. For example, the second domain inversion unit 816 applies IMDCT to invert the predetermined subband from the frequency domain to the time domain.

시간도메인 부호화부(830)는 제2 도메인 역변환부(816)에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다. The time domain encoding unit 830 encodes the signal of the inverse-transformed subband in the time domain in the second domain inverse transform unit 816 in the time domain.

소정의 경우 모드 결정부(820)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드도 시간도메인 부호화부(830)에서 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 주파수도메인 부호화부(840)에서도 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인 뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화하여 다중화부(860)로 출력한다.The sub-band determined to be unsuitable for encoding in the frequency domain by the mode determination unit 820 is also encoded in the time domain by the time-domain encoding unit 830 in the time domain, 840 may also encode signals in the same subband into the frequency domain. Accordingly, the predetermined subband (s) are encoded not only in the time domain but also in the frequency domain. In this case, an identifier indicating that the signal of a predetermined subband is encoded in both the time domain and the frequency domain is quantized and output to the multiplexer 860.

주파수도메인 부호화부(840)는 모드 결정부(820)에서 주파수 도메인으로 부호화하는 것이 적합하다고 판단된 서브 밴드를 주파수 도메인에서 부호화한다. 여기서, 주파수도메인 부호화부(840)는 전술한 도 2 및 3에 도시된 예에 의하여 실시할 수 있다.The frequency domain encoding unit 840 encodes the subbands determined to be suitable for frequency domain encoding by the mode determination unit 820 in the frequency domain. Here, the frequency domain encoding unit 840 can be implemented by the example shown in Figs. 2 and 3 described above.

고주파수밴드 부호화부(850)는 저주파수 밴드 신호를 이용하여 밴드 분할부(800)에서 분할된 고주파수 밴드 신호를 부호화한다.The high frequency band encoding unit 850 encodes the divided high frequency band signals in the band dividing unit 800 using a low frequency band signal.

다중화부(860)는 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 시간도메인 부호화부(830)에서 부호화한 결과, 주파수도메인 부호화부(840)에서 부호화한 결과 및 고주파수밴드 부호화부(850)에서 부호화된 결과를 포함하여 다중화함으로써 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(840)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The multiplexer 860 quantizes the identifier indicating the domain in which each subband is encoded and outputs the result of encoding in the time domain encoder 830 and the result of encoding in the frequency domain encoder 840 and the result of encoding in the high frequency band encoder 860. [ 850 to generate a bitstream and outputs the bitstream through an output terminal OUT. Here, the result of encoding in the frequency domain encoding unit 840 is a result of quantizing the important frequency component in the quantization unit 220 described in the embodiment of FIG. 2 and quantizing the noise level of the residual spectral component in the noise processing unit 230 As a result of encoding in the speech tool encoding unit 300 described in the embodiment of FIG. 3, a result obtained by quantizing the important frequency components in the quantization unit 330 and a noise result of the residual spectral components in the noise processing unit 340 The result of level quantization.

도 9는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 스테레오 부호화부(900), 밴드 분할부(910), 제1 도메인 변환부(920), 주파수도메인 부호화부(930), 고주파수밴드 부호화부(940) 및 다중화부(950)를 포함하여 이루어진다.9 is a block diagram of an audio / speech signal encoding apparatus according to the present invention. The audio / speech signal encoding apparatus includes a stereo encoding unit 900, a band dividing unit 910, A frequency domain encoding unit 930, a high frequency band encoding unit 940, and a multiplexing unit 950.

스테레오 부호화부(900)는 입력 단자 IN을 통해 입력된 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다. 스테레오 부호화부(900)에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 스테레오 부호화부(900)는 추출한 파라미터를 양자화하여 다중화부(950)로 출력한다.When the input signal input through the input terminal IN corresponds to a stereo signal, the stereo encoding unit 900 analyzes the input signal, extracts the parameter, and downmixes the parameter. The parameter extracted by the stereo encoding unit 900 is information necessary for upmixing the mono signal transmitted from the encoding end to the stereo signal from the decoding end. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. The stereo encoding unit 900 quantizes the extracted parameters and outputs them to the multiplexing unit 950.

밴드 분할부(910)는 스테레오 부호화부(900)에서 다운믹싱된 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다.The band division unit 910 divides the downmixed signal in the stereo encoding unit 900 into a low frequency band signal and a high frequency band signal based on a predetermined frequency.

제1 도메인 변환부(920)는 밴드 분할부(910)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(920)는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.The first domain converter 920 converts low frequency band signals divided in the band dividing unit 910 from a time domain into a frequency domain and divides the low frequency band signals into sub-bands. Here, the first domain converter 920 converts the low-frequency band signal into a frequency domain in a first conversion scheme and a second conversion scheme other than the first conversion scheme in order to apply a psychoacoustic model, Transforms the signal from the time domain to the frequency domain. The signal converted by the first conversion method is used for encoding the low frequency band signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the low frequency band signal. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

예를 들어, 제1 도메인 변환부(920)는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, the first domain converter 920 converts a low-frequency band signal into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to the first conversion scheme, expresses the low-frequency band signal as a real part, It can be converted into the frequency domain by Modified Discrete Sine Transform (MDST) and expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the low frequency band signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the low frequency band signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

주파수도메인 부호화부(930)는 제1 도메인 변환부(920)로부터 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 이러한 주파수도메인 부호화부(930)는 전술한 도 2 및 3에 도시된 예와 같이 실시할 수 있다.The frequency domain coding unit 930 selects and quantizes an important frequency component (important spectral component) in each subband of the signal represented by the frequency domain input from the first domain converter 920, The noise level of the residual spectral components is calculated and quantized by extracting the spectral components. The frequency domain encoding unit 930 may be implemented as shown in the example shown in FIGS.

고주파수밴드 부호화부(940)는 저주파수 밴드 신호를 이용하여 밴드 분할부(910)에서 분할된 고주파수 밴드 신호를 부호화한다.The high frequency band coding unit 940 codes the divided high frequency band signal in the band dividing unit 910 using the low frequency band signal.

다중화부(950)는 스테레오 부호화부(900)에서 양자화된 파라미터, 주파수도메인 부호화부(930)에서 부호화한 결과 및 고주파수밴드 부호화부(940)에서 부호화한 결과를 다중화하여 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(990)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The multiplexing unit 950 multiplexes the parameters quantized by the stereo encoding unit 900, the result of encoding by the frequency domain encoding unit 930 and the result of encoding by the high frequency band encoding unit 940 to generate a bit stream, OUT. Here, the result of encoding in the frequency domain coding unit 990 is a result of quantizing the important frequency component in the quantization unit 220 described in the embodiment of FIG. 2 and quantizing the noise level of the residual spectral component in the noise processing unit 230 As a result of encoding in the speech tool encoding unit 300 described in the embodiment of FIG. 3, a result obtained by quantizing the important frequency components in the quantization unit 330 and a noise result of the residual spectral components in the noise processing unit 340 The result of level quantization.

도 10은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 스테레오 부호화부(1000), 밴드 분할부(1010), 도메인 변환부(1020), 모드 결정부(1030), 시간도메인 부호화부(1040), 주파수도메인 부호화부(1050), 고주파수밴드 부호화부(1060) 및 다중화부(1070)를 포함하여 이루어진다.10 is a block diagram of an audio / speech signal encoding apparatus according to the present invention. The audio / speech signal encoding apparatus includes a stereo encoding unit 1000, a band dividing unit 1010, a domain converting unit A frequency domain coding unit 1050, a high frequency band coding unit 1060 and a multiplexing unit 1070. The mode decision unit 1030, the time domain coding unit 1040, the frequency domain coding unit 1050,

스테레오 부호화부(1000)는 입력 단자 IN을 통해 입력된 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다. 스테레오 부호화부(1000)에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 스테레오 부호화부(1000)는 추출한 파라미터를 양자화하여 다중화부(1070)로 출력한다.When the input signal input through the input terminal IN corresponds to a stereo signal, the stereo encoding unit 1000 analyzes the input signal, extracts the parameter, and downmixes the parameter. The parameter extracted by the stereo encoding unit 1000 is information required to upmix the mono signal transmitted from the encoding end to the stereo signal from the decoding end. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. The stereo encoding unit 1000 quantizes the extracted parameters and outputs them to the multiplexing unit 1070.

밴드 분할부(1010)는 스테레오 부호화부(1000)에서 다운믹싱된 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다.The band division unit 1010 divides the downmixed signal in the stereo encoding unit 1000 into a low frequency band signal and a high frequency band signal on the basis of a predetermined frequency.

도메인 변환부(1020)는 밴드 분할부(1010)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고 서브 밴드 별로 분할하며, 소정의 서브 밴드들에 대하여 시간 도메인으로 역변환한다. The domain converting unit 1020 converts low frequency band signals divided in the band dividing unit 1010 from a time domain to a frequency domain and divides the frequency domain signals into subbands and inversely transforms the predetermined subbands into a time domain.

여기서, 도메인 변환부(1020)는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Here, the domain converter 1020 may be implemented with all conversion schemes that can receive signals represented in the time domain and simultaneously express the signals in the time domain and the frequency domain. More specifically, it is possible to convert a signal expressed in a time domain into a frequency domain, and then adaptively convert temporal resolution of each band to a frequency domain for a predetermined subband, to be. In addition, a signal for applying the psychoacoustic module is generated through the imaginary expression. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

이러한 도메인 변환부(1020)는 제1 도메인 변환부(1023) 및 제2 도메인 역변환부(1026)를 포함하여 이루어진다.The domain conversion unit 1020 includes a first domain conversion unit 1023 and a second domain inversion unit 1026.

제1 도메인 변환부(1023)는 밴드 분할부(1010)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(1023)는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리 음향 모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.The first domain converter 1023 converts low frequency band signals divided in the band dividing unit 1010 from a time domain into a frequency domain and divides the low frequency band signals into sub-bands. Here, the first domain converter 1023 converts a low-frequency band signal into a frequency domain in a first conversion scheme and a second conversion scheme other than a first conversion scheme in order to apply a psychoacoustic model, Transforms the signal from the time domain to the frequency domain. The signal converted by the first conversion method is used for encoding the low frequency band signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the low frequency band signal. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

예를 들어, 제1 도메인 변환부(1023)는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, the first domain converter 1023 converts a low-frequency band signal into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to a first conversion scheme, expresses the low-frequency band signal by a real part, It can be converted into the frequency domain by Modified Discrete Sine Transform (MDST) and expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the low frequency band signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the low frequency band signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

제2 도메인 역변환부(1026)는 제1 도메인 변환부(1023)에서 주파수 도메인으로 변환된 소정의 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(1026)는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.The second domain inversion unit 1026 inverse transforms the predetermined subbands converted from the first domain converter 1023 into a time domain in the frequency domain by an inverse transformation method for the first transformation scheme. For example, the second domain inversion unit 1026 performs an inverse conversion by an inverse modified discrete cosine transform (IMDCT) corresponding to an inverse transformation method for the first transformation method.

모드 결정부(1030)는 제1 도메인 변환부(1023)에서 주파수 도메인으로 변환된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다. 다시 말하면, 모드 결정부(1030)는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 모드 결정부(1030)는 각 서브 밴드에 대하여 모드 결정부(1030)에서 결정된 도메인을 나타내는 식별자를 양자화하여 다중화부(1070)로 출력한다.The mode determination unit 1030 determines whether it is appropriate to perform encoding in the frequency domain for each subband of the low frequency band signal converted into the frequency domain in the first domain conversion unit 1023. In other words, the mode determination unit 1030 determines whether to encode in the frequency domain or in the time domain for each subband according to a predetermined criterion. The mode determination unit 1030 quantizes an identifier indicating a domain determined by the mode determination unit 1030 for each subband, and outputs the quantized identifier to the multiplexing unit 1070.

여기서, 모드 결정부(1030)가 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제1 도메인 변환부(1023)로부터 입력되는 주파수 도메인에 해당하는 신호만 이용하는 방법, 밴드 분할부(1010)로부터 입력되는 시간 도메인에 해당하는 신호만 이용하는 방법, 제1 도메인 변환부(1023)로부터 입력되는 주파수 도메인에 해당하는 신호와 밴드 분할부(1010)로부터 입력되는 시간 도메인에 해당하는 신호를 모두 이용하는 방법이 있다.Here, when determining that the mode determination unit 1030 is suitable for encoding in a frequency domain for a predetermined subband, a method of using only a signal corresponding to the frequency domain input from the first domain conversion unit 1023, A signal corresponding to a frequency domain input from the first domain converter 1023 and a signal corresponding to a time domain input from the band divider 1010 There is a method of using all of the signals.

제2 도메인 역변환부(1026)는 모드 결정부(1030)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드를 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(1026)는 IMDCT를 적용하여 소정의 서브 밴드를 역변환한다.The second domain inversion unit 1026 inversely transforms the subband determined to be unsuitable in the frequency domain by the mode determination unit 1030 from the frequency domain to the time domain by the inverse conversion method for the first conversion scheme. For example, the second domain inversion unit 1026 applies IMDCT to invert a predetermined subband.

시간도메인 부호화부(1040)는 제2 도메인 역변환부(1026)에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다. The time domain encoding unit 1040 encodes the signal of the inverse-transformed subband in the time domain in the time domain in the second domain inversion unit 1026.

소정의 경우 모드 결정부(1030)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드도 시간도메인 부호화부(1040)에서 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 주파수도메인 부호화부(1050)에서도 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인 뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화하여 다중화부(1070)로 출력한다.The sub-band determined by the mode determination unit 1030 to be unsuitable for encoding in the frequency domain is also encoded in the time domain by the time domain encoding unit 1040 and the frequency domain encoding unit 1050 can also encode signals of the same subband into the frequency domain. Accordingly, the predetermined subband (s) are encoded not only in the time domain but also in the frequency domain. In this case, an identifier indicating that the signal of a predetermined subband is encoded in both the time domain and the frequency domain is quantized and output to the multiplexer 1070.

주파수도메인 부호화부(1050)는 모드 결정부(1030)에서 주파수 도메인으로 부호화하는 것이 적합하다고 판단된 서브 밴드를 주파수 도메인에서 부호화한다. 여기서, 주파수도메인 부호화부(1050)는 전술한 도 2 및 3에 도시된 예에 의하여 실시할 수 있다.The frequency domain coding unit 1050 encodes the subbands determined to be suitable for frequency domain coding by the mode determination unit 1030 in the frequency domain. Here, the frequency domain encoding unit 1050 can be implemented by the example shown in Figs. 2 and 3 described above.

고주파수밴드 부호화부(1060)는 저주파수 밴드 신호를 이용하여 밴드 분할부(1010)에서 분할된 고주파수 밴드 신호를 부호화한다.The high frequency band coding unit 1060 codes the divided high frequency band signals in the band dividing unit 1010 using a low frequency band signal.

다중화부(1070)는 스테레오 부호화부(1000)에서 양자화된 파라미터, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 시간도메인 부호화부(1040)에서 부호화한 결과, 주파수도메인 부호화부(1050)에서 부호화한 결과 및 고주파수밴드 부호화부(1060)에서 부호화된 결과를 포함하여 다중화함으로써 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(1050)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The multiplexing unit 1070 quantizes the parameter quantized by the stereo encoding unit 1000 and the identifier indicating the domain in which each subband is encoded and as a result of encoding in the time domain encoding unit 1040, And a result coded by the high-frequency band coding unit 1060, thereby generating a bitstream and outputting the bitstream through the output terminal OUT. Here, the result of encoding in the frequency domain coding unit 1050 is a result of quantizing the important frequency component in the quantization unit 220 described in the embodiment of FIG. 2 and quantizing the noise level of the residual spectral component in the noise processing unit 230 As a result of encoding in the speech tool encoding unit 300 described in the embodiment of FIG. 3, a result obtained by quantizing the important frequency components in the quantization unit 330 and a noise result of the residual spectral components in the noise processing unit 340 The result of level quantization.

도 11은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1100), 주파수도메인 복호화부(1110) 및 제2 도메인 역변환부(1120)를 포함하여 이루어진다.FIG. 11 is a block diagram of an audio / speech signal decoding apparatus according to the present invention. The audio / speech signal decoding apparatus includes a demultiplexing unit 1100, a frequency domain decoding unit 1110, And an inverse transform unit 1120.

역다중화부(1100)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1100)가 출력하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과로서 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함할 수도 있다.The demultiplexer 1100 receives the bitstream transmitted from the encoder through the input terminal IN and demultiplexes the bitstream. Here, the data output by the demultiplexing unit 1100 includes a result obtained by quantizing an important frequency component as a result encoded in the frequency domain at an encoding end and quantizing a noise level of a residual spectral component. And may include results encoded by voice tools.

주파수도메인 복호화부(1110)는 역다중화부(1100)로부터 출력되는 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1110)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1110)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.The frequency domain decoding unit 1110 decodes the result encoded in the frequency domain at the encoding end output from the demultiplexing unit 1100. More specifically, the frequency domain decoding unit 1110 decodes an important frequency component (important spectral component) selected in each subband and decodes a noise level of a residual spectral component excluding the important frequency component. The frequency domain decoding unit 1110 may be implemented as shown in the example shown in FIGS.

첫째, 도 12는 주파수도메인 복호화부(1110)의 일 실시예를 블록도로 도시한 것으로서, 주파수도메인 복호화부(1110)는 역양자화부(1200) 및 노이즈 복호화부(1210)를 포함하여 이루어진다.12 is a block diagram of an embodiment of the frequency domain decoding unit 1110. The frequency domain decoding unit 1110 includes an inverse quantization unit 1200 and a noise decoding unit 1210. [

역양자화부(1200)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리 음향 모델을 적용하여 각각 달리 할당된 비트로 부호화된 중요 주파수 성분을 입력 단자 IN 1을 통하여 역다중화된 결과를 입력받아 역양자화한다. 여기서, 심리 음향 모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.The inverse quantization unit 1200 applies a psychoacoustic model for eliminating the perceptual redundancy due to the human auditory characteristics and inputs the result of demultiplexing the important frequency components encoded with differently allocated bits through the input terminal IN 1, Quantize. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

노이즈 복호화부(1210)는 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 입력 단자 IN 2를 통하여 역다중화된 결과를 입력받아 복호화한다. 또한, 노이즈 복호화부(1210)는 복호화된 노이즈 레벨을 역양자화부(1200)에서 복호화된 중요 주파수 성분에 합성한다. 여기서, 노이즈 복호화부(1210)는 합성된 결과를 출력 단자 OUT 1을 통해 출력한다.The noise decoding unit 1210 receives and demodulates the result of demultiplexing the noise level of the residual spectral component excluding the significant frequency component through the input terminal IN 2. Also, the noise decoding unit 1210 synthesizes the decoded noise level with the important frequency components decoded by the inverse quantization unit 1200. [ Here, the noise decoding unit 1210 outputs the synthesized result through the output terminal OUT1.

둘째, 도 13은 주파수도메인 복호화부(1110)의 일 실시예를 블록도로 도시한 것으로서, 주파수도메인 복호화부(1110)는 역양자화부(1300), 노이즈 복호화부(1310) 및 음성 툴 복호화부(1320)를 포함하여 이루어진다.13 is a block diagram of an embodiment of a frequency domain decoding unit 1110. The frequency domain decoding unit 1110 includes an inverse quantization unit 1300, a noise decoding unit 1310, and a speech tool decoding unit 1320).

역양자화부(1300)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리음향모델을 적용하여 각각 달리 할당된 비트로 부호화된 중요 주파수 성분을 입력 단자 IN 3을 통하여 역다중화된 결과를 입력받아 역양자화한다.The inverse quantization unit 1300 applies a psychoacoustic model for eliminating the perceptual redundancy due to the human auditory characteristics and inputs the demultiplexed result through the input terminal IN 3 to the important frequency components encoded with differently allocated bits, Quantize.

노이즈 복호화부(1310)는 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 입력 단자 IN 4를 통하여 역다중화된 결과를 입력받아 복호화한다. 또한, 노이즈 복호화부(1310)는 복호화된 노이즈 레벨을 역양자화부(1200)에서 복호화된 중요 주파수 성분에 합성한다.The noise decoding unit 1310 receives and demodulates the result of demultiplexing the noise level of the residual spectral component excluding the significant frequency component through the input terminal IN 4. Also, the noise decoding unit 1310 synthesizes the decoded noise level with the important frequency components decoded by the inverse quantization unit 1200. [

음성 툴 복호화부(1320)는 부호화단에서 음성 툴에 의해 부호화된 결과를 입력 단자 IN 5를 통하여 역다중화된 결과를 입력받아 복호화한다. 또한, 음성 툴 복호화부(1320)는 음성 툴 복호화부(1320)에서 복호화된 결과를 노이즈 복호화부(1310)에서 합성된 결과에 합성한다. 여기서, 음성 툴 복호화부(1320)는 합성된 결과를 출력 단자 OUT 2를 통해 출력한다.The speech tool decoding unit 1320 receives the result demultiplexed through the input terminal IN 5 and decodes the result encoded by the speech tool at the encoding end. The speech tool decoding unit 1320 synthesizes the result decoded by the speech tool decoding unit 1320 with the result synthesized by the noise decoding unit 1310. Here, the speech tool decoding unit 1320 outputs the synthesized result through the output terminal OUT2.

제2 도메인 역변환부(1120)는 주파수도메인 복호화부(1110)에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다. 또한, 제2 도메인 역변환부(1120)는 역변환된 결과를 출력 단자 OUT을 통하여 출력한다. 예를 들어, 제2 도메인 역변환부(1120)는 도 12에서 노이즈 복호화부(1210)에서 합성된 신호를 IMDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하며, 도 13에서 음성 툴 복호화부(1320)에서 합성된 신호를 IMDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.The second domain inversion unit 1120 performs inverse conversion of the result decoded by the frequency domain decoding unit 1110 from the frequency domain to the time domain by the second inverse transformation method. Here, the second inverse transform scheme is an inverse transform process applied to the second transform scheme described above, for example, there is an inverse modified discrete cosine transform (IMDCT). The second domain inversion unit 1120 outputs the inverse-transformed result through the output terminal OUT. For example, the second domain inversion unit 1120 inverse transforms the signal synthesized by the noise decoding unit 1210 in FIG. 12 into a time domain in the frequency domain by the IMDCT, and in the speech tool decoding unit 1320 in FIG. The synthesized signal is inversely transformed from the frequency domain to the time domain by the IMDCT.

도 14는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1400), 모드 판단부(1410), 주파수도메인 복호화부(1420), 시간도메인 복호화부(1430) 및 도메인 변환부(1440)를 포함하여 이루어진다.FIG. 14 is a block diagram of an audio / speech signal decoding apparatus according to the present invention. The audio / speech signal decoding apparatus includes a demultiplexer 1400, a mode determiner 1410, a frequency domain decoder A time domain decoder 1420, a time domain decoder 1430, and a domain converter 1440.

역다중화부(1400)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1400)가 역다중화하여 출력하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다. The demultiplexer 1400 receives the bitstream transmitted from the encoder through the input terminal IN and demultiplexes the bitstream. Here, the data demultiplexed and output by the demultiplexing unit 1400 includes information of the domain in which each subband is encoded, a result of coding in the frequency domain at a coding end with respect to a predetermined subband, And the result encoded in the time domain.

여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.Here, the result encoded in the frequency domain at the encoding end has a result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

모드 판단부(1410)는 역다중화부(1400)에서 출력된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다.The mode determination unit 1410 reads the information of the encoded domain of each subband output from the demultiplexer 1400 and determines whether the subband is coded in the frequency domain or in the time domain for each subband.

주파수도메인 복호화부(1420)는 모드 판단부(1410)에서 주파수 도메인에서 부호화된 것으로 판단된 서브 밴드(들)을 주파수 도메인에서 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1420)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1420)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.The frequency domain decoding unit 1420 decodes the subband (s) determined to be encoded in the frequency domain by the mode determination unit 1410 in the frequency domain. In more detail, the frequency domain decoding unit 1420 decodes an important frequency component (important spectral component) selected in each subband and decodes a noise level of a residual spectral component excluding the important frequency component. The frequency domain decoding unit 1420 may be implemented as in the example shown in FIGS.

시간도메인 복호화부(1430)는 모드 판단부(1410)에서 시간 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 주파수 도메인에서 복호화한다.The time domain decoding unit 1430 decodes the subband (s) determined to have been encoded in the time domain by the mode determination unit 1410 in the frequency domain.

소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 해당하는 서브 밴드를 주파수도메인 복호화부(1420)에서는 주파수 도메인에서 부호화된 결과를 복호화하며, 시간도메인 복호화부(1430)에서는 시간 도메인에서 부호화된 결과를 복호화한다.In some cases, even when it is determined to encode a particular subband in a time domain for an encoding end, the corresponding subband may be encoded in both the frequency domain and the time domain. The frequency domain decoding unit 1420 decodes the subband corresponding to the frequency domain, and the time domain decoding unit 1430 decodes the time domain encoded result.

도메인 변환부(1440)는 시간도메인 복호화부(1430)에서 복호화된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 주파수도메인 복호화부(1420)에서 복호화된 신호 및 시간도메인 복호화부(1430)에서 출력된 신호를 주파수 도메인으로 변환된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 변환한다. The domain converter 1440 converts the signal decoded by the time domain decoder 1430 from the time domain to the frequency domain and outputs the signal decoded by the frequency domain decoder 1420 and the signal decoded by the time domain decoder 1430 The signal is converted into the frequency domain and the signal is synthesized and converted from the frequency domain to the time domain.

여기서, 도메인 변환부(1440)는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Here, the domain converter 1440 may be implemented by any conversion scheme that can divide a predetermined band and input signals expressed in a time domain or a frequency domain, and convert the signals into a time domain. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

도메인 변환부(1440)는 제2 도메인 변환부(1443) 및 제2 도메인 역변환부(1446)을 포함하여 이루어진다.The domain converting unit 1440 includes a second domain converting unit 1443 and a second domain inverting unit 1446.

제2 도메인 변환부(1443)는 시간도메인 복호화부(1430)에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다. 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.The second domain converter 1443 converts the signal decoded by the time domain decoder 1430 from the time domain to the frequency domain by the second conversion method. For example, the second conversion method includes MDCT (Modified Discrete Cosine Transform).

제2 도메인 역변환부(1446)는 주파수도메인 복호화부(1420)에서 복호화된 서브 밴드들의 신호와 제2 도메인 변환부(1443)에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다. 여기서, 제2 도메인 역변환부(1446)는 역변환된 결과를 출력 단자 OUT을 통해 출력한다.The second domain invertor 1446 combines the signals of the subbands decoded by the frequency domain decoder 1420 and the signals of the subbands transformed by the second domain transformer 1443, To the time domain. The second inverse transformation method performs a process of inversely transforming the second transformation method described above, for example, there is an inverse modified discrete cosine transform (IMDCT). Here, the second domain inversion unit 1446 outputs the inverse-transformed result through the output terminal OUT.

도 15는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1500), 주파수도메인 복호화부(1510), 제2 도메인 역변환부(1520) 및 스테레오 복호화부(1530)를 포함하여 이루어진다.15 is a block diagram of an audio / speech signal decoding apparatus according to the present invention. The audio / speech signal decoding apparatus includes a demultiplexing unit 1500, a frequency domain decoding unit 1510, An inverse transform unit 1520 and a stereo decoding unit 1530.

역다중화부(1500)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1500)가 역다중화하여 출력하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과 및 스테레오 신호로 업믹싱하기 위한 파라미터를 포함한다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함할 수도 있다.The demultiplexer 1500 receives the bitstream transmitted from the encoder through the input terminal IN and demultiplexes the bitstream. Here, the data demultiplexed and output by the demultiplexing unit 1500 includes a parameter for upmixing into a stereo signal and a result encoded in a frequency domain at an encoding end. Here, the result encoded in the frequency domain at the encoding end includes the result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include results encoded by voice tools.

주파수도메인 복호화부(1510)는 역다중화부(1100)로부터 출력되는 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1510)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1510)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.The frequency domain decoding unit 1510 decodes the result encoded in the frequency domain at the encoding end output from the demultiplexing unit 1100. In more detail, the frequency domain decoding unit 1510 decodes a significant spectral component selected in each subband and decodes a noise level of a residual spectral component excluding the significant frequency components. The frequency domain decoding unit 1510 may be implemented as shown in FIGS. 12 and 13. FIG.

제2 도메인 역변환부(1520)는 주파수도메인 복호화부(1510)에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The second domain inversion unit 1520 inversely converts the decoded result in the frequency domain decoding unit 1510 from the frequency domain to the time domain by the second inverse transformation method. Here, the second inverse transform scheme is an inverse transform process applied to the second transform scheme described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

스테레오 복호화부(1530)는 제2 도메인 역변환부(1520)에서 역변환된 모노 신호를 스테레오 신호로 업믹하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 복호화부(1530)는 업믹싱된 스테레오 신호를 출력 단자 OUT을 통해 출력한다.The stereo decoding unit 1530 upmixes the mono signal inversely transformed by the second domain inversion unit 1520 into a stereo signal using a parameter for upmixing the mono signal into a stereo signal. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. Here, the stereo decoding unit 1530 outputs the upmixed stereo signal through the output terminal OUT.

도 16은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1600), 모드 판단부(1610), 주파수도메인 복호화부(1620), 시간도메인 복호화부(1630), 도메인 변환부(1640) 및 스테레오 복호화부(1650)를 포함하여 이루어진다.16 is a block diagram of an audio / speech signal decoding apparatus according to the present invention. The audio / speech signal decoding apparatus includes a demultiplexer 1600, a mode determiner 1610, a frequency- A time domain decoding unit 1630, a domain converting unit 1640, and a stereo decoding unit 1650.

역다중화부(1600)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1600)가 역다중화하여 출력하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과, 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 및 스테레오 신호로 업믹싱하기 위한 파라미터 등이 있다. The demultiplexer 1600 receives the bitstream transmitted from the encoder through the input terminal IN and demultiplexes the bitstream. Here, data demultiplexed and output by the demultiplexing unit 1600 includes information on the domain in which each subband is encoded, information on a predetermined subband as a result of being encoded in the frequency domain at the encoding end, And a parameter for upmixing into a stereo signal.

여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함될 수도 있다.Here, the result encoded in the frequency domain at the encoding end has a result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And the result encoded by the voice tool may be included.

모드 판단부(1610)는 역다중화부(1600)에서 출력된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다.The mode determination unit 1610 reads the information of the encoded domain of each subband output from the demultiplexer 1600 and determines whether the subband is coded in the frequency domain or in the time domain for each subband.

주파수도메인 복호화부(1620)는 모드 판단부(1610)에서 주파수 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 주파수 도메인에서 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1620)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1620)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.The frequency domain decoding unit 1620 decodes the subband (s) determined to be encoded in the frequency domain by the mode determination unit 1610 in the frequency domain. In more detail, the frequency domain decoding unit 1620 decodes an important frequency component (important spectral component) selected in each subband and decodes a noise level of a residual spectral component excluding the important frequency component. The frequency domain decoding unit 1620 may be implemented as shown in FIGS. 12 and 13.

시간도메인 복호화부(1630)는 모드 판단부(1610)에서 시간 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 시간 도메인에서 복호화한다.The time domain decoding unit 1630 decodes the subband (s) determined to have been encoded in the time domain by the mode determination unit 1610 in the time domain.

소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 해당하는 서브 밴드를 주파수도메인 복호화부(1620)에서는 주파수 도메인에서 부호화된 결과를 복호화하며, 시간도메인 복호화부(1630)에서는 시간 도메인에서 부호화된 결과를 복호화한다.In some cases, even when it is determined to encode a particular subband in a time domain for an encoding end, the corresponding subband may be encoded in both the frequency domain and the time domain. The frequency domain decoding unit 1620 decodes the subband corresponding to the frequency domain, and the time domain decoding unit 1630 decodes the time domain encoded result.

도메인 변환부(1640)는 시간도메인 복호화부(1630)에서 복호화된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 주파수도메인 복호화부(1420)에서 복호화된 신호 및 시간도메인 복호화부(1430)에서 출력된 신호를 주파수 도메인으로 변환된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 변환한다. The domain converter 1640 converts the signal decoded by the time domain decoder 1630 from the time domain to the frequency domain and outputs the signal decoded by the frequency domain decoder 1420 and the signal decoded by the time domain decoder 1430 The signal is converted into the frequency domain and the signal is synthesized and converted from the frequency domain to the time domain.

여기서, 도메인 변환부(1640)는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Here, the domain converter 1640 may be implemented by any conversion scheme that can divide a predetermined band and input signals expressed in a time domain or a frequency domain, and convert the signals into a time domain. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

도메인 변환부(1640)는 제2 도메인 변환부(1643) 및 제2 도메인 역변환부(1646)를 포함하여 이루어진다.The domain conversion unit 1640 includes a second domain conversion unit 1643 and a second domain inversion unit 1646.

제2 도메인 변환부(1643)는 시간도메인 복호화부(1630)에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다. 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.The second domain converter 1643 transforms the signal decoded by the time domain decoder 1630 from the time domain to the frequency domain by the second conversion method. For example, the second conversion method includes MDCT (Modified Discrete Cosine Transform).

제2 도메인 역변환부(1646)는 주파수도메인 복호화부(1620)에서 복호화된 서브 밴드들의 신호와 제2 도메인 변환부(1643)에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The second domain inversion unit 1646 combines the signals of the subbands decoded by the frequency domain decoding unit 1620 and the signals of the subbands converted by the second domain conversion unit 1643, To the time domain. Here, the second inverse transformation method performs a process of inversely transforming the second transformation method described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

스테레오 복호화부(1650)는 제2 도메인 역변환부(1646)에서 역변환된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 또한, 스테레오 복호화부(1650)는 업믹싱된 스테레오 신호를 출력 단자 OUT을 통해 출력한다.The stereo decoding unit 1650 up-mixes the mono signal inversely transformed by the second domain inversion unit 1646 into a stereo signal using a parameter for upmixing the mono signal to a stereo signal. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. In addition, the stereo decoding unit 1650 outputs the upmixed stereo signal through the output terminal OUT.

도 17은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1700), 주파수도메인 복호화부(1710), 고주파수밴드 복호화부(1720), 제2 도메인 역변환부(1730) 및 밴드 합성부(1740)를 포함하여 이루어진다.17 is a block diagram of an audio / speech signal decoding apparatus according to the present invention. The audio / speech signal decoding apparatus includes a demultiplexer 1700, a frequency domain decoder 1710, a high frequency band decoding A second domain inverting unit 1730, and a band synthesizing unit 1740. The band reversing unit 1730 includes a first domain reversing unit 1730, a second domain reversing unit 1730,

역다중화부(1700)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1700)가 역다중화하여 출력하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 포함한다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.The demultiplexer 1700 receives the bitstream transmitted from the encoder through the input terminal IN and demultiplexes the bitstream. The data demultiplexed and output by the demultiplexer 1700 includes information that can decode the high frequency band signal using the result encoded in the frequency domain and the low frequency band signal at the encoding end. Here, the result encoded in the frequency domain at the encoding end includes the result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

주파수도메인 복호화부(1710)는 역다중화부(1700)로부터 출력되는 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1710)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1710)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.The frequency domain decoding unit 1710 decodes the result encoded in the frequency domain at the encoding end output from the demultiplexing unit 1700. More specifically, the frequency domain decoding unit 1710 decodes a significant spectral component selected in each subband and decodes a noise level of a residual spectral component excluding the significant frequency components. The frequency domain decoding unit 1710 may be implemented as shown in FIGS. 12 and 13.

제2 도메인 역변환부(1730)는 주파수도메인 복호화부(1710)에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The second domain inversion unit 1730 inversely converts the decoded result in the frequency domain decoding unit 1710 from the frequency domain to the time domain by the second inverse transformation method. Here, the second inverse transform scheme is an inverse transform process applied to the second transform scheme described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

고주파수밴드 복호화부(1720)는 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 역다중화부(1700)로부터 입력받아 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 생성한다.The high frequency band decoding unit 1720 receives information from the demultiplexing unit 1700 that can decode the high frequency band signal using the low frequency band signal, and generates a high frequency band signal using the low frequency band signal.

밴드 합성부(1740)는 제2 도메인 역변환부(1730)에서 역변환된 저주파수 밴드 신호와 고주파수밴드 복호화부(1720)에서 생성된 고주파수 밴드 신호를 합성한다. 여기서, 밴드 합성부(1740)는 합성된 신호를 출력 단자 OUT을 통해 출력한다.The band combining unit 1740 combines the low frequency band signal inverted by the second domain inverting unit 1730 and the high frequency band signal generated by the high frequency band decoding unit 1720. Here, the band combining unit 1740 outputs the synthesized signal through the output terminal OUT.

도 18은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1800), 모드 판단부(1810), 주파수도메인 복호화부(1820), 시간도메인 복호화부(1830), 도메인 변환부(1840), 고주파수밴드 복호화부(1950) 및 밴드 합성부(1860)를 포함하여 이루어진다.FIG. 18 is a block diagram of an audio / speech signal decoding apparatus according to the present invention. The audio / speech signal decoding apparatus includes a demultiplexer 1800, a mode determiner 1810, A time domain decoding unit 1830, a domain converting unit 1840, a high frequency band decoding unit 1950, and a band combining unit 1860.

역다중화부(1800)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1800)가 역다중화하여 출력하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과, 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보 등이 있다. The demultiplexer 1800 receives the bitstream transmitted from the encoding end through the input terminal IN and demultiplexes the bitstream. Herein, data demultiplexed and output by the demultiplexer 1800 includes information of the domain in which each subband is encoded, information of a predetermined subband as a result of being encoded in the frequency domain at the encoding end, And information that can decode the high frequency band signal using the low frequency band signal and the result encoded in the time domain.

여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.Here, the result encoded in the frequency domain at the encoding end includes the result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

모드 판단부(1810)는 역다중화부(1800)에서 출력된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다.The mode determination unit 1810 reads the information of the encoded domain of each subband output from the demultiplexer 1800 and determines whether the subband is coded in the frequency domain or in the time domain for each subband.

주파수도메인 복호화부(1820)는 모드 판단부(1810)에서 주파수 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 주파수 도메인에서 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1820)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1820)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.The frequency domain decoding unit 1820 decodes the subband (s) determined to be encoded in the frequency domain by the mode determination unit 1810 in the frequency domain. More specifically, the frequency domain decoding unit 1820 decodes a significant spectral component selected in each subband and decodes a noise level of a residual spectral component excluding the significant frequency component. The frequency domain decoding unit 1820 may be implemented as shown in FIGS. 12 and 13.

시간도메인 복호화부(1830)는 모드 판단부(1810)에서 시간 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 시간 도메인에서 복호화한다.The time domain decoding unit 1830 decodes the subband (s) determined to be encoded in the time domain in the time domain by the mode determination unit 1810.

소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 해당하는 서브 밴드를 주파수도메인 복호화부(1820)에서는 주파수 도메인에서 부호화된 결과를 복호화하며, 시간도메인 복호화부(1830)에서는 시간 도메인에서 부호화된 결과를 복호화한다.In some cases, even when it is determined to encode a particular subband in a time domain for an encoding end, the corresponding subband may be encoded in both the frequency domain and the time domain. The frequency domain decoding unit 1820 decodes the subband corresponding to the frequency domain, and the time domain decoding unit 1830 decodes the time domain encoded result.

도메인 역변환부(1840)는 시간도메인 복호화부(1830)에서 복호화된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 주파수도메인 복호화부(1820)에서 복호화된 신호 및 시간도메인 복호화부(1830)에서 출력된 신호를 주파수 도메인으로 변환된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 변환한다. The domain inverse transformer 1840 transforms the signal decoded by the time domain decoder 1830 from the time domain to the frequency domain and outputs the signal decoded by the frequency domain decoder 1820 and the signal decoded by the time domain decoder 1830 The signal is converted into the frequency domain and the signal is synthesized and converted from the frequency domain to the time domain.

여기서, 도메인 변환부(1440)는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Here, the domain converter 1440 may be implemented by any conversion scheme that can divide a predetermined band and input signals expressed in a time domain or a frequency domain, and convert the signals into a time domain. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

도메인 변환부(1840)는 제2 도메인 변환부(1843) 및 제2 도메인 역변환부(1846)를 포함하여 이루어진다.The domain converting unit 1840 includes a second domain converting unit 1843 and a second domain inverting unit 1846.

제2 도메인 변환부(1843)는 시간도메인 복호화부(1830)에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다. 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.The second domain converter 1843 transforms the signal decoded by the time domain decoder 1830 from the time domain to the frequency domain by the second conversion method. The second conversion method includes Modified Discrete Cosine Transform (MDCT).

제2 도메인 역변환부(1846)는 주파수도메인 복호화부(1620)에서 복호화된 서브 밴드들의 신호와 제2 도메인 변환부(1843)에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The second domain inversion unit 1846 combines the signals of the subbands decoded by the frequency domain decoding unit 1620 and the signals of the subbands converted by the second domain conversion unit 1843, To the time domain. Here, the second inverse transformation method performs a process of inversely transforming the second transformation method described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

고주파수밴드 복호화부(1850)는 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 역다중화부(1800)로부터 입력받아 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 생성한다.The high frequency band decoding unit 1850 receives information from the demultiplexing unit 1800 that can decode the high frequency band signal using the low frequency band signal, and generates a high frequency band signal using the low frequency band signal.

밴드 합성부(1860)는 제2 도메인 역변환부(1846)에서 역변환된 저주파수 밴드 신호와 고주파수밴드 복호화부(1850)에서 생성된 고주파수 밴드 신호를 합성한다. 여기서, 밴드 합성부(1860)는 합성된 신호를 출력 단자 OUT을 통해 출력한다.The band combiner 1860 combines the low frequency band signal inverted by the second domain inverting unit 1846 and the high frequency band signal generated by the high frequency band decoding unit 1850. Here, the band synthesizer 1860 outputs the synthesized signal through the output terminal OUT.

도 19는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1900), 주파수도메인 복호화부(1910), 제2 도메인 역변환부(1920), 고주파수밴드 복호화부(1930), 밴드 합성부(1940) 및 스테레오 복호화부(1950)를 포함하여 이루어진다.FIG. 19 is a block diagram of an audio / speech signal decoding apparatus according to the present invention. The audio / speech signal decoding apparatus includes a demultiplexer 1900, a frequency domain decoder 1910, An inverse transform unit 1920, a high frequency band decoding unit 1930, a band combining unit 1940, and a stereo decoding unit 1950.

역다중화부(1900)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1900)가 역다중화하여 출력하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보, 스테레오로 업믹싱할 수 있는 파라미터 등이 있다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.The demultiplexer 1900 receives the bitstream transmitted from the encoder through the input terminal IN and demultiplexes the bitstream. Here, the data demultiplexed and output by the demultiplexer 1900 includes information capable of decoding a high frequency band signal using a low frequency band signal as a result of encoding in the frequency domain at an encoding end, a parameter capable of upmixing into a stereo . Here, the result encoded in the frequency domain at the encoding end includes the result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

주파수도메인 복호화부(1910)는 역다중화부(1900)로부터 출력되는 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1910)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1910)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.The frequency domain decoding unit 1910 decodes the result encoded in the frequency domain at the encoding end output from the demultiplexing unit 1900. In more detail, the frequency domain decoding unit 1910 decodes an important frequency component (important spectral component) selected in each subband and decodes a noise level of a residual spectral component excluding the important frequency component. The frequency domain decoding unit 1910 may be implemented as shown in FIGS. 12 and 13.

제2 도메인 역변환부(1920)는 주파수도메인 복호화부(1910)에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다. The second domain inversion unit 1920 inversely converts the decoded result in the frequency domain decoding unit 1910 from the frequency domain to the time domain by the second inverse transformation method. Here, the second inverse transform scheme is an inverse transform process applied to the second transform scheme described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

고주파수밴드 복호화부(1930)는 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 역다중화부(1900)로부터 입력받아 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 생성한다.The high frequency band decoding unit 1930 receives information from the demultiplexing unit 1900 that can decode the high frequency band signal using the low frequency band signal, and generates a high frequency band signal using the low frequency band signal.

밴드 합성부(1940)는 제2 도메인 역변환부(1920)에서 역변환된 저주파수 밴드 신호와 고주파수밴드 복호화부(1930)에서 생성된 고주파수 밴드 신호를 합성한다. The band combining unit 1940 combines the low frequency band signal inverted by the second domain inverting unit 1920 and the high frequency band signal generated by the high frequency band decoding unit 1930.

스테레오 복호화부(1950)는 밴드 합성부(1940)에서 합성된 모노 신호를 역다중화부(1900)에서 출력된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 복호화부(1950)는 업믹싱된 스테레오 신호를 출력 단자 OUT을 통해 출력한다.The stereo decoding unit 1950 upmixes the mono signal synthesized by the band synthesizing unit 1940 into a stereo signal by using a parameter for upmixing the mono signal output from the demultiplexing unit 1900 to a stereo signal. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. Here, the stereo decoding unit 1950 outputs the upmixed stereo signal through the output terminal OUT.

도 20은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(2000), 모드 판단부(2010), 주파수도메인 복호화부(2020), 시간도메인 복호화부(2030), 도메인 역변환부(2040), 고주파수밴드 복호화부(2050), 밴드 합성부(2060) 및 스테레오 복호화부(2070)를 포함하여 이루어진다.20 is a block diagram of an audio / speech signal decoding apparatus according to the present invention. The audio / speech signal decoding apparatus includes a demultiplexer 2000, a mode determiner 2010, a frequency domain decoder A frequency domain decoding unit 2020, a time domain decoding unit 2030, a domain inversion unit 2040, a high frequency band decoding unit 2050, a band combining unit 2060 and a stereo decoding unit 2070.

역다중화부(2000)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(2000)가 역다중화하여 출력하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과, 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보 등이 있다. The demultiplexer 2000 receives the bitstream transmitted from the encoder through the input terminal IN and demultiplexes the bitstream. Herein, data demultiplexed and output by the demultiplexer 2000 includes information of the domain in which each subband is coded, a result of coding in the frequency domain at a coding end with respect to a predetermined subband, And information that can decode the high frequency band signal using the low frequency band signal and the result encoded in the time domain.

여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.Here, the result encoded in the frequency domain at the encoding end has a result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

모드 판단부(2010)는 역다중화부(2000)에서 출력된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다.The mode determiner 2010 reads the information of the encoded domain of each subband output from the demultiplexer 2000 and determines whether the subband is coded in the frequency domain or in the time domain for each subband.

주파수도메인 복호화부(2020)는 모드 판단부(2010)에서 주파수 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 주파수 도메인에서 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(2020)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1820)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.The frequency domain decoding unit 2020 decodes the subband (s) determined to be encoded in the frequency domain by the mode determination unit 2010 in the frequency domain. In more detail, the frequency domain decoding unit 2020 decodes an important frequency component (important spectral component) selected in each subband and decodes a noise level of a residual spectral component excluding the important frequency component. The frequency domain decoding unit 1820 may be implemented as shown in FIGS. 12 and 13.

시간도메인 복호화부(2030)는 모드 판단부(2010)에서 시간 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 시간 도메인에서 복호화한다.The time domain decoding unit 2030 decodes the subband (s) determined to have been encoded in the time domain in the time domain in the mode determination unit 2010.

소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 해당하는 서브 밴드를 주파수도메인 복호화부(2020)에서는 주파수 도메인에서 부호화된 결과를 복호화하며, 시간도메인 복호화부(2030)에서는 시간 도메인에서 부호화된 결과를 복호화한다.In some cases, even when it is determined to encode a particular subband in a time domain for an encoding end, the corresponding subband may be encoded in both the frequency domain and the time domain. The frequency domain decoding unit 2020 decodes the subband corresponding to the frequency domain, and the time domain decoding unit 2030 decodes the time domain encoded result.

도메인 역변환부(2040)는 시간도메인 복호화부(2030)에서 복호화된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 주파수도메인 복호화부(2020)에서 복호화된 신호 및 시간도메인 복호화부(2030)에서 출력된 신호를 주파수 도메인으로 변환된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 변환한다. The domain inverse transform unit 2040 transforms the signal decoded by the time domain decoding unit 2030 from the time domain to the frequency domain and outputs the signal decoded by the frequency domain decoding unit 2020 and the signal decoded by the time domain decoding unit 2030 The signal is converted into the frequency domain and the signal is synthesized and converted from the frequency domain to the time domain.

여기서, 도메인 변환부(2040)는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Here, the domain converter 2040 may be implemented by any conversion scheme that can divide a predetermined band and input signals expressed in a time domain or a frequency domain, and convert the signals into a time domain. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

이러한 도메인 변환부(2040)는 제2 도메인 변환부(2043) 및 제2 도메인 역변환부(2046)를 포함하여 이루어진다.The domain converting unit 2040 includes a second domain converting unit 2043 and a second domain inverting unit 2046.

제2 도메인 변환부(2043)는 시간도메인 복호화부(2030)에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다. 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.The second domain converter 2043 transforms the signal decoded by the time domain decoder 2030 from the time domain to the frequency domain by the second conversion method. For example, the second conversion method includes MDCT (Modified Discrete Cosine Transform).

제2 도메인 역변환부(2046)는 주파수도메인 복호화부(2020)에서 복호화된 서브 밴드들의 신호와 제2 도메인 변환부(2043)에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The second domain inversion unit 2046 combines the signals of the subbands decoded by the frequency domain decoding unit 2020 and the signals of the subbands transformed by the second domain transform unit 2043, To the time domain. Here, the second inverse transformation method performs a process of inversely transforming the second transformation method described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

고주파수밴드 복호화부(2050)는 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 역다중화부(2000)로부터 입력받아 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 생성한다.The high frequency band decoding unit 2050 receives the information capable of decoding the high frequency band signal using the low frequency band signal from the demultiplexing unit 2000 and generates a high frequency band signal using the low frequency band signal.

밴드 합성부(2060)는 제2 도메인 역변환부(2046)에서 역변환된 저주파수 밴드 신호와 고주파수밴드 복호화부(2050)에서 생성된 고주파수 밴드 신호를 합성한다. The band combining unit 2060 combines the low frequency band signal inverted by the second domain inversion unit 2046 and the high frequency band signal generated by the high frequency band decoding unit 2050.

스테레오 복호화부(2070)는 밴드 합성부(2060)에서 합성된 모노 신호를 역다중화부(2000)에서 출력된 모노 신호를 스테레오 신호로 업믹하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 복호화부(2070)는 업믹싱된 스테레오 신호를 출력 단자 OUT을 통해 출력한다.The stereo decoding unit 2070 upmixes the mono signal synthesized by the band synthesizing unit 2060 to a stereo signal by using a parameter for upmixing the mono signal output from the demultiplexing unit 2000 to a stereo signal. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. Here, the stereo decoding unit 2070 outputs the upmixed stereo signal through the output terminal OUT.

도 21은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.FIG. 21 is a flowchart illustrating a first embodiment of the audio / speech signal encoding method according to the present invention.

먼저, 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2100단계). 제2100단계에서는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. First, the input signal is converted from the time domain to the frequency domain, and is divided into subbands (operation 2100). In operation 2100, the input signal is converted from the time domain to the frequency domain by the first conversion method, and the input signal is converted from the time domain to the frequency domain by the second conversion method other than the first conversion method do. The signal converted by the first conversion method is used for encoding the input signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the input signal.

예를 들어, 제2100단계는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, in operation 2100, the input signal is transformed into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to the first transform scheme, expressed as a real part, and a Modified Discrete Sine Transform ) Into a frequency domain and expressed as an imaginary part. Here, a signal converted by MDCT and expressed as a real part is used to encode an input signal, and a signal expressed by an imaginary part converted by MDST is used to apply a psychoacoustic model to an input signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

제2100단계에서 제1 변환 방식에 의해 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2110단계). 이러한 제2110단계는 도 22 및 23에 도시된 예와 같이 실시할 수 있다.In step 2100, an important spectral component is selected and quantized in each subband of the signal converted by the first conversion method, and a residual spectral component excluding the important frequency component is extracted to obtain a noise level of the residual spectral component And then quantized (Step 2110). The step 2110 may be performed as shown in the example shown in FIGS.

첫째, 도 22는 제2110단계의 일 실시예를 흐름도로 도시한 것이다.First, FIG. 22 is a flowchart showing an embodiment of operation 2110. FIG.

먼저, 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해서 심리음향모델을 적용한다(제2200단계). 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.First, a psychoacoustic model is applied to remove perceptual redundancy due to human auditory characteristics (Step 2200). Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

제2200단계에서는 인간의 청각 특성을 이용한 심리음향모델을 적용하여 감도가 낮은 세부 정보를 생략하고, 주파수 별로 감도의 정도를 뜻하는 SMR 값을 할당한다. 제2200단계에서는 제2 변환 방식으로 변환된 신호를 이용하여 심리음향모델을 적용하며, 제2 변환 방식의 예로 MDST가 있다.In operation 2200, a psychoacoustic model using a human auditory characteristic is applied to omit detailed information having low sensitivity, and an SMR value indicating the degree of sensitivity is assigned to each frequency. In operation 2200, a psychoacoustic model is applied using the signal converted to the second conversion method, and an example of the second conversion method is MDST.

제2200단계 후에, 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분을 선택한다(제2205단계). 제2205단계에서 중요 주파수 성분을 선택하는 방법으로 다음과 같은 방법들이 있다. 첫째, SMR 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택한다. 셋째, 각 서브 밴드 별로 SNR 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있다.After operation 2200, an important frequency component is selected in each subband of the signal represented by the input frequency domain (operation 2205). In step 2205, a method for selecting an important frequency component is as follows. First, the SMR value is calculated and a signal larger than the masking threshold value is selected as an important frequency component. Second, spectral peaks are extracted in consideration of predetermined weights to select important frequency components. Third, an SNR value is calculated for each subband, and a frequency component having a peak value of a predetermined size or more among subbands having a low SNR value is selected as an important frequency component. Each of the three methods described above can be carried out individually, but can also be implemented by combining at least one method.

제2200단계에서 할당된 SMR 값로 제2205단계에서 선택된 중요 주파수 성분을 양자화한다(제2210단계).The important frequency component selected in operation 2205 is quantized with the SMR value allocated in operation 2200 (operation 2210).

제2210단계 후에, 주파수 도메인으로 표현된 신호에서 제2205단계에서 선택된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하고, 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2220단계).In operation 2220, the residual spectral components excluding the significant frequency components selected in operation 2205 are extracted from the signal represented by the frequency domain, and the noise level of the remaining spectral components is calculated and quantized in operation 2220.

도 23은 제2110단계의 다른 일 실시예를 흐름도로 도시한 것이다.FIG. 23 is a flowchart showing another embodiment of operation 2110. FIG.

먼저, 어택(attack)이 강한 신호로 판별되는 신호에 대하여 짧은 트랜스폼(transform)의 길이로 좀 더 세밀하게 부호화한다(제2300단계).First, in step 2300, a signal having a strong attack is encoded with a length of a short transform in a more detailed manner.

제2300단계 후에, 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해서 심리음향모델을 적용한다(제2305단계).After step 2300, a psychoacoustic model is applied to remove perceptual redundancy due to human hearing characteristics (step 2305).

제2305단계에서는 인간의 청각 특성을 이용한 심리음향모델을 적용하여 감도가 낮은 세부 정보를 생략하고, 주파수 별로 감도의 정도를 뜻하는 SMR 값을 달리하여 할당한다. 제2305단계에서는 제2 변환 방식으로 변환된 신호를 이용하여 심리음향모델을 적용하며, 제2 변환 방식의 예로 MDST가 있다.In operation 2305, a psychoacoustic model using a human auditory characteristic is applied to omit detailed information having low sensitivity, and SMR values indicating sensitivity levels are assigned to different frequencies. In operation 2305, a psychoacoustic model is applied using the signal converted into the second conversion method, and an example of the second conversion method is MDST.

제2305단계 후에, 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분을 선택한다(제2310단계). 제2310단계에서 중요 주파수 성분을 선택하는 방법으로 다음과 같은 방법들이 있다. 첫째, SMR 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택한다. 셋째, 각 서브 밴드 별로 SNR 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있다.After operation 2305, an important frequency component is selected in each subband of the signal represented by the input frequency domain (operation 2310). In step 2310, the following methods are selected as the method of selecting the important frequency components. First, the SMR value is calculated and a signal larger than the masking threshold value is selected as an important frequency component. Second, spectral peaks are extracted in consideration of predetermined weights to select important frequency components. Third, an SNR value is calculated for each subband, and a frequency component having a peak value of a predetermined size or more among subbands having a low SNR value is selected as an important frequency component. Each of the three methods described above can be carried out individually, but can also be implemented by combining at least one method.

제2305단계에서 할당된 SMR 값으로 제2310단계에서 선택된 중요 주파수 성분을 양자화한다(제2320단계).In operation 2320, the important frequency component selected in operation 2310 is quantized with the SMR value allocated in operation 2305.

제2320단계 후에, 입력되는 주파수 도메인으로 표현된 신호에서 제2310단계에서 선택된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하고, 잔여 스펙트럼 성분의 노이즈 레벨을 서브 밴드 별로 계산하여 양자화한다(제2330단계). After step 2320, the residual spectral components excluding the significant frequency components selected in operation 2310 are extracted from the signal represented by the input frequency domain, and the noise levels of the remaining spectral components are calculated for each subband and quantized (operation 2330) .

여기서, 노이즈 레벨은 선형 예측(linear prediction) 분석을 수행하여 계산할 수 있다. 이러한 선형 예측 분석은 자기 상관법(autocorrelation method)을 이용하여 수행하며, 공분산법(covariance method), 더빈의 방법(Durbin's method)등을 이용할 수 있다. 선형 예측을 통해 부호화기에서 현재 프레임에서 노이즈 성분이 얼마나 많은지를 예측한다. 만일 노이즈 성분이 강한 경우 노이즈 레벨을 그대로 전송하고, 만일 노이즈 성분이 적고 톤 성분이 강한 경우에는 상대적으로 노이즈 레벨을 줄여 전송한다. 또한 작은 윈도우일 경우에는 노이즈가 급격하게 변하는 경우이므로 추가적으로 노이즈 레벨을 줄여 전송한다.Here, the noise level can be calculated by performing a linear prediction analysis. The linear prediction analysis is performed using an autocorrelation method, and a covariance method, a Durbin's method, or the like can be used. Through linear prediction, the encoder predicts how much noise is in the current frame. If the noise component is strong, the noise level is transmitted as it is. If the noise component is small and the tone component is strong, the noise level is reduced and transmitted relatively. Also, in the case of a small window, since the noise is rapidly changed, the noise level is further reduced and transmitted.

제2110단계에서 부호화한 결과를 다중화하여 비트스트림을 생성한다(제2120단계). 제2110단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.In operation 2120, the encoded result is multiplexed to generate a bit stream. The result of encoding in step 2110 is a result of quantizing the significant frequency component in step 2210 described in the embodiment of FIG. 22 and quantizing the noise level of the residual spectral component in step 2220, The result of quantization of the significant frequency component in operation 2320 and the quantization result of the noise level of the residual spectral component in operation 2330. [

도 24는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.FIG. 24 is a flowchart illustrating a second embodiment of the audio / speech signal encoding method according to the present invention.

먼저, 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2400단계). 제2400단계에서는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.First, the input signal is transformed from the time domain to the frequency domain, and is divided into subbands (operation 2400). In operation 2400, the input signal is converted from the time domain to the frequency domain by the first conversion method, and the input signal is converted from the time domain to the frequency domain by the second conversion method other than the first conversion method do. The signal converted by the first conversion method is used for encoding the input signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the input signal.

예를 들어, 제2400단계에서는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.For example, in operation 2400, the input signal is converted into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to the first conversion method, and expressed as a real part, and a Modified Discrete Sine Transform ) Into a frequency domain and expressed as an imaginary part. Here, a signal converted by MDCT and expressed as a real part is used to encode an input signal, and a signal expressed by an imaginary part converted by MDST is used to apply a psychoacoustic model to an input signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT . Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

제2400단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다(제2410단계). 다시 말하면, 제2410단계에서는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 제2410단계에서는 각 서브 밴드에 대하여 제2410단계에서 결정된 도메인을 나타내는 식별자를 양자화한다.In operation 2430, it is determined whether encoding in the frequency domain is appropriate for each subband of the frequency domain-converted signal (operation 2410). In other words, in step 2410, it is determined whether to encode in the frequency domain or in the time domain for each subband according to a predetermined criterion. In operation 2410, an identifier indicating a domain determined in operation 2410 is quantized for each subband.

제2410단계에서 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제2400단계에서 변환된 주파수 도메인에 해당하는 신호만 이용하는 방법, 시간 도메인에 해당하는 입력 신호만 이용하는 방법, 제2400단계에서 변환된 주파수 도메인에 해당하는 신호와 시간 도메인에 해당하는 입력 신호를 모두 이용하는 방법이 있다.In step 2410, in determining whether it is appropriate to perform coding in a frequency domain for a predetermined subband, a method of using only a signal corresponding to the frequency domain converted in operation 2400, a method of using only an input signal corresponding to a time domain , And a method of using both the signal corresponding to the frequency domain converted in operation 2400 and the input signal corresponding to the time domain.

만일 제2410단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드로 판단되면, 해당하는 서브 밴드를 주파수 도메인에서 부호화한다(제2420단계). 여기서, 제2420단계에서는 전술한 도 22 및 23에 도시된 예에 의하여 실시할 수 있다.If it is determined in step 2410 that the subband is suitable for encoding in the frequency domain, the corresponding subband is encoded in the frequency domain (operation 2420). Here, in operation 2420, it can be performed by the example shown in FIGS. 22 and 23 described above.

만일 제2410단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되면, 해당하는 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제2430단계). 예를 들어, 제2430단계는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.If it is determined in step 2410 that it is not a suitable subband to be encoded in the frequency domain, the corresponding subbands are inversely transformed from the frequency domain to the time domain by the inverse transform method for the first transform method (operation 2430). For example, in operation 2430, inverse transform is performed by an inverse modified discrete cosine transform (IMDCT) corresponding to an inverse transformation method for the first transformation method.

제2400단계 및 제2430단계는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Operations 2400 and 2430 may be implemented in all conversion schemes that can receive signals represented in the time domain and simultaneously express the signals in the time domain and the frequency domain. More specifically, it is possible to convert a signal expressed in a time domain into a frequency domain, and then adaptively convert temporal resolution of each band to a frequency domain for a predetermined subband, to be. In addition, a signal for applying the psychoacoustic module is generated through the imaginary expression. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

제2430단계에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다(제2440단계).In operation 2430, the signal of the subband inversely transformed to the time domain is encoded in the time domain (operation 2440).

소정의 경우 제2410단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되더라도 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화한다.If it is determined in step 2410 that it is not a suitable subband to be encoded in the frequency domain in step 2410, the signal of the corresponding subband may be encoded in the time domain and the signal of the same subband may be encoded in the frequency domain. Accordingly, the predetermined subband (s) are encoded not only in the time domain but also in the frequency domain. In this case, an identifier indicating that a signal of a predetermined subband is encoded in both the time domain and the frequency domain is quantized.

제2420단계 또는 제2440단계 후에, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 제2440단계에서 부호화한 결과 및 제2420단계에서 부호화한 결과를 포함하여 다중화함으로써 비트스트림을 생성한다. 제2420단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.After the step 2420 or 2440, the bitstream is generated by multiplexing the result of encoding in step 2440 and the result of encoding in step 2420, as the result of quantizing the identifier indicating the encoded domain of each subband. The result of encoding in step 2420 is a result of quantizing the significant frequency component in step 2210 described in the embodiment of FIG. 22 and quantizing the noise level of the residual spectral component in step 2220, The result of quantization of the significant frequency component in operation 2320 and the quantization result of the noise level of the residual spectral component in operation 2330. [

도 25는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.FIG. 25 is a flowchart illustrating a third embodiment of the audio / speech signal encoding method according to the present invention.

먼저, 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다(제2500단계). 제2500단계에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 제2500단계에서는 추출한 파라미터를 양자화한다.First, if the input signal corresponds to a stereo signal, the input signal is analyzed to extract a parameter and downmix it (operation 2500). The parameter extracted in operation 2500 is information necessary for upmixing the mono signal transmitted from the encoding end to the stereo signal from the decoding end. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. In operation 2500, the extracted parameters are quantized.

제2500단계에서 다운믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2510단계). 제2510단계에서는 제2500단계에서 다운믹싱된 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.In operation 2500, the downmixed signal is converted from the time domain to the frequency domain and divided into subbands (operation 2510). In operation 2510, the downmixed signal is converted from the time domain to the frequency domain by the first conversion method, and the input signal is converted to the frequency domain by the second conversion method other than the first conversion method to apply the psychoacoustic model. Domain to the frequency domain. The signal converted by the first conversion method is used for encoding the input signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the input signal. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

예를 들어, 제2510단계에서는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, in operation 2510, the input signal is transformed into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to the first transform system, expressed as a real part, and a Modified Discrete Sine Transform ) Into a frequency domain and expressed as an imaginary part. Here, a signal converted by MDCT and expressed as a real part is used to encode an input signal, and a signal expressed by an imaginary part converted by MDST is used to apply a psychoacoustic model to an input signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

제2510단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2520단계). 이러한 제2520단계에서는 전술한 도 22 및 23에 도시된 예와 같이 실시할 수 있다.In step 2510, a significant spectral component is selected and quantized in each subband of the signal converted into the frequency domain, and the residual spectral components excluding the significant frequency components are extracted to calculate the noise level of the residual spectral components, (Operation 2520). In operation 2520, it is possible to perform the operation as shown in the example shown in FIGS. 22 and 23 described above.

제2500단계에서 양자화된 파라미터 및 제2520단계에서 부호화한 결과를 다중화하여 비트스트림을 생성한다(제2530단계). 제2530단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.The parameter quantized in operation 2500 and the result encoded in operation 2520 are multiplexed to generate a bitstream (operation 2530). The result of encoding in step 2530 is a result of quantizing the significant frequency component in step 2210 described in the embodiment of FIG. 22 and quantizing the noise level of the residual spectral component in step 2220, The result of quantization of the significant frequency component in operation 2320 and the quantization result of the noise level of the residual spectral component in operation 2330. [

도 26은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제4 실시예를 흐름도로 도시한 것이다.FIG. 26 is a flowchart illustrating a fourth embodiment of the audio / speech signal encoding method according to the present invention.

먼저, 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다(제2600단계). 제2600단계에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 제2600단계에서는 추출한 파라미터를 양자화한다.First, if the input signal corresponds to a stereo signal, the input signal is analyzed to extract a parameter and downmix it (operation 2600). The parameter extracted in operation 2600 refers to information necessary for upmixing the mono signal transmitted from the encoding end to the stereo signal from the decoding end. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. In operation 2600, the extracted parameters are quantized.

제2600단계에서 다운 믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2610단계). 제2610단계에서는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.The downmixed signal is transformed from the time domain to the frequency domain in operation 2600 and is divided into subbands (operation 2610). In operation 2610, the input signal is converted from the time domain to the frequency domain by the first conversion method, and the input signal is converted from the time domain to the frequency domain by the second conversion method other than the first conversion method do. The signal converted by the first conversion method is used for encoding the input signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the input signal.

예를 들어, 제2610단계에서는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.For example, in operation 2610, the input signal is converted into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to the first conversion scheme, expressed as a real part, and a Modified Discrete Sine Transform ) Into a frequency domain and expressed as an imaginary part. Here, a signal converted by MDCT and expressed as a real part is used to encode an input signal, and a signal expressed by an imaginary part converted by MDST is used to apply a psychoacoustic model to an input signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT . Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

제2610단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다(제2620단계). 다시 말하면, 제2620단계에서는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 제2620단계에서는 각 서브 밴드에 대하여 제2620단계에서 결정된 도메인을 나타내는 식별자를 양자화한다.In operation 2620, it is determined whether it is appropriate to perform encoding in the frequency domain for each subband of the signal converted into the frequency domain (operation 2620). In other words, in step 2620, it is determined whether to encode in the frequency domain or in the time domain for each subband according to a predetermined criterion. In operation 2620, an identifier indicating a domain determined in operation 2620 is quantized for each subband.

제2620단계에서 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제2610단계에서 변환된 주파수 도메인에 해당하는 신호만 이용하는 방법, 시간 도메인에 해당하는 제2600단계에서 다운믹싱된 신호만 이용하는 방법, 제2610단계에서 변환된 주파수 도메인에 해당하는 신호와 시간 도메인에 해당하는 제2600단계에서 다운믹싱된 신호를 모두 이용하는 방법이 있다.In step 2620, in determining whether it is appropriate to encode a predetermined subband in the frequency domain, a method of using only the signal corresponding to the frequency domain converted in operation 2610, A method of using only the mixed signal, and a method of using both a signal corresponding to the frequency domain converted in operation 2610 and a signal downmixed in operation 2600 corresponding to the time domain.

만일 제2620단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드로 판단되면, 해당하는 서브 밴드를 주파수 도메인에서 부호화한다(제2630단계). 여기서, 제2630단계에서는 전술한 도 22 및 23에 도시된 예에 의하여 실시할 수 있다.If it is determined in step 2620 that the subband is suitable for encoding in the frequency domain, the corresponding subband is encoded in the frequency domain (step 2630). Here, in operation 2630, it is possible to carry out by the example shown in FIGS. 22 and 23 described above.

만일 제2620단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되면, 해당하는 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제2640단계). 예를 들어, 제2640단계는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.If it is determined in step 2620 that it is not a suitable subband to be encoded in the frequency domain, the corresponding subbands are inversely transformed from the frequency domain to the time domain according to the inverse transformation method for the first transformation method (operation 2640). For example, in operation 2640, inverse transform is performed by an inverse modified discrete cosine transform (IMDCT) corresponding to an inverse transformation method for the first transformation method.

제2610단계 및 제2640단계는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Steps 2610 and 2640 may be implemented by all conversion methods that can receive signals represented in the time domain and simultaneously express the signals in the time domain and the frequency domain. More specifically, it is possible to convert a signal expressed in a time domain into a frequency domain, and then adaptively convert temporal resolution of each band to a frequency domain for a predetermined subband, to be. In addition, a signal for applying the psychoacoustic module is generated through the imaginary expression. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

제2640단계에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다(제2650단계).In operation 2640, the signal of the inversely transformed subband is encoded in the time domain in operation 2650.

소정의 경우 제2620단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되더라도 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화한다.If it is determined in step 2620 that it is not a suitable subband to be encoded in the frequency domain, the corresponding subband signal may be encoded in the time domain and the same subband signal may be encoded in the frequency domain. Accordingly, the predetermined subband (s) are encoded not only in the time domain but also in the frequency domain. In this case, an identifier indicating that a signal of a predetermined subband is encoded in both the time domain and the frequency domain is quantized.

제2630단계 또는 제2650단계 후에, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 제2600단계에서 양자화한 파라미터, 제2630단계에서 부호화한 결과 및 제2650단계에서 부호화한 결과를 포함하여 다중화함으로써 비트스트림을 생성한다. 제2630단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.After the step 2630 or 2650, the result of quantizing the identifier indicating the encoded domain of each subband includes the parameter quantized in operation 2600, the encoding result of operation 2630, and the encoding result of operation 2650 And generates a bit stream by multiplexing. The result of encoding in step 2630 is the result of quantizing the significant frequency component in step 2210 described in the embodiment of FIG. 22 and quantizing the noise level of the residual spectral component in step 2220, The result of quantization of the significant frequency component in operation 2320 and the quantization result of the noise level of the residual spectral component in operation 2330. [

도 27은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제5 실시예를 흐름도로 도시한 것이다.FIG. 27 is a flowchart illustrating a fifth embodiment of the audio / speech signal encoding method according to the present invention.

먼저, 입력 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다(제2700단계).First, the input signal is divided into a low frequency band signal and a high frequency band signal with reference to a predetermined frequency (operation 2700).

제2700단계에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2710단계). 제2710단계에서는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.The low-frequency band signal divided in operation 2700 is transformed from the time domain to the frequency domain and divided into subbands (operation 2710). In operation 2710, a low-frequency band signal is converted from a time domain to a frequency domain by a first conversion method, and in order to apply a psychoacoustic model, a low- . The signal converted by the first conversion method is used for encoding the low frequency band signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the low frequency band signal. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

예를 들어, 제2710단계에서는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, in operation 2710, the low-frequency band signal is transformed into a frequency domain by a modified discrete cosine transform (MDCT) corresponding to the first transform scheme, expressed as a real part, and a modulated discrete sine Transform) into the frequency domain and expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the low frequency band signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the low frequency band signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

제2710단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2720단계). 이러한 제2720단계는 전술한 도 2 및 3에 도시된 예와 같이 실시할 수 있다.In step 2710, a significant frequency component (important spectral component) is selected and quantized in each subband of the signal converted into the frequency domain, and a residual spectrum component excluding the significant frequency component is extracted to calculate a noise level of the residual spectral component, (Operation 2720). Step 2720 may be performed as in the example shown in Figs. 2 and 3 described above.

제2700단계에서 분할된 고주파수 밴드 신호를 저주파수 밴드 신호를 이용하여 부호화한다(제2730단계).The high frequency band signal divided in operation 2700 is encoded using a low frequency band signal (operation 2730).

제2720단계에서 부호화한 결과, 제2730단계에서 부호화한 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 다중화하여 비트스트림을 생성한다(제2740단계). 여기서, 제2720단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.As a result of the encoding in operation 2720, in operation 2740, a bit stream is generated by multiplexing information capable of decoding a high frequency band signal using the result encoded in operation 2730 and a low frequency band signal. The result of encoding in step 2720 is a result of quantizing the significant frequency component in step 2210 described in the embodiment of FIG. 22 and quantizing the noise level of the residual spectral component in step 2220, A result obtained by quantizing the important frequency component in operation 2320, and a result obtained by quantizing the noise level of the residual spectral component in operation 2330, as a result of encoding in operation 2300 described in the embodiment.

도 28은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제6 실시예를 흐름도로 도시한 것이다.FIG. 28 is a flowchart illustrating a sixth embodiment of the audio / speech signal encoding method according to the present invention.

먼저, 입력 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다(제2800단계).First, the input signal is divided into a low frequency band signal and a high frequency band signal with reference to a predetermined frequency (operation 2800).

제2800단계에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2810단계). 제2810단계에서는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.In operation 2800, the divided low frequency band signals are converted from a time domain to a frequency domain and then divided into subbands (operation 2810). In operation 2810, the low-frequency band signal is converted from the time domain to the frequency domain by the first conversion method, and the low-frequency band signal is converted from the time domain to the frequency domain by the second conversion method other than the first conversion method, . The signal converted by the first conversion method is used for encoding the low frequency band signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the low frequency band signal.

예를 들어, 제2810단계에서는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.For example, in operation 2810, the low frequency band signal is converted into a frequency domain by a Modified Discrete Cosine Transform (MDCT) corresponding to the first conversion system, expressed as a real part, and a Modified Discrete Sine Transform) into the frequency domain and expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the low frequency band signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the low frequency band signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT . Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

제2810단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다(제2820단계). 다시 말하면, 제2820단계에서는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 제2820단계에서는 각 서브 밴드에 대하여 제2820단계에서 결정된 도메인을 나타내는 식별자를 양자화한다.In operation 2820, it is determined whether it is appropriate to perform encoding in the frequency domain for each subband of the frequency domain converted signal (operation 2820). In other words, in step 2820, it is determined whether to encode in the frequency domain or in the time domain for each subband according to a predetermined criterion. In operation 2820, an identifier indicating a domain determined in operation 2820 is quantized for each subband.

제2820단계에서 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제2810단계에서 변환된 주파수 도메인에 해당하는 신호만 이용하는 방법, 시간 도메인에 해당하는 저주파수 밴드 신호만 이용하는 방법, 제2810단계에서 변환된 주파수 도메인에 해당하는 신호와 시간 도메인에 해당하는 저주파수 밴드 신호를 모두 이용하는 방법이 있다.In step 2820, in determining whether it is appropriate to encode a predetermined subband in the frequency domain, a method of using only a signal corresponding to the frequency domain converted in operation 2810, a method using only a low frequency band signal corresponding to a time domain A method of using the signal corresponding to the frequency domain converted in operation 2810 and a low frequency band signal corresponding to the time domain is used.

만일 제2820단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드로 판단되면, 해당하는 서브 밴드를 주파수 도메인에서 부호화한다(제2830단계). 여기서, 제2830단계는 전술한 도 22 및 23에 도시된 예에 의하여 실시할 수 있다.If it is determined in step 2820 that the subband is suitable for encoding in the frequency domain, the corresponding subband is encoded in the frequency domain (step 2830). Here, step 2830 can be performed by the example shown in Figs. 22 and 23 described above.

만일 제2820단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되면, 해당하는 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제2840단계). 예를 들어, 제2840단계는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.If it is determined in step 2820 that it is not a suitable subband to be encoded in the frequency domain, the corresponding subbands are inversely transformed from the frequency domain to the time domain by the inverse transform method for the first transform method (operation 2840). For example, operation 2840 is inversely transformed by an inverse modified discrete cosine transform (IMDCT) corresponding to an inverse transformation method for the first transformation method.

제2810단계 및 제2840단계는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Steps 2810 and 2840 may be implemented by all conversion methods that can receive signals expressed in the time domain and simultaneously express them in the time domain and the frequency domain. More specifically, it is possible to convert a signal expressed in a time domain into a frequency domain, and then adaptively convert temporal resolution of each band to a frequency domain for a predetermined subband, to be. In addition, a signal for applying the psychoacoustic module is generated through the imaginary expression. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

제2840단계에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다(제2850단계).In operation 2840, the signal of the subband inversely transformed to the time domain is encoded in the time domain (operation 2850).

소정의 경우 제2820단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되더라도 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화한다.If it is determined in step 2820 that it is not a suitable subband to be encoded in the frequency domain in step 2820, the signal of the corresponding subband may be encoded in the time domain and the signal of the same subband may be encoded in the frequency domain. Accordingly, the predetermined subband (s) are encoded not only in the time domain but also in the frequency domain. In this case, an identifier indicating that a signal of a predetermined subband is encoded in both the time domain and the frequency domain is quantized.

제2800단계에서 분할된 고주파수 밴드 신호를 저주파수 밴드 신호를 이용하여 부호화한다(제2860단계).The high frequency band signal divided in operation 2800 is encoded using a low frequency band signal (operation 2860).

제2830단계 또는 제2850단계 후에, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 제2830단계에서 부호화한 결과, 제2850단계에서 부호화한 결과, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 포함하여 다중화함으로써 비트스트림을 생성한다(제2870단계). 제2830단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.As a result of quantization of the identifier indicating the encoded domain of each subband in step 2830 or step 2850, as a result of encoding in step 2830, in step 2850, the high frequency band signal is encoded using the low frequency band signal And generates a bitstream by multiplexing the information including information that can be decoded (operation 2870). The result of encoding in step 2830 is a result of quantizing the significant frequency component in step 2210 described in the embodiment of FIG. 22 and quantizing the noise level of the residual spectral component in step 2220, The result of quantization of the significant frequency component in operation 2320 and the quantization result of the noise level of the residual spectral component in operation 2330. [

도 29는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제7 실시예를 흐름도로 도시한 것이다.FIG. 29 is a flowchart illustrating a seventh embodiment of the audio / speech signal encoding method according to the present invention.

먼저, 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다(제2900단계). 제2900단계에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 또한, 제2900단계에서는 추출한 파라미터를 양자화한다.First, if the input signal corresponds to a stereo signal, the input signal is analyzed to extract a parameter and downmix it (operation 2900). The parameter extracted in operation 2900 refers to information necessary for upmixing the mono signal transmitted from the encoding end to the stereo signal from the decoding end. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. In step 2900, the extracted parameters are quantized.

제2900단계에서 다운믹싱된 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다(제2910단계).In operation 2910, the downmixed signal is divided into a low frequency band signal and a high frequency band signal based on a predetermined frequency (operation 2910).

제2910단계에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2920단계). 제2920단계에서는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.In operation 2920, the divided low frequency band signals are converted from the time domain to the frequency domain and are divided into subbands (operation 2920). In operation 2920, a low-frequency band signal is converted from a time domain to a frequency domain by a first conversion method, and a low-frequency band signal is converted from a time domain to a frequency domain by a second conversion method other than the first conversion method, . The signal converted by the first conversion method is used for encoding the low frequency band signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the low frequency band signal. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

예를 들어, 제2920단계에서는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.For example, in operation 2920, the low frequency band signal is transformed into a frequency domain by a modified discrete cosine transform (MDCT) corresponding to the first transform method, expressed as a real part, and a modulated discrete sine Transform) into the frequency domain and expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the low frequency band signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the low frequency band signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT .

제2920단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2930단계). 이러한 제2930단계는 전술한 도 22 및 23에 도시된 예와 같이 실시할 수 있다.In step 2920, a significant spectrum component (a significant spectral component) is selected and quantized in each subband of a signal converted into the frequency domain, and the residual spectral components excluding the important frequency components are extracted to calculate a noise level of the remaining spectral components, (Step 2930). Step 2930 can be performed as in the example shown in FIGS. 22 and 23 described above.

제2910단계에서 분할된 고주파수 밴드 신호를 저주파수 밴드 신호를 이용하여 부호화한다(제2940단계).The high frequency band signal divided in operation 2910 is encoded using a low frequency band signal (operation 2940).

제2900단계에서 양자화된 파라미터, 제2930단계에서 부호화한 결과 및 제2940단계에서 부호화한 결과를 다중화함으로써 비트스트림을 생성한다. 여기서, 제2930단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.A bitstream is generated by multiplexing the parameters quantized in operation 2900, the result of encoding in operation 2930, and the result of encoding in operation 2940. The result of encoding in step 2930 is a result of quantizing the significant frequency component in step 2210 described in the embodiment of FIG. 22 and quantizing the noise level of the residual spectral component in step 2220, A result obtained by quantizing the important frequency component in operation 2320, and a result obtained by quantizing the noise level of the residual spectral component in operation 2330, as a result of encoding in operation 2300 described in the embodiment.

도 30은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제8 실시예를 흐름도로 도시한 것이다.FIG. 30 is a flowchart illustrating an eighth embodiment of the audio / speech signal encoding method according to the present invention.

먼저, 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다(제3000단계). 제3000단계에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 또한, 제3000단계에서는 추출한 파라미터를 양자화한다.First, if the input signal corresponds to a stereo signal, the input signal is analyzed to extract a parameter and downmix (step 3000). The parameter extracted in operation 3000 is information required to upmix the mono signal transmitted from the encoding end to the stereo signal from the decoding end. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like. In step 3000, the extracted parameters are quantized.

제3000단계에서 다운믹싱된 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다(제3010단계).In operation 3000, the downmixed signal is divided into a low frequency band signal and a high frequency band signal based on a predetermined frequency (operation 3010).

제3010단계에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제3020단계). 제3020단계에서는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.In operation 3020, the divided low-frequency band signals are converted from a time domain to a frequency domain and divided into subbands (operation 3020). In operation 3020, a low-frequency band signal is converted from a time domain to a frequency domain using a first conversion method. In order to apply a psychoacoustic model, a low-frequency band signal is converted into a frequency domain . The signal converted by the first conversion method is used for encoding the low frequency band signal and the signal converted by the second conversion method is used for applying the psychoacoustic model to the low frequency band signal.

예를 들어, 제3020단계에서는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.For example, in operation 3020, the low frequency band signal is transformed into a frequency domain by a modified discrete cosine transform (MDCT) corresponding to a first transform scheme, and expressed as a real part. A Modified Discrete Sine Transform) into the frequency domain and expressed as an imaginary part. Here, the signal converted by the MDCT and represented by the real part is used for encoding the low frequency band signal, and the signal converted by the MDST and expressed by the imaginary part is used for applying the psychoacoustic model to the low frequency band signal. Since the phase information of the signal can be further expressed, it is possible to solve the miss match generated by performing the DFT (Discrete Fourier Transform) on the signal corresponding to the time domain and then quantizing the coefficients of the MDCT . Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

제3020단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다(제3030단계). 다시 말하면, 제3030단계에서는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 제3030단계에서는 각 서브 밴드에 대하여 제3030단계에서 결정된 도메인을 나타내는 식별자를 양자화한다.In operation 3020, it is determined whether encoding in the frequency domain is appropriate for each subband of the signal converted into the frequency domain (operation 3030). In other words, in step 3030, it is determined whether to encode in the frequency domain or in the time domain for each subband according to a predetermined criterion. In operation 3030, an identifier indicating a domain determined in operation 3030 is quantized for each subband.

제3030단계에서 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제3020단계에서 변환된 주파수 도메인에 해당하는 신호만 이용하는 방법, 시간 도메인에 해당하는 저주파수 밴드 신호만 이용하는 방법, 제3020단계에서 변환된 주파수 도메인에 해당하는 신호와 시간 도메인에 해당하는 저주파수 밴드 신호를 모두 이용하는 방법이 있다.In step 3030, in determining whether it is appropriate to encode a predetermined subband in the frequency domain, a method of using only a signal corresponding to the frequency domain converted in operation 3020, a method of using only a low- A method of using the signal corresponding to the frequency domain converted in operation 3020 and a low frequency band signal corresponding to the time domain is used.

만일 제3030단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드로 판단되면, 해당하는 서브 밴드를 주파수 도메인에서 부호화한다(제3040단계). 여기서, 제3040단계는 전술한 도 22 및 23에 도시된 예에 의하여 실시할 수 있다.If it is determined in step 3030 that the subband is suitable for encoding in the frequency domain, the corresponding subband is encoded in the frequency domain (operation 3040). Here, step 3040 can be performed by the example shown in Figs. 22 and 23 described above.

만일 제3030단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되면, 해당하는 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제3050단계). 예를 들어, 제3050단계는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.If it is determined in step 3030 that it is not a suitable subband to be encoded in the frequency domain, the corresponding subbands are inversely transformed from the frequency domain to the time domain by an inverse transformation method for the first transformation method (operation 3050). For example, in operation 3050, inverse transform is performed by an inverse modified discrete cosine transform (IMDCT) corresponding to an inverse transformation method for the first transformation method.

제3020단계 및 제3050단계는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.In operation 3020 and operation 3050, a signal expressed in the time domain may be input and all transformation methods that can simultaneously express the signal in the time domain and the frequency domain may be implemented. More specifically, it is possible to convert a signal expressed in a time domain into a frequency domain, and then adaptively convert temporal resolution of each band to a frequency domain for a predetermined subband, to be. In addition, a signal for applying the psychoacoustic module is generated through the imaginary expression. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

제3050단계에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다(제3060단계).In operation 3060, the signal of the subband inversely transformed to the time domain is encoded in the time domain (operation 3060).

소정의 경우 제3030단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되더라도 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화한다.If it is determined in step 3030 that it is not a suitable subband to be encoded in the frequency domain in step 3030, the signal of the corresponding subband may be encoded in the time domain and the signal of the same subband may be encoded in the frequency domain. Accordingly, the predetermined subband (s) are encoded not only in the time domain but also in the frequency domain. In this case, an identifier indicating that a signal of a predetermined subband is encoded in both the time domain and the frequency domain is quantized.

제3010단계에서 분할된 고주파수 밴드 신호를 저주파수 밴드 신호를 이용하여 부호화한다(제3070단계).The high frequency band signal divided in operation S3010 is encoded using a low frequency band signal (operation 3070).

제3000단계에서 양자화된 파라미터, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 제3040단계에서 부호화한 결과, 제3060단계에서 부호화한 결과, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 포함하여 다중화함으로써 비트스트림을 생성한다(제3080단계). 제3080단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.As a result of quantization of the parameter quantized in operation 3000 and the identifier indicating the domain in which each subband is encoded, the high frequency band signal is decoded using the low frequency band signal as a result of coding in operation 3060 as a result of encoding in operation 3060 And generates a bitstream by multiplexing the information including the bitstream information (operation 3080). The result of encoding in step 3080 is a result of quantizing the significant frequency component in step 2210 described in the embodiment of FIG. 22 and quantizing the noise level of the residual spectral component in step 2220, The result of quantization of the significant frequency component in operation 2320 and the quantization result of the noise level of the residual spectral component in operation 2330. [

도 31은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.FIG. 31 is a flowchart illustrating a first embodiment of a method of decoding an audio / speech signal according to the present invention.

먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3100단계). 제3100단계에서 역다중화하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과로서 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함할 수도 있다.First, a bitstream transmitted from an encoding end is received and demultiplexed (operation 3100). The data demultiplexed in operation 3100 includes a result obtained by quantizing an important frequency component as a result encoded in the frequency domain at an encoding end and quantizing a noise level of a residual spectral component. And may include results encoded by voice tools.

제3100단계에서 역다중화된 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다(제3110단계). 보다 상세하게 설명하면, 제3110단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3110단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.In operation 3110, the result encoded in the frequency domain is decoded in the demultiplexing unit (operation 3110). More specifically, in operation 3110, the important spectral component selected in each subband is decoded, and the noise level of the remaining spectral components excluding the significant frequency components is decoded. This step 3110 can be performed as shown in the example shown in FIGS. 32 and 33.

첫째, 도 32는 제3110단계의 일 실시예를 흐름도로 도시한 것이다.First, FIG. 32 is a flowchart showing an embodiment of operation 3110.

먼저, 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리 음향 모델을 적용하여 각각 달리 할당된 비트로 부호화된 중요 주파수 성분이 역다중화된 결과를 역양자화한다(제3200단계). 여기서, 심리 음향 모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.First, in operation 3200, a psychoacoustic model for eliminating perceptual redundancy due to human auditory characteristics is applied to inverse-quantize the result of demultiplexing the important frequency components encoded with differently assigned bits. Here, the psychoacoustic model refers to a mathematical model of the shielding action of the human auditory system.

제3200단계에서 역양자화한 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨이 역다중화된 결과를 복호화한다(제3210단계). 또한, 제3210단계에서는 복호화된 노이즈 레벨을 제3200단계에서 복호화된 중요 주파수 성분에 합성한다.In operation 3210, the result of demultiplexing the noise level of the residual spectral component excluding the inversely quantized important frequency component is decoded (operation 3210). Also, in operation 3210, the decoded noise level is synthesized with the important frequency component decoded in operation 3200.

둘째, 도 33은 제3110단계의 다른 일 실시예를 흐름도로 도시한 것이다.FIG. 33 is a flowchart showing another embodiment of operation 3110. FIG.

먼저, 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리음향모델을 적용하여 각각 달리 할당된 비트로 부호화된 중요 주파수 성분이 역다중화된 결과를 역양자화한다(제3300단계).First, in operation 3300, a psychoacoustic model for eliminating perceptual redundancy due to human auditory characteristics is applied to inverse-quantize the result of demultiplexing the important frequency components encoded with differently assigned bits.

제3300단계에서 역양자화된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨이 역다중화된 결과를 복호화한다(제3310단계). 또한, 제3310단계에서는 복호화된 노이즈 레벨을 제3300단계에서 복호화된 중요 주파수 성분에 합성한다.In operation 3300, the result of demultiplexing the noise level of the residual spectral components excluding the inversely quantized important frequency components is decoded (operation 3310). In operation 3310, the decoded noise level is synthesized with the important frequency component decoded in operation 3300.

제3310단계 후에, 부호화단에서 음성 툴에 의해 부호화된 결과가 역다중화된 결과를 복호화한다(제3320단계). 또한, 제3320단계에서는 제3320단계에서 복호화된 결과를 제3310단계에서 합성된 결과에 합성한다.After operation 3310, the result of demultiplexing the result of encoding by the speech tool at the encoding end is decoded (operation 3320). In operation 3320, the result decoded in operation 3320 is combined with the result synthesized in operation 3310.

제3110단계에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다(제3120단계). 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다. 예를 들어, 제3120단계에서는 도 32에서 제3200단계에서 합성된 신호를 IMDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하며, 도 33에서 제3320단계에서 합성된 신호를 IMDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.The result decoded in operation 3110 is inversely transformed from the frequency domain to the time domain by the second inverse transformation method (operation 3120). Here, the second inverse transform scheme is an inverse transform process applied to the second transform scheme described above, for example, there is an inverse modified discrete cosine transform (IMDCT). For example, in operation 3120, the signal synthesized in operation 3200 of FIG. 32 is inversely transformed from the frequency domain to the time domain by the IMDCT. In operation 3320, the signal synthesized in operation 3320 is transformed by the IMDCT into a time domain .

도 34는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.FIG. 34 is a flowchart illustrating a second embodiment of the audio / speech signal decoding method according to the present invention.

먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3400단계). 제3400단계 역다중화하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다. First, a bitstream transmitted from an encoding end is received and demultiplexed (operation 3400). The data to be demultiplexed in the step 3400 includes the information of the encoded domain of each subband, the result of encoding in the frequency domain at the encoding end with respect to the predetermined subband, and the result of encoding at the encoding end in the time domain with respect to the predetermined subband .

여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.Here, the result encoded in the frequency domain at the encoding end has a result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

제3400단계에서 역다중화된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다(제3410단계).In operation 3460, the demultiplexed information of each subband is read and it is determined whether the subband is coded in the frequency domain or in the time domain for each subband (operation 3410).

만일 제3410단계에서 주파수 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 주파수 도메인에서 복호화한다(제3420단계). 보다 상세하게 설명하면, 제3420단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3420단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.If it is determined in operation 3410 that the subband is encoded in the frequency domain, the corresponding subband (s) is decoded in the frequency domain (operation 3420). More specifically, in operation 3420, the important spectral component selected in each subband is decoded, and the noise level of the remaining spectral components except for the important frequency component is decoded. The operation 3420 may be performed as in the example shown in FIGS. 32 and 33.

만일 제3410단계에서 시간 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 시간 도메인에서 복호화한다(제3430단계).If it is determined in operation 3410 that the subband is encoded in the time domain, the corresponding subband (s) is decoded in the time domain (operation 3430).

소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 이러한 경우 해당하는 서브 밴드를 시간 도메인에서 부호화된 결과를 복호화하며, 주파수 도메인에서도 부호화된 결과를 복호화한다.In some cases, even when it is determined to encode a particular subband in a time domain for an encoding end, the corresponding subband may be encoded in both the frequency domain and the time domain. In this case, the result of encoding the corresponding subband in the time domain is decoded, and the encoded result is also decoded in the frequency domain.

제3430단계에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다(제3440단계). 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.The signal decoded in operation 3430 is transformed from the time domain to the frequency domain by the second conversion method (operation 3440). For example, the second conversion method includes MDCT (Modified Discrete Cosine Transform).

제3420단계에서 복호화된 서브 밴드들의 신호와 제3440단계에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제3450단계). 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The signal of the subbands decoded in operation 3420 and the signal of the subbands transformed in operation 3440 are combined and inverse transformed from the frequency domain to the time domain by the second inverse transform method in operation 3450. The second inverse transformation method performs a process of inversely transforming the second transformation method described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

제3440단계 및 제3450단계는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Operations 3440 and 3450 may be implemented by any conversion method that is capable of receiving signals expressed in a time domain or a frequency domain and converting the signals into a time domain. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

도 35는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.FIG. 35 is a flowchart illustrating a method for decoding an audio / speech signal according to a third embodiment of the present invention.

먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3500단계). 제3500단계에서 역다중화된 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과 및 스테레오 신호로 업믹싱하기 위한 파라미터를 포함한다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함할 수도 있다.First, a bitstream transmitted from an encoding end is received and demultiplexed (operation 3500). The data demultiplexed in operation 3500 includes parameters for upmixing the encoded result in the frequency domain and the stereo signal in the encoding step. Here, the result encoded in the frequency domain at the encoding end includes the result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include results encoded by voice tools.

제3500단계에서 역다중화된 부호화단에서 주파수 도메인에서 부호화된 결과를 주파수 도메인에서 복호화한다(제3510단계). 보다 상세하게 설명하면, 제3510단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3510단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.In operation 3510, the demultiplexed encoded data is decoded in the frequency domain in the frequency domain (operation 3510). More specifically, in operation 3510, the important spectral component selected in each subband is decoded, and the noise level of the residual spectral component excluding the significant frequency component is decoded. The operation 3510 may be performed as shown in the example shown in FIGS. 32 and 33.

제3510단계에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다(제3520단계). 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The result decoded in operation 3510 is inversely transformed from a frequency domain to a time domain by a second inverse transformation method (operation 3520). Here, the second inverse transform scheme is an inverse transform process applied to the second transform scheme described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

제3520단계에서 역변환된 모노 신호를 스테레오 신호로 업믹하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다(제3530단계). 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다.In operation 3530, the up-mixed mono signal is up-mixed into a stereo signal using a parameter for up-mixing the stereo signal. Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like.

도 36은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제4 실시예를 흐름도로 도시한 것이다.FIG. 36 is a flowchart illustrating a method for decoding an audio / speech signal according to a fourth embodiment of the present invention.

먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3600단계). 제3600단계 역다중화하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다. First, the bitstream transmitted from the encoding end is received and demultiplexed (operation 3600). The data to be demultiplexed in the 3600th step includes the information of the encoded domain of each subband, the result of encoding in the frequency domain at the encoding end with respect to the predetermined subband, and the result of encoding at the encoding end in the time domain at the encoding end .

여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.Here, the result encoded in the frequency domain at the encoding end has a result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

제3600단계에서 역다중화된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다(제3610단계).In operation 3600, the demultiplexed subband information of the encoded domain is read and it is determined whether the subband is coded in the frequency domain or in the time domain for each subband (operation 3610).

만일 제3610단계에서 주파수 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 주파수 도메인에서 복호화한다(제3620단계). 보다 상세하게 설명하면, 제3620단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3420단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.If it is determined in operation 3610 that the subband is encoded in the frequency domain, the corresponding subband (s) is decoded in the frequency domain (operation 3620). More specifically, in operation 3620, the important spectral component selected in each subband is decoded, and the noise level of the remaining spectral components excluding the important frequency components is decoded. The operation 3420 may be performed as in the example shown in FIGS. 32 and 33.

만일 제3610단계에서 시간 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 시간 도메인에서 복호화한다(제3630단계).If it is determined in operation 3610 that the subband is encoded in the time domain, the corresponding subband (s) is decoded in the time domain (operation 3630).

소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 이러한 경우 해당하는 서브 밴드를 시간 도메인에서 부호화된 결과를 복호화하며, 주파수 도메인에서도 부호화된 결과를 복호화한다.In some cases, even when it is determined to encode a particular subband in a time domain for an encoding end, the corresponding subband may be encoded in both the frequency domain and the time domain. In this case, the result of encoding the corresponding subband in the time domain is decoded, and the encoded result is also decoded in the frequency domain.

제3630단계에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다(제3640단계). 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.The signal decoded in operation 3630 is transformed from the time domain to the frequency domain by the second conversion method (operation 3640). For example, the second conversion method includes MDCT (Modified Discrete Cosine Transform).

제3620단계에서 복호화된 서브 밴드들의 신호와 제3640단계에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제3650단계). 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The signal of the subbands decoded in operation 3620 and the signal of the subbands transformed in operation 3640 are synthesized and inverse transformed from the frequency domain to the time domain by the second inverse transformation method in operation 3650. The second inverse transformation method performs a process of inversely transforming the second transformation method described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

제3640단계 및 제3650단계는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Operations 3640 and 3650 may be implemented by any conversion method that can receive signals expressed in a time domain or a frequency domain and convert the signals into a time domain. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

제3650단계에서 역변환된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다(제3660단계). 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다.In operation 3660, the up-mixed mono signal is up-mixed into a stereo signal using a parameter for up-mixing the stereo signal into the stereo signal (operation 3660). Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like.

도 37은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제5 실시예를 흐름도로 도시한 것이다.FIG. 37 is a flowchart illustrating a method for decoding an audio / speech signal according to a fifth embodiment of the present invention.

먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3700단계). 제3700단계에서 역다중화된 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 포함한다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.First, a bitstream transmitted from an encoding end is received and demultiplexed (operation 3700). The data demultiplexed in operation 3700 includes information capable of decoding a high frequency band signal using a result encoded in a frequency domain and a low frequency band signal at an encoding end. Here, the result encoded in the frequency domain at the encoding end includes the result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

제3700단계에서 역다중화된 부호화단에서 주파수 도메인에서 부호화된 결과를 주파수 도메인에서 복호화한다(제3710단계). 보다 상세하게 설명하면, 제3710단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3710단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.In operation 37010, the result of encoding in the frequency domain is demultiplexed in the frequency domain in operation 3710. More specifically, in operation 3710, the important spectral component selected in each subband is decoded, and the noise level of the remaining spectral components excluding the significant frequency components is decoded. This step 3710 can be performed as shown in the example shown in FIGS. 32 and 33.

제3710단계에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다(제3720단계). 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The result decoded in operation 3710 is inversely transformed from the frequency domain to the time domain by a second inverse transformation method (operation 3720). Here, the second inverse transform scheme is an inverse transform process applied to the second transform scheme described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

제3700단계에서 역다중화된 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보에 따라 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화한다(제3730단계).In operation 3730, the high frequency band signal is decoded using the low frequency band signal according to information capable of decoding the high frequency band signal using the demultiplexed low frequency band signal (operation 3730).

제3720단계에서 역변환된 저주파수 밴드 신호와 제3730단계에서 생성된 고주파수 밴드 신호를 합성한다(제3740단계). The low-frequency band signal reverse-transformed in operation 3720 and the high-frequency band signal generated in operation 3730 are combined (operation 3740).

도 38은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제6 실시예를 흐름도로 도시한 것이다.38 is a flowchart illustrating a method for decoding an audio / speech signal according to a sixth embodiment of the present invention.

먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3800단계). 제3800단계 역다중화하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다. First, the bitstream transmitted from the encoding end is received and demultiplexed (operation 3800). The data to be demultiplexed in the 3800th step includes information of the encoded domain of each subband, a result of encoding in a frequency domain at a coding end with respect to a predetermined subband, and a result of encoding at a coding end in a time domain with respect to a predetermined subband .

여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.Here, the result encoded in the frequency domain at the encoding end has a result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

제3800단계에서 역다중화된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다(제3810단계).In operation 3800, the demultiplexed subband information of the encoded domain is read and it is determined whether the subband is coded in the frequency domain or in the time domain for each subband (operation 3810).

만일 제3810단계에서 주파수 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 주파수 도메인에서 복호화한다(제3820단계). 보다 상세하게 설명하면, 제3820단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3820단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.If it is determined in operation 3810 that the subband is determined to be encoded in the frequency domain, the corresponding subband (s) is decoded in the frequency domain (operation 3820). More specifically, in operation 3820, the important spectral component selected in each subband is decoded, and the noise level of the residual spectral components excluding the significant frequency components is decoded. The operation 3820 may be performed as in the example shown in FIGS. 32 and 33.

만일 제3810단계에서 시간 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 시간 도메인에서 복호화한다(제3830단계).If it is determined in step 3810 that the subband is determined to be encoded in the time domain, the corresponding subband (s) are decoded in the time domain (operation 3830).

소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 이러한 경우 해당하는 서브 밴드를 시간 도메인에서 부호화된 결과를 복호화하며, 주파수 도메인에서도 부호화된 결과를 복호화한다.In some cases, even when it is determined to encode a particular subband in a time domain for an encoding end, the corresponding subband may be encoded in both the frequency domain and the time domain. In this case, the result of encoding the corresponding subband in the time domain is decoded, and the encoded result is also decoded in the frequency domain.

제3830단계에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다(제3840단계). 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.The signal decoded in operation 3830 is transformed from the time domain to the frequency domain by the second conversion method (operation 3840). For example, the second conversion method includes MDCT (Modified Discrete Cosine Transform).

제3820단계에서 복호화된 서브 밴드들의 신호와 제3840단계에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제3850단계). 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The signals of the subbands decoded in operation 3820 and the signals of the subbands transformed in operation 3840 are combined and inverse transformed from the frequency domain to the time domain by the second inverse transform method in operation 3850. The second inverse transformation method performs a process of inversely transforming the second transformation method described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

제3840단계 및 제3850단계는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Operations 3840 and 3850 may be implemented by any conversion method that can receive signals expressed in a time domain or a frequency domain and convert the signals into a time domain, An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

제3800단계에서 역다중화된 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보에 따라 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화한다(제3860단계).In operation 3860, the high frequency band signal is decoded using the low frequency band signal according to information capable of decoding the high frequency band signal using the demultiplexed low frequency band signal (operation 3860).

제3850단계에서 역변환된 저주파수 밴드 신호와 제3860단계에서 생성된 고주파수 밴드 신호를 합성한다(제3870단계).The low-frequency band signal reverse-transformed in operation 3850 and the high-frequency band signal generated in operation 3860 are combined (operation 3870).

도 39는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제7 실시예를 흐름도로 도시한 것이다.FIG. 39 is a flowchart illustrating a method of decoding an audio / speech signal according to a seventh embodiment of the present invention.

먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3900단계). 제3900단계에서 역다중화되는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보, 스테레오로 업믹싱할 수 있는 파라미터 등이 있다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.First, a bitstream transmitted from an encoding end is received and demultiplexed (operation 3900). The data demultiplexed in operation 3900 includes information that can be encoded in the frequency domain at the encoding end, information capable of decoding the high frequency band signal using the low frequency band signal, parameters capable of upmixing into stereo, and the like. Here, the result encoded in the frequency domain at the encoding end includes the result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

제3900단계에서 역다중화되는 부호화단에서 주파수 도메인에서 부호화된 결과를 주파수 도메인에서 복호화한다(제3910단계). 보다 상세하게 설명하면, 제3910단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3910단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.In operation 3900, the result encoded in the frequency domain is decoded in the frequency domain in the demultiplexing step (operation 3910). More specifically, in operation 3910, the important spectral component selected in each subband is decoded, and the noise level of the remaining spectral components excluding the significant frequency components is decoded. This step 3910 may be performed as shown in the example shown in FIGS. 32 and 33.

제3910단계에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다(제3920단계). 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다. The result decoded in operation 3910 is inversely transformed from a frequency domain to a time domain by a second inverse transformation method (operation 3920). Here, the second inverse transform scheme is an inverse transform process applied to the second transform scheme described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

제3900단계에서 역다중화된 고주파수 밴드 신호를 복호화할 수 있는 정보에 따라 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화한다(제3930단계).In operation 3900, the high frequency band signal is decoded using the low frequency band signal according to information capable of decoding the demultiplexed high frequency band signal (operation 3930).

제3920단계에서 역변환된 저주파수 밴드 신호와 제3930단계에서 생성된 고주파수 밴드 신호를 합성한다(제3940단계). The low-frequency band signal reverse-transformed in operation 3920 and the high-frequency band signal generated in operation 3930 are combined (operation 3940).

제3940단계에서 합성된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다(제3950단계). 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다.The mono signal synthesized in operation 3940 is upmixed into a stereo signal using a parameter for upmixing the synthesized mono signal into a stereo signal (operation 3950). Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like.

도 40은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제8 실시예를 흐름도로 도시한 것이다.40 is a flowchart illustrating an eighth embodiment of a method of decoding an audio / speech signal according to the present invention.

먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제4000단계). 제4000단계 역다중화하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다. First, a bitstream transmitted from an encoding end is received and demultiplexed (operation 4000). The data to be demultiplexed in the 4000th step includes the information of the encoded domain of each subband, the result of encoding in the frequency domain at the encoding end with respect to the predetermined subband, and the result of encoding at the encoding end in the time domain at the encoding end .

여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.Here, the result encoded in the frequency domain at the encoding end has a result of quantizing the important frequency component and quantizing the noise level of the residual spectral component. And may include the result encoded by the speech tool.

제4000단계에서 역다중화된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다(제4010단계).The demultiplexed subband in step 4000 reads the information of the encoded domain, and determines whether the subband is coded in the frequency domain or in the time domain for each subband (operation 4010).

만일 제4010단계에서 주파수 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 주파수 도메인에서 복호화한다(제4020단계). 보다 상세하게 설명하면, 제4020단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제4020단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.If it is determined in operation 4010 that the subband is encoded in the frequency domain, the corresponding subband (s) is decoded in the frequency domain (operation 4020). More specifically, in operation 4020, the important spectral component selected in each subband is decoded, and the noise level of the remaining spectral components except the significant frequency components is decoded. The operation 4020 may be performed as in the example shown in FIGS. 32 and 33.

만일 제4010단계에서 시간 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 시간 도메인에서 복호화한다(제4030단계).If it is determined in operation 4010 that the subband is encoded in the time domain, the corresponding subband (s) is decoded in the time domain (operation 4030).

소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 이러한 경우 해당하는 서브 밴드를 시간 도메인에서 부호화된 결과를 복호화하며, 주파수 도메인에서도 부호화된 결과를 복호화한다.In some cases, even when it is determined to encode a particular subband in a time domain for an encoding end, the corresponding subband may be encoded in both the frequency domain and the time domain. In this case, the result of encoding the corresponding subband in the time domain is decoded, and the encoded result is also decoded in the frequency domain.

제4030단계에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다(제4040단계). 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.The signal decoded in operation 4030 is transformed from the time domain to the frequency domain by the second conversion method (operation 4040). For example, the second conversion method includes MDCT (Modified Discrete Cosine Transform).

제4020단계에서 복호화된 서브 밴드들의 신호와 제4040단계에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제4050단계). 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.The signals of the subbands decoded in operation 4020 and the signals of the subbands transformed in operation 4040 are synthesized and inverse transformed from the frequency domain to the time domain by the second inverse transformation method in operation 4050. The second inverse transformation method performs a process of inversely transforming the second transformation method described above, for example, there is an inverse modified discrete cosine transform (IMDCT).

제4040단계 및 제4050단계는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.Operations 4040 and 4050 may be implemented by any conversion method that is capable of receiving signals expressed in a time domain or a frequency domain and converting the signals into a time domain. An example of such a conversion scheme is FV-MLT (Frequency Varying Modulated Lapped Transform).

제4000단계에서 역다중화된 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보에 따라 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화한다(제4060단계).In operation 460, the high frequency band signal is decoded using the low frequency band signal according to information capable of decoding the high frequency band signal using the demultiplexed low frequency band signal (operation 4060).

제4050단계에서 역변환된 저주파수 밴드 신호와 제4060단계에서 생성된 고주파수 밴드 신호를 합성한다(제4070단계).The low-frequency band signal reverse-converted in operation 4050 and the high-frequency band signal generated in operation 4060 are combined (operation 4070).

제4070단계에서 역변환된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다(제4080단계). 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다.In operation 4070, the up-mixed mono signal is up-mixed into a stereo signal using a parameter for up-mixing the stereo signal into the stereo signal (operation 4080). Examples of these parameters are the difference in energy between the two channels, the correlation or coherence of the two channels, and the like.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다. The present invention can be embodied as a computer readable code on a computer-readable recording medium (including all devices having an information processing function). A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.

이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. . Accordingly, the true scope of the present invention should be determined by the appended claims.

400: 도메인 변환부 410: 모드 결정부
420: 시간도메인 부호화부 430: 주파수도메인 부호화부
440: 다중화부400: domain conversion unit 410: mode determination unit
420: time domain coding unit 430: frequency domain coding unit
440: Multiplexer

Claims (4)

오디오 혹은 스피치 신호를 소정 단위로 주파수 도메인에서 부호화할지 시간 도메인에 부호화할지 여부를 결정하는 모드 결정부;
상기 오디오 혹은 스피치 신호가 상기 주파수 도메인에서 부호화하는 것으로 결정된 경우, 주파수 도메인 부호화를 수행하는 주파수 도메인 부호화부;
상기 오디오 혹은 스피치 신호가 상기 시간 도메인에서 부호화하는 것으로 결정된 경우, 시간 도메인 부호화를 수행하는 시간 도메인 부호화부; 및
상기 오디오 혹은 스피치 신호의 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 부호화하는 고주파수 밴드 부호화부를 포함하는 것을 오디오/스피치 신호 부호화 장치.A mode determining unit for determining whether to encode audio or speech signals in a frequency domain or a time domain in a predetermined unit;
A frequency domain coding unit for performing frequency domain coding when the audio or speech signal is determined to be encoded in the frequency domain;
A time domain encoding unit that performs time domain encoding when the audio or speech signal is determined to be encoded in the time domain; And
And a high-frequency band coding unit for coding the high-frequency band signal using the low-frequency band signal of the audio or speech signal. 제1 항에 있어서, 상기 오디오 혹은 스피치 신호는 스테레오 신호로부터 다운믹싱된 신호인 오디오/스피치 신호 부호화 장치.The audio / speech signal encoding apparatus of claim 1, wherein the audio or speech signal is a downmixed signal from a stereo signal. 제1 항에 있어서, 상기 고주파수 밴드 신호는 주파수 도메인 혹은 시간 도메인에서 부호화되는 오디오/스피치 신호 부호화 장치.The audio / speech signal encoding apparatus of claim 1, wherein the high frequency band signal is encoded in a frequency domain or a time domain. 제1 항에 있어서, 상기 고주파수 밴드 신호는 신호 성분과 노이즈 성분 중 적어도 하나에 대한 정보를 포함하는 오디오/스피치 신호 부호화 장치.The audio / speech signal encoding apparatus of claim 1, wherein the high frequency band signal includes information on at least one of a signal component and a noise component.
KR1020130085690A 2013-07-19 2013-07-19 Apparatus for encoding audio/speech signal KR101434209B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130085690A KR101434209B1 (en) 2013-07-19 2013-07-19 Apparatus for encoding audio/speech signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130085690A KR101434209B1 (en) 2013-07-19 2013-07-19 Apparatus for encoding audio/speech signal

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020060114102A Division KR101434198B1 (en) 2006-11-17 2006-11-17 Method of decoding a signal

Publications (2)

Publication Number Publication Date
KR20130095703A KR20130095703A (en) 2013-08-28
KR101434209B1 true KR101434209B1 (en) 2014-08-27

Family

ID=49218940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130085690A KR101434209B1 (en) 2013-07-19 2013-07-19 Apparatus for encoding audio/speech signal

Country Status (1)

Country Link
KR (1) KR101434209B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004004530A (en) 2002-01-30 2004-01-08 Matsushita Electric Ind Co Ltd Encoding apparatus, decoding apparatus and its method
WO2005078706A1 (en) 2004-02-18 2005-08-25 Voiceage Corporation Methods and devices for low-frequency emphasis during audio compression based on acelp/tcx
KR20060070693A (en) * 2004-12-21 2006-06-26 삼성전자주식회사 Low bitrate encoding/decoding method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004004530A (en) 2002-01-30 2004-01-08 Matsushita Electric Ind Co Ltd Encoding apparatus, decoding apparatus and its method
WO2005078706A1 (en) 2004-02-18 2005-08-25 Voiceage Corporation Methods and devices for low-frequency emphasis during audio compression based on acelp/tcx
KR20060070693A (en) * 2004-12-21 2006-06-26 삼성전자주식회사 Low bitrate encoding/decoding method and apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MELTZER, S. et al. MPEG-4 HE-AAC v2 - AUDIO CODING FOR TODAY’S DIGITAL MEDIA WORLD. white paper of Coding Technologies. 2006.01. (제1면 내지 제12면)
MELTZER, S. et al. MPEG-4 HE-AAC v2 - AUDIO CODING FOR TODAY'S DIGITAL MEDIA WORLD. white paper of Coding Technologies. 2006.01. (제1면 내지 제12면) *

Also Published As

Publication number Publication date
KR20130095703A (en) 2013-08-28

Similar Documents

Publication Publication Date Title
KR101434198B1 (en) Method of decoding a signal
KR101435893B1 (en) Method and apparatus for encoding and decoding audio signal using band width extension technique and stereo encoding technique
KR101379263B1 (en) Method and apparatus for decoding bandwidth extension
KR101411901B1 (en) Method of Encoding/Decoding Audio Signal and Apparatus using the same
KR101373004B1 (en) Apparatus and method for encoding and decoding high frequency signal
KR101253699B1 (en) Temporal Envelope Shaping for Spatial Audio Coding using Frequency Domain Wiener Filtering
CN106796800B (en) Audio encoder, audio decoder, audio encoding method, and audio decoding method
CN105957532B (en) Method and apparatus for encoding and decoding audio/speech signal
KR101444102B1 (en) Method and apparatus for encoding/decoding stereo audio
JP6126006B2 (en) Sound signal hybrid encoder, sound signal hybrid decoder, sound signal encoding method, and sound signal decoding method
KR20130114039A (en) Method and apparatus for bandwidth extension decoding
CN107925388A (en) For strengthening the post processor instantaneously handled, preprocessor, audio coder, audio decoder and correlation technique
JP6289613B2 (en) Audio object separation from mixed signals using object-specific time / frequency resolution
TWI697894B (en) Apparatus, method and computer program for decoding an encoded multichannel signal
CN109074812B (en) Apparatus and method for MDCT M/S stereo with global ILD and improved mid/side decisions
EP2525355A1 (en) Audio encoding apparatus and audio encoding method
EP2133872B1 (en) Encoding device and encoding method
WO2009048239A2 (en) Encoding and decoding method using variable subband analysis and apparatus thereof
KR101434209B1 (en) Apparatus for encoding audio/speech signal
KR101434207B1 (en) Method of encoding audio/speech signal
KR101434206B1 (en) Apparatus for decoding a signal
RU2804032C1 (en) Audio signal processing device for stereo signal encoding into bitstream signal and method for bitstream signal decoding into stereo signal implemented by using audio signal processing device
CN110998721B (en) Apparatus for encoding or decoding an encoded multi-channel signal using a filler signal generated by a wideband filter
KR101457897B1 (en) Method and apparatus for encoding and decoding bandwidth extension

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6