KR101421256B1 - Apparatus and method for encoding/decoding using bandwidth extension in portable terminal - Google Patents
Apparatus and method for encoding/decoding using bandwidth extension in portable terminal Download PDFInfo
- Publication number
- KR101421256B1 KR101421256B1 KR1020080025980A KR20080025980A KR101421256B1 KR 101421256 B1 KR101421256 B1 KR 101421256B1 KR 1020080025980 A KR1020080025980 A KR 1020080025980A KR 20080025980 A KR20080025980 A KR 20080025980A KR 101421256 B1 KR101421256 B1 KR 101421256B1
- Authority
- KR
- South Korea
- Prior art keywords
- band signal
- band
- mutual information
- signal
- filter
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Abstract
본 발명은 휴대용 단말기의 부호화 효율을 높이기 위하여 상위 대역 신호와 하위 대역 신호 간의 상호 정보량을 높이도록 처리하는 장치 및 방법에 관한 것으로, 입력 신호의 하위 대역 신호를 부호화하는 하위 대역 부호화기와, 상기 입력 신호의 상위 대역 신호와 상기 부호화한 하위 대역 신호의 상호 정보량을 높이기 위한 필터 계수를 계산하는 필터 계산부와, 상기 필터 계수 계산부에 의해 계산된 필터 계수를 이용하여 상기 상위 대역 신호의 상호 정보량을 높이도록 처리하는 상위 대역 상호 정보량 필터와, 상기 필터 계수 계산부에 의해 계산된 필터 계수를 이용하여 상기 하위 대역 신호의 상호 정보량을 높이도록 처리하는 하위 대역 상호 정보량 필터를 포함하여 기존의 대역폭 확장법을 이용하는 부호화 장치보다 향상된 부호화 성능을 얻을 수 있다.The present invention relates to an apparatus and method for enhancing mutual information between a higher-band signal and a lower-band signal in order to increase a coding efficiency of a mobile terminal, and more particularly to an apparatus and a method for processing a lower-band signal of an input signal, And a filter coefficient calculation unit for calculating a filter coefficient for increasing a mutual information amount between the upper band signal of the upper band signal and the encoded lower band signal of the higher band signal, And a low-band mutual information filter for processing mutual information of the low-band signal to increase the amount of mutual information using the filter coefficient calculated by the filter coefficient calculator, Get better encoding performance than the encoding device you use .
복호화기, 부호화기, 대역폭 확장법, BWE, 상위 대역 신호, 하위 대역 신호 Decoder, an encoder, a bandwidth extension method, a BWE, a high-band signal, a low-band signal
Description
본 발명은 휴대용 단말기의 부호화 및 복호화 장치 및 방법에 관한 것으로, 보다 상세하게는 대역 확장 기법을 이용하는 휴대용 단말기의 부호화 장치에서 부호화 효율에 영향을 주는 상관 관계(상호 정보량)을 조절하기 위한 장치 및 방법에 관한 것이다. 다시 말해서, 본 발명은 휴대용 단말기의 부호화 효율을 높이기 위하여 상위 대역 신호와 하위 대역 신호 간의 상호 정보량을 높이도록 처리하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for encoding and decoding a mobile terminal, and more particularly, to an apparatus and method for adjusting a correlation (mutual information amount) affecting coding efficiency in a coding apparatus of a mobile terminal using a band extension technique . In other words, the present invention relates to an apparatus and method for processing mutual information between a higher-band signal and a lower-band signal to increase the coding efficiency of the mobile terminal.
최근 디지털 신호처리 기술의 발달에 의해 오디오 신호는 디지털 데이터로 저장되고 재생되는 경우가 대부분이다. 디지털 오디오 저장/재생 장치는 아날로그 오디오 신호를 샘플링하고 양자화하여 디지털 신호인 PCM(Pulse Code Modulation) 오디오 데이터로 변환하여 CD, DVD와 같은 정보저장매체에 저장해둔 다음 사용자가 필요로 할 때 이를 재생해서 들을 수 있도록 해준다. With the recent development of digital signal processing technology, audio signals are mostly stored and reproduced as digital data. The digital audio storage / playback device samples and quantizes analog audio signals, converts them into PCM (Pulse Code Modulation) audio data, which is a digital signal, and stores the data in an information storage medium such as a CD or a DVD. It is possible to hear.
상기 디지털 방식은 인공적인 대역폭 확장법(BWE ; Artificial Bandwidth Extension)을 이용하여 수신측에서 하위대역 신호 혹은 그 신호로부터 추출된 특징벡터로부터 상위대역 신호를 추정 및 복원하여 하위대역 신호만 재생하는 경우에 비해 음질을 크게 향상시킬 수 있다.When the digital system estimates and restores a lower band signal from a receiver or a feature vector extracted from the signal using an artificial bandwidth extension (BWE), only a lower band signal is reproduced The sound quality can be greatly improved.
예를 들어, 상기 대역폭 확장법은 입력 신호의 샘플링 주파수(Fs)를 16kHz라 할 때 0 ~ 4kHz의 하위대역 신호로부터 4k ~ 8kHz의 상위 대역 신호를 복원하여 4kHz 이하의 신호만 통과시키는 협대역 전화망의 수신 측에서 최종적으로 원래의 입력 신호와 같은 16kHz의 신호를 출력하도록 하는 방법으로 음성 혹은 오디오 신호의 주파수 대역(상위대역 및 하위대역) 사이의 상관관계와 밀접한 관련이 있다.For example, when the sampling frequency Fs of the input signal is 16 kHz, the bandwidth extension method restores the upper band signal of 4 k to 8 kHz from the lower band signal of 0 to 4 kHz to pass only signals of 4 kHz or lower, (Upper band and lower band) of a voice or audio signal in a method of finally outputting a signal of 16 kHz, which is the same as the original input signal, on the receiving side of the voice or audio signal.
즉, 한 프레임의 오디오 신호 및 음성 신호를 주파수 대역별로 하위대역 및 상위대역으로 나누었을 때, 두 대역의 신호 모두 동일한 인간의 발성구조로부터 생성된 신호이므로 서로 밀접한 상관관계가 있어 두 대역 간의 상관관계가 크다면 혹은, 상호 정보량(mutual information)이 크다면 상기 대역폭 확장법에 의해 복원된 상위대역 신호는 원음에 가까운 좋은 음질이 될 것이다. That is, when an audio signal and a voice signal of one frame are divided into a lower band and a higher band for each frequency band, since signals of both bands are generated from the same human vocal structure, there is a close correlation therebetween, Or if the mutual information is large, the high-band signal reconstructed by the bandwidth extension method will have a good sound quality close to the original sound.
하지만, 상기와 같은 두 대역 간의 상호 정보량이 많지 않아 상위대역 신호에 대한 정보가 없을 경우, 상기 대역폭 확장법으로 상위대역 신호를 완벽하게 복원할 수 없다는 문제점이 있다.However, if there is not enough mutual information between the two bands and there is no information on the upper band signal, the upper band signal can not be completely restored by the bandwidth extension method.
도 1은 일반적인 휴대용 단말기에서 대역폭 확장법을 수행하는 장치의 구성 을 도시한 블록도이다.1 is a block diagram showing a configuration of an apparatus for performing a bandwidth extension method in a general portable terminal.
상기 도 1을 참조하면, 상기 휴대용 단말기는 부호화기(100)와 복호화기(110)를 포함하여 구성할 수 있다 여기에서, 상기 부호화기(100)는 하위 대역 부호화기(101), 상위 대역 신호 추정기(103)(BWE) 및 양자화기(105)를 포함하며, 상기 복호화기(103)는 역 양자화기(112), 하위 대역 복호화기(114) 및 상위 대역 신호 추정기(116)를 포함하여 구성할 수 있다.1, the portable terminal includes an encoder 100 and a decoder 110. The encoder 100 includes a
상기 부호화기(100)는 상위 대역 신호를 부호화함에 있어 BWE 시스템을 활용하여 부호화 효율을 높이는 BWE 기반 부호화기로 하위 대역 부호화기(101)는 하위대역 신호를 수신하여 부호화하도록 처리하고, 상위 대역 신호 추정기(103)는 상기 하위 대역 부호화기(101)에 의해 부호화된 신호를 활용하여 상위 대역 신호를 추정한다. The encoder 100 is a BWE-based encoder that enhances coding efficiency by using a BWE system in coding an upper band signal. The
이에 따라 상기 부호화기(100)는 입력받은 상위 대역 신호로부터 상기 상위 대역 신호 추정기(103)에 의해 추정된 상위 대역 신호를 차감함으로써, 하위 대역과 중복되는 신호를 제거한 잔차(residual) 상위 대역 신호를 출력한다. 여기에서, 상기 잔차 상위 대역 신호는 양자화기(105)에 의해 양자화된 뒤 통신채널을 통하여 송신된다. 여기서 상기 양자화기(105)는 응용목적에 따라 스칼라 혹은 벡터 양자화기를 사용한다.Accordingly, the encoder 100 subtracts the upper band signal estimated by the upper band signal estimator 103 from the input upper band signal, thereby outputting a residual upper band signal from which signals overlapping the lower band are removed do. Here, the residual upper band signal is quantized by the
상기 복호화기(110)는 상기 하위 대역 복호화기(114)로 하여금 부호화된 하위 대역 신호를 복호화하여 하위 대역 신호를 재생하도록 처리하고, 상위 대역 신호 추정기(116)는 상기 복호된 하위 대역 신호를 이용하여 상위 대역 신호를 추정 한다. 또한, 상기 역 양자화기(112)는 수신된 잔차 상위 대역 신호를 역 양자화하여 복호화된 잔차 상위대역 신호로 출력하도록 처리한다.The decoder 110 processes the lower-
이에 따라 상기 복호화기(110)는 복호화된 잔차 상위대역 신호와 상기 상위 대역 신호 추정기(116)에 의해 추정된 상위대역 신호를 합산하여 복호화된 상위대역 신호를 출력하도록 처리한다. Accordingly, the decoder 110 processes the decoded residual high-band signal and the high-band signal estimated by the high-
상기와 같은 방법은 수신 측뿐만 아니라 송신 측에서도 상위 대역 신호 추정기의 활용으로 하위대역과 중복되는 상위대역 신호를 제거한 뒤 나머지 상위대역 부분을 부호화함으로써 상위대역 신호에 대한 부호화 효율을 높일 수 있지만 두 대역 간의 상관 관계 혹은 상호 정보량의 크기에 따라 성능 변화가 발생한다는 문제점이 있다. 다시 말해서, 상기와 같은 방법은 상관 관계가 크다면 부호화 효율은 높을 수 있지만 상관 관계가 작을 경우, 부호화 효율은 저하된다는 것이다.The above method can improve the coding efficiency of the upper band signal by removing the upper band signal overlapping with the lower band by using the upper band signal estimator on the receiving side as well as the transmitting side and then coding the remaining upper band portion, There is a problem that the performance is changed depending on the correlation or the size of the mutual information. In other words, when the correlation is large, the coding efficiency may be high, but when the correlation is small, the coding efficiency is lowered.
따라서, 상기와 같은 문제점을 해결하기 위한 장치 및 방법이 요구된다. Accordingly, there is a need for an apparatus and a method for solving the above problems.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 도출된 것으로서, 본 발명의 목적은 휴대용 단말기의 대역 확장 기법을 이용한 부호화 장치의 성능을 향상시키기 위한 장치 및 방법을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and method for improving the performance of an encoding apparatus using a band extension scheme of a mobile terminal.
본 발명의 다른 목적은 휴대용 단말기의 대역 확장 기법을 이용한 부호화 장치에서 대역 신호 간의 상호 정보량을 조절하기 위한 장치 및 방법을 제공함에 있다.It is another object of the present invention to provide an apparatus and method for controlling mutual information amount between band signals in an encoding apparatus using a band extension scheme of a portable terminal.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 대역 확장 기법을 이용한 부호화 장치는 입력 신호의 하위 대역 신호를 부호화하는 하위 대역 부호화기와, 상기 입력 신호의 상위 대역 신호와 상기 부호화한 하위 대역 신호의 상호 정보량을 높이기 위한 필터 계수를 계산하는 필터 계산부와, 상기 필터 계수 계산부에 의해 계산된 필터 계수를 이용하여 상기 상위 대역 신호의 상호 정보량을 높이도록 처리하는 상위 대역 상호 정보량 필터와, 상기 필터 계수 계산부에 의해 계산된 필터 계수를 이용하여 상기 하위 대역 신호의 상호 정보량을 높이도록 처리하는 하위 대역 상호 정보량 필터를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for encoding an input signal, the apparatus comprising: a low-band encoder for encoding a low-band signal of an input signal; A higher frequency band mutual information filter for processing the higher frequency band signal to increase the mutual information amount of the higher band signal using the filter coefficient calculated by the filter coefficient calculating unit; And a lower-band mutual information filter for processing the mutual information of the lower-band signal to increase by using the filter coefficient calculated by the filter coefficient calculator.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 대역 확장 기법을 이용한 복호화 장치는 부호화 과정에서 출력한 부호화된 잔차 상위 대역 신 호를 수신하여 복호화하는 역 양자화기와, 복호 신호를 이용한 필터 계수를 계산하는 필터 계수 계산부와, 상기 계산한 필터 계수를 이용하여 상기 복호화한 상위 대역 신호를 역 필터링하여 본래의 신호로 출력하는 상위 대역 상호 정보량 역 필터를 포함하는 것을 특징으로 한다.According to a second aspect of the present invention, there is provided a decoding apparatus using a band extension scheme, comprising: an inverse quantizer for receiving and decoding a coded residual upper band signal output in a coding process; And a high-band mutual information volume inverse filter for inversely filtering the decoded high-band signal using the calculated filter coefficient and outputting the decoded high-band signal as an original signal.
상술한 목적들을 달성하기 위한 본 발명의 제 3 견지에 따르면, 대역 확장 기법을 이용한 부호화 방법은 입력 신호를 상위 대역 신호와 하위 대역 신호로 분류한 후, 상기 분류한 하위 대역 신호를 부호화하는 과정과, 상기 분류한 상위 대역 신호와 상기 부호화한 하위 대역 신호의 상호 정보량을 높이기 위한 필터 계수를 계산하는 과정과, 상기 계산한 필터 계수를 이용하여 상기 상위 대역 신호와 하위 대역 신호의 상호 정보량을 높인 신호로 변환하는 과정을 포함하는 것을 특징으로 한다.According to a third aspect of the present invention, there is provided a coding method using a band extension technique, comprising the steps of: classifying an input signal into an upper band signal and a lower band signal, Calculating a filter coefficient for increasing the amount of mutual information between the classified upper band signal and the encoded lower band signal, and outputting a signal having a higher mutual information amount between the upper band signal and the lower band signal using the calculated filter coefficient Into a second image.
상술한 목적들을 달성하기 위한 본 발명의 제 4 견지에 따르면, 대역 확장 기법을 이용한 복호화 방법은 부호화 과정에서 출력한 부호화된 잔차 상위 대역 신호를 수신하는 과정과, 상기 수신한 부호화된 잔차 상위 대역 신호를 복호화하는 과정과, 복호 신호를 이용한 필터 계수를 계산하는 과정과, 상기 계산한 필터 계수를 이용하여 상기 복호화한 상위 대역 신호를 역 필터링하여 본래의 신호로 출력하는 과정을 포함하는 것을 특징으로 한다.According to a fourth aspect of the present invention, there is provided a decoding method using a band extension technique, comprising the steps of: receiving a coded residual high band signal output in an encoding process; Calculating a filter coefficient using the decoded signal, and filtering the decoded upper band signal using the calculated filter coefficient and outputting the inverse filtered signal as an original signal .
상술한 바와 같이 본 발명은 대역폭 확장법(BWE ; Artificial Bandwidth Extension)을 이용하여 음성 및 오디오 신호를 부호화하도록 하는 휴대용 단말기에서 부호화하고자 하는 신호의 상위 대역 신호와 하위 대역 신호의 상호 정보량을 증가시킴으로써, 기존의 대역폭 확장법을 이용하는 부호화 장치보다 향상된 부호화 성능을 얻을 수 있다.As described above, the present invention increases the amount of mutual information between a higher-band signal and a lower-band signal of a signal to be encoded in a mobile terminal for encoding voice and audio signals using a BWE (Artificial Bandwidth Extension) It is possible to obtain an improved coding performance over a coding apparatus using the existing bandwidth extension method.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
이하 설명에서는 대역 확장 기법을 이용하는 휴대용 단말기의 부호화 장치에서 부호화 효율에 영향을 주는 상관 관계(상호 정보량)을 조절하기 위한 장치 및 방법에 관하여 설명할 것이다.In the following description, an apparatus and method for controlling a correlation (mutual information amount) affecting coding efficiency in a coding apparatus of a mobile terminal using a band extension scheme will be described.
도 2는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 부호화기를 도시한 블록도이다.2 is a block diagram illustrating an encoder of a portable terminal according to an exemplary embodiment of the present invention.
상기 도 2를 참조하면, 상기 부호화기는 상위 대역 상호 정보량 필터(201), 양자화기(203), 필터 계수 계산부(205), 상위 대역 신호 추정기(207), 하위 대역 상호 정보량 필터(209), 하위 대역 부호화기(211), 하위 대역 복호화기(213) 및 상위 대역 상호 정보량 역 필터(215)를 포함하여 구성할 수 있다.2, the encoder includes an upper band
상기 부호화기의 상기 하위 대역 부호화기(211)는 하위 대역 신호를 부호화하여 통신 채널을 통하여 송신하도록 처리하고, 상기 부호화한 하위 대역 신호를 이용하여 상기 상위 대역 신호 추정기(207)로 하여금 상위 대역 신호를 추정하도록 한다.The lower-
상기 하위 대역 상호 정보량 필터(209)는 상기 필터 계수 계산부(205)로부터 제공받은 필터 계수를 이용하여 상기 부호화된 하위 대역 신호의 상호 정보량을 증가시키도록 처리한다.The lower-band mutual information filter 209 processes the encoded mutual information of the lower-band signals using the filter coefficient provided from the
상기 상위 대역 상호 정보량 필터(201)는 상기 필터 계수 계산부(205)로부터 제공받은 필터 계수를 이용하여 입력받은 상위 대역 신호를 변환하도록 처리한다. 즉, 상기 상위 대역 상호 정보량 필터는 기 입력받은 상위대역 신호(상위대역 신호 1)를 상호 정보량이 증가된 출력 상위 대역 신호(상위대역 신호 2)로 변환하도록 처리한다. The upper band
상기 필터 계수 계산부(205)는 상기 상위 대역 상호 정보량 역 필터로부터 제공받는 복호화된 상위대역 신호와 상기 하위 대역 복호화기에 의해 복호화된 하위대역 신호를 이용하여 두 입력신호의 상호 정보량을 증가시키는데 필요한 하위대역 및 상위대역 필터 계수를 계산하고, 이 계수를 각각의 대응하는 필터에 제공하도록 처리한다.The
여기에서, 상기 상위 대역 상호 정보량 역 필터(215)로부터 제공받는 복호화된 상위대역 신호는 이전 프레임의 부호화된 상위 대역 신호가 복호화된 뒤 되먹임된 신호이고, 상기 복호화된 하위 대역 신호는 현재 프레임의 부호화된 하위대역 신호가 복호화된 신호이다.Here, the decoded upper band signal provided from the upper band inter-information-amount
상기 부호화기는 상기 상위 대역 상호 정보량 필터(201)에 의해 변환된 상위 대역 신호(상위대역 신호 2)와 상기 상위 대역 신호 추정기(207)에 의해 추정된 상위 대역 신호를 차감시킨 잔차 상위 대역 신호(잔차 상위 대역 신호 2))를 출력하도록 처리한 후, 상기 양자화기(203)로 하여금 상기 신호를 양자화하도록 처리한다.The encoder receives the residual upper band signal (residual signal) obtained by subtracting the upper band signal (upper band signal 2) converted by the upper band
도 3은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 복호화기를 도시한 블록도이다.3 is a block diagram illustrating a decoder of a portable terminal according to an exemplary embodiment of the present invention.
상기 도 3을 참조하면, 상기 복호화기는 역 양자화기(301), 상위 대역 상호 정보량 역 필터(303), 필터 계산부(305), 상위 대역 신호 추정부(307), 하위 대역 상호 정보량 필터(309) 및 하위 대역 복호화기(311)를 포함하여 구성할 수 있다.3, the decoder includes an
상기 복호화기의 하위 대역 복호화기(311)는 부호화된 하위 대역 신호를 복호화하고, 상기 복호화한 하위 대역 신호를 이용하여 상기 상위 대역 신호 추정부(307)로 하여금 상위 대역 신호를 추정하도록 처리한다.The lower-
상기 역 양자화기(301)는 부호화된 잔차 상위 대역 신호(부호화된 잔차 상위 대역 신호 2)를 수신하여 역 양자화하여 복호화된 잔차 상위대역 신호(복호화된 잔차 상위대역 신호 2)를 출력하도록 처리한다.The
상기 필터 계수 계산부(305)는 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 하위 대역 필터 계수, 상위대역 역 필터계수를 계산하고, 상 기 계수들을 각각의 대응하는 필터에 제공하도록 처리한다. 여기에서, 상기 필터 계산부(305)에 의해 계산된 하위 대역 필터계수는 동일한 프레임에 대해서 송신측 하위대역 필터계수와 동일하고, 상기 상위 대역 역 필터 계수는 송신측의 상위대역 역 필터계수와 동일하여 송신측의 상위대역 필터계수와 역관계를 가진다. The
상기 하위 대역 상호 정보량 필터(309)는 상기 필터 계수 계산부(305)로부터 제공받은 계수를 이용하여 상기 복호화된 하위 대역 신호의 상호 정보량을 증가시키도록 처리한 후, 상기 상위 대역 신호 추정부(307)로 제공하여 상위 대역 신호를 추정하도록 처리한다.The lower-band mutual information filter 309 processes the mutual information of the decoded lower-band signal to increase by using the coefficient provided from the
이에 따라 상기 복호화기는 상기 역 양자화기(301)에 의해 복호화된 잔차 상위대역 신호와 상위 대역 신호 추정부(307)에 의해 추정된 상위 대역 신호를 합산하여 복호화된 상위대역 신호(복호화된 상위대역 신호 2)를 상기 상위 대역 상호 정보량 역 필터로 출력한다.Accordingly, the decoder decodes the decoded high-band signal (the decoded high-band signal (the decoded high-band signal) by summing the residual high-band signal decoded by the
상기 상위 대역 상호 정보량 역 필터(303)는 상기 필터 계수 계산부(305)로부터 제공받은 역 필터 계수를 이용하여 상기 복호화된 상위대역 신호(복호화된 상위대역 신호 2)를 역 필터 처리하여 원래의 상위대역 신호를 재생하도록 처리한다.The upper band mutual information amount
도 4는 본 발명의 바람직한 일 실시 예에 따른 부호화기에 적용되는 필터 계수 계산부의 구성을 도시한 블록도이다.4 is a block diagram illustrating a configuration of a filter coefficient calculator applied to an encoder according to an embodiment of the present invention.
상기 도 4를 참조하면, 상기 부호화기에 적용되는 필터 계수 계산부(400)는 상위 대역 상호 정보량 필터 계수 계산기(401)와 하위 대역 상호 정보량 필터 계수 계산기(403)를 포함한다.Referring to FIG. 4, a
여기에서, 상기 상위 대역 상호 정보량 필터 계수 계산기(401)는 상위 대역 상호 정보량 필터의 계수를 계산하는 블럭으로 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 계산할 수 있다.Here, the upper band inter-information-amount
또한, 상기 하위 대역 상호 정보량 필터 계수 계산기(403)는 하위 대역 상호 정보량 필터의 계수를 계산하는 블럭으로 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 계산할 수 있다.In addition, the lower-band mutual information
여기에서, 상기 부호화기의 필터 계수 계산부(400)는 상위 대역 신호의 상호 정보량을 증가시키기 위한 필터 계수를 계산할 경우, 다음과 같은 조건을 만족해야 한다.Here, when the
먼저, 하위대역 신호를 X, 상위대역 신호를 Y, 상위대역 상호 정보량 필터를 H[], 상위대역 상호 정보량 역 필터를 H-1[], H[]에 의해 변환된 상위대역 신호를 Y2로 가정할 경우,First, the lower-band signal X, the higher-band signal Y, the higher-band filter mutual information H [], the higher-band inverse filter mutual information for the higher-band signal converted by the H -1 [], H [] to Y2 If so,
첫째, H[]는 가역적이어야 하고, H-1[]이 존재하여서 Y = H-1[Y2]= H-1[H[Y]] 을 성립해야 한다. 즉, 변환된 신호 Y2로부터 원래의 신호 Y가 재생 가능해야한다.First, H [] must be reversible, and H = 1 [] must exist to establish Y = H -1 [Y2] = H -1 [H [Y]]. That is, the original signal Y must be reproducible from the converted signal Y2 .
둘째, 상호 정보량 I[X; Y2]>I[X;Y]이 성립하여야 한다. Second, the mutual information quantity I [ X; Y2 ]> I [ X; Y ] should be established.
셋째, 통계적인 의미에서 Y2의 동적 영역(dynamic range)은 적어도 Y의 동적 영역에 비해 크지 않아야한다.Third, in the statistical sense, the dynamic range of Y2 should not be larger than at least the dynamic range of Y.
상기와 같은 필터 계수 계산시 만족해야하는 조건에 대한 설명은 하기 도 6 에서 상세히 설명할 것이다.The condition to be satisfied in calculating the filter coefficient as described above will be described in detail in FIG.
도 5는 본 발명의 바람직한 일 실시 예에 따른 복호화기에 적용되는 필터 계수 계산부의 구성을 도시한 블록도이다.5 is a block diagram illustrating a configuration of a filter coefficient calculator applied to a decoder according to an embodiment of the present invention.
상기 도 5를 참조하면, 상기 복호화기에 적용되는 필터 계수 계산부(500)는 상위 대역 상호 정보량 역 필터 계수 계산기(501)와 하위 대역 상호 정보량 필터 계수 계산기(513)를 포함한다.Referring to FIG. 5, the
여기에서, 상기 상위 대역 상호 정보량 역 필터 계수 계산기(501)는 상위 대역 상호 정보량 역 필터의 계수를 계산하는 블럭으로 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 계산할 수 있다.The upper band inter-information-amount reverse-
또한, 상기 하위 대역 상호 정보량 필터 계수 계산기(513)는 하위 대역 상호 정보량 필터의 계수를 계산하는 블럭으로 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 계산할 수 있다.In addition, the lower-band mutual information
여기에서, 상기 복호화기의 필터 계수 계산부(500)는 상기 도 4에서 설명한 부호화기의 필터 계수 계산부(400)와 같이 조건을 만족하는 상태에서 상위 대역 신호의 상호 정보량을 증가시키기 위한 필터 계수를 계산해야 한다.Here, the
이상은 대역 확장 기법을 이용하는 휴대용 단말기의 부호화 장치에서 부호화 효율에 영향을 주는 상관 관계(상호 정보량)을 조절하기 위한 장치에 관하여 설명하였고, 이하 설명에서는 본 발명의 바람직한 일 실시 예에 따른 상기 장치를 이용하여 부호화 효율에 영향을 주는 상관 관계(상호 정보량)을 조절하기 위한 방법 에 관하여 설명할 것이다.The above description has been made on an apparatus for adjusting a correlation (mutual information amount) that affects encoding efficiency in a coding apparatus of a mobile terminal using a band extension scheme. In the following description, the apparatus according to the preferred embodiment of the present invention A method for adjusting the correlation (mutual information amount) that affects the coding efficiency will be described.
도 6은 본 발명의 바람직한 일 실시 예에 따른 부호화기의 동작 과정을 도시한 흐름도이다. 여기에서, 상기 부호화기는 상위대역과 하위대역 간의 상호 정보량을 증가시키기 위하여 입력 신호의 상위대역을 대역폭 확장(BWE ; Artificial Bandwidth Extension)한다. 이에 따라, 상기 부호화기는 하위대역 신호를 하위대역 부호하기에 의해 부호화하여 출력하도록 한다.6 is a flowchart illustrating an operation of an encoder according to an exemplary embodiment of the present invention. Here, the encoder performs a BWE (Artificial Bandwidth Extension) on the upper band of the input signal to increase mutual information between the upper band and the lower band. Accordingly, the encoder encodes the lower-band signal by performing lower-band coding and outputs the lower-band signal.
상기 도 6을 참조하면, 상기 부호화기는 먼저 601단계에서 상호 정보량 필터 계수를 계산한 후, 603단계로 진행하여 상기 계산한 필터 계수를 이용하여 상기 입력받은 상위대역 신호(상위대역 신호 1)를 변환하도록 처리한다. 여기에서, 상기 상호 정보량 필터 계수는 상위 대역 상호 정보량 필터의 계수와 하위 대역 상호 정보량 필터의 계수로 필터 계수부에 의하여 계산할 수 있으며, 상기 변환한 상위대역 신호(상위대역 신호 2)는 입력 상위대역 신호에 비해 상호 정보량이 증가된 출력 상위대역 신호를 말한다. Referring to FIG. 6, the encoder first calculates a mutual information filter coefficient in
여기에서, 상기 필터 계수 계산부는 다음과 같은 조건을 만족해야 한다.Here, the filter coefficient calculation unit should satisfy the following condition.
먼저, 하위대역 신호를 X, 상위대역 신호를 Y, 상위대역 상호 정보량 필터를 H[], 상위대역 상호 정보량 역 필터를 H-1[], H[]에 의해 변환된 상위대역 신호를 Y2로 가정할 경우,First, the lower-band signal X, the higher-band signal Y, the higher-band filter mutual information H [], the higher-band inverse filter mutual information for the higher-band signal converted by the H -1 [], H [] to Y2 If so,
첫째, H[]는 가역적이어야 하고, H-1[]이 존재하여서 Y = H-1[Y2]= H-1[H[Y]] 을 성립해야 한다. 즉, 변환된 신호 Y2로부터 원래의 신호 Y가 재생 가능해야한다.First, H [] must be reversible, and H = 1 [] must exist to establish Y = H -1 [Y2] = H -1 [H [Y]]. That is, the original signal Y must be reproducible from the converted signal Y2 .
둘째, 상호 정보량 I[X; Y2]>I[X;Y]이 성립하여야 한다. Second, the mutual information quantity I [ X; Y2 ]> I [ X; Y ] should be established.
셋째, 통계적인 의미에서 Y2의 동적 영역(dynamic range)은 적어도 Y의 동적 영역에 비해 크지 않아야한다.Third, in the statistical sense, the dynamic range of Y2 should not be larger than at least the dynamic range of Y.
첫째 조건은 송신측 상위 대역 상호 정보량 필터에 의해 변환된 신호는 수신측 상위 대역 상호 정보량 역 필터에 의해 복원이 가능해야 한다는 것을 의미하고, 둘째 및 셋째 조건은 필터 H[]에 의한 변환 결과가 부호화 효율의 향상에 기여해야 한다는 것을 의미한다. The first condition means that the signal converted by the transmitting side upper band mutual information filter should be recoverable by the receiving upper band mutual information quantity inverse filter and the second and third condition means that the result of conversion by filter H [ It should contribute to the improvement of efficiency.
상기 첫째 조건 즉, H-1[]이 존재하기 위해서는 필터 H[]는 기본적으로 단조 및 미분 가능(monotonic & differentiable) 함수를 나타내지만 이러한 변환 함수에 대해서는 상호 정보량이 변화하지 않는다. 즉, I[X; Y2]=I[X;Y]가 된다. 따라서 이는 둘째 조건을 만족시키지 못하게 된다. In order for the first condition, H -1 [], to exist, the filter H [] basically represents a monotonic & differentiable function, but the mutual information amount does not change with respect to this conversion function. That is, I [ X; Y2 ] = I [ X; Y ]. Therefore, it does not satisfy the second condition.
이러한 문제점을 고려하여 본 발명에서는, 송신된 다른 정보 가령, 하위대역 벡터 X등을 이용하여 최종적으로 원래의 송신된 정보 Y를 재생하는 것을 가능하게 하는 함수를 통칭하는 의미("가역적")를 사용하기로 한다. In consideration of this problem, the present invention uses a meaning ("reversible") collectively referred to as a function enabling reproduction of the originally transmitted information Y finally using other information transmitted, for example, .
예를 들어, Y2 = H[X,Y]= X·* Y = {x1y1,... , xNyN}′. 여기서 "·* "는 성분간의 곱 연산을 의미하며, x1, y1 등은 각각 X, Y의 성분들을 의미한다. 이에 대한 역함수 H-1[] 즉, X가 주어진 조건에서 Y2로부터 다시 Y를 재생하는 함수는 다음과 같이 정의될 수 있다. 즉, Y = H-1[X, Y2]= X·/ Y2 = {x1/y21,... , xN/y2N} ′. 여기서 "·/ "는 성분간의 나눗셈 연산을 의미하며, x1, y21 등은 각각 X, Y2의 성분들을 의미한다. For example, Y2 = H [ X, Y ] = X * Y = {x1y1, ..., xNyN} '. Here, "· *" means multiplication between components, and x1, y1, etc. denote components of X and Y, respectively. The inverse function H -1 [], that is, the function of regenerating Y from Y2 again under the condition that X is given can be defined as follows. That is, Y = H -1 [ X, Y2 ] = X / Y2 = {x1 / y21, ..., xN / y2N} '. Here, "· /" means a division operation between components, and x1, y21, etc. denote components of X and Y2, respectively.
이와 같이 함수 "·* "를 이용하여 송신측에서 보내진 Y2는 수신측에서 함수 "·/ "를 이용하여 다시 Y로 복원될 수 있다. 상기 둘째 조건과 관련하여, 일반적으로 두 랜덤 변수(혹은 벡터)는 상호 의존성 즉, 상호 함수 관계를 가질 때 상호 정보량이 증가한다. 즉, 필터 H[]에 의해 변환된 Y2가 X와 어떤 함수관계 가령, Y2= f[X]의 함수관계를 가진다면, 두 랜덤 벡터 Y2와 X의 상호 정보량은 증가하게 된다. Thus, Y2 sent from the sender using the function "· *" can be restored to Y again using the function "· /" on the receiver side. In relation to the second condition, mutual information increases in general when two random variables (or vectors) have mutual dependency, that is, a mutual function relationship. That is, if the Y2 transformed by the filter H [] has a functional relationship of X and some function relation, for example, Y2 = f [ X ], the mutual information amount of the two random vectors Y2 and X increases.
이후, 상기 부호화기는 605단계로 진행하여 하위대역 상호 정보량 필터로 하여금 상위 대역 신호를 추정하도록 처리한 후, 607단계로 진행하여 잔차 상위 대역 신호(잔차 상위 대역 신호 2))를 출력하도록 처리한다.In
여기에서, 상기 잔차 상위 대역 출력 신호는 상기 603단계에서 변환한 상위대역 신호(상위대역 신호 2)와 상기 605단계에서 추정한 상위 대역 신호를 차감한 신호를 말한다.Here, the residual upper band output signal is a signal obtained by subtracting the upper band signal (upper band signal 2) converted in
이후, 상기 부호화기는 609단계로 진행하여 상기 잔차 신호를 양자화하도록 처리한 후, 통신 채널을 통하여 송신(부호화된 잔차 상위 대역 신호 2)하도록 처리한다. 여기에서, 상기 잔차 신호를 양자화하는 양자화기는 응용 목적에 따라 스칼라 혹은 벡터 양자화기를 사용할 수 있다.In
이후, 상기 부호화기는 본 알고리즘을 종료한다.Thereafter, the encoder ends the present algorithm.
도 7은 본 발명의 바람직한 일 실시 예에 따른 복호화기의 동작 과정을 도시한 흐름도이다. 여기에서, 상기 복호화기는 상위대역과 하위대역 간의 상호 정보량이 증가된 입력 신호를 복호화하도록 처리한다. 이에 따라, 상기 복호화기는 통신채널을 통하여 수신된 부호화된 하위대역 신호를 하위대역 복호화기로 하여금 복호화하도록 하여 하위대역 신호로 재생한다.7 is a flowchart illustrating an operation of a decoder according to an exemplary embodiment of the present invention. Here, the decoder processes the input signal in which the amount of mutual information between the upper band and the lower band is increased. Accordingly, the decoder decodes the encoded lower-band signal received through the communication channel into a lower-band decoder to reproduce the lower-band signal.
상기 도 7을 참조하면, 상기 복호화기는 먼저 701단계에서 부호화기에 의해 변환된 상위 대역의 잔차 신호(부호화된 잔차 상위 대역 신호 2)를 수신한다.Referring to FIG. 7, in
이후, 상기 복호화기는 703단계로 진행하여 상기 수신한 잔차 신호를 양자화하도록 처리한 후, 705단계로 진행하여 상위 대역 신호로 복호화하도록 처리한다. 즉, 상기 복호화기는 상기 수신한 부호화된 잔차 상위 대역 신호 2를 복화화한 잔차 상위대역 신호 2로 출력하도록 처리한다. Thereafter, the decoder proceeds to step 703 to process the received residual signal to be quantized, and then proceeds to step 705 so as to decode it into a higher-band signal. That is, the decoder processes the received encoded residual
이후, 상기 복호화기는 707단계로 진행하여 복호 신호를 이용한 필터 계수를 계산한다. 여기에서, 상기 필터 계수는 하위 대역 필터 계수와 상위 대역 역 필터 계수를 말하며, 상기 복호화기는 복호화된 상위대역 신호와 복호화된 하위대역 신호를 이용하여 상기 필터 계수를 계산할 수 있다. 또한, 상기 하위 대역 필터 계수는 동일한 프레임에 대해서 송신측 하위 대역 필터계수와 동일하고, 상위 대역 역 필터 계수는 송신측의 상위 대역 역 필터계수와 동일하여 송신측의 상위 대역 필터계수와 역관계를 가진다.Then, the decoder proceeds to step 707 and calculates a filter coefficient using the decoded signal. Here, the filter coefficient refers to a lower band filter coefficient and a higher band inverse filter coefficient, and the decoder can calculate the filter coefficient using the decoded upper band signal and the decoded lower band signal. In addition, the lower-band filter coefficient is the same as the transmission-side lower-band filter coefficient for the same frame, and the upper-band inverse filter coefficient is the same as the upper-band inverse filter coefficient at the transmitting side and is inversely related to the upper- .
이후, 상기 복호화기는 709단계로 진행하여 본래의 상위 대역 신호로 복호화하는 과정을 수행한다.Then, the decoder proceeds to step 709 to decode the original high-band signal.
여기에서, 상기 본래의 상위 대역 신호로 복호화하는 과정은 상기 705단계에서 복화화한 잔차 상위대역 신호 2와 상위 대역 신호 추정부에 의해 추정된 상위 대역 신호를 합산하여 복호화된 상위대역 신호(복호화된 상위대역 신호 2)를 출력한 후, 상기 복호화된 상위 대역 신호를 역 필터 처리하여 원래의 상위대역 신호로 복호화하는 과정이다.The decoding of the original higher-band signal is performed by summing the residual upper-
이후, 상기 복호화기는 본 알고리즘을 종료한다.Thereafter, the decoder ends the algorithm.
도 8은 본 발명의 바람직한 일 실시 예에 따른 필터 계산부의 필터 계수를 계산하는 과정을 도시한 흐름도이다.FIG. 8 is a flowchart illustrating a process of calculating a filter coefficient of a filter calculation unit according to an embodiment of the present invention.
상기 도 8을 참조하면, 상기 필터 계산부는 먼저 801단계에서 이전 프레임의 복호화된 상위 대역 신호를 확인한 후, 803단계로 진행하여 상위 대역 필터 계수를 계산한다. 즉, 상기 필터 계산부는 이전 프레임의 복호화된 신호 상위 대역 신호를 이용하여 입력되는 상위 대역 신호의 상호 정보량을 증가시키기 위한 필터를 계산한다.Referring to FIG. 8, in
이후, 상기 필터 계산부는 805단계로 진행하여 복호화된 하위 대역 신호를 확인한 후, 807단계로 진행하여 하위 대역 필터 계수를 계산하도록 처리한다. 여기에서, 상기 필터 계산부는 현재 프레임의 부호화된 하위대역 신호가 복호화된 신호인 복호화된 하위 대역 신호를 이용하여 입력 신호의 상호 정보량을 증가시키기 위한 필터를 계산한다.In
이후, 상기 필터 계산부는 본 알고리즘을 종료한다.Thereafter, the filter calculation unit ends the algorithm.
이상 설명에서는 본 발명에 따라 상위 대역 신호와 하위 대역 신호의 상호 정보량을 중가시키기 위한 장치 및 방법으로 상위 대역 신호의 필터 계수와 상위 대역 신호의 필터 계수를 이용하는 방안을 제시하였으나, 본 발명은 상위 대역 상호 정보량 필터만을 적용하거나 하위 대역 상호 정보량 필터만을 적용하여 상위 대역 신호와 하위 대역 신호의 상호 정보량을 증가시킬 수 있다.Although the present invention has been described with respect to an apparatus and method for increasing the amount of mutual information between a higher band signal and a lower band signal according to the present invention, a method of using a filter coefficient of a higher band signal and a filter coefficient of a higher band signal has been proposed. It is possible to increase the mutual information amount of the upper band signal and the lower band signal by applying only the mutual information quantity filter or applying only the lower band mutual information quantity filter.
상기와 같이 상위 대역 상호 정보량 필터만을 적용하거나 하위 대역 상호 정보량 필터만을 적용하는 방안은 상기 도 2 내지 도 8에서 설명한 상위 대역 상호 정보량 필터와 하위 대역 상호 정보량 필터를 이용하는 방법과 동일하나 각각의 필터만을 사용하여 상위 대역 신호와 하위 대역 신호의 상호 정보량을 증가시킬 수 있다.The method of applying only the higher-band mutual information filter or applying the lower-band mutual information filter alone is the same as the method of using the higher-band mutual information filter and the lower-band mutual information filter described in FIGS. 2 to 8, The amount of mutual information between the upper band signal and the lower band signal can be increased.
도 9는 본 발명의 바람직한 일 실시 예에 따른 복호화기의 성능을 나타낸 그래프이다.9 is a graph illustrating performance of a decoder according to an embodiment of the present invention.
본 발명은 상위 대역 벡터와 하위 대역 벡터의 상호 정보량을 증가시키기 위한 방법으로 앞서 설명한 바와 같이 상위 대역 상호 정보량 필터와 하위 대역 상호 정보량 필터를 적용하는 방법과 상위 대역 상호 정보량 필터와 하위 대역 상호 정보량 필터 가운데 어느 하나만을 적용할 수 있다.The present invention is a method for increasing the amount of mutual information between a higher band vector and a lower band vector, as described above, a method of applying a higher band mutual information filter and a lower band mutual information filter, Can be applied.
상기 도 9는 본 발명의 일 실시 예에 따라 상위 대역 상호 정보량 필터만을 적용하는 방법과 하위 대역 상호 정보량 필터만을 적용할 경우를 예를 들어 설명한다.9 illustrates a method of applying only the upper band mutual information filter and a case of applying only the lower band mutual information filter according to an embodiment of the present invention.
먼저, 일반적인 휴대용 단말기의 부호화 장치와 본 발명에 따른 휴대용 단말기의 부호화 장치의 성능을 비교하기 위하여 16kHz로 샘플링된 PCM 음성 신호의 하위대역 신호를 총 14차의 MFCC(Mel Frequency Cepstral Coefficient) 특징 벡터와 로그 스케일 된 에너지 즉, X(n)={x1(n),... , x14(n), lnELB(n) }′로 변환하였고, 이에 대응하는 상위 대역 신호는 4차의 MFCC 계수와 로그 스케일 된 에너지 즉, Y(n)={y1(n),... , y4(n), lnEHB(n)}′로 변환하였다. 여기에서, n은 프레임 번호를 가리키며 프레임 크기는 20ms이다. 이 경우 부호화 문제는 4차의 상위대역 MFCC 계수 및 에너지 정보인 Y(n)을 효율적으로 부호화하는 것이다.First, in order to compare the performance of a general portable terminal encoding apparatus and a portable terminal encoding apparatus according to the present invention, a lower frequency band of a PCM voice signal sampled at 16 kHz is divided into a total of 14 differential MFCC (Mel Frequency Cepstral Coefficient) (N) = {x1 (n), ..., x14 (n), lnELB (n)} ', and the corresponding upper band signal is transformed into the fourth order MFCC coefficient and log (N) = {y1 (n), ..., y4 (n), lnEHB (n)} '. Here, n indicates the frame number and the frame size is 20 ms. In this case, the encoding problem is to effectively encode the fourth-order upper band MFCC coefficient and energy information Y (n).
먼저, 상위 대역 상호 정보량 필터만을 적용하여 부호화 장치의 동작 과정에 대해 설명에 앞서 상기 부호화 장치가 Y(n) 정보 중에서 상위 대역 신호의 EHB만을 부호화한다고 가정할 경우, 상위 대역 신호는 Y(n)={lnEHB(n)}가 된다. 이때 원래의 상위대역 신호 Y(n)을 Y2(n)로 변환하기 위한 상위대역 상호 정보량 필터의 예는 하기 <수학식 1>과 같이 나타낼 수 있다.First, when it is assumed that only the upper band signal E HB of the Y (n) information is coded prior to the description of the operation procedure of the encoder by applying only the upper band mutual information filter, the upper band signal is Y ) = {lnE HB (n)}. Here, an example of the upper band mutual information filter for converting the original upper band signal Y (n) into Y2 (n) can be expressed as Equation (1) below.
여기에서, X는 하위대역 신호, Y는 상위대역 신호, H[]는 상위대역 상호 정보량 필터, Y2는 H[]에 의해 변환된 상위대역 신호, EHB 는 상위 대역 신호의 에너지, ELB는 하위 대역 신호의 에너지를 나타낸다. 또한, Y(n-1)는 되먹임된 n-1 번째 프레임의 부호화된 상위대역 벡터를 가리킨다. Here, X denotes a lower band signal, Y denotes a higher band signal, H [] denotes a higher band mutual information quantity filter, Y2 denotes a higher band signal converted by H [], E HB Is the energy of the upper band signal, and E LB is the energy of the lower band signal. Also, Y (n-1) indicates the coded upper band vector of the n-1th frame fed back.
상기 <수학식 1>을 살펴보면 상위대역 상호정보량 필터는 로그 스케일에서는 차분연산에 해당하며, 선형 스케일에서는 나눗셈연산에 해당한다. Referring to Equation (1), the upper band mutual information filter corresponds to a difference operation on a log scale and the division operation on a linear scale.
상기와 같은 상위대역 상호 정보량 필터는 본 발명에서 제시한 3가지 조건 가운데 첫 번째 조건(H[]는 가역적이어야 하고, H-1[]이 존재하여서 Y = H-1[Y2]= H-1[H[Y]]을 성립해야 한다. 즉, 변환된 신호 Y2로부터 원래의 신호 Y가 재생 가능해야한다.)을 만족한다. 즉, 원래의 상위 대역 신호는 상위대역 상호 정보량 필터에 의해 변환된 상위 대역 신호(Y2)와 하위대역 신호(X(n))의 한 성분인 lnELB(n)로 부터 복원이 가능하다. 이를 <수학식 2>와 같이 표현할 수 있다.In the above-described upper band mutual information filter, the first condition (H [] of the three conditions presented in the present invention must be reversible and H -1 [] exists so that Y = H -1 [Y 2] = H -1 [H [Y]] must be established, that is, the original signal Y must be reproducible from the converted signal Y2 ). That is, the original higher-band signal can be recovered from lnELB (n), which is one component of the upper-band signal Y2 and the lower-band signal X (n), which are transformed by the upper-band inter- This can be expressed as Equation (2).
여기에서, EHB 는 상위 대역 신호의 에너지, ELB는 하위 대역 신호의 에너지, Y2는 상위대역 상호 정보량 필터에 의해 변환된 상위 대역 신호를 나타낸다.Here, E HB E LB represents the energy of the lower band signal, and
상기와 같은 <수학식 1>은 하기 <수학식 3>과 같이 표현함에 따라 본 발명에서 제시한 3가지 조건 가운데 두 번째 조건(상호 정보량 I[X; Y2]>I[X;Y]이 성립하여야 한다.)를 만족한다.The above-mentioned Equation (1) can be expressed as Equation (3), and the second condition among the three conditions (mutual information quantity I [ X; Y2 ]> I [ X; Y ] Should be satisfied.
여기에서, X는 하위대역 신호, Y는 상위대역 신호, Y2는 상위대역 상호 정보량 필터에 의해 변환된 상위대역 신호를 나타낸다.Here, X represents a lower band signal, Y represents a higher band signal, and Y2 represents a higher band signal converted by the higher band mutual information filter.
상기 <수학식 3>을 참조하면, Y2의 상호 정보량은 Y의 상호 정보량에 비해 약 0.56bit 증가하였다. 이는 상위대역 에너지 Y(n)={lnEHB(n)} 부호화 문제에 있어서 프레임 당 0.56 bit, 초당 28 bit의 부호화 효율 향상을 나타내는 것이다. 끝으로, Y의 분산은 약 74.44, Y2의 분산은 약 35.06으로 계산되었다. 따라서 상기와 같은 <수학식 1>은 본 발명에서 제시한 세번째 조건(통계적인 의미에서 Y2의 동적 영역(dynamic range)은 적어도 Y의 동적 영역에 비해 크지 않아야한다.)를 만족한다.Referring to Equation (3), the mutual information amount of Y2 is increased by about 0.56 bits compared with the mutual information amount of Y. [ This shows a coding efficiency improvement of 0.56 bits per frame and 28 bits per second in the coding problem of the upper band energy Y (n) = {lnE HB (n)}. Finally, the dispersion of Y was about 74.44 and the dispersion of Y2 was about 35.06. Therefore, like the <
또한, 상기 <수학식 3>에 나타낸 두 벡터 간의 상호 정보량은 하기 <수학식 4>와 같이 정의할 수 있다.The mutual information amount between the two vectors shown in Equation (3) can be defined as Equation (4) below.
여기에서, X는 하위대역 신호의 특징벡터, Y는 상위대역 신호의 특징벡터를 나타낸다. 또한 f X (x)는 X의 확률밀도함수, f Y (y)는 Y의 확률밀도함수, f XY (x,y)는 X 와 Y의 결합 확률밀도함수를 나타낸다.Here, X represents the feature vector of the lower-band signal, and Y represents the feature vector of the higher-band signal. F X (x) is the probability density function of X, f Y (y) is the probability density function of Y, and f XY (x, y) is the combined probability density function of X and Y.
이상과 같이, 상기 <수학식 1>에서 정의된 필터는 상위 대역 상호 정보량 필터로서의 본 발명에서 제시한 세가지 조건을 모두 만족하면서 상위대역 에너지 Y(n)={lnEHB(n)}의 부호화 효율을 증대시킨다. As described above, the filter defined in Equation (1) satisfies all three conditions provided by the present invention as the upper band mutual information filter, and the coding efficiency of the higher band energy Y (n) = {lnE HB (n) .
하기 <표 1>은 일반적인 부호화 장치(BWE)의 성능과 본 발명에 따른 부호화 장치(eBWE)의 성능을 비교한 결과이고 도 9(a)는 본 발명의 바람직한 일 실시 예에 따라 상위 대역 상호 정보량 필터만을 적용한 부호화 장치와 일반적인 휴대용 단말기의 부호화 장치의 성능을 비교한 그래프이다.Table 1 below shows the results of a comparison between the performance of a general encoder (BWE) and the performance of an encoder (eBWE) according to the present invention. FIG. 9 (a) A comparison between the performance of a coding apparatus using only a filter and the performance of a coding apparatus of a general portable terminal is shown.
상기 <표 1>의 수치는 부호화 오차 에너지를 의미하는 것으로 본 발명에 따른 부호화 장치는 일반적인 부호화 장치의 부호화 성능보다 향상된 것을 확인할 수 있다.The values in Table 1 indicate coding error energy, which indicates that the coding apparatus according to the present invention has improved coding performance compared to the coding apparatus of the conventional coding apparatus.
상기 장치의 다른 실시 예로 하위 대역 상호 정보량 필터만을 적용하여 부호화 장치의 동작 과정에 대해 설명하면 다음과 같다.In another embodiment of the apparatus, an operation process of the encoder by applying only the lower-band mutual information filter is described as follows.
상기와 같이 하위 대역 상호 정보량 필터만을 적용하여 부호화 효율을 높이는 방법에 대한 설명에 앞서 상기 부호화 장치가 Y(n) 정보 중에서 상위 대역 4차의 MFCC 계수만을 부호화한다고 가정할 경우, 상위 대역 신호 Y(n)={y1(n),... , y4(n)}가 된다. 이때 원래의 하위대역 신호 X(n)을 X2(n)로 변환하기 위한 하위 대역 상호 정보량 필터의 예는 하기 <수학식 5>와 같이 표현할 수 있다. If it is assumed that the coding apparatus encodes only the MFCC coefficients of the fourth-order higher-order band among the Y (n) information prior to the description of the method of enhancing the coding efficiency by applying only the lower-band mutual information filter as described above, n) = {y1 (n), ..., y4 (n)}. Here, an example of the lower-band mutual information filter for converting the original lower-band signal X (n) into X2 (n) can be expressed as Equation (5).
={x1(n),... , x14(n) : y1(n-1),... , y4(n-1)}′x1 (n), ..., x14 (n): y1 (n-1), ..., y4 (n-
여기에서, X는 하위대역 신호, Y는 상위대역 신호, G[]는 하위대역 상호 정보량 필터, X2는 G[]에 의해 변환된 하위대역 신호, ":" 는 행렬 및 벡터에서 확장 연산자, Y(n-1)는 되먹임된 n-1 번째 프레임의 부호화된 상위대역 벡터를 가리킨다.Here, X denotes a lower-band signal, Y denotes a higher-band signal, G [] denotes a lower-band mutual information quantity filter, X2 denotes a lower-band signal converted by G [ (n-1) indicates the coded upper band vector of the (n-1) th feedback frame.
상기 <수학식 5>와 같이 하위 대역 상호정보량 필터는 확장벡터(augmented vector)를 출력하는 확장연산자(augmentation operator)를 나타낸다.As shown in Equation (5), the lower-band mutual information filter represents an augmentation operator for outputting an augmented vector.
상기와 같은 하위 대역 상호 정보량 필터는 본 발명에서 제시한 상호 정보량 필터의 세 가지 필요조건 중 둘째 조건을 만족시키며, 하기 <수학식 6>과 같이 상호 정보량은 확장벡터 X2에 의해 증가된다.The lower-band mutual information filter satisfies the second condition among the three requirements of the mutual information filter of the present invention, and the mutual information amount is increased by the extension vector X2 as shown in Equation (6) below.
상기 <수학식 6>과 같은 상호 정보량 계산 결과에 의하면 하위대역 신호 X에서 X2로 변함으로써, 상호 정보량은 대략 1 bit정도가 증가한다. 이는 4차의 상위대역 MFCC 계수 Y를 부호화하는 문제에 있어서 프레임 당 1 bit, 초당 50 bit의 부호화 효율 향상을 예측하게 한다. 또한, 본 발명에서 제시한 상호 정보량 필터의 필요조건 세 가지 중 첫째 및 셋째 조건은 상위 대역 상호정보량 필터와 관련된 내용으로 하위대역 상호정보량 필터만 사용하는 경우에는 해당되지 않는다.According to the mutual information amount calculation result as shown in Equation (6), the mutual information amount increases by about 1 bit by changing from the lower band signal X to X2 . This makes it possible to predict a coding efficiency improvement of 1 bit per frame and 50 bits per second in the problem of encoding the fourth-order higher-order MFCC coefficient Y. [ In addition, the first and third conditions of the mutual information filter requirement of the present invention are related to the higher-band mutual information filter and are not applicable when only the lower-band mutual information filter is used.
하기 <표 2>는 일반적인 부호화 장치(BWE)의 성능과 본 발명에 따른 부호화 장치(eBWE)의 성능을 비교한 결과이고 도 9(b)는 본 발명의 바람직한 일 실시 예에 따라 하위 대역 상호 정보량 필터만을 적용한 부호화 장치와 일반적인 휴대용 단말기의 부호화 장치의 성능을 비교한 그래프이다.Table 2 below shows a result of comparing the performance of a general encoder BWE with the performance of an encoder eBWE according to the present invention. FIG. 9 (b) A comparison between the performance of a coding apparatus using only a filter and the performance of a coding apparatus of a general portable terminal is shown.
상기 <표 2>의 수치는 Cepstral Distance 값을 의미하는 것으로 본 발명에 따른 부호화 장치는 일반적인 부호화 장치의 부호화 성능보다 향상된 것을 확인할 수 있다.The values in Table 2 indicate Cepstral Distance values, and it can be seen that the coding apparatus according to the present invention has improved coding performance of a general coding apparatus.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but is capable of various modifications within the scope of the invention. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.
도 1은 일반적인 휴대용 단말기에서 대역폭 확장법을 수행하는 장치의 구성을 도시한 블록도,1 is a block diagram showing a configuration of an apparatus for performing a bandwidth extension method in a general portable terminal,
도 2는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 부호화기를 도시한 블록도,2 is a block diagram illustrating an encoder of a portable terminal according to an exemplary embodiment of the present invention.
도 3은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 복호화기를 도시한 블록도,3 is a block diagram illustrating a decoder of a portable terminal according to an exemplary embodiment of the present invention.
도 4는 본 발명의 바람직한 일 실시 예에 따른 부호화기에 적용되는 필터 계수 계산부의 구성을 도시한 블록도,4 is a block diagram illustrating a configuration of a filter coefficient calculation unit applied to an encoder according to an embodiment of the present invention.
도 5는 본 발명의 바람직한 일 실시 예에 따른 복호화기에 적용되는 필터 계수 계산부의 구성을 도시한 블록도,5 is a block diagram illustrating a configuration of a filter coefficient calculator applied to a decoder according to an embodiment of the present invention.
도 6은 본 발명의 바람직한 일 실시 예에 따른 부호화기의 동작 과정을 도시한 흐름도,FIG. 6 is a flowchart illustrating an operation of an encoder according to an exemplary embodiment of the present invention. FIG.
도 7은 본 발명의 바람직한 일 실시 예에 따른 복호화기의 동작 과정을 도시한 흐름도 및,FIG. 7 is a flowchart illustrating an operation of a decoder according to an exemplary embodiment of the present invention,
도 8은 본 발명의 바람직한 일 실시 예에 따른 필터 계산부의 필터 계수를 계산하는 과정을 도시한 흐름도,FIG. 8 is a flowchart illustrating a process of calculating a filter coefficient of a filter calculation unit according to a preferred embodiment of the present invention. FIG.
도 9(a)는 본 발명의 바람직한 일 실시 예에 따라 상위 대역 상호 정보량 필터만을 적용한 부호화 장치와 일반적인 휴대용 단말기의 부호화 장치의 성능을 비교한 그래프 및,9A is a graph comparing performance of an encoding apparatus using only a high-band inter-information-amount filter and an encoding apparatus in a general portable terminal according to a preferred embodiment of the present invention,
도 9(b)는 본 발명의 바람직한 일 실시 예에 따라 하위 대역 상호 정보량 필터만을 적용한 부호화 장치와 일반적인 휴대용 단말기의 부호화 장치의 성능을 비교한 그래프.FIG. 9 (b) is a graph comparing the performance of a coding apparatus using only a lower-band mutual information filter and a coding apparatus in a general mobile terminal according to a preferred embodiment of the present invention.
Claims (22)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080025980A KR101421256B1 (en) | 2008-03-20 | 2008-03-20 | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal |
PCT/KR2009/001402 WO2009116815A2 (en) | 2008-03-20 | 2009-03-19 | Apparatus and method for encoding and decoding using bandwidth extension in portable terminal |
EP09722926.4A EP2255534B1 (en) | 2008-03-20 | 2009-03-19 | Apparatus and method for encoding using bandwidth extension in portable terminal |
US12/407,434 US8326641B2 (en) | 2008-03-20 | 2009-03-19 | Apparatus and method for encoding and decoding using bandwidth extension in portable terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080025980A KR101421256B1 (en) | 2008-03-20 | 2008-03-20 | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090100664A KR20090100664A (en) | 2009-09-24 |
KR101421256B1 true KR101421256B1 (en) | 2014-07-18 |
Family
ID=41358804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080025980A KR101421256B1 (en) | 2008-03-20 | 2008-03-20 | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101421256B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030128292A1 (en) | 1999-12-03 | 2003-07-10 | Sony Corporation | Information processing apparatus, information processing method and recording medium |
US20040264567A1 (en) | 2000-06-21 | 2004-12-30 | Microsoft Corporation | Video coding using wavelet transform and sub-band transposition |
-
2008
- 2008-03-20 KR KR1020080025980A patent/KR101421256B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030128292A1 (en) | 1999-12-03 | 2003-07-10 | Sony Corporation | Information processing apparatus, information processing method and recording medium |
US20040264567A1 (en) | 2000-06-21 | 2004-12-30 | Microsoft Corporation | Video coding using wavelet transform and sub-band transposition |
Also Published As
Publication number | Publication date |
---|---|
KR20090100664A (en) | 2009-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1715476B1 (en) | Low-bitrate encoding/decoding method and system | |
US6263312B1 (en) | Audio compression and decompression employing subband decomposition of residual signal and distortion reduction | |
US6092041A (en) | System and method of encoding and decoding a layered bitstream by re-applying psychoacoustic analysis in the decoder | |
JP4426483B2 (en) | Method for improving encoding efficiency of audio signal | |
JP3391686B2 (en) | Method and apparatus for decoding an encoded audio signal | |
JP5215994B2 (en) | Method and apparatus for lossless encoding of an original signal using a loss-encoded data sequence and a lossless extended data sequence | |
KR101959698B1 (en) | Device and method for execution of huffman coding | |
US9037454B2 (en) | Efficient coding of overcomplete representations of audio using the modulated complex lapped transform (MCLT) | |
USRE46082E1 (en) | Method and apparatus for low bit rate encoding and decoding | |
TW201324500A (en) | Lossless-encoding method, audio encoding method, lossless-decoding method and audio decoding method | |
US8326641B2 (en) | Apparatus and method for encoding and decoding using bandwidth extension in portable terminal | |
KR20100113065A (en) | Rounding noise shaping for integer transfrom based encoding and decoding | |
WO2010085566A1 (en) | Method and apparatus for compression or decompression of digital signals | |
KR101363206B1 (en) | Audio signal encoding employing interchannel and temporal redundancy reduction | |
JP2007504503A (en) | Low bit rate audio encoding | |
JP3318931B2 (en) | Signal encoding device, signal decoding device, and signal encoding method | |
CN112970063A (en) | Method and apparatus for rate quality scalable coding with generative models | |
KR100668319B1 (en) | Method and apparatus for transforming an audio signal and method and apparatus for encoding adaptive for an audio signal, method and apparatus for inverse-transforming an audio signal and method and apparatus for decoding adaptive for an audio signal | |
KR101421256B1 (en) | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal | |
JP4721355B2 (en) | Coding rule conversion method and apparatus for coded data | |
KR100975522B1 (en) | Scalable audio decoding/ encoding method and apparatus | |
JPH06268606A (en) | System and device for voice coding communication | |
KR101416305B1 (en) | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal | |
KR101414375B1 (en) | Apparatus and method for encoding/decoding using bandwidth extension | |
JP4682752B2 (en) | Speech coding and decoding apparatus and method, and speech decoding apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180628 Year of fee payment: 5 |