KR20090100664A - Apparatus and method for encoding/decoding using bandwidth extension in portable terminal - Google Patents
Apparatus and method for encoding/decoding using bandwidth extension in portable terminal Download PDFInfo
- Publication number
- KR20090100664A KR20090100664A KR1020080025980A KR20080025980A KR20090100664A KR 20090100664 A KR20090100664 A KR 20090100664A KR 1020080025980 A KR1020080025980 A KR 1020080025980A KR 20080025980 A KR20080025980 A KR 20080025980A KR 20090100664 A KR20090100664 A KR 20090100664A
- Authority
- KR
- South Korea
- Prior art keywords
- band signal
- signal
- upper band
- mutual information
- filter
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 230000008569 process Effects 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000002441 reversible effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
본 발명은 휴대용 단말기의 부호화 및 복호화 장치 및 방법에 관한 것으로, 보다 상세하게는 대역 확장 기법을 이용하는 휴대용 단말기의 부호화 장치에서 부호화 효율에 영향을 주는 상관 관계(상호 정보량)을 조절하기 위한 장치 및 방법에 관한 것이다. 다시 말해서, 본 발명은 휴대용 단말기의 부호화 효율을 높이기 위하여 상위 대역 신호와 하위 대역 신호 간의 상호 정보량을 높이도록 처리하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for encoding and decoding a portable terminal, and more particularly, to an apparatus and method for adjusting a correlation (amount of mutual information) influencing coding efficiency in an encoding apparatus of a portable terminal using a band extension technique. It is about. In other words, the present invention relates to an apparatus and a method for processing to increase the amount of information between the upper band signal and the lower band signal in order to increase the coding efficiency of the portable terminal.
최근 디지털 신호처리 기술의 발달에 의해 오디오 신호는 디지털 데이터로 저장되고 재생되는 경우가 대부분이다. 디지털 오디오 저장/재생 장치는 아날로그 오디오 신호를 샘플링하고 양자화하여 디지털 신호인 PCM(Pulse Code Modulation) 오디오 데이터로 변환하여 CD, DVD와 같은 정보저장매체에 저장해둔 다음 사용자가 필요로 할 때 이를 재생해서 들을 수 있도록 해준다. With the recent development of digital signal processing technology, audio signals are mostly stored and reproduced as digital data. Digital audio storage / playback equipment samples and quantizes analog audio signals, converts them into digital coded pulse code modulation (PCM) audio data, and stores them on information storage media such as CDs and DVDs. Allows you to listen.
상기 디지털 방식은 인공적인 대역폭 확장법(BWE ; Artificial Bandwidth Extension)을 이용하여 수신측에서 하위대역 신호 혹은 그 신호로부터 추출된 특징벡터로부터 상위대역 신호를 추정 및 복원하여 하위대역 신호만 재생하는 경우에 비해 음질을 크게 향상시킬 수 있다.The digital method uses an artificial bandwidth extension (BWE) to estimate and recover an upper band signal from a lower band signal or a feature vector extracted from the signal at the receiver to reproduce only the lower band signal. The sound quality can be greatly improved.
예를 들어, 상기 대역폭 확장법은 입력 신호의 샘플링 주파수(Fs)를 16kHz라 할 때 0 ~ 4kHz의 하위대역 신호로부터 4k ~ 8kHz의 상위 대역 신호를 복원하여 4kHz 이하의 신호만 통과시키는 협대역 전화망의 수신 측에서 최종적으로 원래의 입력 신호와 같은 16kHz의 신호를 출력하도록 하는 방법으로 음성 혹은 오디오 신호의 주파수 대역(상위대역 및 하위대역) 사이의 상관관계와 밀접한 관련이 있다.For example, when the sampling frequency (Fs) of the input signal is 16 kHz, the bandwidth extension method restores an upper band signal of 4 k to 8 kHz from a lower band signal of 0 to 4 kHz and passes only a signal of 4 kHz or less. Finally, the receiving side of the signal outputs the same 16 kHz signal as the original input signal, which is closely related to the correlation between the frequency bands (upper band and lower band) of the audio or audio signal.
즉, 한 프레임의 오디오 신호 및 음성 신호를 주파수 대역별로 하위대역 및 상위대역으로 나누었을 때, 두 대역의 신호 모두 동일한 인간의 발성구조로부터 생성된 신호이므로 서로 밀접한 상관관계가 있어 두 대역 간의 상관관계가 크다면 혹은, 상호 정보량(mutual information)이 크다면 상기 대역폭 확장법에 의해 복원된 상위대역 신호는 원음에 가까운 좋은 음질이 될 것이다. That is, when the audio signal and the voice signal of one frame are divided into the lower band and the upper band for each frequency band, since the signals of the two bands are generated from the same human voice structure, there is a close correlation between the two bands. If is large or if the mutual information is large, the upper band signal restored by the bandwidth extension method will have good sound quality close to the original sound.
하지만, 상기와 같은 두 대역 간의 상호 정보량이 많지 않아 상위대역 신호에 대한 정보가 없을 경우, 상기 대역폭 확장법으로 상위대역 신호를 완벽하게 복원할 수 없다는 문제점이 있다.However, there is a problem in that the upper band signal cannot be completely restored by the bandwidth extension method when there is no information on the upper band signal because the amount of mutual information between the two bands is not large.
도 1은 일반적인 휴대용 단말기에서 대역폭 확장법을 수행하는 장치의 구성 을 도시한 블록도이다.1 is a block diagram illustrating a configuration of an apparatus for performing a bandwidth extension method in a general portable terminal.
상기 도 1을 참조하면, 상기 휴대용 단말기는 부호화기(100)와 복호화기(110)를 포함하여 구성할 수 있다 여기에서, 상기 부호화기(100)는 하위 대역 부호화기(101), 상위 대역 신호 추정기(103)(BWE) 및 양자화기(105)를 포함하며, 상기 복호화기(103)는 역 양자화기(112), 하위 대역 복호화기(114) 및 상위 대역 신호 추정기(116)를 포함하여 구성할 수 있다.Referring to FIG. 1, the portable terminal may include an encoder 100 and a decoder 110. Here, the encoder 100 may include a
상기 부호화기(100)는 상위 대역 신호를 부호화함에 있어 BWE 시스템을 활용하여 부호화 효율을 높이는 BWE 기반 부호화기로 하위 대역 부호화기(101)는 하위대역 신호를 수신하여 부호화하도록 처리하고, 상위 대역 신호 추정기(103)는 상기 하위 대역 부호화기(101)에 의해 부호화된 신호를 활용하여 상위 대역 신호를 추정한다. The encoder 100 is a BWE-based encoder that improves coding efficiency by using a BWE system in encoding an upper band signal. The
이에 따라 상기 부호화기(100)는 입력받은 상위 대역 신호로부터 상기 상위 대역 신호 추정기(103)에 의해 추정된 상위 대역 신호를 차감함으로써, 하위 대역과 중복되는 신호를 제거한 잔차(residual) 상위 대역 신호를 출력한다. 여기에서, 상기 잔차 상위 대역 신호는 양자화기(105)에 의해 양자화된 뒤 통신채널을 통하여 송신된다. 여기서 상기 양자화기(105)는 응용목적에 따라 스칼라 혹은 벡터 양자화기를 사용한다.Accordingly, the encoder 100 outputs a residual upper band signal from which a signal overlapping with a lower band is removed by subtracting the upper band signal estimated by the upper band signal estimator 103 from the input upper band signal. do. Here, the residual upper band signal is quantized by
상기 복호화기(110)는 상기 하위 대역 복호화기(114)로 하여금 부호화된 하위 대역 신호를 복호화하여 하위 대역 신호를 재생하도록 처리하고, 상위 대역 신호 추정기(116)는 상기 복호된 하위 대역 신호를 이용하여 상위 대역 신호를 추정 한다. 또한, 상기 역 양자화기(112)는 수신된 잔차 상위 대역 신호를 역 양자화하여 복호화된 잔차 상위대역 신호로 출력하도록 처리한다.The decoder 110 processes the
이에 따라 상기 복호화기(110)는 복호화된 잔차 상위대역 신호와 상기 상위 대역 신호 추정기(116)에 의해 추정된 상위대역 신호를 합산하여 복호화된 상위대역 신호를 출력하도록 처리한다. Accordingly, the decoder 110 processes the sum of the decoded residual upper band signal and the upper band signal estimated by the upper
상기와 같은 방법은 수신 측뿐만 아니라 송신 측에서도 상위 대역 신호 추정기의 활용으로 하위대역과 중복되는 상위대역 신호를 제거한 뒤 나머지 상위대역 부분을 부호화함으로써 상위대역 신호에 대한 부호화 효율을 높일 수 있지만 두 대역 간의 상관 관계 혹은 상호 정보량의 크기에 따라 성능 변화가 발생한다는 문제점이 있다. 다시 말해서, 상기와 같은 방법은 상관 관계가 크다면 부호화 효율은 높을 수 있지만 상관 관계가 작을 경우, 부호화 효율은 저하된다는 것이다.In the above method, the coding efficiency of the upper band signal can be increased by removing the upper band signal overlapping with the lower band by using the upper band signal estimator in the receiving side as well as the transmitting side, and encoding the remaining upper band part. There is a problem that a performance change occurs depending on the size of correlation or mutual information. In other words, in the above method, if the correlation is large, the coding efficiency may be high, but when the correlation is small, the coding efficiency is decreased.
따라서, 상기와 같은 문제점을 해결하기 위한 장치 및 방법이 요구된다. Therefore, there is a need for an apparatus and method for solving the above problems.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 도출된 것으로서, 본 발명의 목적은 휴대용 단말기의 대역 확장 기법을 이용한 부호화 장치의 성능을 향상시키기 위한 장치 및 방법을 제공함에 있다.The present invention was derived to solve the above problems, and an object of the present invention is to provide an apparatus and method for improving the performance of the encoding apparatus using a band extension technique of a portable terminal.
본 발명의 다른 목적은 휴대용 단말기의 대역 확장 기법을 이용한 부호화 장치에서 대역 신호 간의 상호 정보량을 조절하기 위한 장치 및 방법을 제공함에 있다.Another object of the present invention is to provide an apparatus and method for controlling mutual information amount between band signals in an encoding apparatus using a band extension technique of a portable terminal.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 대역 확장 기법을 이용한 부호화 장치는 입력 신호의 하위 대역 신호를 부호화하는 하위 대역 부호화기와, 상기 입력 신호의 상위 대역 신호와 상기 부호화한 하위 대역 신호의 상호 정보량을 높이기 위한 필터 계수를 계산하는 필터 계산부와, 상기 필터 계수 계산부에 의해 계산된 필터 계수를 이용하여 상기 상위 대역 신호의 상호 정보량을 높이도록 처리하는 상위 대역 상호 정보량 필터와, 상기 필터 계수 계산부에 의해 계산된 필터 계수를 이용하여 상기 하위 대역 신호의 상호 정보량을 높이도록 처리하는 하위 대역 상호 정보량 필터를 포함하는 것을 특징으로 한다.According to a first aspect of the present invention for achieving the above objects, an encoding apparatus using a band extension technique includes a lower band encoder that encodes a lower band signal of an input signal, an upper band signal of the input signal, and the encoded lower band A filter calculation unit for calculating a filter coefficient for increasing the mutual information amount of a band signal, an upper band mutual information amount filter for processing to increase the mutual information amount of the upper band signal by using the filter coefficient calculated by the filter coefficient calculation unit; And a lower band mutual information amount filter for processing to increase the mutual information amount of the lower band signal by using the filter coefficient calculated by the filter coefficient calculating unit.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 대역 확장 기법을 이용한 복호화 장치는 부호화 과정에서 출력한 부호화된 잔차 상위 대역 신 호를 수신하여 복호화하는 역 양자화기와, 복호 신호를 이용한 필터 계수를 계산하는 필터 계수 계산부와, 상기 계산한 필터 계수를 이용하여 상기 복호화한 상위 대역 신호를 역 필터링하여 본래의 신호로 출력하는 상위 대역 상호 정보량 역 필터를 포함하는 것을 특징으로 한다.According to a second aspect of the present invention for achieving the above objects, a decoding apparatus using a band extension technique includes an inverse quantizer for receiving and decoding an encoded residual upper band signal output in the encoding process, and a filter using a decoded signal. And a filter coefficient calculator for calculating coefficients, and an inverse filter for inverse-quantity information amount inversely filtering the decoded upper band signal by using the calculated filter coefficients and outputting the original signal as an original signal.
상술한 목적들을 달성하기 위한 본 발명의 제 3 견지에 따르면, 대역 확장 기법을 이용한 부호화 방법은 입력 신호를 상위 대역 신호와 하위 대역 신호로 분류한 후, 상기 분류한 하위 대역 신호를 부호화하는 과정과, 상기 분류한 상위 대역 신호와 상기 부호화한 하위 대역 신호의 상호 정보량을 높이기 위한 필터 계수를 계산하는 과정과, 상기 계산한 필터 계수를 이용하여 상기 상위 대역 신호와 하위 대역 신호의 상호 정보량을 높인 신호로 변환하는 과정을 포함하는 것을 특징으로 한다.According to a third aspect of the present invention for achieving the above object, the encoding method using the band extension technique is to classify the input signal into an upper band signal and a lower band signal, and then to encode the classified lower band signal; Calculating a filter coefficient for increasing the mutual information amount of the classified upper band signal and the encoded lower band signal, and using the calculated filter coefficient to increase the mutual information amount of the upper band signal and the lower band signal. It characterized in that it comprises a process of converting.
상술한 목적들을 달성하기 위한 본 발명의 제 4 견지에 따르면, 대역 확장 기법을 이용한 복호화 방법은 부호화 과정에서 출력한 부호화된 잔차 상위 대역 신호를 수신하는 과정과, 상기 수신한 부호화된 잔차 상위 대역 신호를 복호화하는 과정과, 복호 신호를 이용한 필터 계수를 계산하는 과정과, 상기 계산한 필터 계수를 이용하여 상기 복호화한 상위 대역 신호를 역 필터링하여 본래의 신호로 출력하는 과정을 포함하는 것을 특징으로 한다.According to a fourth aspect of the present invention for achieving the above objects, a decoding method using a band extension technique includes the steps of receiving an encoded residual upper band signal output during an encoding process, and receiving the encoded residual upper band signal. Decoding the signal; calculating a filter coefficient using a decoded signal; and reverse filtering the decoded upper band signal using the calculated filter coefficient and outputting the original signal as an original signal. .
상술한 바와 같이 본 발명은 대역폭 확장법(BWE ; Artificial Bandwidth Extension)을 이용하여 음성 및 오디오 신호를 부호화하도록 하는 휴대용 단말기에서 부호화하고자 하는 신호의 상위 대역 신호와 하위 대역 신호의 상호 정보량을 증가시킴으로써, 기존의 대역폭 확장법을 이용하는 부호화 장치보다 향상된 부호화 성능을 얻을 수 있다.As described above, the present invention increases the mutual information amount of the upper band signal and the lower band signal of a signal to be encoded in a portable terminal for encoding a voice and audio signal by using an artificial bandwidth extension (BWE), It is possible to obtain an improved encoding performance than the conventional encoding apparatus using the bandwidth extension method.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
이하 설명에서는 대역 확장 기법을 이용하는 휴대용 단말기의 부호화 장치에서 부호화 효율에 영향을 주는 상관 관계(상호 정보량)을 조절하기 위한 장치 및 방법에 관하여 설명할 것이다.In the following description, an apparatus and method for adjusting a correlation (amount of mutual information) influencing coding efficiency in an encoding apparatus of a portable terminal using a band extension technique will be described.
도 2는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 부호화기를 도시한 블록도이다.2 is a block diagram illustrating an encoder of a portable terminal according to an exemplary embodiment of the present invention.
상기 도 2를 참조하면, 상기 부호화기는 상위 대역 상호 정보량 필터(201), 양자화기(203), 필터 계수 계산부(205), 상위 대역 신호 추정기(207), 하위 대역 상호 정보량 필터(209), 하위 대역 부호화기(211), 하위 대역 복호화기(213) 및 상위 대역 상호 정보량 역 필터(215)를 포함하여 구성할 수 있다.Referring to FIG. 2, the encoder includes an upper band mutual
상기 부호화기의 상기 하위 대역 부호화기(211)는 하위 대역 신호를 부호화하여 통신 채널을 통하여 송신하도록 처리하고, 상기 부호화한 하위 대역 신호를 이용하여 상기 상위 대역 신호 추정기(207)로 하여금 상위 대역 신호를 추정하도록 한다.The
상기 하위 대역 상호 정보량 필터(209)는 상기 필터 계수 계산부(205)로부터 제공받은 필터 계수를 이용하여 상기 부호화된 하위 대역 신호의 상호 정보량을 증가시키도록 처리한다.The lower band mutual information amount filter 209 processes to increase the mutual information amount of the encoded lower band signal using the filter coefficients provided from the filter
상기 상위 대역 상호 정보량 필터(201)는 상기 필터 계수 계산부(205)로부터 제공받은 필터 계수를 이용하여 입력받은 상위 대역 신호를 변환하도록 처리한다. 즉, 상기 상위 대역 상호 정보량 필터는 기 입력받은 상위대역 신호(상위대역 신호 1)를 상호 정보량이 증가된 출력 상위 대역 신호(상위대역 신호 2)로 변환하도록 처리한다. The upper band mutual
상기 필터 계수 계산부(205)는 상기 상위 대역 상호 정보량 역 필터로부터 제공받는 복호화된 상위대역 신호와 상기 하위 대역 복호화기에 의해 복호화된 하위대역 신호를 이용하여 두 입력신호의 상호 정보량을 증가시키는데 필요한 하위대역 및 상위대역 필터 계수를 계산하고, 이 계수를 각각의 대응하는 필터에 제공하도록 처리한다.The filter
여기에서, 상기 상위 대역 상호 정보량 역 필터(215)로부터 제공받는 복호화된 상위대역 신호는 이전 프레임의 부호화된 상위 대역 신호가 복호화된 뒤 되먹임된 신호이고, 상기 복호화된 하위 대역 신호는 현재 프레임의 부호화된 하위대역 신호가 복호화된 신호이다.Here, the decoded upper band signal provided from the upper band cross information amount
상기 부호화기는 상기 상위 대역 상호 정보량 필터(201)에 의해 변환된 상위 대역 신호(상위대역 신호 2)와 상기 상위 대역 신호 추정기(207)에 의해 추정된 상위 대역 신호를 차감시킨 잔차 상위 대역 신호(잔차 상위 대역 신호 2))를 출력하도록 처리한 후, 상기 양자화기(203)로 하여금 상기 신호를 양자화하도록 처리한다.The encoder is a residual upper band signal (residual) obtained by subtracting an upper band signal (upper band signal 2) converted by the upper band mutual
도 3은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 복호화기를 도시한 블록도이다.3 is a block diagram illustrating a decoder of a portable terminal according to an exemplary embodiment of the present invention.
상기 도 3을 참조하면, 상기 복호화기는 역 양자화기(301), 상위 대역 상호 정보량 역 필터(303), 필터 계산부(305), 상위 대역 신호 추정부(307), 하위 대역 상호 정보량 필터(309) 및 하위 대역 복호화기(311)를 포함하여 구성할 수 있다.Referring to FIG. 3, the decoder includes an
상기 복호화기의 하위 대역 복호화기(311)는 부호화된 하위 대역 신호를 복호화하고, 상기 복호화한 하위 대역 신호를 이용하여 상기 상위 대역 신호 추정부(307)로 하여금 상위 대역 신호를 추정하도록 처리한다.The
상기 역 양자화기(301)는 부호화된 잔차 상위 대역 신호(부호화된 잔차 상위 대역 신호 2)를 수신하여 역 양자화하여 복호화된 잔차 상위대역 신호(복호화된 잔차 상위대역 신호 2)를 출력하도록 처리한다.The
상기 필터 계수 계산부(305)는 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 하위 대역 필터 계수, 상위대역 역 필터계수를 계산하고, 상 기 계수들을 각각의 대응하는 필터에 제공하도록 처리한다. 여기에서, 상기 필터 계산부(305)에 의해 계산된 하위 대역 필터계수는 동일한 프레임에 대해서 송신측 하위대역 필터계수와 동일하고, 상기 상위 대역 역 필터 계수는 송신측의 상위대역 역 필터계수와 동일하여 송신측의 상위대역 필터계수와 역관계를 가진다. The filter
상기 하위 대역 상호 정보량 필터(309)는 상기 필터 계수 계산부(305)로부터 제공받은 계수를 이용하여 상기 복호화된 하위 대역 신호의 상호 정보량을 증가시키도록 처리한 후, 상기 상위 대역 신호 추정부(307)로 제공하여 상위 대역 신호를 추정하도록 처리한다.The lower band cross information amount filter 309 processes the cross information amount of the decoded lower band signal to be increased by using the coefficient provided from the filter
이에 따라 상기 복호화기는 상기 역 양자화기(301)에 의해 복호화된 잔차 상위대역 신호와 상위 대역 신호 추정부(307)에 의해 추정된 상위 대역 신호를 합산하여 복호화된 상위대역 신호(복호화된 상위대역 신호 2)를 상기 상위 대역 상호 정보량 역 필터로 출력한다.Accordingly, the decoder adds the residual upper band signal decoded by the
상기 상위 대역 상호 정보량 역 필터(303)는 상기 필터 계수 계산부(305)로부터 제공받은 역 필터 계수를 이용하여 상기 복호화된 상위대역 신호(복호화된 상위대역 신호 2)를 역 필터 처리하여 원래의 상위대역 신호를 재생하도록 처리한다.The upper band mutual information
도 4는 본 발명의 바람직한 일 실시 예에 따른 부호화기에 적용되는 필터 계수 계산부의 구성을 도시한 블록도이다.4 is a block diagram illustrating a configuration of a filter coefficient calculator applied to an encoder according to an exemplary embodiment of the present invention.
상기 도 4를 참조하면, 상기 부호화기에 적용되는 필터 계수 계산부(400)는 상위 대역 상호 정보량 필터 계수 계산기(401)와 하위 대역 상호 정보량 필터 계수 계산기(403)를 포함한다.Referring to FIG. 4, the
여기에서, 상기 상위 대역 상호 정보량 필터 계수 계산기(401)는 상위 대역 상호 정보량 필터의 계수를 계산하는 블럭으로 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 계산할 수 있다.Here, the upper band mutual information amount
또한, 상기 하위 대역 상호 정보량 필터 계수 계산기(403)는 하위 대역 상호 정보량 필터의 계수를 계산하는 블럭으로 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 계산할 수 있다.In addition, the lower band mutual information amount
여기에서, 상기 부호화기의 필터 계수 계산부(400)는 상위 대역 신호의 상호 정보량을 증가시키기 위한 필터 계수를 계산할 경우, 다음과 같은 조건을 만족해야 한다.Here, the
먼저, 하위대역 신호를 X, 상위대역 신호를 Y, 상위대역 상호 정보량 필터를 H[], 상위대역 상호 정보량 역 필터를 H-1[], H[]에 의해 변환된 상위대역 신호를 Y2로 가정할 경우,First, the lower-band signal X, the higher-band signal Y, the higher-band filter mutual information H [], the higher-band inverse filter mutual information for the higher-band signal converted by the H -1 [], H [] to Y2 Assuming
첫째, H[]는 가역적이어야 하고, H-1[]이 존재하여서 Y = H-1[Y2]= H-1[H[Y]] 을 성립해야 한다. 즉, 변환된 신호 Y2로부터 원래의 신호 Y가 재생 가능해야한다.First, H [] must be reversible and H- 1 [] must be present to establish Y = H -1 [Y2] = H -1 [H [Y]]. In other words, the original signal Y must be reproducible from the converted signal Y2 .
둘째, 상호 정보량 I[X; Y2]>I[X;Y]이 성립하여야 한다. Second, mutual information amount I [ X; Y2 ]> I [ X; Y ] must hold.
셋째, 통계적인 의미에서 Y2의 동적 영역(dynamic range)은 적어도 Y의 동적 영역에 비해 크지 않아야한다.Third, in the statistical sense, the dynamic range of Y2 should not be greater than at least the dynamic range of Y.
상기와 같은 필터 계수 계산시 만족해야하는 조건에 대한 설명은 하기 도 6 에서 상세히 설명할 것이다.Description of the conditions to be satisfied when calculating the filter coefficients as described above will be described in detail with reference to FIG.
도 5는 본 발명의 바람직한 일 실시 예에 따른 복호화기에 적용되는 필터 계수 계산부의 구성을 도시한 블록도이다.5 is a block diagram illustrating a configuration of a filter coefficient calculator applied to a decoder according to an exemplary embodiment of the present invention.
상기 도 5를 참조하면, 상기 복호화기에 적용되는 필터 계수 계산부(500)는 상위 대역 상호 정보량 역 필터 계수 계산기(501)와 하위 대역 상호 정보량 필터 계수 계산기(513)를 포함한다.Referring to FIG. 5, the
여기에서, 상기 상위 대역 상호 정보량 역 필터 계수 계산기(501)는 상위 대역 상호 정보량 역 필터의 계수를 계산하는 블럭으로 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 계산할 수 있다.Here, the upper band cross information amount inverse
또한, 상기 하위 대역 상호 정보량 필터 계수 계산기(513)는 하위 대역 상호 정보량 필터의 계수를 계산하는 블럭으로 복호화된 상위 대역 신호와 복호화된 하위 대역 신호를 이용하여 계산할 수 있다.Also, the lower band mutual information amount
여기에서, 상기 복호화기의 필터 계수 계산부(500)는 상기 도 4에서 설명한 부호화기의 필터 계수 계산부(400)와 같이 조건을 만족하는 상태에서 상위 대역 신호의 상호 정보량을 증가시키기 위한 필터 계수를 계산해야 한다.Here, the filter
이상은 대역 확장 기법을 이용하는 휴대용 단말기의 부호화 장치에서 부호화 효율에 영향을 주는 상관 관계(상호 정보량)을 조절하기 위한 장치에 관하여 설명하였고, 이하 설명에서는 본 발명의 바람직한 일 실시 예에 따른 상기 장치를 이용하여 부호화 효율에 영향을 주는 상관 관계(상호 정보량)을 조절하기 위한 방법 에 관하여 설명할 것이다.The foregoing has described an apparatus for adjusting a correlation (amount of mutual information) influencing coding efficiency in an encoding apparatus of a portable terminal using a band extension technique. Hereinafter, the apparatus according to an exemplary embodiment of the present invention will be described. It will be described a method for adjusting the correlation (interaction amount) affecting the coding efficiency.
도 6은 본 발명의 바람직한 일 실시 예에 따른 부호화기의 동작 과정을 도시한 흐름도이다. 여기에서, 상기 부호화기는 상위대역과 하위대역 간의 상호 정보량을 증가시키기 위하여 입력 신호의 상위대역을 대역폭 확장(BWE ; Artificial Bandwidth Extension)한다. 이에 따라, 상기 부호화기는 하위대역 신호를 하위대역 부호하기에 의해 부호화하여 출력하도록 한다.6 is a flowchart illustrating an operation of an encoder according to an exemplary embodiment of the present invention. Here, the encoder extends the bandwidth of the upper band of the input signal (BWE) in order to increase the amount of mutual information between the upper band and the lower band. Accordingly, the coder encodes and outputs the low-band signal by low-band encoding.
상기 도 6을 참조하면, 상기 부호화기는 먼저 601단계에서 상호 정보량 필터 계수를 계산한 후, 603단계로 진행하여 상기 계산한 필터 계수를 이용하여 상기 입력받은 상위대역 신호(상위대역 신호 1)를 변환하도록 처리한다. 여기에서, 상기 상호 정보량 필터 계수는 상위 대역 상호 정보량 필터의 계수와 하위 대역 상호 정보량 필터의 계수로 필터 계수부에 의하여 계산할 수 있으며, 상기 변환한 상위대역 신호(상위대역 신호 2)는 입력 상위대역 신호에 비해 상호 정보량이 증가된 출력 상위대역 신호를 말한다. Referring to FIG. 6, the encoder first calculates mutual information amount filter coefficients in
여기에서, 상기 필터 계수 계산부는 다음과 같은 조건을 만족해야 한다.Here, the filter coefficient calculator must satisfy the following conditions.
먼저, 하위대역 신호를 X, 상위대역 신호를 Y, 상위대역 상호 정보량 필터를 H[], 상위대역 상호 정보량 역 필터를 H-1[], H[]에 의해 변환된 상위대역 신호를 Y2로 가정할 경우,First, the lower-band signal X, the higher-band signal Y, the higher-band filter mutual information H [], the higher-band inverse filter mutual information for the higher-band signal converted by the H -1 [], H [] to Y2 Assuming
첫째, H[]는 가역적이어야 하고, H-1[]이 존재하여서 Y = H-1[Y2]= H-1[H[Y]] 을 성립해야 한다. 즉, 변환된 신호 Y2로부터 원래의 신호 Y가 재생 가능해야한다.First, H [] must be reversible and H- 1 [] must be present to establish Y = H -1 [Y2] = H -1 [H [Y]]. In other words, the original signal Y must be reproducible from the converted signal Y2 .
둘째, 상호 정보량 I[X; Y2]>I[X;Y]이 성립하여야 한다. Second, mutual information amount I [ X; Y2 ]> I [ X; Y ] must hold.
셋째, 통계적인 의미에서 Y2의 동적 영역(dynamic range)은 적어도 Y의 동적 영역에 비해 크지 않아야한다.Third, in the statistical sense, the dynamic range of Y2 should not be greater than at least the dynamic range of Y.
첫째 조건은 송신측 상위 대역 상호 정보량 필터에 의해 변환된 신호는 수신측 상위 대역 상호 정보량 역 필터에 의해 복원이 가능해야 한다는 것을 의미하고, 둘째 및 셋째 조건은 필터 H[]에 의한 변환 결과가 부호화 효율의 향상에 기여해야 한다는 것을 의미한다. The first condition means that the signal transformed by the sender upper band cross information amount filter should be reconstructed by the receiver high band cross information amount inverse filter. The second and third conditions indicate that the conversion result by filter H [] is encoded. It means that it should contribute to the improvement of efficiency.
상기 첫째 조건 즉, H-1[]이 존재하기 위해서는 필터 H[]는 기본적으로 단조 및 미분 가능(monotonic & differentiable) 함수를 나타내지만 이러한 변환 함수에 대해서는 상호 정보량이 변화하지 않는다. 즉, I[X; Y2]=I[X;Y]가 된다. 따라서 이는 둘째 조건을 만족시키지 못하게 된다. In order for the first condition, that is, H- 1 [] to exist, the filter H [] basically represents a monotonic and differentiable function, but the amount of mutual information does not change with respect to this conversion function. That is, I [ X; Y2 ] = I [ X; Y ]. Therefore, this does not satisfy the second condition.
이러한 문제점을 고려하여 본 발명에서는, 송신된 다른 정보 가령, 하위대역 벡터 X등을 이용하여 최종적으로 원래의 송신된 정보 Y를 재생하는 것을 가능하게 하는 함수를 통칭하는 의미("가역적")를 사용하기로 한다. In view of this problem, the present invention uses a term ("reversible") to refer to a function that makes it possible to finally reproduce the original transmitted information Y using other transmitted information, such as a lower band vector X. Let's do it.
예를 들어, Y2 = H[X,Y]= X·* Y = {x1y1,... , xNyN}′. 여기서 "·* "는 성분간의 곱 연산을 의미하며, x1, y1 등은 각각 X, Y의 성분들을 의미한다. 이에 대한 역함수 H-1[] 즉, X가 주어진 조건에서 Y2로부터 다시 Y를 재생하는 함수는 다음과 같이 정의될 수 있다. 즉, Y = H-1[X, Y2]= X·/ Y2 = {x1/y21,... , xN/y2N} ′. 여기서 "·/ "는 성분간의 나눗셈 연산을 의미하며, x1, y21 등은 각각 X, Y2의 성분들을 의미한다. For example, Y2 = H [ X, Y ] = X ** Y = {x1y1, ..., xNyN} ′. Here, "*" means a multiplication operation between components, and x1, y1, etc. mean components of X and Y, respectively. The inverse function H -1 [], that is, a function that regenerates Y from Y2 again under the condition that X is given can be defined as follows. That is, Y = H -1 [ X, Y2 ] = X · Y2 = {x1 / y21, ..., xN / y2N} ′. Here, "· /" denotes a division operation between components, and x1 and y21 mean components of X and Y2, respectively.
이와 같이 함수 "·* "를 이용하여 송신측에서 보내진 Y2는 수신측에서 함수 "·/ "를 이용하여 다시 Y로 복원될 수 있다. 상기 둘째 조건과 관련하여, 일반적으로 두 랜덤 변수(혹은 벡터)는 상호 의존성 즉, 상호 함수 관계를 가질 때 상호 정보량이 증가한다. 즉, 필터 H[]에 의해 변환된 Y2가 X와 어떤 함수관계 가령, Y2= f[X]의 함수관계를 가진다면, 두 랜덤 벡터 Y2와 X의 상호 정보량은 증가하게 된다. In this way, Y2 sent from the transmitting side using the function "*" can be restored to Y again using the function "· /" at the receiving side. In relation to the second condition, in general, two random variables (or vectors) increase in mutual information when they have mutual dependence, that is, a mutual function relationship. That is, if Y2 transformed by the filter H [] has a functional relationship with X , for example, Y2 = f [ X ], the amount of mutual information of the two random vectors Y2 and X increases.
이후, 상기 부호화기는 605단계로 진행하여 하위대역 상호 정보량 필터로 하여금 상위 대역 신호를 추정하도록 처리한 후, 607단계로 진행하여 잔차 상위 대역 신호(잔차 상위 대역 신호 2))를 출력하도록 처리한다.Thereafter, the encoder proceeds to step 605 to process the low-band cross information amount filter to estimate an upper band signal, and then proceeds to step 607 to output a residual upper band signal (residual upper band signal 2).
여기에서, 상기 잔차 상위 대역 출력 신호는 상기 603단계에서 변환한 상위대역 신호(상위대역 신호 2)와 상기 605단계에서 추정한 상위 대역 신호를 차감한 신호를 말한다.Here, the residual upper band output signal refers to a signal obtained by subtracting the upper band signal (upper band signal 2) converted in
이후, 상기 부호화기는 609단계로 진행하여 상기 잔차 신호를 양자화하도록 처리한 후, 통신 채널을 통하여 송신(부호화된 잔차 상위 대역 신호 2)하도록 처리한다. 여기에서, 상기 잔차 신호를 양자화하는 양자화기는 응용 목적에 따라 스칼라 혹은 벡터 양자화기를 사용할 수 있다.In
이후, 상기 부호화기는 본 알고리즘을 종료한다.The encoder then terminates this algorithm.
도 7은 본 발명의 바람직한 일 실시 예에 따른 복호화기의 동작 과정을 도시한 흐름도이다. 여기에서, 상기 복호화기는 상위대역과 하위대역 간의 상호 정보량이 증가된 입력 신호를 복호화하도록 처리한다. 이에 따라, 상기 복호화기는 통신채널을 통하여 수신된 부호화된 하위대역 신호를 하위대역 복호화기로 하여금 복호화하도록 하여 하위대역 신호로 재생한다.7 is a flowchart illustrating an operation of a decoder according to an exemplary embodiment of the present invention. Here, the decoder processes to decode an input signal having an increased amount of mutual information between the upper band and the lower band. Accordingly, the decoder causes the lower band decoder to decode the encoded lower band signal received through the communication channel to reproduce the lower band signal.
상기 도 7을 참조하면, 상기 복호화기는 먼저 701단계에서 부호화기에 의해 변환된 상위 대역의 잔차 신호(부호화된 잔차 상위 대역 신호 2)를 수신한다.Referring to FIG. 7, the decoder first receives a higher-band residual signal (coded residual upper-band signal 2) converted by the encoder in
이후, 상기 복호화기는 703단계로 진행하여 상기 수신한 잔차 신호를 양자화하도록 처리한 후, 705단계로 진행하여 상위 대역 신호로 복호화하도록 처리한다. 즉, 상기 복호화기는 상기 수신한 부호화된 잔차 상위 대역 신호 2를 복화화한 잔차 상위대역 신호 2로 출력하도록 처리한다. In
이후, 상기 복호화기는 707단계로 진행하여 복호 신호를 이용한 필터 계수를 계산한다. 여기에서, 상기 필터 계수는 하위 대역 필터 계수와 상위 대역 역 필터 계수를 말하며, 상기 복호화기는 복호화된 상위대역 신호와 복호화된 하위대역 신호를 이용하여 상기 필터 계수를 계산할 수 있다. 또한, 상기 하위 대역 필터 계수는 동일한 프레임에 대해서 송신측 하위 대역 필터계수와 동일하고, 상위 대역 역 필터 계수는 송신측의 상위 대역 역 필터계수와 동일하여 송신측의 상위 대역 필터계수와 역관계를 가진다.In
이후, 상기 복호화기는 709단계로 진행하여 본래의 상위 대역 신호로 복호화하는 과정을 수행한다.Thereafter, the decoder proceeds to step 709 to decode the original upper band signal.
여기에서, 상기 본래의 상위 대역 신호로 복호화하는 과정은 상기 705단계에서 복화화한 잔차 상위대역 신호 2와 상위 대역 신호 추정부에 의해 추정된 상위 대역 신호를 합산하여 복호화된 상위대역 신호(복호화된 상위대역 신호 2)를 출력한 후, 상기 복호화된 상위 대역 신호를 역 필터 처리하여 원래의 상위대역 신호로 복호화하는 과정이다.In the decoding of the original upper band signal, the upper-band signal decoded by adding the residual upper-
이후, 상기 복호화기는 본 알고리즘을 종료한다.The decoder then terminates this algorithm.
도 8은 본 발명의 바람직한 일 실시 예에 따른 필터 계산부의 필터 계수를 계산하는 과정을 도시한 흐름도이다.8 is a flowchart illustrating a process of calculating filter coefficients of a filter calculator according to an exemplary embodiment of the present invention.
상기 도 8을 참조하면, 상기 필터 계산부는 먼저 801단계에서 이전 프레임의 복호화된 상위 대역 신호를 확인한 후, 803단계로 진행하여 상위 대역 필터 계수를 계산한다. 즉, 상기 필터 계산부는 이전 프레임의 복호화된 신호 상위 대역 신호를 이용하여 입력되는 상위 대역 신호의 상호 정보량을 증가시키기 위한 필터를 계산한다.Referring to FIG. 8, the filter calculator first checks the decoded upper band signal of the previous frame in
이후, 상기 필터 계산부는 805단계로 진행하여 복호화된 하위 대역 신호를 확인한 후, 807단계로 진행하여 하위 대역 필터 계수를 계산하도록 처리한다. 여기에서, 상기 필터 계산부는 현재 프레임의 부호화된 하위대역 신호가 복호화된 신호인 복호화된 하위 대역 신호를 이용하여 입력 신호의 상호 정보량을 증가시키기 위한 필터를 계산한다.In
이후, 상기 필터 계산부는 본 알고리즘을 종료한다.Thereafter, the filter calculation unit terminates the present algorithm.
이상 설명에서는 본 발명에 따라 상위 대역 신호와 하위 대역 신호의 상호 정보량을 중가시키기 위한 장치 및 방법으로 상위 대역 신호의 필터 계수와 상위 대역 신호의 필터 계수를 이용하는 방안을 제시하였으나, 본 발명은 상위 대역 상호 정보량 필터만을 적용하거나 하위 대역 상호 정보량 필터만을 적용하여 상위 대역 신호와 하위 대역 신호의 상호 정보량을 증가시킬 수 있다.In the above description, a method of using a filter coefficient of an upper band signal and a filter coefficient of an upper band signal as an apparatus and method for increasing the amount of mutual information of an upper band signal and a lower band signal according to the present invention has been described. The mutual information amount of the upper band signal and the lower band signal may be increased by applying only the mutual information amount filter or only the lower band mutual information amount filter.
상기와 같이 상위 대역 상호 정보량 필터만을 적용하거나 하위 대역 상호 정보량 필터만을 적용하는 방안은 상기 도 2 내지 도 8에서 설명한 상위 대역 상호 정보량 필터와 하위 대역 상호 정보량 필터를 이용하는 방법과 동일하나 각각의 필터만을 사용하여 상위 대역 신호와 하위 대역 신호의 상호 정보량을 증가시킬 수 있다.As described above, the method of applying only the upper band cross information amount filter or only the lower band cross information amount filter is the same as the method of using the upper band cross information amount filter and the lower band cross information amount filter described with reference to FIGS. The amount of mutual information of the upper band signal and the lower band signal can be increased.
도 9는 본 발명의 바람직한 일 실시 예에 따른 복호화기의 성능을 나타낸 그래프이다.9 is a graph showing the performance of a decoder according to an embodiment of the present invention.
본 발명은 상위 대역 벡터와 하위 대역 벡터의 상호 정보량을 증가시키기 위한 방법으로 앞서 설명한 바와 같이 상위 대역 상호 정보량 필터와 하위 대역 상호 정보량 필터를 적용하는 방법과 상위 대역 상호 정보량 필터와 하위 대역 상호 정보량 필터 가운데 어느 하나만을 적용할 수 있다.The present invention is a method for increasing the mutual information amount of the upper band vector and the lower band vector, as described above, a method of applying an upper band mutual information amount filter and a lower band mutual information amount filter, and an upper band mutual information amount filter and a lower band mutual information amount filter. Only one of them can be applied.
상기 도 9는 본 발명의 일 실시 예에 따라 상위 대역 상호 정보량 필터만을 적용하는 방법과 하위 대역 상호 정보량 필터만을 적용할 경우를 예를 들어 설명한다.9 illustrates a method of applying only an upper band mutual information amount filter and a case of applying only a lower band mutual information amount filter according to an embodiment of the present invention.
먼저, 일반적인 휴대용 단말기의 부호화 장치와 본 발명에 따른 휴대용 단말기의 부호화 장치의 성능을 비교하기 위하여 16kHz로 샘플링된 PCM 음성 신호의 하위대역 신호를 총 14차의 MFCC(Mel Frequency Cepstral Coefficient) 특징 벡터와 로그 스케일 된 에너지 즉, X(n)={x1(n),... , x14(n), lnELB(n) }′로 변환하였고, 이에 대응하는 상위 대역 신호는 4차의 MFCC 계수와 로그 스케일 된 에너지 즉, Y(n)={y1(n),... , y4(n), lnEHB(n)}′로 변환하였다. 여기에서, n은 프레임 번호를 가리키며 프레임 크기는 20ms이다. 이 경우 부호화 문제는 4차의 상위대역 MFCC 계수 및 에너지 정보인 Y(n)을 효율적으로 부호화하는 것이다.First, in order to compare the performance of a coding apparatus of a general portable terminal and a coding apparatus of a portable terminal according to the present invention, a low-band signal of a PCM speech signal sampled at 16 kHz is combined with a total of 14-order Mel Frequency Cepstral Coefficient (MFCC) feature vectors. Log-scaled energy, that is, X (n) = {x1 (n), ..., x14 (n), lnELB (n)} ', and the corresponding higher-band signal is the fourth-order MFCC coefficients and the logarithm. Scaled energy, that is, Y (n) = {y1 (n), ..., y4 (n), lnEHB (n)} '. Here, n indicates a frame number and the frame size is 20 ms. In this case, the encoding problem is to efficiently encode the fourth-order higher-band MFCC coefficients and energy information Y (n).
먼저, 상위 대역 상호 정보량 필터만을 적용하여 부호화 장치의 동작 과정에 대해 설명에 앞서 상기 부호화 장치가 Y(n) 정보 중에서 상위 대역 신호의 EHB만을 부호화한다고 가정할 경우, 상위 대역 신호는 Y(n)={lnEHB(n)}가 된다. 이때 원래의 상위대역 신호 Y(n)을 Y2(n)로 변환하기 위한 상위대역 상호 정보량 필터의 예는 하기 <수학식 1>과 같이 나타낼 수 있다.First, when the encoding apparatus encodes only the E HB of the higher band signal among the Y (n) information, the upper band signal is Y (n). ) = {lnE HB (n)}. In this case, an example of an upper band mutual information amount filter for converting the original upper band signal Y (n) into Y2 (n) may be expressed by
여기에서, X는 하위대역 신호, Y는 상위대역 신호, H[]는 상위대역 상호 정보량 필터, Y2는 H[]에 의해 변환된 상위대역 신호, EHB 는 상위 대역 신호의 에너지, ELB는 하위 대역 신호의 에너지를 나타낸다. 또한, Y(n-1)는 되먹임된 n-1 번째 프레임의 부호화된 상위대역 벡터를 가리킨다. Here, X is a lower band signal, Y is an upper band signal, H [] is an upper band mutual information amount filter, Y2 is an upper band signal converted by H [], and E HB Is the energy of the upper band signal, E LB is the energy of the lower band signal. In addition, Y (n-1) indicates the encoded highband vector of the feedback n-1th frame.
상기 <수학식 1>을 살펴보면 상위대역 상호정보량 필터는 로그 스케일에서는 차분연산에 해당하며, 선형 스케일에서는 나눗셈연산에 해당한다. Referring to
상기와 같은 상위대역 상호 정보량 필터는 본 발명에서 제시한 3가지 조건 가운데 첫 번째 조건(H[]는 가역적이어야 하고, H-1[]이 존재하여서 Y = H-1[Y2]= H-1[H[Y]]을 성립해야 한다. 즉, 변환된 신호 Y2로부터 원래의 신호 Y가 재생 가능해야한다.)을 만족한다. 즉, 원래의 상위 대역 신호는 상위대역 상호 정보량 필터에 의해 변환된 상위 대역 신호(Y2)와 하위대역 신호(X(n))의 한 성분인 lnELB(n)로 부터 복원이 가능하다. 이를 <수학식 2>와 같이 표현할 수 있다.In the high-band cross information amount filter as described above, the first condition (H [] must be reversible among the three conditions presented in the present invention, and since H −1 [] is present, Y = H −1 [Y2] = H −1). [H [Y]] must be established, i.e., the original signal Y must be reproducible from the converted signal Y2 ). That is, the original upper band signal can be recovered from lnELB (n) which is one component of the upper band signal Y2 and the lower band signal X (n) converted by the upper band mutual information amount filter. This can be expressed as in
여기에서, EHB 는 상위 대역 신호의 에너지, ELB는 하위 대역 신호의 에너지, Y2는 상위대역 상호 정보량 필터에 의해 변환된 상위 대역 신호를 나타낸다.Here, E HB Is the energy of the upper band signal, E LB is the energy of the lower band signal, and Y2 is the upper band signal converted by the upper band mutual information amount filter.
상기와 같은 <수학식 1>은 하기 <수학식 3>과 같이 표현함에 따라 본 발명에서 제시한 3가지 조건 가운데 두 번째 조건(상호 정보량 I[X; Y2]>I[X;Y]이 성립하여야 한다.)를 만족한다.
여기에서, X는 하위대역 신호, Y는 상위대역 신호, Y2는 상위대역 상호 정보량 필터에 의해 변환된 상위대역 신호를 나타낸다.Here, X is a lower band signal, Y is an upper band signal, and Y2 is an upper band signal converted by the upper band mutual information amount filter.
상기 <수학식 3>을 참조하면, Y2의 상호 정보량은 Y의 상호 정보량에 비해 약 0.56bit 증가하였다. 이는 상위대역 에너지 Y(n)={lnEHB(n)} 부호화 문제에 있어서 프레임 당 0.56 bit, 초당 28 bit의 부호화 효율 향상을 나타내는 것이다. 끝으로, Y의 분산은 약 74.44, Y2의 분산은 약 35.06으로 계산되었다. 따라서 상기와 같은 <수학식 1>은 본 발명에서 제시한 세번째 조건(통계적인 의미에서 Y2의 동적 영역(dynamic range)은 적어도 Y의 동적 영역에 비해 크지 않아야한다.)를 만족한다.Referring to
또한, 상기 <수학식 3>에 나타낸 두 벡터 간의 상호 정보량은 하기 <수학식 4>와 같이 정의할 수 있다.In addition, the mutual information amount between the two vectors shown in
여기에서, X는 하위대역 신호의 특징벡터, Y는 상위대역 신호의 특징벡터를 나타낸다. 또한 f X (x)는 X의 확률밀도함수, f Y (y)는 Y의 확률밀도함수, f XY (x,y)는 X 와 Y의 결합 확률밀도함수를 나타낸다.Here, X is a feature vector of the lower band signal, Y is a feature vector of the upper band signal. In addition, f X (x) represents a probability density function of X, f Y (y) represents a probability density function of Y, and f XY (x, y) represents a combined probability density function of X and Y.
이상과 같이, 상기 <수학식 1>에서 정의된 필터는 상위 대역 상호 정보량 필터로서의 본 발명에서 제시한 세가지 조건을 모두 만족하면서 상위대역 에너지 Y(n)={lnEHB(n)}의 부호화 효율을 증대시킨다. As described above, the filter defined in
하기 <표 1>은 일반적인 부호화 장치(BWE)의 성능과 본 발명에 따른 부호화 장치(eBWE)의 성능을 비교한 결과이고 도 9(a)는 본 발명의 바람직한 일 실시 예에 따라 상위 대역 상호 정보량 필터만을 적용한 부호화 장치와 일반적인 휴대용 단말기의 부호화 장치의 성능을 비교한 그래프이다.<Table 1> is a result of comparing the performance of the general encoding device (BWE) and the performance of the encoding device (eBWE) according to the present invention, and Figure 9 (a) is the amount of high-band mutual information according to an embodiment of the present invention It is a graph comparing the performance of the encoding device to which only a filter is applied and the encoding device of a general portable terminal.
상기 <표 1>의 수치는 부호화 오차 에너지를 의미하는 것으로 본 발명에 따른 부호화 장치는 일반적인 부호화 장치의 부호화 성능보다 향상된 것을 확인할 수 있다.The numerical values in Table 1 refer to encoding error energy, and it can be seen that the encoding apparatus according to the present invention is improved over the encoding performance of a general encoding apparatus.
상기 장치의 다른 실시 예로 하위 대역 상호 정보량 필터만을 적용하여 부호화 장치의 동작 과정에 대해 설명하면 다음과 같다.Another embodiment of the apparatus will be described with reference to the operation of the encoding apparatus by applying only the low-band cross information amount filter.
상기와 같이 하위 대역 상호 정보량 필터만을 적용하여 부호화 효율을 높이는 방법에 대한 설명에 앞서 상기 부호화 장치가 Y(n) 정보 중에서 상위 대역 4차의 MFCC 계수만을 부호화한다고 가정할 경우, 상위 대역 신호 Y(n)={y1(n),... , y4(n)}가 된다. 이때 원래의 하위대역 신호 X(n)을 X2(n)로 변환하기 위한 하위 대역 상호 정보량 필터의 예는 하기 <수학식 5>와 같이 표현할 수 있다. As described above, assuming that the encoding apparatus encodes only the MFCC coefficients of the upper band 4th order of the Y (n) information, the method of increasing encoding efficiency by applying only the lower band mutual information amount filter is performed. n) = {y1 (n), ..., y4 (n)}. In this case, an example of a low-band cross information amount filter for converting the original low-band signal X (n) into X2 (n) may be expressed as
={x1(n),... , x14(n) : y1(n-1),... , y4(n-1)}′= {x1 (n), ..., x14 (n): y1 (n-1), ..., y4 (n-1)} ′
여기에서, X는 하위대역 신호, Y는 상위대역 신호, G[]는 하위대역 상호 정보량 필터, X2는 G[]에 의해 변환된 하위대역 신호, ":" 는 행렬 및 벡터에서 확장 연산자, Y(n-1)는 되먹임된 n-1 번째 프레임의 부호화된 상위대역 벡터를 가리킨다.Where X is a low-band signal, Y is a high-band signal, G [] is a low-band cross-quantity filter, X2 is a low-band signal converted by G [], and ":" is an extension operator in matrix and vector, Y (n-1) indicates the encoded highband vector of the feedback n-1th frame.
상기 <수학식 5>와 같이 하위 대역 상호정보량 필터는 확장벡터(augmented vector)를 출력하는 확장연산자(augmentation operator)를 나타낸다.As shown in
상기와 같은 하위 대역 상호 정보량 필터는 본 발명에서 제시한 상호 정보량 필터의 세 가지 필요조건 중 둘째 조건을 만족시키며, 하기 <수학식 6>과 같이 상호 정보량은 확장벡터 X2에 의해 증가된다.The lower band mutual information amount filter as described above satisfies the second condition among the three requirements of the mutual information amount filter presented in the present invention, and the mutual information amount is increased by the extension vector X2 as shown in
상기 <수학식 6>과 같은 상호 정보량 계산 결과에 의하면 하위대역 신호 X에서 X2로 변함으로써, 상호 정보량은 대략 1 bit정도가 증가한다. 이는 4차의 상위대역 MFCC 계수 Y를 부호화하는 문제에 있어서 프레임 당 1 bit, 초당 50 bit의 부호화 효율 향상을 예측하게 한다. 또한, 본 발명에서 제시한 상호 정보량 필터의 필요조건 세 가지 중 첫째 및 셋째 조건은 상위 대역 상호정보량 필터와 관련된 내용으로 하위대역 상호정보량 필터만 사용하는 경우에는 해당되지 않는다.According to the mutual information amount calculation result as shown in
하기 <표 2>는 일반적인 부호화 장치(BWE)의 성능과 본 발명에 따른 부호화 장치(eBWE)의 성능을 비교한 결과이고 도 9(b)는 본 발명의 바람직한 일 실시 예에 따라 하위 대역 상호 정보량 필터만을 적용한 부호화 장치와 일반적인 휴대용 단말기의 부호화 장치의 성능을 비교한 그래프이다.Table 2 shows a result of comparing the performance of the general encoding device (BWE) and the performance of the encoding device (eBWE) according to the present invention, and FIG. 9 (b) shows the amount of low-band cross information according to an embodiment of the present invention. It is a graph comparing the performance of the encoding device to which only a filter is applied and the encoding device of a general portable terminal.
상기 <표 2>의 수치는 Cepstral Distance 값을 의미하는 것으로 본 발명에 따른 부호화 장치는 일반적인 부호화 장치의 부호화 성능보다 향상된 것을 확인할 수 있다.The numerical value of Table 2 means a Cepstral Distance value, and it can be seen that the encoding apparatus according to the present invention is improved over the encoding performance of the general encoding apparatus.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.
도 1은 일반적인 휴대용 단말기에서 대역폭 확장법을 수행하는 장치의 구성을 도시한 블록도,1 is a block diagram showing a configuration of an apparatus for performing a bandwidth extension method in a general portable terminal;
도 2는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 부호화기를 도시한 블록도,2 is a block diagram showing an encoder of a portable terminal according to an embodiment of the present invention;
도 3은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 복호화기를 도시한 블록도,3 is a block diagram illustrating a decoder of a portable terminal according to an embodiment of the present invention;
도 4는 본 발명의 바람직한 일 실시 예에 따른 부호화기에 적용되는 필터 계수 계산부의 구성을 도시한 블록도,4 is a block diagram showing a configuration of a filter coefficient calculation unit applied to an encoder according to an embodiment of the present invention;
도 5는 본 발명의 바람직한 일 실시 예에 따른 복호화기에 적용되는 필터 계수 계산부의 구성을 도시한 블록도,5 is a block diagram showing a configuration of a filter coefficient calculator applied to a decoder according to an exemplary embodiment of the present invention;
도 6은 본 발명의 바람직한 일 실시 예에 따른 부호화기의 동작 과정을 도시한 흐름도,6 is a flowchart illustrating an operation of an encoder according to an embodiment of the present invention;
도 7은 본 발명의 바람직한 일 실시 예에 따른 복호화기의 동작 과정을 도시한 흐름도 및,7 is a flowchart illustrating an operation process of a decoder according to an embodiment of the present invention;
도 8은 본 발명의 바람직한 일 실시 예에 따른 필터 계산부의 필터 계수를 계산하는 과정을 도시한 흐름도,8 is a flowchart illustrating a process of calculating a filter coefficient of a filter calculator according to an exemplary embodiment of the present invention.
도 9(a)는 본 발명의 바람직한 일 실시 예에 따라 상위 대역 상호 정보량 필터만을 적용한 부호화 장치와 일반적인 휴대용 단말기의 부호화 장치의 성능을 비교한 그래프 및,9 (a) is a graph comparing performances of an encoding apparatus to which only an upper band mutual information amount filter is applied and an encoding apparatus of a general portable terminal according to an embodiment of the present invention;
도 9(b)는 본 발명의 바람직한 일 실시 예에 따라 하위 대역 상호 정보량 필터만을 적용한 부호화 장치와 일반적인 휴대용 단말기의 부호화 장치의 성능을 비교한 그래프.9 (b) is a graph comparing the performance of an encoding device to which only the low-band cross-quantity information filter is applied and the encoding device of a general portable terminal according to an exemplary embodiment of the present invention.
Claims (22)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080025980A KR101421256B1 (en) | 2008-03-20 | 2008-03-20 | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal |
EP09722926.4A EP2255534B1 (en) | 2008-03-20 | 2009-03-19 | Apparatus and method for encoding using bandwidth extension in portable terminal |
US12/407,434 US8326641B2 (en) | 2008-03-20 | 2009-03-19 | Apparatus and method for encoding and decoding using bandwidth extension in portable terminal |
PCT/KR2009/001402 WO2009116815A2 (en) | 2008-03-20 | 2009-03-19 | Apparatus and method for encoding and decoding using bandwidth extension in portable terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080025980A KR101421256B1 (en) | 2008-03-20 | 2008-03-20 | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090100664A true KR20090100664A (en) | 2009-09-24 |
KR101421256B1 KR101421256B1 (en) | 2014-07-18 |
Family
ID=41358804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080025980A KR101421256B1 (en) | 2008-03-20 | 2008-03-20 | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101421256B1 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3694888B2 (en) | 1999-12-03 | 2005-09-14 | ソニー株式会社 | Decoding device and method, encoding device and method, information processing device and method, and recording medium |
US7023922B1 (en) | 2000-06-21 | 2006-04-04 | Microsoft Corporation | Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information |
-
2008
- 2008-03-20 KR KR1020080025980A patent/KR101421256B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR101421256B1 (en) | 2014-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3391686B2 (en) | Method and apparatus for decoding an encoded audio signal | |
JP5215994B2 (en) | Method and apparatus for lossless encoding of an original signal using a loss-encoded data sequence and a lossless extended data sequence | |
KR101859246B1 (en) | Device and method for execution of huffman coding | |
US8326641B2 (en) | Apparatus and method for encoding and decoding using bandwidth extension in portable terminal | |
JPH09204197A (en) | Perceptual noise shaping in time area by lps prediction in frequency area | |
KR101363206B1 (en) | Audio signal encoding employing interchannel and temporal redundancy reduction | |
WO2003063135A1 (en) | Audio coding method and apparatus using harmonic extraction | |
WO2010085566A1 (en) | Method and apparatus for compression or decompression of digital signals | |
EP3175457B1 (en) | Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals | |
KR100668319B1 (en) | Method and apparatus for transforming an audio signal and method and apparatus for encoding adaptive for an audio signal, method and apparatus for inverse-transforming an audio signal and method and apparatus for decoding adaptive for an audio signal | |
JPH09106299A (en) | Coding and decoding methods in acoustic signal conversion | |
KR100668299B1 (en) | Digital signal encoding/decoding method and apparatus through linear quantizing in each section | |
US11176954B2 (en) | Encoding and decoding of multichannel or stereo audio signals | |
KR101421256B1 (en) | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal | |
JP4721355B2 (en) | Coding rule conversion method and apparatus for coded data | |
JP2012519309A (en) | Quantization for audio coding | |
KR100737386B1 (en) | Method for estimating and quantifying inter-channel level difference for spatial audio coding | |
KR100928966B1 (en) | Low bitrate encoding/decoding method and apparatus | |
KR100975522B1 (en) | Scalable audio decoding/ encoding method and apparatus | |
KR101416305B1 (en) | Apparatus and method for encoding/decoding using bandwidth extension in portable terminal | |
KR101414375B1 (en) | Apparatus and method for encoding/decoding using bandwidth extension | |
Auristin et al. | New Ieee Standard For Advanced Audio Coding In Lossless Audio Compression: A Literature Review | |
JP4682752B2 (en) | Speech coding and decoding apparatus and method, and speech decoding apparatus and method | |
KR100940532B1 (en) | Low bitrate decoding method and apparatus | |
JP2004180058A (en) | Method and device for encoding digital data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180628 Year of fee payment: 5 |