PT1639580E - Coding of multi-channel signals - Google Patents

Coding of multi-channel signals Download PDF

Info

Publication number
PT1639580E
PT1639580E PT48090807T PT04809080T PT1639580E PT 1639580 E PT1639580 E PT 1639580E PT 48090807 T PT48090807 T PT 48090807T PT 04809080 T PT04809080 T PT 04809080T PT 1639580 E PT1639580 E PT 1639580E
Authority
PT
Portugal
Prior art keywords
constraint
signal
channel
filter
gain
Prior art date
Application number
PT48090807T
Other languages
Portuguese (pt)
Inventor
Stefan Bruhn
Ingemar Johansson
Anisse Taleb
Patrik Sandgren
Original Assignee
Ericsson Telefon Ab L M
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SE0303499A external-priority patent/SE0303499D0/en
Application filed by Ericsson Telefon Ab L M filed Critical Ericsson Telefon Ab L M
Publication of PT1639580E publication Critical patent/PT1639580E/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

Signals of different channels (c 1 -c N ) are combined into one mono signal (x). A set of adaptive filters, preferably one for each channel (c 1 -c N ), is derived in a respective filter adaptation unit (30:1-30:N). When an adaptive filter is applied to the mono signal (x) it reconstructs the signal of the respective channel (c 1 -c N ) under a perceptual constraint. The perceptual constraint is a gain and/or shape constraint. The gain constraint allows the preservation of the relative energy between the channels (c 1 -c N ) while the shape constraint allows more stability by avoiding unnecessary filtering of spectral nulls. The transmitted parameters are the mono signal (x), in encoded form, and the parameters (p 1 -p N ) of the adaptive filters, preferably also encoded. The receiver reconstructs the signal of the different channels by applying the adaptive filters and possibly some additional post-processing.

Description

ΕΡ 1 639 580/ΡΤΕΡ 1 639 580 / ΡΤ

DESCRIÇÃO "Codificação de sinais de multicanais"DESCRIPTION " Coding of multichannel signals "

CAMPO TÉCNICO 0 presente invento refere-se em geral à codificação de sinais áudio e, em particular, à codificação de sinais áudio de multicanais.TECHNICAL FIELD The present invention relates generally to the coding of audio signals and in particular to the encoding of multichannel audio signals.

ANTECEDENTESBACKGROUND

Existe uma grande necessidade no mercado de transmitir e armazenar sinais áudio de velocidade de bit baixa, mantendo ao mesmo tempo a qualidade de áudio elevada. Em particular, nos casos em que os recursos de transmissão ou o armazenamento são limitados, a operação a velocidade de bit baixa é um factor de custo essencial. Isto é normalmente o caso, por exemplo, em aplicações de fluxos e de mensagens em sistemas de comunicações móveis, tais como GSM, UMTS ou CDMA.There is a great need in the market to transmit and store low bit rate audio signals, while maintaining high audio quality. In particular, in cases where transmission or storage resources are limited, operation at low bit rate is an essential cost factor. This is usually the case, for example, in flow and messaging applications in mobile communications systems, such as GSM, UMTS or CDMA.

Actualmente, não há codecs (codificadores/ descodificadores) normalizados disponíveis que proporcionem elevada qualidade áudio estereofónica a velocidades de bit que são economicamente interessantes para utilização em sistemas de comunicações móveis. 0 que é possível com os codecs disponíveis é a transmissão monofónica de sinais áudio. Em certa medida, está também disponível transmissão estereofónica. No entanto, as limitações de velocidade de bit requerem normalmente a limitação a representação estéreo de modo bastante drástico. A maneira mais simples de codificação estereofónica ou de canais múltiplos de sinais áudio é codificar os sinais dos diferentes canais separadamente como sinais individuais e independentes. Uma outra maneira básica utilizada em transmissão rádio FM estéreo e a qual assegura a compatibilidade com os receptores de rádio mono do passado é transmitir uma soma e um sinal de diferença entre os dois canais envolvidos. 2 ΕΡ 1 639 580/ΡΤThere are currently no standardized codecs (encoders / decoders) available that provide high quality stereophonic audio at bit rates that are economically interesting for use in mobile communications systems. What is possible with the available codecs is the monophonic transmission of audio signals. To some extent, stereophonic transmission is also available. However, bit rate limitations usually require limiting the stereo representation quite dramatically. The simplest way of encoding stereo or multi-channel audio signals is to encode the signals from the different channels separately as individual and independent signals. Another basic way used in stereo FM radio transmission and which ensures compatibility with the mono radio receivers of the past is to transmit a sum and a difference signal between the two channels involved. 2 ΕΡ 1 639 580 / ΡΤ

Os codecs de áudio estado da técnica, tais como o "MPEG-1/2 Layer III" e o "MPEG-2/4 AAC" utilizam a chamada codificação estéreo conjunta. De acordo com esta técnica, os sinais dos diferentes canais são processados em conjunto, em vez de separadamente e individualmente. As duas técnicas de codificação estéreo conjunta mais habitualmente utilizadas são conhecidas como a codificação estéreo "Mid/Side" (M/S)" e a codificação estéreo de intensidade, que são normalmente aplicadas em sub-bandas dos sinais estéreo ou de multicanais a serem codificados. A codificação estéreo M/S é semelhante ao procedimento descrito na rádio FM estéreo, num sentido em que a mesma codifica e transmite os sinais de soma e diferença das sub-bandas de canal e assim explora a redundância entre as sub-bandas de canal. A estrutura e operação de um codificador com base na codificação estéreo M/S estão descritas, por exemplo, na patente US 5,285,498 de J.D. Johnston. 0 estéreo de intensidade, por outro lado, é capaz de utilizar a irrelevância estéreo. 0 mesmo transmite a intensidade conjunta dos canais (das diferentes sub-bandas) , em conjunto com alguma informação de localização que indica como a intensidade é distribuída entre os canais. 0 stereo de intensidade fornece apenas a informação da grandeza espectral dos canais. A informação de fase não é transmitida. Por esta razão e uma vez que a informação entre canais temporais (mais especificamente, a diferença de tempo entre canais) é da maior relevância psico-acústica, especialmente nas frequências mais baixas, o estéreo de intensidade só pode ser utilizado em frequências elevadas, por exemplo acima de 2 kHz. Por exemplo, é descrito um método de codificação estéreo de intensidade, na patente europeia 0497413 de R. Veldhuis et. al., Ver também "Intensity Stereo Coding", de Harre J et. al., "96th AES Convention", 26-02-1994.State-of-the-art audio codecs, such as " MPEG-1/2 Layer III " and " MPEG-2/4 AAC " use the so-called joint stereo coding. According to this technique, the signals of the different channels are processed together rather than separately and individually. The two most commonly used joint stereo coding techniques are known as the " Mid / Side " stereo coding " (M / S) " and the intensity stereo coding, which are usually applied to sub-bands of the stereo or multichannel signals to be coded. The M / S stereo coding is similar to the procedure described on the stereo FM radio in a sense that it encodes and transmits the sum and difference signals of the channel subbands and thus exploits the redundancy between the channel subbands. The structure and operation of an encoder based on the M / S stereo coding are described, for example, in U.S. Patent 5,285,498 to J.D. Johnston. The intensity stereo, on the other hand, is capable of using stereo irrelevance. 0 even transmits the combined intensity of the channels (of the different subbands) together with some location information indicating how the intensity is distributed between the channels. The intensity stereo only provides the information of the spectral magnitude of the channels. The phase information is not transmitted. For this reason and since the information between temporal channels (more specifically, the time difference between channels) is of greater psycho-acoustic relevance, especially in the lower frequencies, the intensity stereo can only be used in high frequencies, for example above 2 kHz. For example, a stereo intensity coding method is described in European patent 0497413 of R. Veldhuis et. al., See also " Intensity Stereo Coding ", by Harre J et. al., " 96th AES Convention ", 26-02-1994.

Um método de codificação estéreo recentemente desenvolvido é descrito, por exemplo, num documento de conferência com o titulo "Binaural cue coding applied to stereo and multi-channel audio compression", "112th AES convention", Maio de 2002, em Munique, Alemanha, de C. Faller et. al. . Este método é um método de codificação de áudio 3 ΕΡ 1 639 580/ΡΤ multicanais paramétrico. 0 princípio básico é que no lado da codificação, os sinais de entrada a partir de N canais Ci, C2, ··· cN são combinados num sinal mono m. 0 sinal áudio mono é codificado em áudio utilizando qualquer codec áudio monofónico convencional. Em paralelo, os parâmetros são derivados dos sinais de canal, os quais descrevem a imagem de multicanais. Os parâmetros são codificados e transmitidos para o descodificador, em conjunto com o fluxo de bits áudio. 0 primeiro descodificador decodifica o sinal mono m' e regenera, em seguida, os sinais de canal Ci', c2' , . .., cN' , com base na descrição paramétrica a imagem de multicanais. 0 princípio do método de codificação de indicação biaural ("Binaural Cue Coding" (BCC)) é que o mesmo transmite o sinal mono codificado e os chamados parâmetros BCC. Os parâmetros BCC compreendem diferenças de nível entre os canais codificados e as diferenças de tempo entre os canais para as sub-bandas do sinal de entrada multicanais original. 0 descodificador regenera os diferentes sinais de canal pela aplicação de ajustamentos de nível e de fase de segundo a sub-banda do sinal mono, com base nos parâmetros BCC. A vantagem, por exemplo, em relação ao estéreo M/S ou ao estéreo de intensidade é que a informação estéreo que compreende informação temporal entre canais é transmitida a velocidades de bit muito mais baixas.A recently developed stereo coding method is described, for example, in a conference document entitled " Binaural cue coding applied to stereo & multi-channel audio compression ", " 112th AES convention ", May 2002, Munich, Germany, by C. Faller et. al. . This method is a parametric multichannel 3 ΕΡ 1 639 580 / áudio audio coding method. The basic principle is that on the coding side, the input signals from N channels Ci, C2, ··· cN are combined into a mono signal m. The mono audio signal is encoded in audio using any conventional monophonic audio codec. In parallel, the parameters are derived from the channel signals, which describe the multichannel image. The parameters are encoded and transmitted to the decoder in conjunction with the audio bitstream. The first decoder decodes the mono signal m 'and then regenerates the channel signals Ci', c2 ',. .., cN ', based on the parametric description of the multichannel image. The principle of the binaural coding method (" Binaural Cue Coding " (BCC)) is that it transmits the coded mono signal and so-called BCC parameters. The BCC parameters comprise level differences between the encoded channels and the time differences between the channels for the subbands of the original multichannel input signal. The decoder regenerates the different channel signals by applying level and phase adjustments from second to subband of the mono signal, based on the BCC parameters. The advantage, for example, in relation to the M / S stereo or intensity stereo is that the stereo information comprising temporal information between channels is transmitted at much lower bit rates.

Um problema com as técnicas de codificação de multicanais do estado da técnica, descritas acima, é que as mesmas requerem velocidades de bit elevadas, a fim de proporcionar boa qualidade. 0 estéreo de intensidade, se aplicado a baixas velocidades de bit tão baixas como, por exemplo, apenas alguns kb/s sofre do facto de não fornecer qualquer informação temporal entre canais. Como esta informação é perceptualmente importante para as baixas frequências, por exemplo, abaixo de 2 kHz é incapaz de proporcionar uma impressão estéreo a tais frequências baixas. A BCC é capaz de reproduzir a imagem de multicanais, mesmo a baixas frequências a velocidades de bit baixas, por exemplo, de 3 kb/s, uma vez que a mesma transmite também informação temporal entre canais. No entanto, esta técnica requer cálculo que necessita de transformadas de tempo- 4 ΕΡ 1 639 580/ΡΤ frequência em cada um dos canais, tanto no codificador como no descodificador. Para além disso, a BCC optimiza o mapeamento de uma maneira matemática pura. As perturbações caracteristicas que imanam do método de codificação não irão, no entanto, desaparecer.One problem with the multi-channel coding techniques of the prior art described above is that they require high bit rates in order to provide good quality. The stereo of intensity, if applied at low bit rates as low as, for example, only a few kb / s suffers from the fact that it does not provide any temporal information between channels. As this information is perceptually important for low frequencies, for example, below 2 kHz it is unable to provide a stereo impression at such low frequencies. The BCC is capable of reproducing the multichannel image even at low frequencies at low bit rates, for example 3 kb / s, since it also transmits temporal information between channels. However, this technique requires calculation that requires time-frequency transforms in each of the channels, both in the encoder and in the decoder. In addition, BCC optimizes mapping in a pure mathematical way. The characteristic perturbations that emanate from the coding method will not, however, disappear.

Uma outra técnica, descrita na patente US 5,434,948 de C.E. de Holt et. al. utiliza uma abordaqem semelhante da codificação da informação do sinal mono e lateral. Neste caso, a informação lateral consiste em filtros de preditor e, opcionalmente, num sinal residual. Os filtros de preditor, estimados por um algoritmo de menor média quadrada, quando aplicado ao sinal mono, permitem a predição dos sinais áudio de multicanais. Com esta técnica, é possível alcançar a codificação de velocidade de bit muito baixa das fontes áudio de multicanais, no entanto, à custa de uma queda de qualidade.Another technique, described in U.S. Patent 5,434,948 to C.E. of Holt et. al. uses a similar approach to encoding the mono and lateral signal information. In this case, the lateral information consists of predictor filters and, optionally, a residual signal. The predictor filters, estimated by a least square algorithm, when applied to the mono signal, allow the prediction of multichannel audio signals. With this technique, very low bit rate encoding of multichannel audio sources can be achieved, however, at the cost of a quality drop.

Uma abordagem semelhante à abordagem de filtragem acima é descrita em WO 03/090206 de Breebaart and Groenendaal. No entanto, esta abordagem utiliza um filtro fixo aplicado ao sinal mono e combinado em conjunto com o sinal mono não filtrado através de uma operação de matrização. A operação de matrização é dependente de um parâmetro de correlação recebido e de um parâmetro de nível recebido. O objectivo de tal síntese de sinal é restaurar a correlação e a diferença de nível dos dois canais originais. Devido à operação de filtragem inerentemente fixa, o sinal de síntese tem um potencial muito limitado para a reprodução de sinal e não se adapta às caracteristicas de sinal. Esta abordagem pode ser considerada como uma extensão do método de codificação de estéreo de intensidade explicado acima, no qual um elemento temporal é agora transmitido para o descodificador. Apenas o nível e os parâmetros de correlação permitem ainda um certo grau de capacidade de adaptação através de uma operação de matrização. Esta operação consiste numa simples rotação e escalonamento dos sinais filtrados estaticamente, limitando assim a capacidade de reprodução polifónica. Uma outra desvantagem da abordagem é o facto de a mesma não se basear num critério de fidelidade, por exemplo, a razão entre o sinal e o ruído, o que limita a sua capacidade de escalonamento para a qualidade transparente. 5 ΕΡ 1 639 580/ΡΤAn approach similar to the above filtering approach is described in WO 03/090206 to Breebaart and Groenendaal. However, this approach uses a fixed filter applied to the mono signal and combined in conjunction with the unfiltered mono signal through a matrixing operation. The matrixing operation is dependent on a received correlation parameter and a received level parameter. The purpose of such signal synthesis is to restore the correlation and level difference of the two original channels. Due to the inherently fixed filtering operation, the synthesis signal has a very limited potential for signal reproduction and does not adapt to the signal characteristics. This approach can be considered as an extension of the stereo coding method of intensity explained above, in which a temporal element is now transmitted to the decoder. Only the level and the correlation parameters still allow a certain degree of adaptability through a matrixing operation. This operation consists of a simple rotation and staggering of the statically filtered signals, thus limiting the polyphonic reproduction capacity. A further disadvantage of the approach is that it is not based on a fidelity criterion, for example, the ratio of signal to noise, which limits its scalability to transparent quality. 5 ΕΡ 1 639 580 / ΡΤ

Finalmente, para completar, deve ser mencionada uma técnica que é utilizada em áudio 3D. Esta técnica sintetiza os sinais dos canais direito e esquerdo, pela filtragem dos sinais da fonte de som com os chamados filtros relacionados com a cabeça. No entanto, esta técnica requer que os diferentes sinais de fonte de som sejam separados e, portanto, assim não pode ser aplicada geralmente para codificação estéreo ou de multicanais.Finally, to complete, there should be mentioned a technique that is used in 3D audio. This technique synthesizes the signals from the right and left channels by filtering the signals from the sound source with the so-called head-related filters. However, this technique requires that the different sound source signals be separated and therefore thus can not be applied generally for stereo or multichannel encoding.

RESUMOSUMMARY

Apesar dos filtros de preditor serem conhecidos como sendo óptimos, no sentido da menor média quadrada, os mesmos nem sempre restauram completamente as caracteristicas de percepção dos sinais de multicanais originais. Por exemplo, no caso da codificação estéreo, pode ocorrer instabilidade de imagem estéreo, quando o som salta aleatoriamente entre a esquerda para a direita. Para além disso, os nulos espectrais podem provocar instabilidades e conduzir para um filtro cuja resposta de frequência, a estas frequências, seja aberrante. Isto pode fazer com que o filtro execute amplificação desnecessária em certas regiões, e conduza a perturbações audíveis muito desagradáveis, especialmente se os sinais forem filtrados em passa baixo ou em passa alto.Although the predictor filters are known to be optimal in the direction of the smallest square mean, they do not always completely restore the perception characteristics of the original multichannel signals. For example, in the case of stereo coding, stereo image instability may occur, when the sound jumps randomly between left and right. In addition, spectral nulls can cause instabilities and lead to a filter whose frequency response at these frequencies is aberrant. This may cause the filter to perform unnecessary amplification in certain regions, and lead to very unpleasant audible disturbances, especially if the signals are filtered in low-pass or high-pass.

Um objecto do presente invento consiste em proporcionar um método e um dispositivo para codificação de multicanais, que melhora a qualidade perceptual do sinal áudio. Um objecto adicional do presente invento consiste em proporcionar um método e um dispositivo tais, que requer uma representação de velocidade de bit baixa.It is an object of the present invention to provide a method and a device for multichannel encoding which improves the perceptual quality of the audio signal. It is a further object of the present invention to provide such a method and device, which requires a low bit rate representation.

Os objectos acima são conseguidos por métodos e dispositivos de acordo com as reivindicações anexas. Em geral, no lado do codificador, os sinais dos diferentes canais são combinados num sinal principal. É derivado um conjunto de filtros adaptativos, de preferência, um para cada canal. Quando o filtro é aplicado ao sinal principal, o mesmo reconstrói o sinal do respectivo canal sob um constrangimento perceptual. 0 constrangimento perceptual é um constrangimento de ganho e/ou de forma. 0 constrangimento de ganho permite a preservação da energia relativa entre os canais, enquanto o 6 ΕΡ 1 639 580/ΡΤ constrangimento de forma permite a estabilidade de imagem estéreo, por exemplo, evitando a filtragem desnecessária dos nulos espectrais. Os parâmetros transmitidos são o sinal principal, na forma codificada, e os parâmetros dos filtros adaptativos, de preferência, também codificados. 0 receptor reconstrói o sinal dos diferentes canais, pela aplicação dos filtros adaptativos e, possivelmente, de algum pós-processamento adicional.The above objects are achieved by methods and devices in accordance with the appended claims. In general, on the encoder side, the signals of the different channels are combined into one main signal. A set of adaptive filters, preferably one for each channel, is derived. When the filter is applied to the main signal, it reconstructs the signal of the respective channel under a perceptual constraint. Perceptual constraint is a constraint of gain and / or form. The gain constraint allows the preservation of the relative energy between the channels, while the form constraint allows stereo image stability, for example, by avoiding the unnecessary filtering of the spectral nulls. The parameters transmitted are the main signal, in coded form, and the parameters of the adaptive filters, preferably also coded. The receiver reconstructs the signal from the different channels by the application of the adaptive filters and, possibly, some additional post-processing.

Uma vantagem do presente invento é que as perturbações perceptuais são reduzidas quando da descodificação dos sinais áudio. A velocidade de bit de transmissão requerida é, ao mesmo tempo, também mantida a um nivel muito baixo.An advantage of the present invention is that the perceptual disturbances are reduced when decoding the audio signals. The required bit rate of transmission is, at the same time, also maintained at a very low level.

DESCRIÇÃO RESUMIDA DOS DESENHOS 0 invento, em conjunto com objectos e vantagens adicionais do mesmo, pode ser melhor compreendido fazendo referência à descrição seguinte, feita em conjunto com os desenhos anexos, nos quais: a Fig. 1 é um esquema de blocos de um sistema de transmissão de sinais de multicanais; a Fig. 2a é um diagrama de blocos de uma concretização de um codificador num transmissor de acordo com o presente invento; a Fig. 2b é um diagrama de blocos de uma concretização de um descodificador num receptor de acordo com o presente invento; a Fig. 3a é um diagrama de blocos de uma outra concretização de um codificador num transmissor de acordo com o presente invento; a Fig. 3b é um diagrama de blocos de uma outra concretização de um descodificador num receptor de acordo com o presente invento; a Fig. 4 é um diagrama de blocos de uma concretização de uma unidade de adaptação de filtro de acordo com o presente invento; 7 ΕΡ 1 639 580/ΡΤ a Fig. 5 são diagramas que ilustram os efeitos da reprodução insuficiente dos sinais laterais de um sistema da técnica anterior; a Fig. 6 é um diagrama que ilustra os efeitos dos nulos espectrais nos sistemas da técnica anterior; a Fig. 7 é um diagrama de blocos que ilustra as possibilidades de combinação nas secções de filtro de canal de acordo com o presente invento; a Fig. 8 é um diagrama de blocos de uma concretização de um codificador que emprega a codificação combinada parcial de um sinal estéreo; a Fig. 9 é um diagrama de blocos que ilustra a utilização da divisão em sub-bandas de frequência; a Fig. 10 é um diagrama composto que ilustra a análise de sobreposição para a codificação e a descodificação; e a Fig. 11 é um fluxograma dos passos básicos de uma concretização de um método de codificação de acordo com o presente invento.BRIEF DESCRIPTION OF THE DRAWINGS The invention, together with additional objects and advantages thereof, may be better understood by reference to the following description, taken in conjunction with the accompanying drawings, in which: Fig. 1 is a block diagram of a system transmission of multichannel signals; Fig. 2a is a block diagram of an embodiment of an encoder in a transmitter according to the present invention; Fig. 2b is a block diagram of an embodiment of a decoder in a receiver according to the present invention; Fig. 3a is a block diagram of another embodiment of an encoder in a transmitter according to the present invention; Fig. 3b is a block diagram of another embodiment of a decoder in a receiver according to the present invention; 4 is a block diagram of one embodiment of a filter adaptation unit according to the present invention; Fig. 5 are diagrams illustrating the effects of insufficient reproduction of the side signals of a prior art system; Fig. Fig. 6 is a diagram illustrating the effects of spectral nulls in systems of the prior art; Fig. 7 is a block diagram illustrating the possibilities of combination in the channel filter sections according to the present invention; Fig. 8 is a block diagram of an embodiment of an encoder employing the partial combined coding of a stereo signal; Fig. 9 is a block diagram illustrating the use of the frequency subband division; Fig. 10 is a composite diagram illustrating the overlay analysis for coding and decoding; and Fig. 11 is a flowchart of the basic steps of one embodiment of an encoding method according to the present invention.

DESCRIÇÃO PORMENORIZADA A Fig. 1 ilustra um sistema 1 tipico, no qual o presente invento pode ser utilizado com vantagem. Um transmissor 10 compreende uma antena 12, que inclui o suporte fisico e o suporte lógico associados, de modo a poder transmitir sinais rádio 5 para um receptor 20. O transmissor 10 compreende, entre outras coisas, um codificador de multicanais 14, o qual transforma os sinais de um certo número de canais de entrada 16 em sinais de saida adequados para transmissão rádio. Os exemplos de codificadores de multicanais adequados 14 são descritos em pormenor mais abaixo. Os sinais de canal de entrada 16 podem ser proporcionados, por exemplo, a partir de um armazenamento de sinais áudio 18, tal como um ficheiro de dados da representação digital de gravações áudio, de gravações áudio em fita magnética ou em disco de vinil, etc. Os sinais de canal de entrada 16 também podem ser 8 ΕΡ 1 639 580/ΡΤ proporcionados ao "vivo", por exemplo, a partir de um conjunto de microfones 19. Os sinais áudio são digitalizados, se já não estiverem na forma digital, antes da entrada no codificador de multicanais 14.DETAILED DESCRIPTION Fig. 1 shows a typical system, in which the present invention can be advantageously used. A transmitter 10 comprises an antenna 12, which includes the associated hardware and software, so as to be able to transmit radio signals 5 to a receiver 20. The transmitter 10 comprises among other things a multichannel encoder 14, which transforms the signals from a number of input channels 16 into output signals suitable for radio transmission. Examples of suitable multichannel encoders 14 are described in more detail below. The input channel signals 16 may be provided, for example, from an audio signal store 18, such as a data file of the digital representation of audio recordings, audio recordings on magnetic tape or vinyl disc etc. . The input channel signals 16 may also be provided to " live ", e.g., from a set of microphones 19. The audio signals are scanned, if not already in digital form, before input to the multichannel encoder 14.

No lado do receptor 20, uma antena 22 com o suporte físico e o suporte lógico associados, trata da recepção efectiva dos sinais rádio 5, que representam os sinais áudio polifónicos. Aqui, são executadas as funcionalidades típicas, como, por exemplo, a correcção de erros. Um descodificador 24 descodifica os sinais rádio recebidos 5 e transforma os dados de áudio assim transmitidos em sinais de um certo número de canais de saída 26. Os sinais de saída podem ser fornecidos, por exemplo, ao altifalante 29 para apresentação imediata, ou podem ser armazenados num armazenamento de sinais áudio 28, de qualquer tipo. O sistema 1 pode ser, por exemplo, um sistema de conferência telefónico, um sistema para fornecimento de serviços áudio ou outras aplicações áudio. Em alguns sistemas, como, por exemplo, o sistema de conferência telefónico, a comunicação tem de ser do tipo duplex, enquanto, por exemplo, a distribuição de música de um fornecedor de serviços para um assinante pode ser, essencialmente, de um tipo via única. A transmissão de sinais a partir do transmissor 10 para o receptor 20 também pode ser executada por quaisquer outros meios, por exemplo, através de diferentes tipos de ondas electromagnéticas, cabos ou fibras, bem como as suas combinações. A Fig. 2a ilustra uma concretização de um codificador de multicanais 14 de acordo com o presente invento. Um certo número de sinais de canal Ci, C2, . .., cN é recebido em entradas separadas 16:1-16:N.At the receiver side 20, an antenna 22 with associated hardware and software deals with the actual reception of the radio signals 5, which represent the polyphonic audio signals. Here, typical features such as error correction are performed. A decoder 24 decodes the received radio signals 5 and transforms the audio data so transmitted into signals from a number of output channels 26. The output signals may be provided, for example, to the loudspeaker 29 for immediate display, or may be stored in an audio signal store 28, of any type. The system 1 may be, for example, a telephone conference system, a system for providing audio services or other audio applications. In some systems, such as the telephone conferencing system, the communication must be of the duplex type, while, for example, the music distribution from a service provider to a subscriber may be essentially of a via type only. The transmission of signals from the transmitter 10 to the receiver 20 may also be performed by any other means, for example, through different types of electromagnetic waves, cables or fibers, as well as their combinations. Fig. 2a shows an embodiment of a multichannel encoder 14 in accordance with the present invention. A number of channel signals Ci, C2,. .., cN is received at separate 16: 1-16: N inputs.

Os sinais de canal são ligados a uma unidade de combinação linear 34. Na presente concretização, todos os sinais de canal são somados em conjunto para formarem um sinal mono x. No entanto, qualquer combinação linear predeterminada de um ou mais dos sinais de canal pode ser utilizada como uma alternativa, incluindo os sinais de canal puros. No entanto, uma soma pura irá simplificar a maioria 9 ΕΡ 1 639 580/ΡΤ das operações matemáticas. 0 sinal mono x é proporcionado como um sinal de entrada 42 para uma secção de filtro de canal 130. Para além disso, o sinal mono x é proporcionado a um codificador de sinais mono 38 e codificado no mesmo, de modo a proporcionar os parâmetros de codificação px que representam o sinal mono x. O codificador sinal mono opera de acordo com qualquer técnica de codificação de sinal mono adequada. Muitas de tais técnicas estão disponíveis na tecnologia conhecida. Os pormenores efectivos da técnica de codificação não têm importância para tornar possível a realização do presente invento e, por conseguinte, não são explicados.The channel signals are connected to a linear combination unit 34. In the present embodiment, all the channel signals are summed together to form a mono signal x. However, any predetermined linear combination of one or more of the channel signals may be used as an alternative, including the pure channel signals. However, a pure sum will simplify most of the mathematical operations 9 ΕΡ 1 639 580 /.. The mono signal x is provided as an input signal 42 to a channel filter section 130. Further, the mono signal x is provided to a mono signal encoder 38 and encoded therein, so as to provide the parameters of coding px representing the mono signal x. The mono signal encoder operates according to any suitable mono signal encoding technique. Many such techniques are available in known technology. The actual details of the coding technique are of no importance in making the embodiment of the present invention possible and are therefore not explained.

Os sinais de canal são também ligados à secção de filtro de canal 130. Na presente concretização, cada sinal de canal está ligado a uma respectiva unidade de adaptação de filtros 30:1-30:N. As unidades de adaptação de filtros executam uma reconstrução de um respectivo sinal de canal, quando aplicadas ao sinal mono x. Os coeficientes das unidades de adaptação de filtros 30:1-30:N são, de acordo com o presente invento, optimizados sob um constrangimento perceptual. No entanto, os coeficientes optimizados das unidades de filtros de adaptação 30:1-30:N podem também ser obtidos, pelo menos parcialmente, numa optimização conjunta de dois ou mais dos sinais de canal. A saída da secção de filtro de canal 130 compreende N conjuntos de parâmetros de filtro pi-pN. Estes parâmetros de filtro pi-pN são normalmente codificados separadamente ou em conjunto, de modo a serem adequados para transmissão. Os parâmetros de filtro pi~pN e o sinal mono x são suficientes para permitir a reconstrução de todos os sinais de canal. Os parâmetros do filtro codificados pi-PN e os parâmetros de codificação px que representam o sinal mono x estão, na presente concretização, multiplexados num multiplexador 40 num sinal de saída 52 pronto para transmissão.The channel signals are also connected to the channel filter section 130. In the present embodiment, each channel signal is connected to a respective filter adaptation unit 30: 1-30: N. The filter adaptation units perform a reconstruction of a respective channel signal, when applied to the mono signal x. The coefficients of the filter adaptation units 30: 1-30: N are, according to the present invention, optimized under a perceptual constraint. However, the optimized coefficients of the 30: 1-30: N adaptation filter units can also be obtained, at least partially, in a joint optimization of two or more of the channel signals. The output of the channel filter section 130 comprises N sets of pi-pN filter parameters. These pi-pN filter parameters are usually coded separately or together, so as to be suitable for transmission. The pi ~ pN filter parameters and the mono signal x are sufficient to allow reconstruction of all channel signals. The encoded pi-PN filter parameters and the px coding parameters representing the mono signal x are, in the present embodiment, multiplexed into a multiplexer 40 in an output signal 52 ready for transmission.

Fig. 2b ilustra um descodificador de multicanais 24. O descodificador 24 na Fig. 2b é adequado para a descodificação sinais de multicanais codificados pelo codificador da Fig. 2a. É recebido um sinal de entrada 54 e fornecido a um desmultiplexador 56, o qual divide o sinal de entrada 54 nos 10Fig. 2b shows a multichannel decoder 24. The decoder 24 in Fig. 2b is suitable for decoding multichannel signals encoded by the encoder of Fig. 2a. An input signal 54 is provided and provided to a demultiplexer 56, which divides the input signal 54 into the 10

ΕΡ 1 639 58 Ο/PT parâmetros de codificação px que representam o sinal mono x e um número de conjuntos de parâmetros de filtro codificados Pi_Pn·ΕΡ 1 639 58 Ο / PT coding parameters px representing the mono signal x and a number of coded filter parameter sets Pi_Pn ·

Os parâmetros de codificação px, que representam o sinal mono x, são fornecidos a um descodificador de sinais mono 64, no qual os parâmetros de codificação px que representam o sinal mono x são utilizados para gerar um sinal mono descodificado x", de acordo com qualquer técnica de descodificação adequada, associada à técnica de codificação, utilizada na Fig. 2a. Muitas de tais técnicas estão disponíveis na tecnologia conhecida. Os pormenores efectivos da técnica de codificação não têm importância e, por conseguinte, não são explicados adicionalmente. O sinal mono descodificado x" é fornecido a uma secção de filtro de canal 160 .The coding parameters px representing the mono signal x are supplied to a mono signal decoder 64 in which the px coding parameters representing the mono signal x are used to generate a decoded mono signal x " according to any suitable decoding technique associated with the coding technique used in Fig. 2a. Many such techniques are available in known technology. The actual details of the coding technique are unimportant and therefore not explained further. The decoded mono signal x " is supplied to a channel filter section 160.

Os parâmetros de filtro codificados são também fornecidos à secção de filtro de canal 160, onde os mesmos são descodificados e utilizados para definirem filtros de canal 60:1-60:N. Os respectivos filtros de canal assim definidos 60:1-60:N são aplicadas ao sinal mono descodificado x", pelo que os respectivos sinais de canal c"i-c"N são reconstruídos e fornecidos às saídas 26:1-26:N.The encoded filter parameters are also provided to the channel filter section 160 where they are decoded and used to define 60: 1-60: N channel filters. The respective 60: 1-60: N channel filters are applied to the decoded mono signal x ", whereby the respective channel signals c " i-c " N are reconstructed and supplied to outputs 26: 1-26: N .

Na maioria das concretizações da presente descrição, é utilizado um sinal mono como um sinal principal para regeneração dos sinais de canal na codificação ou descodificação. No entanto, numa abordagem geral, pode ser utilizada qualquer combinação linear predeterminada de sinais seleccionados entre os sinais de canal, tal como um sinal principal. A escolha ideal da combinação linear predeterminada depende da aplicação e implementação efectivas. Um único sinal de canal pode também constituir uma tal combinação linear predeterminada possível.In most embodiments of the present disclosure, a mono signal is used as a main signal for regeneration of the channel signals in the coding or decoding. However, in a general approach, any predetermined linear combination of signals selected between the channel signals, such as a master signal, may be used. The ideal choice of the predetermined linear combination depends on effective implementation and implementation. A single channel signal may also constitute such a predetermined linear combination as possible.

Uma outra concretização de um codificador de multicanais 14, de acordo com o presente invento, está ilustrada na Fig. 3a. As partes semelhantes estão indicadas por números de referência semelhantes, e são explicadas abaixo apenas as diferenças. 11 ΕΡ 1 639 580/ΡΤ A unidade de combinação linear 34 proporciona, como anteriormente, uma combinação linear predeterminada dos sinais de canal para o codificador de sinal mono 38. No entanto, nesta concretização, o sinal associado ao sinal mono x é, em vez disso, uma versão descodificada x" dos parâmetros de codificação px que representam o sinal mono x. Uma tal disposição, referida como uma abordagem de circuito fechado, irá permitir certas compensações das imprecisões de codificação de sinal mono, tal como descritas mais abaixo. A unidade de combinação linear 34, da presente concretização, combina também os sinais de canal em N-l combinações lineares predeterminadas c*i-c*N_i, as quais servem como sinais de entrada efectivos para a secção de filtro de canal 130. As N-l combinações lineares predeterminadas c*i-c*N-i devem ser independentes mutuamente lineares. As combinações lineares c*i-c*n-i não compreendem necessariamente qualquer contribuição de todos os sinais de canal. O termo "combinação linear" deve, neste contexto, ser utilizado como compreendendo também os casos especiais, em que um factor de um componente pode ser configurado para zero. De facto, na configuração mais simples, as combinações lineares c*i-c*N_i podem ser idênticas aos sinais do canal Ci-cN_i. Pela utilização de um sinal mono descodificado x" no lado do descodificador, podem ser recuperados os sinais de canal originais.Another embodiment of a multichannel encoder 14, in accordance with the present invention, is shown in Fig. 3a. Similar parts are indicated by like reference numerals, and only the differences are explained below. The linear combination unit 34 provides, as before, a predetermined linear combination of the channel signals for the mono signal encoder 38. However, in this embodiment, the signal associated with the mono signal x is, in instead, a decoded version x " of the px coding parameters representing the mono signal x. Such an arrangement, referred to as a closed loop approach, will allow certain offsets of the mono signal encoding inaccuracies, as described further below. The linear combination unit 34 of the present embodiment also combines the channel signals in Nl, predetermined linear combinations c * ic * Ni, which serve as effective input signals for the channel filter section 130. The Nl predetermined linear combinations c * ic * Ni must be mutually linear independent. The linear combinations c * i-c * n-i do not necessarily comprise any contribution of all channel signals. The term " linear combination " must in this context be used as comprising also special cases, where a factor of a component can be set to zero. In fact, in the simplest configuration, the linear combinations c * i-c * N i may be identical to the signals of the C 1 -C 1 i channel. By using a decoded mono signal x " on the decoder side, the original channel signals can be recovered.

Os sinais de canais modificados são também, nesta concretização, ligados à secção de filtro de canal 130, na qual os N-l conjuntos de coeficientes de filtro são deduzidos, correspondendo agora aos sinais de canal modificados. Os coeficientes das unidades de adaptação de filtros 30:1-30:N são, de acordo com o presente invento, optimizado sob um constrangimento perceptual. A saida da secção de filtro de canal 130 compreende N-l conjuntos de parâmetros de filtro p*i-p*N_i. Estes parâmetros de filtro p*i-p*N_i são normalmente codificados em separado ou em conjunto, de modo a serem adequados para transmissão. Os parâmetros do filtro codificados p*i-p*N-i e os parâmetros de codificação px, que representam o sinal mono x, são transmitidos separadamente na presente concretização. 12 ΕΡ 1 639 580/ΡΤ A Fig. 3b ilustra um outro descodificador de multicanais 24. 0 descodificador 24 da Fig. 3b é adequado para a descodificação de sinais de multicanais codificados pelo codificador da Fig. 3a. São recebidos os parâmetros de codificação px, que representam o sinal mono x, e um conjunto dos parâmetros de filtro codificados ρ*ι-ρ*Ν-ι· Os parâmetros de codificação px, que representam o sinal mono x, são utilizados para gerarem um sinal mono descodificado x" num descodif icador de sinal mono 64 de modo análogo à concretização anterior. Os parâmetros do filtro p*i-p*N-i são, de igual modo, fornecidos à secção de filtro de canal 160 para obtenção de N-l sinais de canal modificados e decodificados c*i-c*N_i. É então utilizada uma unidade de combinação linear 74 para proporcionar sinais de canal reconstruídos c"i-c"N a partir dos sinais de canal modificados, c*i-c*N-i e do sinal mono descodificado x". A fim de considerar a relevância importante dos constrangimentos perceptuais, será descrito com mais pormenor um exemplo da codificação de filtro do estado da técnica, com referência basicamente à patente US 5,434,948. Esta codificação multicanais permite velocidades de bit baixas, se for omitida a transmissão de sinais residuais. Para derivar o filtro de reconstrução de canal, um procedimento de minimização de erro com base num conceito de menor média quadrada ou menor média quadrada ponderada, calcula os filtros de tal modo que o sinal de saída c (n) coincide melhor com o sinal alvo c(n). A fim de calcular o filtro, podem ser utilizadas várias medidas de erro. O erro quadrado médio ou o erro quadrado médio ponderado são bem conhecidos e são baratos de implementar por computador. De acordo com a abordagem da menor média quadrada, o filtro em que "uc" refere-se a "sem constrangimento", é válido para um quadro dos dados e escolhido de tal modo que minimiza o erro quadrado entre o sinal de alvo e a saída de filtro, isto é, o quadrado da diferença ruc(n) =c (n) -C uc(n) , indexando n as amostras de um quadro de dados. Este erro é expresso como: 13The modified channel signals are also, in this embodiment, connected to the channel filter section 130, in which the N-1 filter coefficient sets are deduced, now corresponding to the modified channel signals. The coefficients of the filter adaptation units 30: 1-30: N are, according to the present invention, optimized under a perceptual constraint. The output of the channel filter section 130 comprises N-1 filter parameter sets p * i-p * N i. These filter parameters p * i-p * N_i are usually coded separately or together, so as to be suitable for transmission. The coded filter parameters p * i-p * N-i and the px coding parameters, which represent the mono signal x, are transmitted separately in the present embodiment. Fig. 3b shows another multichannel decoder 24. The decoder 24 of Fig. 3b is suitable for the decoding of multichannel signals encoded by the encoder of Fig. 3a. Fig. The coding parameters px, which represent the mono signal x, and a set of the coded filter parameters ρ * ι-ρ * Ν-ι are received. The px coding parameters, which represent the mono signal x, are used to generate a decoded mono signal x " in a mono signal decoder 64 analogous to the previous embodiment. The filter parameters p * i-p * N-i are likewise supplied to the channel filter section 160 for obtaining N-1 modified and decoded channel signals c * i-c * N i. A linear combination unit 74 is then used to provide reconstructed channel signals c " i-c " from the modified channel signals, c * i-c * N-i and the decoded mono signal x ". In order to consider the important relevance of the perceptual constraints, an example of prior art filter coding will be described in more detail, with reference basically to U.S. Patent 5,434,948. This multichannel encoding allows low bit rates if the transmission of residual signals is omitted. To derive the channel reconstruction filter, an error minimization procedure based on a concept of lower square mean or weighted square mean, computes the filters such that the output signal c (n) is best coincident with the target signal c (n). In order to calculate the filter, various error measures may be used. The mean square error or the weighted mean square error are well known and are inexpensive to implement per computer. According to the least square-square approach, the filter where " uc " refers to " without constraint ", is valid for a frame of the data and chosen in such a way as to minimize the square error between the target signal and the filter output, i.e., the square of the difference ruc (n) = c (n) -C uc (n), indexing n the samples of a data frame. This error is expressed as: 13

ΕΡ 1 639 58Ο/PT fim dc quadro ««.- Σ n= início dc quadroΕΡ 1 639 58Ο / EN end of the table «« .- Σ n = beginning of the table

Isto conduz ao seguinte sistema de para o vector de coeficiente de filtro equações lineares R -tí'c =r em que Rxx é a matriz de covariância simétrica do sinal mono x(n) : fim de quadro "This leads to the following system of linear filter coefficient vector R -t'c = r where Rxx is the symmetric covariance matrix of the mono signal x (n): frame end "

R j,kel, ^x(n-k)x(n-j) , i= início de quadro -e em que rxc é um vector de correlações cruzadas dos sinais x(n) E c(n): fim dc quadro “ kel. Σx(n-k)c(n) , n= início dc quadro —(N-k) x (n-j), i = beginning of frame -e where rxc is a cross-correlation vector of the signals x (n) E c (n): end of the frame "kel. Σx (n-k) c (n), n = beginning of frame -

No entanto, como mencionado mais acima, as caracteristicas de percepção pode não ser completamente determinadas por uma minimização matemática pura.However, as mentioned above, the characteristics of perception may not be completely determined by pure mathematical minimization.

Uma caracteristica perceptual muito importante dos sinais de multicanais é a sua energia e, especialmente, os níveis relativos entre os sinais áudio de multicanais. No caso da codificação estéreo com os métodos da técnica anterior, a instabilidade de imagem estéreo pode ser irritante, quando a fonte de som salta periodicamente da esquerda para a direita. Para além disso, uma vez que é necessário apenas um filtro na codificação estéreo, não é conseguido o controlo directo sobre as predições esquerda e direita. De acordo com o presente invento, um constrangimento 14 ΕΡ 1 639 580/ΡΤ de ganho é, por conseguinte, vantajosamente utilizado durante os procedimentos de optimização. Neste contexto, pode ser notado que é basicamente necessário um filtro por canal, ver a Fig. 2a e a Fig. 2b acima.A very important perceptual characteristic of multichannel signals is their energy and especially the relative levels between multichannel audio signals. In the case of stereo coding with prior art methods, stereo image instability can be annoying as the sound source jumps periodically from left to right. In addition, since only one filter is required in stereo coding, direct control over left and right predictions is not achieved. According to the present invention, a gain constraint η 1 639 580 / é is therefore advantageously used during the optimization procedures. In this context, it may be noted that a filter per channel is basically required, see Fig. 2a and Fig. 2b above.

Em certas situações, os canais preditos podem não ter conteúdo de frequência acima ou abaixo de uma certa frequência. Isto ocorre se, por exemplo, o canal for filtrado em passa alto, ou resulta de um procedimento de separação de banda. Os nulos espectrais podem provocar instabilidades e levar a respostas de filtro que produzem amplificação desnecessária e perturbações audíveis de baixa frequência. De acordo com o presente invento, um constrangimento de forma é, por conseguinte, vantajosamente utilizado durante os procedimentos de optimização. A Fig. 4 ilustra as ideias básicas do procedimento de minimização de constrangimento no lado do codificador de acordo com o presente invento numa concretização que tem dois canais (o caso estéreo) e um filtro linear 31. Um filtro 31, que responde para a reconstrução do canal cl que tem coeficientes de filtro hc i, é derivado de acordo com um procedimento de minimização do erro de constrangimento numa unidade de optimização 32. 0 filtro hcl toma como entrada o sinal de canal combinado, isto é, o sinal mono x{n) , o qual nesta concretização é uma combinação linear dos dois sinais de canal cl e c2: *(") = Ycl · Cl(«) + Yc2 · C2(«) > e deriva do mesmo o sinal de saída c l(n) . Os factores γα1 e Yc2 determinam como os sinais de canal são combinados. Uma possibilidade é definir ycl para um factor de 2γ e yc2 a 2(1 -γ). Neste caso, o sinal mono será uma soma ponderada dos canais. Em particular, uma configuração adequada é γ = 0,5, caso em que ambos os canais são igualmente ponderados. Uma outra configuração adequada pode ser γα1 = -yc2, caso em que o sinal mono é a diferença dos sinais de canal. ser mesmo a A combinação ponderada dos sinais de canal individuais, para formar o sinal mono, pode, em geral, 15 ΕΡ 1 639 580/ΡΤ combinação das versões filtradas dos respectivos sinais de canal. Uma tal abordagem será chamada de pré-filtragem. Isto pode ser útil se a abordagem for implementada no domínio de excitação, ou, em geral, num domínio de sinais ponderados. Por exemplo, os canais podem ser pré-filtrados por um filtro residual de LPC (Linear Predictive Coding (codificação preditiva linear)) do sinal mono.In certain situations, predicted channels may not have frequency content above or below a certain frequency. This occurs if, for example, the channel is high-pass filtered, or results from a band separation procedure. Spectral nulls can trigger instabilities and lead to filter responses that produce unnecessary amplification and low-frequency audible disturbances. According to the present invention, a shape constraint is therefore advantageously used during the optimization procedures. 4 illustrates the basic ideas of the encoder side constraint minimization procedure according to the present invention in an embodiment having two channels (the stereo case) and a linear filter 31. A filter 31, which responds to the reconstruction of the channel cl having filter coefficients hc i is derived according to a procedure of minimizing the constraint error in an optimization unit 32. The hcl filter takes as input the combined channel signal i.e. the mono signal x { n), which in this embodiment is a linear combination of the two channel signals cl and c2: * (") = Ycl * Cl («) + Yc2 * C2 («) > and the output signal c l (n) is derived therefrom. The factors γα1 and Yc2 determine how the channel signals are combined. One possibility is to define ycl for a factor of 2γ and yc2 to 2 (1 -γ). In this case, the mono signal will be a weighted sum of the channels. In particular, a suitable configuration is γ = 0.5, in which case both channels are equally weighted. Another suitable configuration may be γα1 = -yc2, in which case the mono signal is the difference of the channel signals. The combined weighting of the individual channel signals to form the mono signal may in general be a combination of the filtered versions of the respective channel signals. Such an approach will be called pre-filtering. This may be useful if the approach is implemented in the excitation domain, or, in general, in a weighted signal domain. For example, the channels may be prefiltered by a linear predictive coding (LPC) residual filter) of the mono signal.

No que se segue, o canal mono esquerdo e direito será assumido como sendo, em geral, algumas das versões pré-filtradas dos canais reais mono, esquerdo e direito. Quando da restauração dos canais, o passo de pós-filtragem com o filtro de síntese de LPC mono deve ser necessária a fim de voltar para os domínios de sinal.In what follows, the left and right mono channel will be assumed to be generally some of the pre-filtered versions of the actual mono, left, and right channels. When restoring the channels, the post-filtering step with the mono LPC synthesis filter must be necessary in order to return to the signal domains.

No que se segue, o caso γσι= 1/2 e yc2= 1/2 é explicado com mais pormenor.In the following, the case γσι = 1/2 and yc2 = 1/2 is explained in more detail.

Em caso de hc 1, sendo um filtro de FIR (Finite Impulse Response (resposta de impulso finito)), cl(n) é uma combinação linear das versões retardadas do sinal x{n): èl(n)^^hÁk)x{n-k), ksf sendo o conjunto de indices que é 1= [im±nKimax] . Os parâmetros de filtro pi compreendem os coeficientes de filtro hc 1 e talvez dados adicionais necessários que definem o filtro.In case of hc 1, being a FIR filter (Finite Impulse Response), cl (n) is a linear combination of the delayed versions of the signal x (n): èl (n) ^^ hÁk x {nk), ksf being the set of indices that is 1 = [im ± nKimax]. The filter parameters pi comprise the filter coefficients hc 1 and perhaps additional data needed to define the filter.

Se aplicando, por exemplo, o método de codificação apresentado em US 5,434,948, o sinal de diferença dos dois sinais de canal é reproduzido por um filtro. Na Fig. 5, os sinais direito e esquerdo, estão ilustrados pelas curvas 301 e 302, respectivamente. Assume-se que a representação não é ideal, proporcionando uma diferença ligeiramente maior do que a diferença alvo através de todo o quadro. Isto conduzirá a um sinal direito reproduzido 303 no lado de descodificador que é ligeiramente menor do que o sinal direita original, e a um sinal esquerdo reproduzido 304 que é ligeiramente maior do que o sinal esquerdo inicial. A percepção de uma tal perturbação é que o volume do canal direito é diminuído e o 16 ΕΡ 1 639 580/ΡΤ volume do canal esquerdo é aumentado. Se tais perturbações, para além disso, variarem no tempo, o som vai balançar para trás e para a frente entre o canal direito e esquerdo. Um constrangimento de ganho pode melhorar uma tal situação.If, for example, the coding method shown in US 5,434,948 is applied, the difference signal of the two channel signals is reproduced by a filter. In Fig. 5, the right and left signals are shown by curves 301 and 302, respectively. It is assumed that the representation is not ideal, providing a slightly greater difference than the target difference across the whole frame. This will lead to a reproduced right signal 303 on the decoder side which is slightly smaller than the original right signal, and a reproduced left signal 304 which is slightly larger than the initial left signal. The perception of such a disturbance is that the volume of the right channel is decreased and the volume of the left channel is increased. If such disturbances, in addition, vary in time, the sound will rock back and forth between the right and left channel. A gain constraint can improve such a situation.

Existem várias maneiras de implementação do constrangimento de ganho. Uma abordagem possivel é ter um constrangimento fisico, isto é, a coincidência de energia exacta entre o canal original e o canal estimado, ou impor um constrangimento de ganho folgado, de tal modo que o canal de saida tem uma energia prescrita Ec i, a qual não é necessariamente igual à energia de sinal de canal original. 0 problema de minimização de constrangimento pode ser facilmente resolvido pelo método de Lagrange, isto é, a função de Lagrange (Lagrange functional): fim de quadro n= início de quadro d de quadro vThere are several ways to implement gain constraint. One possible approach is to have a physical constraint, that is, the exact energy match between the original channel and the estimated channel, or impose a loose gain constraint, such that the output channel has a prescribed energy E i, a which is not necessarily equal to the original channel signal energy. The constraint minimization problem can be easily solved by the Lagrange method, that is, the Lagrange function (Lagrange functional): end of frame n = beginning of frame d

\2 n= início de quadro J A solução óptima proporciona um filtro hcl que é proporcional ao filtro sem constrangimentos h:‘=R-' -r»,· 0 factor de proporcionalidade éThe optimal solution provides an hcl filter that is proportional to the unconstrained filter h = '- R' '- r', · The proportionality factor is

Sa =Sa =

E fim de quadro Σ a«(»y n= início de quadro 0 filtro de ganho constrangido assim torna-seAt the end of the frame Σ a «(y y n = beginning of the frame 0 the gain filter constrained thus becomes

Se o presente principio de codificador for utilizado numa banda de frequências limitada, um sinal de canal pode parecer-se com a curva 305 da Fig. 6. A intensidade não está presente abaixo da frequência fi ou acima de frequência f2- 17 ΕΡ 1 639 580/ΡΤIf the present encoder principle is used in a limited frequency band, a channel signal may resemble curve 305 of Fig. 6. The intensity is not present below the frequency fi or above frequency f2-17 ΕΡ 1 639 580 / ΡΤ

No entanto, uma optimização matemática pura dá origem a uma curva 306, a qual apresenta algum poder limitado também abaixo e acima das frequências fi e fz, respectivamente. Tais perturbações são percebidas. A fim de impor uma certa forma espectral no filtro, tem de ser imposto no filtro um conjunto de constrangimentos lineares. Estes constrangimentos devem, em geral, ser de um número menor do que o número dos coeficientes do filtro.However, a pure mathematical optimization gives rise to a curve 306 which has some limited power also below and above the frequencies fi and fz, respectively. Such disturbances are perceived. In order to impose a certain spectral form on the filter, a set of linear constraints must be imposed on the filter. These constraints should, in general, be fewer than the number of filter coefficients.

Por exemplo, quando se for querido estabelecer um constrangimento de um nulo espectral em 0 kHz é, então, um constrangimento adequado é: ΣΑ«(Λ)=ιΓ^=°·For example, when it is desired to establish a constraint of a spectral null at 0 kHz, then a suitable constraint is: ΣΑ «(Λ) = ιΓ ^ = ° ·

Em geral, por uma matriz o constrangimento de forma pode ser formulado e um vector, tais que dos mínimos quadrados de ideal que satisfaz estes teoria filtro A partir da constrangimento, o constrangimentos é:In general, for a matrix the constraint of form can be formulated and a vector such that the least squares of ideal satisfying these filter theory From the constraint, the constraints is:

h*‘ =h"+R~lW \WtRaWh * '= h " + R ~ lW \ WtRaW

Esse constrangimento é especialmente útil quando é conhecido a priori que o canal não tem conteúdo de frequência numa certa gama de frequências.This constraint is especially useful when it is known a priori that the channel has no frequency content over a certain frequency range.

Os constrangimentos de ganho e forma podem ser também combinados. Num tal caso, o constrangimento de forma é, de preferência, aplicado em primeiro lugar e o constrangimento de ganho é então adicionado como um factor, de acordo com a 18 ΕΡ 1 639 580/ΡΤhT = g'k7, sc- fim de quadro Σ n= início de quadroGain and shape constraints can also be combined. In such a case, the shape constraint is preferably applied first and the gain constraint is then added as a factor, according to 18 ΕΡ 1 639 580 / ΡΤhT = g'k7, sc- frame Σ n = start of frame

Uma vez que os filtros dependem do filtro sem constrangimentos, e este último obedece, uma vez que cl{n) + c2(n) = 2x(n), a relação: (1) em que δ indica o filtro de identidade. As propriedades úteis podem ser derivadas para os filtros de constrangimento de forma, se os constrangimentos sobre os dois canais forem iguais,Since the filters depend on the filter without constraints, and the latter obeys, since cl (n) + c2 (n) = 2x (n), the relation: (1) where δ indicates the identity filter. Useful properties can be derived for form constraint filters if the constraints on the two channels are equal,

= ™c2=E= ™ c2 = E

Kcl =Kc2 =Z> então tZ +àS = ^ + ^Τ^κ]%-2Ψτδ).Kcl = Kc2 = Z > then tZ + aS = ^ + ^ Τ ^ κ]% - 2Ψτδ).

Esta equação é útil para a redução da velocidade de bit quando da codificação dos filtros de canal, uma vez que mostra que os filtros de canal estão relacionados por quantidades que estão disponíveis no lado do descodificador.This equation is useful for reducing the bit rate when encoding the channel filters since it shows that the channel filters are related by quantities that are available on the decoder side.

As relações entre os filtros com constrangimento de forma também se abrem a um cálculo racional dos filtros. Na Fig. 7, uma ilustração mostra que uma influência de dois canais cl, c2 é reproduzida através da aplicação do sinal mono x a um filtro sem constrangimento 131. 0 resultado do filtro sem constrangimento é modificado, dependendo dos constrangimentos de forma em uma secção de constrangimento de forma 132. A partir do filtro de constrangimento de forma para o canal cl, também filtro de constrangimento de forma do canal c2 pode ser calculado e fornecido para separar as 19 ΕΡ 1 639 580/ΡΤ secções de constrangimento de ganho 133 para cada canal com constrangimento.The relationships between form-constrained filters also open to a rational calculation of filters. In Fig. 7, an illustration shows that a two-channel influence c1, c2 is reproduced by applying the mono signal x to a non-constraining filter 131. The unconstrained filter result is modified, depending on the shape constraints in a section of shape constraint 132. From the shape constraint filter for the channel cl, also channel shape constraint filter c2 can be calculated and provided to separate the 19 ε 1 639 580 / de gain constraint sections 133 for each channel with constraint.

Está ilustrado na Fig. 8 um esquema de blocos mais pormenorizado de uma outra concretização que utiliza um sinal lateral para a aplicação do constrangimento de forma. Os dois canais de sinais ci e c2 são combinados nos meios de adição 55, 57 de uma unidade de combinação linear 34 para um sinal mono x e um sinal lateral de recepção s. Uma secção de filtro de canal 130 compreende um de filtro paramétrico sem constrangimento 131, o qual aplicado ao sinal mono x reproduz uma estimativa do sinal lateral sA. Numa unidade optimização sem constrangimento 33, os coeficientes de filtro são adaptados para proporcionarem a diferença mínima entre s e s\ O filtro obtido desta maneira é fornecido a uma secção de constrangimento de forma 132, basicamente de acordo com as explicações mais acima. Um constrangimento de forma de filtro hci é criado para o sinal lateral. A partir da relação (1), entre os filtros de canal numa aplicação estéreo, é calculado um filtro de constrangimento de forma para cada sinal de canal, com base no filtro de constrangimento de forma hc i para o sinal lateral. Estes filtros, ou, em vez disso, os coeficientes dos mesmos, são fornecidos a uma respectiva secção de constrangimento de ganho de 133:1, 133:2. Um factor de ganho para cada sinal de canal é calculado e os dois filtros são fornecidos a uma secção de codificação de parâmetros 66, onde os parâmetros dos dois filtros são codificados em conjunto.A more detailed block diagram of another embodiment using a side signal for the application of shape constraint is shown in Fig. The two signal channels ci and c2 are combined in the addition means 55, 57 of a linear combination unit 34 for a mono signal x and a receive side signal s. A channel filter section 130 comprises a non-constraining parametric filter 131, which applied to the mono signal x reproduces an estimate of the lateral signal sA. In an optimization unit without constraint 33, the filter coefficients are adapted to provide the minimum difference between s and s. The filter thus obtained is provided to a shape constraint section 132, basically in accordance with the above explanations. An hci filter shape constraint is created for the side signal. From the relation (1), between the channel filters in a stereo application, a shape constraint filter is calculated for each channel signal, based on the constraint filter hc i for the side signal. These filters, or, instead, the coefficients thereof, are supplied to a respective gain constraint of 133: 1, 133: 2. A gain factor for each channel signal is calculated and the two filters are supplied to a parameter encoding section 66, where the parameters of the two filters are encoded together.

Após o cálculo dos filtros de constrangimento de canal hc i e hC2, os mesmos são quantificados e codificados, numa representação, a qual é apropriada para transmissão para o receptor. Normalmente, os coeficientes dos filtros são quantificados utilizando quantificadores escalares ou 20 ΕΡ 1 639 580/ΡΤ vectoriais e são transmitidos os índices quantificadores. Os quantificadores podem também implementar a predição, o que é muito benéfico para a redução da velocidade de bit, especialmente neste cenário.After calculating the channel constraint filters hc i and hC2, they are quantized and coded, in a representation, which is suitable for transmission to the receiver. Typically, the filter coefficients are quantified using scalar or vector quantifiers and the quantification indices are transmitted. Quantifiers can also implement prediction, which is very beneficial for bit rate reduction, especially in this scenario.

Utilizando as complementaridades dos filtros pode-se reduzir ainda mais a velocidade de bit, uma vez que apenas um dos filtros hci ou hc2 ou uma combinação linear dos mesmos é quantificada e transmitida, enquanto os qanhos gcí e gc2 são quantificados em conjunto vectorialmente e transmitidos separadamente. Uma tal transmissão pode ser executada a velocidades de bit tão baixas como, por exemplo, 1 kb/s. O primeiro receptor descodifica o sinal mono transmitido e os filtros de canal. A sequir, o mesmo regenera os diferentes sinais de canal por filtragem do sinal mono através do respectivo filtro de canal. De preferência, no caso estéreo, é utilizada a propriedade de integralidade, e os coeficientes são recombinados para produzirem os filtros hd e hc2.By using the complementarities of the filters the bit rate can be further reduced since only one of the hci or hc2 filters or a linear combination thereof is quantified and transmitted, whereas the gc and gc2 are quantized together vectorially and transmitted separately. Such a transmission can be performed at bit rates as low as, for example, 1 kb / s. The first receiver decodes the transmitted mono signal and the channel filters. Then, it regenerates the different channel signals by filtering the mono signal through its channel filter. Preferably, in the stereo case, the integral property is used, and the coefficients are recombined to produce the hd and hc2 filters.

Certos passos de pós-processamento, que melhoram ainda mais a qualidade do sinal de multicanais reconstituído, podem seguir a regeneração dos diferentes sinais de canal. É, algumas vezes, benéfico suavizar o ganho dos filtros de constrangimento de forma ou de uma combinação linear destes filtros, antes de calcular os filtros de canal de constrangimento de ganho.Certain post-processing steps, which further enhance the quality of the reconstituted multichannel signal, may follow the regeneration of the different channel signals. It is sometimes beneficial to smooth the gain of the shape constraint filters or a linear combination of these filters before calculating the gain constraint channel filters.

Por exemplo, no caso do estéreo, o filtro de sinal lateral equivalente é (como utilizado na Fig. 8): AT =0.5^-0.5^ e, a fim de reduzir possíveis perturbações, a diferença de ganho deste filtro entre quadros sucessivos é suave conduzindo a um filtroFor example, in the stereo case, the equivalent side signal filter is (as used in Fig. 8): AT = 0.5 ^ -0.5 ^ and in order to reduce possible disturbances, the gain difference of this filter between successive frames is smoothness leading to a filter

21 ΕΡ 1 639 580/ΡΤ21 ΕΡ 1 639 580 / ΡΤ

Os filtros de canal são então modificados de acordo com: ~sc _ ~sc kc\ = ó+!l, ríc í· rsc kd=ô-h, .The channel filters are then modified according to: sc sc sc sc ó ó ó ó ó ó ó ó ó ó ó,,, r r r r r d d.

Este tipo de modificação não conserva os constrangimentos de forma, pode, no entanto, ser facilmente visto que os constrangimentos de forma são ainda conservados no filtro de sinal lateral, e isso é suficiente, no caso da codificação estéreo. 0 constrangimento de ganho nos filtros assume as energias canais previamente calculadas, isto é, Eclr Ecz. É importante controlar os ganhos dos filtros, por exemplo, gclr gc2 e evitar a amplificação desnecessária pela limitação dos ganhos. Dependendo das propriedades dos diferentes sinais de canal, pode acontecer que os canais sejam anti correlacionados em toda a gama de frequências, ou em certas bandas de frequência. Isto conduz a um certo cancelamento quando é formado o canal mono. Neste caso, uma vez que a informação de canal individual foi perdida, pelo menos parcialmente, e, em algumas bandas de frequência, é muitas vezes benéfico limitar os ganhos de canal, quando estes são maiores do que um determinado valor, por exemplo, 0 dB. Uma maneira de executar esta limitação ganho é calcular um determinado factor de ganho: w Σ*ι(&quot;)2+Σ&lt;2(«)2 n-0 /1-0 que é a razão entre a energia efectiva do canal mono e a energia do canal mono se os dois canais não forem correlacionados. Quando esse factor é inferior a 0 dB, então temos o cancelamento do sinal. Neste caso, gF quantifica quão severo é este cancelamento. A limitação de ganho pode depois ser calculada como: 22This type of modification does not retain shape constraints, it may, however, be readily seen that shape constraints are still conserved in the side signal filter, and this is sufficient in the case of stereo coding. The gain constraint on the filters assumes the energies previously calculated channels, that is, Eclr Ecz. It is important to control the gains of the filters, for example, gclr gc2 and avoid unnecessary amplification by limiting gains. Depending on the properties of the different channel signals, it may happen that the channels are anti-correlated over the entire frequency range, or in certain frequency bands. This leads to a certain cancellation when the mono channel is formed. In this case, since the individual channel information has been lost, at least partially, and in some frequency bands, it is often beneficial to limit the channel gains when they are greater than a certain value, for example 0 dB. One way to perform this gain limitation is to calculate a given gain factor: w Σ * ι (&) 2 + Σ <2 («) 2 n-0 / 1-0 which is the ratio between the effective power of the mono channel and the mono channel energy if the two channels are not correlated. When this factor is less than 0 dB, then we have the signal cancellation. In this case, gF quantifies how severe this cancellation is. The gain limit can then be calculated as:

ΕΡ 1 639 58Ο/PT gc\ {dB) = max(gel (dB)+gF (dB),o), when gF &lt; 0. dB . A mesma limitação é válida para o ganho dos outros canais. Não apenas os parâmetros de filtro de canal necessitam de ser codificados e transmitidos, mas também o sinal mono. Existem duas abordagens principais diferentes para considerar a codificação áudio de sinal mono quando se derivam os coeficientes de filtro de canal.(GB) = max (gel (dB) + gF (dB), o), when gF &lt; 0. dB. The same limitation is valid for the gain of the other channels. Not only the channel filter parameters need to be coded and transmitted, but also the mono signal. There are two different main approaches to considering mono signal audio encoding when deriving channel filter coefficients.

Num modo de circuito aberto, os filtros são derivados com base no sinal mono original. Este é, por exemplo, o caso da Fig. 2a, em que o sinal 42 é o sinal mono original x. O descodificador, no entanto, utilizará um sinal mono quantificado como a entrada para a filtragem de canal.In an open circuit mode, the filters are derived based on the original mono signal. This is, for example, the case of Fig. 2a, wherein the signal 42 is the original mono signal x. The decoder, however, will use a quantized mono signal as the input for channel filtering.

Num modo de circuito fechado, os cálculos de filtro são baseados no codec e, assim, no sinal mono já quantificado. Este é, por exemplo, o caso da Fig. 3a, em que o sinal 44 é um sinal mono descodificado x&quot;. Esta abordagem tem a vantagem de que a concepção do filtro de canal não tem apenas como objectivo fazer coincidir os respectivos sinais de canal da melhor maneira possivel. Tem igualmente por objectivo mitigar os erros de codificação, os quais são o resultado da codificação de sinal mono.In a closed loop mode, the filter calculations are based on the codec and thus on the already quantized mono signal. This is, for example, the case of Fig. 3a, wherein the signal 44 is a decoded mono signal x &quot;. This approach has the advantage that the design of the channel filter is not only intended to match the respective channel signals in the best possible way. It is also intended to mitigate coding errors, which are the result of mono signal encoding.

Os princípios descritos até aqui são aplicáveis no espectro completo, isto é, nos sinais de banda completa. No entanto, os mesmo são igualmente bem ou mesmo mais beneficamente aplicáveis nas sub-bandas dos sinais. A Fig. 9 ilustra os princípios do processamento de sub-banda. E dividido um número dos canais Ci-cN em K sub-bandas SB1, SB2, SBK. Os sinais de canal em cada sub-banda são fornecidos a uma respectiva unidade de codificador de multicanais 80:1-80:K, onde são codificados os sinais de canal. Uma ou várias unidades de codificador de multicanais 80:1-80:K podem ser unidades de codificador de multicanais de acordo com o presente invento. Um combinador de fluxo de bits 82 combina os sinais codificados num sinal codificado comum 53, que é transmitido. 23The principles described hitherto are applicable in the full spectrum, i.e. in the fullband signals. However, they are equally well or even more beneficially applicable on the signal sub-bands. Fig. 9 illustrates the principles of subband processing. And a number of channels Ci-cN are divided into K subbands SB1, SB2, SBK. The channel signals in each subband are supplied to a respective multichannel encoder unit 80: 1-80: K, where the channel signals are encoded. One or more multichannel encoder units 80: 1-80: K may be multichannel encoder units in accordance with the present invention. A bit stream combiner 82 combines the encoded signals into a common coded signal 53, which is transmitted. 23

ΕΡ 1 639 58Ο/PTΕΡ 1 639 58Ο / PT

As vantagens do processamento de sub-banda descrito, são que a codificação de multicanais para as diferentes sub-bandas pode ser realizada individualmente, optimizada em relação, por exemplo, à velocidade de bit atribuída, aos tamanhos de quadros de processamento e à velocidade de amostragem.The advantages of the described sub-band processing are that the multichannel encoding for the different subbands can be performed individually, optimized for, for example, the assigned bit rate, the processing frame sizes and the speed of sampling.

Um tipo especial de processamento de sub-banda não executa a codificação multicanais para frequências muito baixas, por exemplo, abaixo de 200 Hz. Isso significa que, para esta banda de frequência muito baixa, é transmitida um simples sinal mono. Este princípio utiliza o facto de que a percepção estéreo humana é menos sensível a frequências muito baixas. É conhecido da técnica anterior e chamado processamento de baixa frequência (&quot;sub-woofing&quot;).A special type of subband processing does not perform multichannel coding for very low frequencies, for example, below 200 Hz. This means that for this very low frequency band, a single mono signal is transmitted. This principle uses the fact that human stereo perception is less sensitive to very low frequencies. It is known from the prior art and called low frequency processing (&quot; sub-woofing &quot;).

Numa outra concretização do processamento de sub-banda, a separação de banda é feita utilizando uma transformada de tempo-frequência, tal como, por exemplo, uma transformada de Fourier de curta duração (&quot;short term Fourier transform&quot; STFT), a qual permite a decomposição do sinal em componentes de frequência simples. Neste caso, a filtragem reduz-se a uma simples multiplicação dos coeficientes espectrais individuais do sinal mono, com um factor complexo. O método de codificação de multicanais paramétrico, de acordo com o invento, envolverá normalmente o processamento fixo segundo o quadro das amostras de sinal. Por outras palavras, os parâmetros que descrevem a imagem de multicanais são derivados e transmitidos com uma velocidade que corresponde a um comprimento de quadro de codificação de, por exemplo, 20 ms. Os parâmetros podem, no entanto, ser obtidos a partir dos quadros de sinal, os quais são muito maiores do que o comprimento de quadro de codificação. A escolha adequada é para estabelecer o comprimento dos quadros de análise para valores maiores do que o comprimento de quadro de codificação. Isto implica que o cálculo de parâmetros seja executado com quadros de análise de sobreposição.In another embodiment of the subband processing, the band separation is done using a time-frequency transform, such as, for example, a short-term Fourier transform (STFT), which allows the decomposition of the signal into single frequency components. In this case, the filtering is reduced to a simple multiplication of the individual spectral coefficients of the mono signal, with a complex factor. The parametric multichannel encoding method according to the invention will normally involve the fixed processing according to the frame of the signal samples. In other words, the parameters describing the multi-channel image are derived and transmitted at a rate corresponding to a coding frame length of, for example, 20 ms. The parameters can, however, be obtained from the signal frames, which are much larger than the coding frame length. The appropriate choice is to establish the length of the analysis frames for values greater than the coding frame length. This implies that the calculation of parameters is performed with overlap analysis tables.

Isto está ilustrado na Fig. 10. Os quadros de análise 83 no codificador são ligeiramente mais longos que os quadros de codificação 84, como mostrado no topo da figura. Uma 24 ΕΡ 1 639 580/ΡΤ consequência de tais quadros de análise de sobreposição é que os parâmetros evoluem suavemente, o que é essencial para proporcionar uma impressão estável de sinal áudio de multicanais. 0 mesmo é executado no lado do descodificador, mostrado no meio da figura. É, assim, essencial no descodificador ter em conta isto e quadros de síntese de sobreposição adicional e de janela 85, com uma sobreposição 86, como mostrado no fundo da figura. Isto permite uma transição suave entre os filtros associados a cada quadro.This is shown in Fig. 10. The analysis frames 83 in the encoder are slightly longer than the coding frames 84, as shown at the top of the figure. A consequence of such overlapping analysis frames is that the parameters evolve smoothly, which is essential to provide a stable impression of multichannel audio signal. The same is performed on the decoder side, shown in the middle of the figure. It is thus essential in the decoder to take account of this and additional overlap and window synthesis frames 85 with an overlap 86 as shown in the background of the figure. This allows a smooth transition between the filters associated with each frame.

Também no codificador, pode ser aplicada a evolução suave dos parâmetros de filtro. É, por exemplo, possível aplicar a filtragem em passa baixo ou média aos parâmetros de filtro. os codecs áudio monofónicos do estado da técnica, bem como os codecs de voz executam a chamada modelação de ruído do ruído de codificação. A finalidade desta operação é mover ruído de codificação para frequências em que o sinal tem densidade espectral elevada e torna, assim, o ruído menos audível. A modelação do ruído é usualmente feita de modo adaptativo, isto é, em resposta ao sinal áudio. Isso implica que, em geral, a modelação do ruído executada no sinal mono, será diferente do que é requerido para os vários sinais de canal. Como um resultado disso, apesar da modelação de ruído adequada no codec áudio mono, a filtragem de canal subsequente, de acordo com o invento, pode levar a um aumento do ruído de codificação audível no sinal de multicanais reconstituído, quando em comparação com o ruido de codificação audível no sinal mono. A fim de mitigar este problema, a pós-filtragem de sinal adaptativo pode ser aplicada aos sinais de canal reconstruídos num passo de pós-processamento do receptor. Quaisquer técnicas de pós-filtragem do estado da técnica podem ser implantadas aqui, as quais enfatizam essencialmente os picos espectrais ou aprofundam os vales espectrais e reduzem, assim, o ruído audível. Um exemplo de uma tal técnica é a chamada pós-filtragem de alta resolução, a qual é descrita na patente europeia 0 965 123 BI de E. Ekudden et. al.. São outros métodos simples os chamados pós-filtros de 25 ΕΡ 1 639 580/ΡΤ tonalidade e de ressonância acústica (&quot;formant&quot;), que são conhecidos a partir de codificação da fala.Also in the encoder, the smooth evolution of the filter parameters can be applied. It is, for example, possible to apply low- or medium-pass filtering to the filter parameters. the monophonic audio codecs of the prior art, as well as the voice codecs perform the so-called coding noise noise modeling. The purpose of this operation is to move coding noise to frequencies where the signal has high spectral density and thus makes the noise less audible. Noise modeling is usually done adaptively, i.e. in response to the audio signal. This implies that, in general, the noise modeling performed on the mono signal will be different from that required for the various channel signals. As a result of this, despite suitable noise modeling in the mono audio codec, subsequent channel filtering according to the invention may lead to an increase of the audible coding noise in the reconstituted multi-channel signal when compared to the noise audible encoding on the mono signal. In order to mitigate this problem, the adaptive signal post-filtering can be applied to the reconstructed channel signals in a post-processing step of the receiver. Any prior art post-filtering techniques can be deployed here, which essentially emphasize spectral peaks or deepen spectral valleys and thus reduce audible noise. An example of such a technique is the so-called high-resolution post-filtering, which is described in European patent 0 965 123 B1 of E. Ekudden et. Other simple methods are the so-called post-filters of acoustic resonance (&quot; formant &quot;), which are known from speech coding.

Na Fig. 11 estão ilustrados como um fluxograma os principais passos de uma concretização de um método de codificação, de acordo com o presente invento. 0 procedimento começa no passo 200. No passo 220, um sinal principal, de preferência, um sinal mono, deduzido dos sinais de multicanais é codificado. No passo 222, os coeficientes de filtro são optimizados para proporcionarem uma representação, tão boa quanto possível, de um sinal de canal, quando aplicados ao sinal principal. A optimização ocorre sob constrangimentos perceptuais. Os coeficientes óptimos são então codificados no passo 224. O procedimento termina no passo 299.In Fig. 11, the main steps of an embodiment of an encoding method in accordance with the present invention are illustrated as a flowchart. The procedure begins at step 200. In step 220, a main signal, preferably a mono signal, deduced from the multichannel signals is encoded. In step 222, the filter coefficients are optimized to provide as good a representation of a channel signal as applied to the main signal. Optimization occurs under perceptual constraints. The optimal coefficients are then encoded at step 224. The procedure ends at step 299.

As concretizações descritas acima devem ser entendidas como alguns exemplos ilustrativos do presente invento. Será entendido pelos peritos na técnica que podem ser feitas várias modificações, combinações e alterações às concretizações, sem afastamento do âmbito do presente invento. Em particular, diferentes soluções parciais nas diferentes concretizações podem ser combinadas noutras configurações, quando tecnicamente possíveis. O âmbito do presente invento é, no entanto, definido pelas reivindicações anexas.The embodiments described above are to be understood as some illustrative examples of the present invention. It will be understood by those skilled in the art that various modifications, combinations and modifications to the embodiments may be made without departing from the scope of the present invention. In particular, different partial solutions in the different embodiments can be combined in other configurations, when technically possible. The scope of the present invention is, however, defined by the appended claims.

ReferênciasReferences

Patente US 5,285,498US Patent 5,285,498

Patente US 5,434,948US Patent 5,434,948

Patente europeia 0 497 413European Patent 0 497 413

Patente Europeia 0 965 123European Patent 0 965 123

Pedido de patente internacional WO 03/090206 &quot;Binaural cue coding applied to stereo and multi-channel audio compression&quot;, 112th AES convention, Maio de 2002, em Munique, Alemanha, de C. Faller et. al..WO 03/090206 &quot; Binaural cue coding applied to stereo and multi-channel audio compression &quot;, 112th AES convention, May 2002, Munich, Germany, by C. Faller et. to the

Lisboa, 2013-11-13Lisbon, 2013-11-13

Claims (15)

ΕΡ 1 639 580/ΡΤ 1/6 REIVINDICAÇÕES 1 - Método de codificação de sinais áudio de multicanais (ci-cN) que compreende, pelo menos, um primeiro e um segundo canal, que compreende os passos de: geração de parâmetros de codificação (px) que representam um sinal principal (x), que é uma primeira combinação linear predeterminada de sinais dos sinais de multicanais (Ci-cN) ; derivação de parâmetros óptimos (pi-pu) de um primeiro filtro adaptativo (31, 131, 132, 133:1-2); e codificação dos parâmetros óptimos (Pí-Pn) caracterizado por compreender o passo adicional de: derivação dos parâmetros óptimos (Pi~Pn) de, pelo menos, um segundo filtro adaptativo (31, 131, 132, 133:1-2); sendo o referido primeiro filtro adaptativo (31, 131, 132, 133:1-2) derivado para proporcionar uma diferença mínima entre o sinal do primeiro canal (Ci-cN) e um sinal de saída de filtro, quando o primeiro filtro adaptativo (31, 131, 132, 133:1-2) é aplicado na primeira combinação linear predeterminada (x); sendo a diferença mínima definida de acordo com um primeiro critério; sendo o referido segundo filtro adaptativo derivado para proporcionar uma diferença mínima entre o sinal do segundo canal (ci-cN) e um sinal de saída de filtro, quando o segundo filtro adaptativo é aplicado na primeira combinação linear predeterminada (x); sendo a diferença mínima definida de acordo com um segundo critério; e pelo que os passos de derivação do referido primeiro e dos referidos segundos filtros adaptativos (31, 131, 132, ΕΡ 1 639 580/ΡΤ 2/6 133:1-2) são executados sob, pelo menos, um constrangimento perceptual, seleccionado a partir do grupo do constrangimento de ganho e do constrangimento de forma; impondo o referido constrangimento de ganho um constrangimento de ganho físico, que requer uma coincidência de energia exacta entre um canal original e um canal estimado e um constrangimento de ganho folgado, que requer um canal de saída tendo uma energia prescrita; impondo o referido constrangimento forma um conjunto de constrangimentos lineares numa forma espectral, respectivamente, no primeiro e no segundo filtro adaptativo.A multichannel audio signal coding method (ci-cN) comprising at least a first and a second channel, comprising the steps of: generating coding parameters ( px) representing a main signal (x), which is a first predetermined linear combination of multi-channel (C-cN) signals; deriving optimal parameters (pi-pu) from a first adaptive filter (31, 131, 132, 133: 1-2); and coding of the optimal parameters (P1-Pn), characterized in that it comprises the further step of: deriving the optimum parameters (Pi ~ Pn) from at least one second adaptive filter (31, 131, 132, 133: 1-2); said first adaptive filter (31, 131, 132, 133: 1-2) being derived to provide a minimum difference between the first channel (C1-cN) signal and a filter output signal, when the first adaptive filter ( 31, 131, 132, 133: 1-2) is applied to the first predetermined linear combination (x); the minimum difference being defined according to a first criterion; said second adaptive filter being derived to provide a minimum difference between the second channel signal (ci-cN) and a filter output signal, when the second adaptive filter is applied in the first predetermined linear combination (x); the minimum difference being defined according to a second criterion; and whereby the derivation steps of said first and said second adaptive filters (31, 131, 132, ΕΡ 1 639 580 / ΡΤ 2/6 133: 1-2) are performed under at least one perceptual constraint selected from the group of the constraint of gain and the constraint of form; said gain constraint imposing a physical gain constraint, which requires an exact energy match between an original channel and an estimated channel and a loose gain constraint, which requires an output channel having a prescribed energy; imposing said constraint forms a set of linear constraints in a spectral form, respectively, on the first and second adaptive filters. 2 - Método de acordo com a reivindicação 1, caracterizado por, pelo menos, um do primeiro critério e do segundo critério, ser um critério significativo de menor média quadrada.Method according to claim 1, characterized in that at least one of the first criterion and the second criterion is a significant criterion of a smaller square mean. 3 - Método de acordo com a reivindicação 1 ou 2, caracterizado por o constrangimento perceptual ser, pelo menos, um constrangimento de ganho, que se procura proporcionar uma energia total do sinal de saída do filtro igual a uma energia total do sinal do primeiro canal.A method according to claim 1 or 2, characterized in that the perceptual constraint is at least a gain constraint, which seeks to provide a total energy of the filter output signal equal to a total signal energy of the first channel . 4 - Método de acordo com a reivindicação 3, caracterizado por o constrangimento de ganho ser um constrangimento absoluto, que procura que a energia total do sinal de saída de filtro adaptativo seja igual à energia total do sinal do canal correspondente.A method according to claim 3, characterized in that the gain constraint is an absolute constraint, which ensures that the total energy of the adaptive filter output signal is equal to the total energy of the corresponding channel signal. 5 - Método de acordo com a reivindicação 3, caracterizado por o constrangimento de ganho ser um constrangimento lógico que favorece os filtros adaptativos que proporcionam a energia total do sinal de saída de filtro adaptativo, próxima da energia total do sinal do canal correspondente.A method according to claim 3, characterized in that the gain constraint is a logical constraint favoring the adaptive filters which provide the total energy of the adaptive filter output signal, close to the total energy of the corresponding channel signal. 6 - Método de acordo com a reivindicação 3, caracterizado por o constrangimento de ganho ser imposto como um factor de ganho (gci-PcN) vezes um filtro adaptativo derivado sem constrangimentos de ganho. ΕΡ 1 639 58 Ο/PT 3/6A method according to claim 3, characterized in that the gain constraint is imposed as a gain factor (gci-PcN) times an adaptive filter derived without gain constraints. ΕΡ 1 639 58 Ο / EN 3/6 7 - Método de acordo com a reivindicação 6, caracterizado por o filtro de constrangimento de ganho hcl ser dado por: gc = E. frameeud 1 Σ a-W* n^frameitart em que Af é o filtro adaptativo derivado sem constrangimentos de ganho, Ec a a energia prescrita do sinal de saida de filtro adaptativo e cuc (N) é uma saida do filtro adaptativo do sinal principal x (n) sem constrangimentos de ganho.A method according to claim 6, characterized in that the gain constraint hcl filter is given by: gc = E. frameeud 1 Σ aW * n ^ frameitart where Af is the derivative filter derived without gain constraints, Ec aa the prescribed energy of the adaptive filter output signal and cuc (N) is an output of the adaptive filter of the main signal x (n) without gain constraints. 8 - Método de acordo com qualquer das reivindicações 1 7, caracterizado por o constrangimento perceptual ser, pelo menos, um constrangimento de forma, que impõe uma forma espectral predefinida no filtro adaptativo (31, 131, 132, 133:1-2).Method according to any of claims 17, characterized in that the perceptual constraint is at least a shape constraint, which imposes a predefined spectral shape on the adaptive filter (31, 131, 132, 133: 1-2). 9 - Método de acordo com a reivindicação 8, caracterizado por o constrangimento de forma impor o conteúdo nulo numa gama de frequências predefinida.A method according to claim 8, characterized in that the constraint so as to impose the null content in a predefined frequency range. 10 - Método de acordo com qualquer das reivindicações 1 a 9, caracterizado por o passo de codificação dos parâmetros ideais (pi-PN) compreender em conjunto a codificação dos parâmetros óptimos dos primeiro e segundo filtros.Method according to any one of claims 1 to 9, characterized in that the coding step of the ideal parameters (pi-PN) comprises together the coding of the optimal parameters of the first and second filters. 11 - Método de acordo com qualquer das reivindicações 1 a 10 e de acordo com a reivindicação 8, caracterizado por o passo de derivação dos parâmetros compreender, por sua vez, os passos de: criação de uma segunda combinação linear predeterminada (s, c*i-c*n.-u) dos sinais dos sinais de multicanais (ci-cN) ; ΕΡ 1 639 580/ΡΤ 4/6 derivação de parâmetros de um terceiro filtro para proporcionar uma diferença mínima entre a segunda combinação linear predeterminada e o sinal de saída do filtro, quando o terceiro filtro é aplicado na primeira combinação linear predeterminada, sob o constrangimento de forma; cálculo dos parâmetros óptimos dos primeiro e segundo filtros, como uma função dos parâmetros óptimos do terceiro filtro.A method according to any one of claims 1 to 10 and according to claim 8, characterized in that the step of deriving the parameters comprises, in turn, the steps of: creating a predetermined second linear combination (s, c * ic * n.-u) of the multichannel signal signals (ci-cN); Parameter assignment of a third filter to provide a minimum difference between the predetermined second linear combination and the filter output signal, when the third filter is applied in the first predetermined linear combination, under the constraint of form; calculation of the optimal parameters of the first and second filters as a function of the optimal parameters of the third filter. 12 - Método de acordo com qualquer uma das reivindicações 1 a 11, caracterizado por o passo de derivação ser executado com base nos parâmetros de codificação (px) que representam o sinal principal (x).A method according to any one of claims 1 to 11, characterized in that the derivation step is performed based on the coding parameters (px) representing the main signal (x). 13 - Método de acordo com qualquer uma das reivindicações 1 a 11, caracterizado por o passo de derivação ser executado com base directamente na primeira combinação linear predeterminada (x).A method according to any one of claims 1 to 11, characterized in that the derivation step is performed directly on the first predetermined linear combination (x). 14 - Método de acordo com qualquer uma das reivindicações 1 a 13, caracterizado por os sinais de multicanais compreenderem mais do que dois canais, pelo que o sinal principal é baseado numa primeira combinação linear predeterminada (x) de todos os mais do que dois canais, e o sinal de cada canal ser representado por um filtro adaptativo separado, optimizado sob o constrangimento perceptual.A method according to any one of claims 1 to 13, characterized in that the multichannel signals comprise more than two channels, whereby the main signal is based on a predetermined first linear combination (x) of all more than two channels , and the signal from each channel is represented by a separate adaptive filter, optimized under the perceptual constraint. 15 - Aparelho codificador (14), que compreendendo: a entrada (16:1-16: N) para os sinais áudio de multicanais (ci-cN) que compreende, pelo menos, um primeiro e um segundo canal; meios (38) para a geração de parâmetros de codificação (px) que representam um sinal principal (x) , que é uma primeira combinação linear predeterminada de sinais dos sinais de multicanais (Ci-cN), meios (38) para geração, os quais estão ligados à entrada (16:1-16:N); ΕΡ 1 639 580/ΡΤ 5/6 meios parâmetros (31, 131, 132, 133:1-2), para derivação óptimos de um primeiro filtro adaptativo; dos meios (66) para codificação dos parâmetros óptimos; e meios de saída (52); caracterizado por compreender: meios (31, 131, 132, 133:1-2) para derivação dos parâmetros óptimos de um segundo filtro adaptativo; proporcionando o primeiro filtro adaptativo a diferença minima entre o sinal do primeiro canal (ci-cN) e o sinal de saida do filtro, quando o primeiro filtro adaptativo é aplicado na primeira combinação linear predeterminada (x); sendo a diferença minima definida de acordo com um primeiro critério; proporcionando o segundo filtro de adaptação a diferença minima entre o sinal do segundo canal (ci-cN) e o sinal de saida do filtro, quando o segundo filtro adaptativo é aplicado na primeira combinação linear predeterminada (x); sendo a diferença minima definida de acordo com um segundo critério; pelo que os meios (31; 131, 132, 133:1-2) para derivação dos parâmetros óptimos dos referidos primeiro e segundo filtros adaptativos que são dispostos para derivação dos parâmetros óptimos sob, pelo menos, um constrangimento perceptual, seleccionado a partir do grupo do constrangimento de ganho e do constrangimento de forma; impondo o referido constrangimento de ganho um constrangimento de ganho fisico que requer uma coincidência exacta de energia entre um canal original e um canal estimado e um constrangimento de ganho folgado que requer um canal de saida para ter uma energia prescrita; ΕΡ 1 639 58 Ο/PT 6/6 impondo ο referido constrangimento de forma um conjunto de constrangimentos lineares numa forma espectral, respectivamente, no primeiro e no segundo filtro adaptativo. Lisboa, 2013-11-13The encoder apparatus (14), comprising: the input (16: 1-16: N) for multichannel audio signals (ci-cN) comprising at least a first and a second channel; means (38) for generating coding parameters (px) representing a main signal (x), which is a first predetermined linear combination of multichannel signal signals (Ci-cN), generation means (38), which are connected to the input (16: 1-16: N); (31, 131, 132, 133: 1-2), for optimal derivation of a first adaptive filter; of the means (66) for coding the optimal parameters; and outlet means (52); characterized in that it comprises: means (31, 131, 132, 133: 1-2) for deriving the optimal parameters of a second adaptive filter; the first adaptive filter providing the least difference between the first channel signal (ci-cN) and the filter output signal, when the first adaptive filter is applied in the first predetermined linear combination (x); the minimum difference being defined according to a first criterion; the second filter filter providing the minimum difference between the second channel signal (ci-cN) and the filter output signal, when the second adaptive filter is applied in the first predetermined linear combination (x); the minimum difference being defined according to a second criterion; whereby the means (31; 131, 132, 133: 1-2) for deriving the optimal parameters of said first and second adaptive filters are arranged for derivation of the optimal parameters under at least one perceptual constraint selected from group of the constraint of gain and the constraint of form; said gain constraint imposing a physical gain constraint which requires an exact match of energy between an original channel and an estimated channel and a loose gain constraint requiring an output channel to have a prescribed energy; Wherein said constraint forms a set of linear constraints in a spectral form, respectively, on the first and second adaptive filters. Lisbon, 2013-11-13
PT48090807T 2003-12-19 2004-12-15 Coding of multi-channel signals PT1639580E (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE0303499A SE0303499D0 (en) 2003-12-19 2003-12-19 Multi-channel coding using gain-shape constrained filters
SE0400415A SE527713C2 (en) 2003-12-19 2004-02-20 Coding of polyphonic signals with conditional filters

Publications (1)

Publication Number Publication Date
PT1639580E true PT1639580E (en) 2013-11-19

Family

ID=31996352

Family Applications (1)

Application Number Title Priority Date Filing Date
PT48090807T PT1639580E (en) 2003-12-19 2004-12-15 Coding of multi-channel signals

Country Status (8)

Country Link
EP (2) EP2456236A1 (en)
JP (1) JP4323520B2 (en)
DK (1) DK1639580T3 (en)
ES (1) ES2439693T3 (en)
PL (1) PL1639580T3 (en)
PT (1) PT1639580E (en)
SE (1) SE527713C2 (en)
WO (1) WO2005059901A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008016098A1 (en) * 2006-08-04 2009-12-24 パナソニック株式会社 Stereo speech coding apparatus, stereo speech decoding apparatus, and methods thereof
WO2010042024A1 (en) * 2008-10-10 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Energy conservative multi-channel audio coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434948A (en) 1989-06-15 1995-07-18 British Telecommunications Public Limited Company Polyphonic coding
NL9100173A (en) 1991-02-01 1992-09-01 Philips Nv SUBBAND CODING DEVICE, AND A TRANSMITTER EQUIPPED WITH THE CODING DEVICE.
US5285498A (en) 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
SE9700772D0 (en) 1997-03-03 1997-03-03 Ericsson Telefon Ab L M A high resolution post processing method for a speech decoder
WO2003009206A1 (en) * 2001-07-19 2003-01-30 Sungwoo Kim The system and operational method of mobile telecommunication device for electronic cash
WO2003009208A1 (en) * 2001-07-20 2003-01-30 Medical Research Group Method and apparatus for communicating between an ambulatory medical device and a control device via telemetry using randomized data
ATE354161T1 (en) 2002-04-22 2007-03-15 Koninkl Philips Electronics Nv SIGNAL SYNTHESIS

Also Published As

Publication number Publication date
EP2456236A1 (en) 2012-05-23
SE0400415L (en) 2005-06-20
DK1639580T3 (en) 2014-01-13
JP4323520B2 (en) 2009-09-02
ES2439693T3 (en) 2014-01-24
WO2005059901A1 (en) 2005-06-30
SE0400415D0 (en) 2004-02-20
JP2007527543A (en) 2007-09-27
EP1639580A1 (en) 2006-03-29
PL1639580T3 (en) 2014-04-30
EP1639580B1 (en) 2013-10-23
SE527713C2 (en) 2006-05-23

Similar Documents

Publication Publication Date Title
KR102083200B1 (en) Apparatus and method for encoding or decoding multi-channel signals using spectrum-domain resampling
US9812136B2 (en) Audio processing system
ES2810824T3 (en) Decoder system, decoding method and respective software
KR101822032B1 (en) Apparatus, method and computer program for decoding an encoded audio signal
KR101711312B1 (en) Apparatus and Method for Reproducing an Audio Signal, Apparatus and Method for Generating a Coded Audio Signal, Computer Program and Coded Audio Signal
US8817992B2 (en) Multichannel audio coder and decoder
JP6992024B2 (en) Equipment and methods for generating enhanced signals with independent noise filling
CN108369810B (en) Adaptive channel reduction processing for encoding multi-channel audio signals
US7725324B2 (en) Constrained filter encoding of polyphonic signals
PT1639580E (en) Coding of multi-channel signals
EP4100948A1 (en) Switching between stereo coding modes in a multichannel sound codec
AU2018200340A1 (en) Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding