PT2483887T - Descodificador de sinal de áudio mpeg-saoc, método para fornecer uma representação de sinal de mistura ascendente usando descodificação mpeg-saoc e programa de comutador usando um valor comum de parâmetros de correlação inter-objetos dependente de tempo/frequência - Google Patents
Descodificador de sinal de áudio mpeg-saoc, método para fornecer uma representação de sinal de mistura ascendente usando descodificação mpeg-saoc e programa de comutador usando um valor comum de parâmetros de correlação inter-objetos dependente de tempo/frequência Download PDFInfo
- Publication number
- PT2483887T PT2483887T PT107574352T PT10757435T PT2483887T PT 2483887 T PT2483887 T PT 2483887T PT 107574352 T PT107574352 T PT 107574352T PT 10757435 T PT10757435 T PT 10757435T PT 2483887 T PT2483887 T PT 2483887T
- Authority
- PT
- Portugal
- Prior art keywords
- inter
- audio
- bit stream
- saoc
- correlation
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims description 59
- 238000000034 method Methods 0.000 title claims description 42
- 230000001419 dependent effect Effects 0.000 title claims description 11
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims description 53
- 230000011664 signaling Effects 0.000 claims description 36
- 238000011144 upstream manufacturing Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000036962 time dependent Effects 0.000 claims 2
- 239000000203 mixture Substances 0.000 description 56
- 230000005540 biological transmission Effects 0.000 description 11
- 238000013139 quantization Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000000926 separation method Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
DESCRIÇÃO
DESCODIFICADOR DE SINAL DE ÁUDIO MPEG-SAOC, MÉTODO PARA FORNECER
UMA REPRESENTAÇÃO DE SINAL DE MISTURA ASCENDENTE USANDO DESCODIFICAÇÃO MPEG-SAOC E PROGRAMA DE COMUTADOR USANDO UM VALOR COMUM DE PARÂMETROS DE CORRELAÇÃO INTER-OBJETOS DEPENDENTE DE
TEMPO/FREQUÊNCIA Área Técnica
As formas de realização de acordo com a invenção referem-se a um descodificador de sinal de áudio para fornecer uma representação de sinal de mistura ascendente com base numa representação de sinal de mistura descendente e numa informação paramétrica relacionada ao objeto e na dependência de uma informação de processamento.
Outras formas de realização de acordo com a invenção referem-se a um método para fornecer uma representação de sinal de mistura ascendente com base numa representação de sinal de mistura descendente e numa informação paramétrica relacionada ao objeto e na dependência de uma informação de processamento.
Outras formas de realização de acordo com a invenção referem-se a um programa de computador para realizar tais métodos.
Antecedentes da Invenção
Na técnica do processamento de áudio, transmissão de áudio e armazenamento de áudio, há um desejo crescente de tratar conteúdos multicanal com o intuito de melhorar a impressão de audição. A utilização de conteúdo multicanal de áudio proporciona melhorias significativas para o utilizador. Por exemplo, pode ser obtida uma impressão de audição tridimensional que proporciona uma maior satisfação ao utilizador em aplicações de entretenimento. No entanto, os conteúdos multicanal de áudio são também úteis em ambientes profissionais, como por exemplo, em aplicações para conferências telefónicas, porque a inteligibilidade do altifalante pode ser melhorada com a utilização de um playback (reprodução de fundo) multicanal de áudio.
No entanto, é também desejável que haja um bom compromisso entre a qualidade de áudio e os requisitos de taxa de bits de modo a evitar uma carga excessiva de recursos causada pelas aplicações multicanal.
Recentemente, têm sido propostas técnicas paramétricas para a transmissão eficiente à taxa de bits e/ou para o armazenamento de cenas de áudio contendo múltiplos objetos de áudio, como por exemplo, Binaural Cue Coding (Codificação de Entrada Binaural) (Tipo I) (ver, por exemplo a referência [BCC]), Joint Source Coding (Codificação de Fontes Unidas) (ver, por exemplo, a referência [JSC]), e MPEG Spatial Audio Object Coding (Codificação de Objetos Espaciais de Áudio) (SAOC) (ver, por exemplo, as referências [SA0C1], [SA0C2] e a referência não pré- publicada [SAOC]).
Estas técnicas visam uma percentagem de reconstrução da emissão desejada de cenas de áudio ao invés do que uma correspondência de formas de onda. A Fig. 8 mostra uma vista geral de um tal sistema (aqui: MPEG SAOC) . Ainda, a Fig. 9a mostra uma vista geral de um tal sistema(aqui: MPEG SAOC). 0 sistema MPEG SAOC 800 mostrado na Fig. 8 compreende um codificador SAOC 810 e um descodificador SAOC 820. O codificador SAOC 810 recebe uma pluralidade de sinais de objetos xi a xN, que podem ser representados, por exemplo, como sinais de dominio de tempo ou como sinais de domínio de frequência de tempo (por exemplo, na forma de um conjunto de coeficientes de transformada de tipo de transformada de Fourier ou na forma de sinais de sub-banda QMF) . 0 codificador SAOC 810 recebe tipicamente também coeficientes de mistura descendente di a dN, que estão associados aos sinais de objetos xi a xN. Podem estar disponíveis conjuntos separados de coeficientes de mistura descendente para cada canal do sinal de mistura descendente. O codificador SAOC 810 está configurado tipicamente para obter um canal do sinal de mistura descendente pela combinação dos sinais de objetos xi a xN de acordo com os coeficientes de mistura descendente associados di a dN. Tipicamente, existem menos canais de mistura descendente que sinais de objetos xi a xN. Para permitir (pelo menos aproximadamente) uma separação (ou tratamento separado) dos sinais de objetos no lado do descodificador SAOC 820, o codificador SAOC 810 fornece tanto o um ou mais sinais de mistura descendente (identificados como canais de mistura descendente) 812 como uma informação lateral 814. A informação lateral 814 descreve características dos sinais de objetos xi a xN, para permitir um processamento específico de objetos no lado do descodificador. O descodificador SAOC 820 é configurado para receber tanto o um ou mais sinais de mistura descendente 812 como a informação lateral 814. Também, o descodificador SAOC 820 é configurado tipicamente para receber uma informação de interação do utilizador e/ou uma informação de controlo do utilizador 822, que descreve uma instalação desejada de processamento. Por exemplo, a informação de interação do utilizador/informação de controlo do utilizador 822 pode descrever uma configuração de altifalante e a disposição espacial desejada dos objetos que fornecem os sinais de objetos xi a xN. O descodificador SAOC 820 é configurado para fornecer, por exemplo, uma pluralidade de sinais de canal de mistura ascendente descodificados yi a yM. Os sinais de canal de mistura ascendente podem, por exemplo, ser associados a altifalantes individuais de uma disposição de processamento de múltiplos altifalantes. 0 descodificador SAOC 820 pode, por exemplo, compreender um separador de objeto 820a, que é configurado para reconstruir, pelo menos aproximadamente, os sinais de objetos xi a xN com base no um ou mais sinais de mistura descendente 812 e na informação lateral 814, desta forma obtendo sinais de objetos reconstruídos 820b. No entanto, os sinais de objeto reconstruídos 820b podem desviar-se um pouco dos sinais de objetos originais xi a xN, por exemplo, porque a informação lateral 814 não é bastante suficiente para uma reconstrução perfeita devido a limitações da taxa de bits. O descodificador SAOC 820 pode ainda compreender um misturador (mixer) 820c, que pode ser configurado para receber os sinais de objetos reconstruídos 820b e a informação de interação do utilizador/informação de controlo do utilizador 822, e para fornecer, com base nisto, os sinais de canal de mistura ascendente yi a yM. O misturador 820 pode ser configurado para usar a informação de interação do utilizador/informação de controlo do utilizador 822 para determinar a contribuição dos sinais de objetos individuais reconstruídos 820b para os sinais de canal de mistura ascendente yi a yM. A informação de interação do utilizador/informação de controlo do utilizador 822 pode, por exemplo, compreender parâmetros de processamento (também denominados coeficientes de processamento) , que determinam a contribuição dos sinais de objetos individuais reconstruídos 822 para os sinais de canal de mistura ascendente yi a yM.
No entanto, deve-se salientar que em muitas formas de realização, a separação de objetos, que é indicada pelo separador de objetos 820a na Fig. 8, e a mistura (mixing) , que é indicada pelo misturador 820c na Fig. 8, são executadas numa única etapa. Para tal, podem ser computados parâmetros globais que descrevem um mapeamento direto do um ou mais sinais de mistura descendente 812 nos sinais de canal de mistura ascendente yi a yM. Estes parâmetros podem ser computados com base na informação lateral e na informação de interação do utilizador/informação de controlo do utilizador 820.
Fazendo referência, agora, às Figs. 9a, 9b e 9c, será descrito um aparelho diferente para obter uma representação de sinal de mistura ascendente com base numa representação de sinal de mistura descendente e em informação lateral relacionada ao objeto. A Fig. 9a mostra um diagrama de blocos esguemático de um sistema MPEG SAOC 900 gue compreende um descodificador SAOC 920. O descodificador SAOC 920 compreende, como blocos funcionais separados, um descodificador de objeto 922 e um misturador/processador 926. O descodificador de objeto 922 fornece uma pluralidade de sinais de objetos reconstruídos 924 dependentes da representação de sinal de mistura descendente (por exemplo, na forma de um ou mais sinais de mistura descendente representados no dominio de tempo ou no dominio de freguência-tempo) e de informação lateral relacionada ao objeto (por exemplo, na forma de metadados de objeto). O misturador/processador 924 recebe os sinais de objetos reconstruídos 924 associados a uma pluralidade de N objetos e fornece, com base nisto, um ou mais sinais de canal de mistura ascendente 928. No descodificador SAOC 920, a extração dos sinais de objetos 924 é feita separadamente do misturador/processador, o gue permite uma separação da funcionalidade de descodificar um objeto da funcionalidade de misturar/processar mas proporciona uma complexidade computacional relativamente alta.
Fazendo referência, agora, à Fig. 9b, outro sistema MPEG SAOC 930 será brevemente discutido, o gual compreende um descodificador SAOC 950. O descodificador SAOC 950 fornece uma pluralidade de sinais de canal de mistura ascendente 958 dependentes de uma representação de sinal de mistura descendente (por exemplo, na forma de um ou mais sinais de mistura descendente) e de uma informação lateral relacionada ao objeto (por exemplo, na forma de metadados de objeto). 0 descodificador SAOC 950 compreende um descodificador de objetos combinado e um misturador/processador, que é configurado para obter os sinais de mistura ascendente 958 num processo de mistura conjunta sem uma separação da descodificação de objeto e da mistura/processamento, em que os parâmetros para o referido processo de mistura ascendente conjunta dependem tanto da informação lateral relacionada ao objeto quanto da informação de processamento. O processo de mistura ascendente conjunta depende também da informação de mistura descendente que é considerada parte da informação lateral relacionada ao objeto.
Para resumir o acima dito, a provisão dos sinais de canal de mistura ascendente 928, 958 pode ser executada num processo de uma etapa ou num processo de duas etapas.
Fazendo referência, agora, à Fig. 9c, será descrito um sistema MPEG SAOC 960. O sistema SAOC 960 compreende um transcodif icador SAOC para MPEG Surround 980, ao invés de um descodificador SAOC. O transcodificador de ambiente SAOC para MPEG compreende um transcodificador de informação lateral 982, que é configurado para receber a informação lateral relacionada ao objeto (por exemplo, na forma de metadados de objeto) e, opcionalmente, informação sobre o um ou mais sinais de mistura descendente e sobre a informação de processamento. O transcodificador de informação lateral é também configurado para fornecer uma informação lateral de ambiente MPEG (por exemplo, na forma de um fluxo de bits MPEG Surround) com base num recetor de dados. Deste modo, o transcodificador de informação lateral 982 é configurado para transformar uma informação lateral relacionada ao objeto (paramétrica), que é libertada do codificador de objeto, numa informação lateral relacionada ao canal (paramétrica), levando em consideração a informação de processamento e, opcionalmente, a informação acerca do conteúdo do um ou mais sinais de mistura descendente.
Opcionalmente, o transcodificador de ambiente SAOC para MPEG 980 pode ser configurado para manipular o um ou mais sinais de mistura descendente, descritos, por exemplo, pela representação de sinal de mistura descendente, para obter uma representação de sinal de mistura descendente manipulada 988. No entanto, o manipulador de sinal de mistura descendente 986 pode ser omitido, de tal forma que a representação de sinal de mistura descendente de saida 988 do transcodificador de ambiente SAOC para MPEG 980 é idêntica à representação de sinal de entrada de mistura descendente do transcodificador de Ambiente SAOC para MPEG. O manipulador de sinal de mistura descendente 986 pode, por exemplo, ser usado se a informação lateral de ambiente MPEG 984 relacionada com o canal não permitir fornecer uma impressão de audição desejada com base na representação de sinal de entrada de mistura descendente do transcodificador de ambiente SAOC para MPEG 980, o que pode ser o caso em algumas constelações de processamento.
Deste modo, o transcodif icador de Ambiente SAOC para MPEG 980 fornece a representação de sinal de mistura descendente 988 e o fluxo de bits MPEG Surround 984 de tal modo que se pode gerar uma pluralidade de sinais de canal de mistura ascendente, que representam os objetos de áudio em conformidade com a entrada da informação de processamento ao transcodificador de Ambiente SAOC para MPEG Surround 980 com a utilização de um descodificador de ambiente MPEG Surround que recebe o fluxo de bits MPEG Surround 984 e a representação do sinal de mistura descendente 988.
Para resumir o acima descrito, podem ser utilizados diversos conceitos para descodificar sinais de áudio codificados SAOC. Em alguns casos, é utilizado um descodificador SAOC, que fornece sinais de canal de mistura ascendente (por exemplo, os sinais de canal de mistura ascendente 928, 958) dependendo da representação de sinal de mistura descendente e da informação lateral paramétrica relacionada ao objeto. Exemplos deste conceito podem ser vistos nas Figs. 9a e 9b. Alternativamente, a informação de áudio codificada por SAOC pode ser transcodifiçada para obter uma representação de sinal de mistura descendente (por exemplo, uma representação de sinal de mistura descendente 988) e uma informação lateral relacionada ao canal (por exemplo, o fluxo de bits relacionado ao canal MPEG Surround 984), que pode se usado por um descodificador de Ambiente MPEG Surround para fornecer os sinais de canal de mistura ascendente desej ados.
No sistema MPEG SAOC 800, uma vista geral do mesmo é mostrada na Fig. 8, e também no sistema MPEG SAOC 900, uma vista geral do mesmo é mostrada na Fig. 9, o processamento geral é efetuado num modo seletivo de frequência e pode ser descrito como se segue dentro de cada banda de frequência: • Os sinais de entrada de objetos de áudio N xi a xN são misturados descendentemente como parte do processo do codificador SAOC. Para uma mistura descendente mono, os coeficientes de mistura descendente são identificados por di a dN. Adicionalmente, o codificador 810, 910 extrai a informação lateral 814 que descreve as caracteristicas dos objetos de áudio de entrada. Uma parte importante desta informação lateral consiste nas relações de potência de objetos e de correlações mútuas, ou seja, diferenças de nivel de objetos (OLDs) nas correlações inter-objetos (IOCs). • O sinal (ou sinais) de mistura descendente 812, 912 e a informação lateral 814, 914 são transmitidos e/ou armazenados. Para tal, o sinal de áudio de mistura descendente pode ser comprimido utilizando codificadores de áudio percetuais bem conhecidos tais como MPEG-1 Layer II ou III (também conhecidos como "mp3"), Codificação de Áudio Avançada MPEG (CAA) [MPEG Advanced Audio Coding (AAC)], ou qualquer outro codificador de áudio. • No terminal recetor, o descodificador SAOC 820, 920 tenta conceitualmente restaurar os sinais de objetos originais ("separação de objetos") usando a informação lateral transmitida 814, 914 (e, naturalmente, o um ou mais sinais de mistura descendente 812, 912) . Estes sinais de objetos aproximados (também denominados sinais de objetos reconstruídos 820b, 924) são então
misturados numa cena-alvo representada por canais de sarda M áudio (que pode, por exemplo, ser representada pelos sinais de canal de mistura ascendente yi a yM, 928) usando uma matriz de processamento. Para uma saida mono, os coeficientes da matriz de processamento são dados por ri a rN • Com efeito, a separação dos sinais de objetos raramente é feita (ou mesmo nunca é feita), uma vez que tanto a etapa de separação (indicada pelo separador de objeto 820a, 922) como a etapa de mistura (indicada pelo misturador 820c, 926) são combinadas numa única etapa de transcodificação, que frequentemente resulta numa enorme redução de complexidade computacional.
Tem sido visto que tal esquema é tremendamente eficiente, tanto em termos de transmissão da taxa de bits (é apenas necessário transmitir poucos canais de mistura descendente mais algumas informações laterais em vez de N sinais de objeto de áudio) e a complexidade computacional (a complexidade de processamento refere-se principalmente ao número de canais de saida do que ao número de objetos de áudio) . Outras vantagens para o utilizador no terminal recetor incluem a liberdade de escolher uma configuração de processamento à sua escolha (mono, estéreo, ambiente, playback virtual de auscultadores, e assim por diante) e a caracteristica da interatividade do utilizador: a matriz de processamento e portanto a cena de saida podem ser configuradas e alteradas interativamente pelo utilizador, consoante a sua vontade, preferência pessoal ou outros critérios. Por exemplo, é possivel colocar os locutores de um grupo juntos numa área espacial para maximizar a distinção para com os restantes locutores. Esta interatividade é atingida pelo fornecimento de uma interface de descodificador do utilizador:
Para cada objeto de som transmitido, o seu nivel relativo e (para processamentos não-mono) posição espacial de processamento podem ser calibrados. Isto pode acontecer em tempo real conforme o utilizador muda a posição dos ajustadores da interface gráfica de utilizador(GUI) associados (por exemplo: nivel de objeto = +5dB, posição do objeto = -30deg). A seguir, será feita uma breve referência a técnicas anteriormente aplicadas no campo da codificação de áudio baseada em canais. 0 documento US 11/032,689 descreve um processo para combinar várias series de valores numa ordem de transmissão para economizar informações laterais.
Esta técnica é também aplicada a "codificação áudio hierárquica multicanal com informação lateral compacta" no documento US 60/671,544.
No entanto, tem sido visto que a informação paramétrica relacionada ao objeto, que é usada para codificar um conteúdo de áudio multicanal, compreende um taxa de bits comparativamente alta em alguns casos.
Deste modo, é um objetivo da presente invenção criar um conceito que permita um fornecimento, armazenamento ou transmissão de um conteúdo de áudio multicanal com uma informação lateral compacta.
Sumário da Invenção
Este objetivo é atingido por um descodificador de sinal de áudio, um método para fornecer uma representação de sinal de mistura ascendente e um programa de computador como definido pelas reivindicações independentes.
Uma forma de realização de acordo com a invenção cria um descodificador de sinal de áudio para fornecer uma representação de sinal de mistura ascendente com base numa representação de sinal de mistura descendente e numa informação paramétrica relacionada ao objeto e dependente de uma informação de processamento. 0 aparelho compreende um determinador de parâmetros de objeto configurado para obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio. 0 determinador de parâmetros de objeto é configurado para avaliar um parâmetro de sinalização de fluxo de bits para decidir se se devem avaliar valores individuais de parâmetros de fluxo de bits de correlação inter-objetos para obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados, ou para obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados usando um valor comum de parâmetros de fluxo de bits de correlação inter-objetos. 0 descodificador de sinal de áudio também compreende um processador de sinal configurado para obter a representação de sinal de mistura ascendente com base na representação de sinal de mistura descendente e usando valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados e para a informação de processamento.
Este descodificador de sinal de áudio é baseado na ideia-chave que uma taxa de bits necessária para codificar valores de correlação inter-objetos pode ser excessivamente alta em alguns casos nos quais as correlações entre muitos pares de objetos de áudio devem ser consideradas para se obter uma boa impressão de audição, e que uma taxa de bits necessária para codificar os valores de correlação inter-objetos pode ser significativamente reduzida nestes casos pelo uso de um valor comum de parâmetros de fluxo de bits de correlação inter-objetos ao invés de valores individuais de parâmetros de fluxo de bits de correlação inter-objetos sem comprometer significativamente a impressão de audição.
Tem sido visto que, em situações na quais há correlações notáveis inter-objetos entre muitos pares de objetos de áudio que devem ser considerados de modo a se obter uma boa impressão de audição, uma consideração das correlações inter-objeto normalmente resultaria num requisito de alta taxa de bits para os valores de parâmetros de fluxo de bits de correlação inter-objetos. No entanto, tem sido visto que em tais situações, nas quais há uma correlação inter-objetos não insignificante entre muitos pares de objetos de áudio, uma boa impressão de audição pode ser conseguida meramente com a codificação de um único valor comum de parâmetros de fluxo de bits de correlação inter-objetos, e com a derivação dos valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados a partir de um tal valor comum de parâmetros de fluxo de bits de correlação inter-objetos. Deste modo, a correlação entre muitos objetos de áudio pode ser considerada com bastante precisão na maioria dos casos, ao mesmo tempo que se mantém suficientemente reduzido o esforço para a transmissão do valor de parâmetros de fluxo de bits de correlação inter-ob j etos.
Portanto, o conceito acima discutido resulta numa demanda pequena de taxa de bits para a informação lateral relacionada ao objeto em alguns ambientes acústicos nos quais há uma correlação inter-objetos não insignificante entre muitos sinais de objetos de áudio diferentes e, ao mesmo tempo, ainda conseguir uma impressão de audição suficientemente boa.
Numa forma de realização preferida, o determinador de parâmetros de objeto é configurado para estabelecer o valor de correlação inter-objetos para todos os pares dos diversos objetos de áudio relacionados para um valor comum definido pelo valor comum de parâmetros de fluxo de bits de correlação inter-objetos. Verificou-se que esta solução simples proporciona uma impressão de audição suficientemente boa em muitas situações de interesse.
Numa forma de realização preferida, o determinador de parâmetros de objeto é configurado para avaliar uma informação de relacionamento de objeto que descreve se dois objetos estão, ou não, relacionados mutuamente. 0 determinador de parâmetros de objeto é ainda configurado para obter seletivamente valores de correlação inter-objetos para pares de objetos de áudio para os quais a informação de relacionamento de objeto indica um relacionamento que usa o valor comum de parâmetros de fluxo de bits de correlação inter-objetos, e para estabelecer valores de correlação inter-objetos para pares de objetos de áudio para os quais a informação de relacionamento de objetos indica não haver relacionamento com um valor predefinido (por exemplo, zero).
Deste modo, pode-se distinguir, com grande eficiência de taxa de bits, entre objetos de áudio relacionados e não relacionados. Portanto, evita-se uma alocação de um valor não nulo de correlação inter-objetos a pares de objetos de áudio, que são (aproximadamente) não relacionados. Deste modo, evita-se a degradação de uma impressão de audição e é possivel uma separação entre tais objetos de áudio aproximadamente não relacionados. Mais anda, a sinalização de objetos de áudio relacionados e não relacionados pode ser feita com eficiência muito alta de taxa de bits, porque o relacionamento de objetos de áudio é tipicamente invariável no tempo sobre uma peça de áudio, de tal modo que a taxa de bits necessária para esta sinalização é tipicamente muito baixa. Portanto, o conceito descrito proporciona uma muito boa troca alternativa entre eficiência de taxa de bits e impressão de audição.
Numa forma de realização preferida, o determinador de parâmetros de objeto é configurado para avaliar uma informação de relacionamento objeto compreendendo uma sinalização de um bit para cada combinação de objetos de áudio diferente, em que a sinalização de um bit associada a uma determinada combinação de diferentes objetos de áudio indica se os objetos de áudio da determinada combinação estão relacionados ou não. Uma informação como esta pode ser transmitida muito eficientemente e resulta numa redução significativa da taxa de bits necessária para se conseguir uma boa impressão de audição.
Numa forma de realização preferida, o determinador de parâmetros de objeto é configurado para estabelecer os valores de correlação inter-objetos para todos os pares de objetos de áudio relacionados, a um valor comum definido pelo valor comum de parâmetros de fluxo de bits de correlação inter-objetos.
Numa forma de realização preferida, o determinador de parâmetros de objeto compreende um analisador de fluxo de bits configurado para analisar uma representação de fluxo de bits de um conteúdo de áudio para obter o parâmetro de sinalização de fluxo de bits e os parâmetros individuais de fluxo de bits de correlação inter-objetos ou o parâmetro comum de fluxo de bits de correlação inter-objetos. Com a utilização de um analisador de fluxo de bits, o parâmetro de sinalização de fluxo de bits e os parâmetros individuais de fluxo de bits de correlação inter-objetos ou o parâmetro comum de fluxo de bits de correlação inter-objetos podem ser obtidos com boa eficiência de implementação.
Numa forma de realização preferida, o descodificador de sinal de áudio é configurado para combinar um valor de correlação inter-objetos associado a um par de objetos de áudio relacionados com um valor de parâmetros de diferença de nivel de objeto que descreve um nivel de objeto de um primeiro objeto de áudio do par de objetos de áudio relacionados e com um valor de parâmetros de diferença de nivel de objeto que descreve um nivel de objeto de um segundo objeto de áudio do par de -objetos de áudio relacionados para obter um valor de covariância associado ao par de objetos de áudio relacionados. Deste modo, é possivel deduzir o valor de covariância associado a um par de objetos de áudio relacionados de tal modo que o valor de covariância é adaptado ao par de objetos de áudio apesar de ser usado um parâmetro comum de correlação inter-objetos. Portanto, diferentes valores de covariância podem ser obtidos para diferentes pares de objetos de áudio. Em particular, um grande número de diferentes valores de covariância pode ser obtido usando o valor comum de parâmetros de fluxo de bits de correlação inter-objetos.
Numa forma de realização preferida, o descodificador de sinal de áudio é configurado para tratar três ou mais objetos de áudio. Neste caso, o determinador de parâmetros de objeto é configurado para fornecer valores de correlação inter-objetos para cada par de objetos de áudio diferentes. Tem-se verificado que valores significativos podem ser obtidos usando o conceito inventivo mesmo quando existe um número relativamente elevado de objetos de áudio, que são todos mutuamente relacionados. Obter valores de correlação inter-objetos a partir de muitas combinações de objetos de áudio é particularmente útil quando se codificam e descodificam sinais de objetos de áudio usando uma informação lateral paramétrica relacionada ao objeto.
Numa forma de realização preferida, o determinador de parâmetros de objeto é configurado para avaliar o parâmetro de sinalização de fluxo de bits, que é incluido numa porção de configuração de fluxo de bits, de modo a decidir se são avaliados os valores individuais de parâmetros de fluxo de bits de correlação inter-objetos para se obterem valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados, ou para se obterem valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados utilizando um valor comum de parâmetros de fluxo de bits de correlação inter-objetos. Nesta forma de realização, o determinador de parâmetros de objeto é configurado para avaliar uma informação relacionada ao objeto, que é incluida na porção de configuração de fluxo de bits, para determinar se os objetos de áudio estão relacionados.
Adicionalmente, o determinador de parâmetros de objeto é configurado para avaliar um valor comum de parâmetros de fluxo de bits de correlação inter-objetos, que está incluido numa porção do quadro de dados de fluxo de bits, para cada quadro do conteúdo de áudio se for decidido obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados usando um valor comum de parâmetros de fluxo de bits de correlação inter-objetos. Deste modo, obtém-se uma taxa de bits de alta eficiência, porque a informação de relacionamento de objeto comparativamente grande é avaliada somente uma vez por peça de áudio (que é definida pela presença de uma porção da configuração de fluxo de bits), enquanto o valor comum comparativamente pequeno de parâmetros de fluxo de bits de correlação inter-objetos é avaliado para cada quadro da peça de áudio, isto é, múltiplas vezes por peça de áudio. Isto reflete a constatação de que o relacionamento entre objetos de áudio tipicamente não muda dentro de uma peça de áudio ou somente muda muito raramente. Deste modo, uma boa impressão de audição pode ser obtida a um taxa de bits razoavelmente baixa.
Alternativamente, no entanto, a utilização de um valor comum de parâmetros de fluxo de bits de correlação inter-objetos pode ser sinalizada numa porção do quadro de dados de fluxo de bits, que pode, por exemplo, permitir uma adaptação flexivel a conteúdos variáveis de áudio.
Formas de realização adicionais de acordo com a invenção criam um método para fornecer uma representação de sinal de mistura ascendente. Estes métodos são baseados nas mesmas ideias que o descodificador de áudio acima discutido.
Breve Descrição da Figuras
Formas de realização de acordo com a invenção e exemplos que ilustram a mesma serão a seguir descritos fazendo referência às Figuras anexas nas quais: A Fig. 1 mostra um diagrama de blocos esquemático de um descodif icador de sinal de áudio de acordo com uma forma de realização da invenção; A Fig. 2 mostra um diagrama de blocos esquemático de um codificador de sinal de áudio de acordo com uma forma de realização da invenção; A Fig. 3 mostra uma representação esquemática de um fluxo de bits de acordo com um exemplo; A Fig. 4 mostra um diagrama de blocos esquemático de um sistema MPEG SAOC que usa um único cálculo de parâmetros de correlação inter-objetos; A Fig. 5 mostra uma representação sintática de uma informação de configuração especifica SAOC, que pode ser parte de um fluxo de bits; A Fig. 6 mostra uma representação sintática de uma informação de quadro SAOC, que pode ser parte de um fluxo de bits; A Fig. 7 mostra uma tabela que representa uma quantização de parâmetro do parâmetro de correlação inter-objetos; A Fig. 8 mostra um diagrama de blocos esquemático de uma referência de sistema MPEG SAOC; A Fig. 9a mostra um diagrama de blocos esquemático de uma referência de sistema SAOC que usa um descodificador e um misturador separados; A Fig. 9b mostra um diagrama de blocos esquemático de uma referência de sistema SAOC que usa um descodificador e um misturador integrados; e A Fig. 9c mostra um diagrama de blocos esquemático de uma referência de sistema SAOC que usa um transcodificador SAOC-para-MPEG.
Descrição Detalhada das Formas de Realização e Exemplos 1. Descodificador de Sinal de Áudio de acordo com a Fig. 1 A seguir, será descrito um descodificador de sinal de áudio 100 fazendo referência à Fig. 1, que mostra um diagrama de bloco esquemático de um descodificador de sinal de áudio 100.
Primeiramente, serão descritos sinais de entrada e de sarda do descodificador de sinal de áudio 100. A seguir, será descrita a estrutura do descodificador de sinal de áudio 100 e, finalmente, será discutida a funcionalidade do descodificador de sinal de áudio 100. O descodificador de sinal de áudio 100 é configurado para receber uma representação de sinal de mistura descendente 110, que representa tipicamente uma pluralidade de sinais de objetos de áudio, por exemplo, na forma de uma representação de sinal de um canal de áudio ou de uma representação de sinal de dois canais de áudio. O descodificador de sinal de áudio 100 recebe também uma informação paramétrica relacionada ao objeto 112, que descreve tipicamente os objetos de áudio, que estão incluídos na representação de sinal de mistura descendente 110.
Por exemplo, a informação paramétrica relacionada ao objeto 112 descreve niveis de objeto dos objetos de áudio, que são representados pela representação de sinal de mistura descendente 110, usando valores de diferença de nivel de objeto (OLD).
Adicionalmente, a informação paramétrica relacionada ao objeto 112 representa tipicamente caracteristicas de correlação inter-objetos dos objetos de áudio, que são representadas pela representação de sinal de mistura descendente 110. A informação paramétrica relacionada ao objeto compreende tipicamente um parâmetro de sinalização de fluxo de bits (também aqui denominado "bsOnelOC"), que sinaliza se a informação paramétrica relacionada ao objeto compreende valores individuais de parâmetros de fluxo de bits de correlação inter-objetos associados a pares individuais de objetos de áudio ou um valor comum de parâmetros de fluxo de bits de correlação inter-objetos associado a uma pluralidade de pares de objetos de áudio. Deste modo, a informação paramétrica relacionada ao objeto compreende os valores individuais de parâmetros de fluxo de bits de correlação inter-objetos ou o valor comum de parâmetros de fluxo de bits de correlação inter-objetos, de acordo com o parâmetro de sinalização de fluxo de bits "bsOnelOC". A informação paramétrica relacionada ao objeto 112 pode também compreender informação de mistura descendente que descreve uma mistura descendente dos objetos de áudio individuais dentro da representação de sinal de mistura descendente. Por exemplo, a informação paramétrica relacionada ao objeto compreende uma informação de ganho de mistura descendente DMG que descreve uma contribuição dos sinais de objetos de áudio para a representação de sinal de mistura descendente 110. Adicionalmente, a informação paramétrica relacionada ao objeto pode, opcionalmente, compreender uma informação de diferença de nivel de canal de mistura descendente DCLD que descreve diferenças de ganho de mistura descendente entre diferentes canais de mistura descendente. O descodificador de sinal 100 é também configurado para receber uma informação de processamento 120, por exemplo, de uma interface de utilizador para dar entrada a tal informação de processamento. A informação de processamento descreve uma alocação dos sinais de objetos de áudio para misturar canais ascendentemente. Por exemplo, a informação de processamento 120 pode tomar a forma de uma matriz de processamento (ou de entradas dela). Alternativamente, a informação de processamento 120 pode compreender uma descrição de uma posição de processamento desejada (por exemplo, em termos de coordenadas espaciais) dos objetos de áudio e de intensidades desejadas (ou volumes) dos objetos de áudio. 0 descodificador de sinal de áudio 100 fornece uma representação de sinal de mistura ascendente 130, que constitui uma representação processada dos sinais de objetos de áudio descritos pela representação de sinal de mistura descendente e pela informação paramétrica relacionada ao objeto. Por exemplo, a representação de sinal de mistura ascendente pode tomar a forma de sinais individuais de canal de áudio, ou pode tomar a forma de uma representação de sinal de mistura descendente em combinação com uma informação lateral paramétrica relacionada ao canal (por exemplo, informação lateral MPEG-Surround). O descodificador de sinal de áudio 100 é configurado para fornecer a representação de sinal de mistura ascendente 130 com base na representação de sinal de mistura descendente 110 e na informação paramétrica -relacionada ao objeto 112 e na dependência da informação de processamento 120. O aparelho 100 compreende um determinador de parâmetros de objeto 140, que é configurado para obter valores de correlação inter-objetos (pelo menos) para uma pluralidade de pares de objetos de áudio relacionados com base na informação paramétrica relacionada ao objeto 112. Para tal, o determinador de parâmetros de objeto 140 é configurado para avaliar o parâmetro de sinalização de fluxo de bits ("bsOnelOC") para decidir se se devem avaliar valores individuais de parâmetros de fluxo de bits de correlação inter-objetos para obter os valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados, ou para obter os valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados usando um valor comum de parâmetros de fluxo de bits de correlação inter-objetos. Deste modo, o determinador de parâmetros de objeto 140 é configurado para fornecer os valores de correlação inter-objetos 142 para uma pluralidade de pares de objetos de áudio relacionados com base nos valores individuais de parâmetros de fluxo de bits de correlação inter-obj etos se o parâmetro de sinalização de fluxo de bits indicar que um valor comum de parâmetros de fluxo de bits de correlação inter-objetos não está disponível. De forma semelhante, o determinador de parâmetros de objeto determina os valores de correlação inter-objetos 142 para uma pluralidade de pares de objetos de áudio relacionados com base no valor comum de parâmetros de fluxo de bits de correlação inter-objetos se o parâmetro de sinalização de fluxo de bits indicar que tal valor comum de parâmetros de fluxo de bits de correlação inter-objetos está disponível. 0 determinador de parâmetros de objeto também fornece tipicamente outros valores relacionados ao objeto, como, por exemplo, valores de diferenças de nível de objeto OLD, valores de ganho de mistura descendente DMG e (opcionalmente) valores de diferenças de nível de canal de mistura descendente DCLD com base na informação paramétrica relacionada ao objeto 112. 0 descodificador de sinal de áudio 100 também compreende um processador de sinal 150, que é configurado para obter a representação de sinal de mistura ascendente 130 com base na representação de sinal de mistura descendente 110 e que usa os valores de correlação inter-objetos 142 para uma pluralidade de pares de objetos de áudio relacionados e na informação de processamento 120. O processador de sinal 150 também usa os outros valores relacionados ao objeto, como os valores de diferenças de nível de objeto, os valores de ganho de mistura descendente e os valores de diferenças de nível de canal de mistura descendente. O processador de sinal 150 pode, por exemplo, estimar características estáticas de uma representação de sinal de mistura ascendente 130 desejada e processar a representação de sinal de mistura descendente de tal modo que a representação de sinal de mistura ascendente 130 derivada da representação de sinal de mistura descendente compreende as desejadas características estáticas. Alternativamente, o processador de sinal 150 pode tentar separar os sinais de objetos de áudio da pluralidade de objetos de áudio, que estão combinados na representação de sinal de mistura descendente 110, usando o conhecimento acerca das caracteristicas do objeto e do processo de mistura descendente. Deste modo, o processador de sinal pode calcular uma regra de processamento (por exemplo, uma regra de escalonamento ou uma regra de combinação linear), que pode permitir a reconstrução dos sinais individuais de objetos de áudio ou, pelo menos, dos sinais de áudio que têm caracteristicas estáticas semelhantes às dos sinais individuais de objetos de áudio. O processador de sinal 150 pode então aplicar o processamento desejado para obter a representação de sinal de mistura ascendente. Naturalmente, a computação de sinais de objetos de áudio reconstruídos, que aproximam os sinais de objetos de áudio individuais originais, e o processamento podem ser combinados numa única etapa de processamento de modo a reduzir a complexidade computacional.
Para resumir o acima dito, o descodificador de sinal de áudio é configurado para fornecer a representação de sinal de mistura ascendente 130 com base na representação de sinal de mistura descendente 110 e a informação paramétrica relacionada ao objeto 112 usando a informação de processamento 120. A informação paramétrica relacionada ao objeto 112 é avaliada para ter um conhecimento acerca das caracteristicas estáticas dos sinais individuais de objetos de áudio e da relação entre os sinais individuais de objetos de áudio, que é exigido pelo processador de sinal 150. Por exemplo, a informação paramétrica relacionada ao objeto 112 é usada para obter uma matriz da variância estimada que descreve valores de covariância estimados dos sinais individuais de objetos de áudio. A matriz de covariância estimada é então aplicada pelo processador de sinal 150 para determinar uma regra de processamento (por exemplo, como discutido acima) para derivar a representação de sinal de mistura ascendente 130 a partir da representação de sinal de mistura descendente 110, em que, naturalmente, outras informações relacionadas ao objeto podem também ser exploradas. O determinador de parâmetros de objeto 140 compreende diversos modos para obter os valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados, que constituem uma importante informação de entrada para o processador de sinal 150. Num primeiro modo, os valores de correlação inter-objetos são determinados usando valores individuais de parâmetros de fluxo de bits de correlação inter-objetos. Por exemplo, pode haver um valor individual de parâmetros de fluxo de bits de correlação inter-objetos para cada par de objetos de áudio relacionados, de tal modo que o determinador de parâmetros de objeto 140 simplesmente mapeia tal valor individual de parâmetros de fluxo de bits de correlação inter-objetos em um ou dois valores de correlação inter-objetos associados a um determinado par de objetos de áudio relacionados. Por outro lado, há também um segundo modo de operação, no qual o determinador de parâmetros de objeto 140 meramente lê um único valor comum de parâmetros de fluxo de bits de correlação inter-objetos a partir do fluxo de bits e fornece uma pluralidade de valores de correlação inter-objetos para uma pluralidade de diferentes pares de objetos de áudio relacionados com base neste único valor comum de parâmetros de fluxo de bits de correlação inter-objetos. Deste modo, os valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados podem, por exemplo, ser idênticos ao valor representado pelo único valor comum de parâmetros de fluxo de bits de correlação inter-objetos, ou pode ser derivado a partir do mesmo valor comum de parâmetros de fluxo de bits de correlação inter-objetos. O determinador de parâmetros de objeto 140 é comutável entre o primeiro modo referido e o segundo modo referido na dependência do parâmetro de sinalização do fluxo de bits ("bsOnelOC").
Da mesma maneira, há diversos modos para o fornecimento dos valores de correlação inter-objetos, que podem ser aplicados pelo determinador de parâmetros de objeto 140. Se há um número de pares de objetos de áudio relativamente pequeno, os valores de correlação inter-objetos para os referidos pares de objetos de áudio relacionados são tipicamente (dependendo do parâmetro de sinalização do fluxo de bits) determinados individualmente pelo determinador de parâmetros de objeto, o que permite uma representação particularmente precisa das caracteristicas dos referidos pares de objetos de áudio relacionados e, consequentemente, proporciona a possibilidade de reconstruir os sinais individuais de objetos de áudio com boa precisão no processador de sinal 150. Portanto, é tipicamente possivel fornecer uma boa impressão de audição no caso em que apenas as correlações entre um número comparativamente pequeno de pares de objetos de áudio relacionados são relevantes. O segundo modo de operação do determinador de parâmetros de objeto, no qual um valor comum de parâmetros de fluxo de bits de correlação inter-objetos é usado para obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados, é tipicamente usado em casos em que há correlações não insignificantes entre uma pluralidade de pares de objetos de áudio. Convencionalmente tais casos não podem ser tratados sem que aumente excessivamente a taxa de bits de um fluxo de bits representando tanto a representação de sinal de mistura descendente 110 como a informação paramétrica relacionada ao objeto 112. O uso de um valor comum de parâmetros de fluxo de bits de correlação inter-objetos proporciona vantagens especificas se não existirem correlações não insignificantes entre um número de pares de objetos de áudio comparativamente grande, cujas correlações não compreendem variações acústicas significantes. Neste caso, é possivel considerar as correlações com moderado esforço de taxa de bits, o que proporciona um compromisso razoavelmente bom entre os requisitos de taxa de bits e a qualidade da impressão de adição.
Deste modo, o descodificador de sinal de áudio 100 é capaz de tratar eficientemente de diversas situações, particularmente em situações em que há apenas uns poucos pares de objetos de áudio relacionados, a sua correlação inter-objetos deve ser levada em consideração com grande precisão, e em situações nas quais há um grande número de pares de objetos de áudio relacionados, as suas correlações não devem ser negligenciadas por inteiro mas têm alguma semelhança. O descodificador de sinal de áudio 100 é capaz de tratar de ambas as situações com uma boa qualidade de impressão de audição. 2. Codificador de Sinal de Áudio de acordo com a Fig. 2 A seguir, será descrito um codificador de sinal de áudio 200 fazendo referência à Fig. 2, que mostra um diagrama de blocos esquemático de um tal codificador de sinais de áudio 200. O codificador de sinal de áudio 200 é configurado para receber uma pluralidade de sinais de objetos de áudio 210a a 210N. Os sinais de objetos de áudio 210a a 210N podem, por exemplo, ser sinais de um canal ou sinais de dois canais representando objetos de áudio diferentes. O codificador de sinal de áudio 200 é também configurado para fornecer uma representação de fluxo de bits 220, que descreve a cena de audição representada pelos sinais de objetos de áudio 210a a 210N de forma compacta e eficiente em taxa de bits. O codificador de sinal de áudio 200 compreende um misturador descendente 220, que é configurado para receber os sinais de objetos de áudio 210a a 210N e fornecer um sinal de mistura descendente 232 com base nos sinais de objetos de áudio 210a a 210N. 0 misturador descendente 230 é configurado para fornecer o sinal de mistura descendente 232 dependendo dos parâmetros de mistura descendente que descrevem contribuições dos sinais de objetos de áudio 210a a 210N para o um ou mais canais do sinal de mistura descendente. O codificador de sinal de áudio também compreende um fornecedor de parâmetros 240, que é configurado para fornecer um valor comum de parâmetros de fluxo de bits de correlação inter-objetos 242 associado a uma pluralidade de pares de sinais de objetos de áudio relacionados 210a a 210N. O fornecedor de parâmetros 240 é também configurado para fornecer um parâmetro de sinalização de fluxo de bits 244 que indica que o valor comum de parâmetros de fluxo de bits de correlação inter-objetos 242 é fornecido em vez de uma pluralidade de parâmetros individuais de fluxos de bits de correlação inter-objetos (individualmente associados a diferentes pares de objetos de áudio). O codificador de sinal de áudio 200 também compreende um formatador de fluxo de bits 250, que é configurado para fornecer uma representação de fluxo de bits 250 que compreende uma representação de sinal de mistura descendente 232 (por exemplo, uma representação codificada do sinal de mistura descendente 232), uma representação do valor comum de parâmetros de fluxo de bits de correlação inter-objetos 242 (por exemplo, uma representação quantizada e codificada do mesmo) e o parâmetro de sinalização de fluxo de bits 44 (por exemplo, na forma de um valor de parâmetro de um bit). O descodificador de sinal de áudio 200 consequentemente fornece uma representação de fluxo de bits 220, que representa a cena de áudio descrita pelos sinais de objetos de áudio 210a a 210N com boa precisão. Em particular, a representação de fluxo de bits 220 compreende uma informação lateral compacta se muitos dos sinais de objetos de áudio 210a a 210N são relacionados mutuamente, ou seja, compreendem uma correlação inter-objetos não insignificante. Neste caso, o valor comum de parâmetros de fluxo de bits de correlação inter-objetos 242 é fornecido em vez de valores individuais de parâmetros de fluxo de bits de correlação inter-objetos individualmente associados a pares de objetos de áudio. Deste modo, o codificador de sinal de áudio pode fornecer uma representação compacta de fluxo de bits 220 em qualquer caso, tanto no caso de existirem muitos pares relacionados de sinais de objetos de áudio 210a a 210N como no caso de existirem apenas uns poucos pares de sinais de objetos de áudio relacionados 210a a 210N. Em particular, a representação de fluxo de bits 220 pode compreender a informação solicitada pelo descodificador de sinal de áudio 100 como uma informação de entrada, especificamente, a representação de sinal de mistura descendente 110 e a informação paramétrica relacionada ao objeto 112. Assim, o fornecedor de parâmetros 240 pode ser configurado para fornecer informações paramétricas relacionadas ao objeto adicionais que descrevem os sinais de objetos de áudio 210a a 210N assim como o processo de mistura descendente efetuado pelo misturador descendente 230. Por exemplo, o fornecedor de parâmetros 240 pode adicionalmente fornecer uma informação de diferença de nível de objeto OLD que descreve os níveis de objeto (ou diferenças de nível de objeto) dos sinais de objetos de áudio 210a a 210N. Ainda mais, o fornecedor de parâmetros 240 pode fornecer uma informação de ganho de mistura descendente DMG que descreve ganhos de mistura descendente aplicados aos sinais de objetos de áudio individuais 210a a 210N quando o um ou mais canais do sinal de mistura descendente 232 estiverem a ser formados. Valores de diferença de nível de canal de mistura descendente DCLD, que descrevem diferenças de ganho de mistura descendente entre diferentes canais do sinal de mistura descendente 232, podem também, opcionalmente, ser fornecidos pelo fornecedor de parâmetros 240 para inclusão na representação de fluxo de bits 220.
Para resumir o acima dito, o codificador de sinal de áudio fornece eficientemente as informações paramétricas relacionadas ao objeto necessárias para a reconstrução da cena de áudio descrita pelos sinais de objetos de áudio 210a a 210N com uma boa impressão de audição, em que um valor comum de parâmetros de fluxo de bits de correlação inter-objetos compacto é usado no caso de existir um número grande de pares de objetos de áudio relacionados. Isto é sinalizado usando o parâmetro sinalizador de fluxo de bits 244. Portanto, uma carga excessiva de fluxo de bits é evitada em tal caso.
Mais detalhes referentes ao fornecimento de uma representação de fluxo de bits serão descritos abaixo. 3. Fluxo de bits de acordo com a Fig. 3 A Fig. 3 mostra uma representação esquemática de um fluxo de bits 300. O fluxo de bits 300 pode, por exemplo, servir como um fluxo de bits de entrada do descodif icador de sinal de áudio 100, transportando a representação de sinal de mistura descendente 110 e a informação paramétrica relacionada ao objeto 112. O fluxo de bits 300 pode ser fornecido como um fluxo de bits de sarda 220 pelo codificador de sinal de áudio 200. O fluxo de bits 300 compreende uma representação de sinal de mistura descendente 310, que é uma representação de um sinal de um canal ou multicanal de mistura descendente (por exemplo, o sinal de mistura descendente 232) combinando sinais de áudio de uma pluralidade de objetos de áudio. O fluxo de bits 300 também compreende informação lateral paramétrica relacionada ao objeto 320 que descreve caracteristicas dos objetos de áudio, cujos sinais de objetos de áudio são representados, de forma combinada, pela representação de sinal de mistura descendente 310. A informação lateral paramétrica relacionada ao objeto 320 compreende um parâmetro de sinalização de fluxo de bits 322 que indica se o fluxo de bits compreende parâmetros individuais de fluxo de bits de correlação inter-objetos (individualmente associados a diferentes pares de objetos de áudio) ou um valor comum de parâmetros de fluxo de bits de correlação inter-objetos (associado a uma pluralidade de diferentes pares de objetos de áudio). A informação lateral paramétrica relacionada ao objeto também compreende uma pluralidade de valores individuais de parâmetros de fluxo de bits de correlação inter-objetos 324a, que é indicada por um primeiro estado do parâmetro de sinalização de fluxo de bits 322, ou um valor comum de parâmetros de fluxo de bits de correlação inter-objetos, que é indicado por um segundo estado do parâmetro de sinalização do fluxo de bits 322.
Deste modo, o fluxo de bits 300 pode ser adaptado às caracteristicas de relacionamento dos sinais de objetos de áudio 210a a 210N pela adaptação do formato do fluxo de bits 300 para conter a representação dos valores individuais de parâmetros de fluxo de bits de correlação inter-objetos ou uma representação de um valor comum de parâmetros de fluxo de bits de correlação inter-obj etos. O fluxo de bits 300 pode, consequentemente, fornecer a possibilidade de codificar eficientemente diferentes tipos de cenas de áudio com uma informação lateral compacta, e ao mesmo tempo manter a possibilidade de obter uma boa impressão de audição no caso em que há poucos objetos de áudio fortemente correlacionados.
Mais detalhes referentes ao fluxo de bits serão a seguir discutidos. 4. 0 sistema MPEG SAOC de acordo com a Fig. 4 A seguir, será descrito um sistema MPEG SAOC que usa um único parâmetro de cálculo IOC fazendo referência à Fig. 4. 0 sistema MPEG SAOC 400 de acordo com a Fig. 4 compreende um codificador SAOC 410 e um descodificador SAOC 420. O codificador SAOC 410 é configurado para receber uma pluralidade de, por exemplo, L sinais de objetos de áudio 420a a 420N. O codificador SAOC 410 é configurado para fornecer uma representação de sinal de mistura descendente 430 e uma informação lateral 432, que são, de preferência, mas não necessariamente, incluídas num fluxo de bits. O codificador SAOC 410 compreende um processador SAOC de mistura descendente 440, que recebe os sinais de objetos de áudio 420a a 420N e fornece a representação de sinal de mistura descendente 430 com base nos mesmos. O codificador SAOC 410 também compreende um extrator de parâmetros 444, que pode receber os sinais de objetos 420a a 420N e que pode opcionalmente, também receber uma informação acerca do processamento de mistura descendente 440 (por exemplo, um ou mais parâmetros de mistura descendente). O extrator de parâmetros 444 compreende um calculador único de correlação inter-objetos 448, que é configurado para calcular um único (comum) valor de correlação inter-objetos associado a uma pluralidade de pares de objetos de áudio. Adicionalmente, o calculador único de correlação inter-objetos 448 é configurado para fornecer uma única sinalização de correlação inter-objetos 452, que indica se um valor único de correlação inter-objetos é usado em vez de valores individuais de pares de objetos de correlação inter-objetos. O calculador único de correlação inter-objetos 448 pode, por exemplo, decidir com base em uma análise dos sinais de objetos de áudio 420a a 420N se um único valor comum de correlação inter-objetos (ou, alternativamente, uma pluralidade de valores individuais de parâmetros de correlação inter-objetos associados individualmente a pares de sinais de objetos de áudio) é fornecido. No entanto, o calculador único de correlação inter-objetos 448 pode também receber uma informação de controlo externo que determina se um valor comum de correlação inter-objetos (por exemplo, um valor de parâmetros de fluxo de bits) ou valores individuais de correlação inter-objetos (por exemplo, valores de parâmetros de fluxo de bits) devem ser calculados. O extrator de parâmetros 444 é também configurado para fornecer uma pluralidade de parâmetros que descrevem os sinais de objetos de áudio 420a a 420N, como, por exemplo, parâmetros de diferença de nível de objeto. O extrator de parâmetros 444 é também, de preferência, configurado para fornecer parâmetros que descrevem a mistura descendente, como, por exemplo, um conjunto de parâmetros de ganho de mistura descendente DMG e um conjunto de parâmetros de diferenças de nível de canal de mistura descendente DCLD. O codificador SAOC 410 compreende uma quantização 456, que quantiza os parâmetros fornecidos pelo extrator de parâmetros 444. Por exemplo, o parâmetro comum de correlação inter-objetos pode ser quantizado pela quantização 456. Adicionalmente, os parâmetros de diferença de nível de objeto, os parâmetros de ganho de mistura descendente e os parâmetros de diferença de nível de canal de mistura descendente podem também ser quantizados pela quantização 456. Desta maneira, os parâmetros quantizados são obtidos pela quantização 456. O codificador SAOC 410 também compreende uma codificação sem ruído 460, que é configurada para codificar os parâmetros quantizados fornecidos pela quantização 456. Por exemplo, a codificação sem ruído pode codificar silenciosamente o parâmetro comum de correlação inter-objetos quantizado e também os outros parâmetros quantizados (por exemplo, OLD, DMG e DCLD).
Deste modo, o descodificador SAOC 410 fornece a informação lateral 432 de tal maneira que a informação lateral compreende o sinalizador único IOC 452 (que pode ser considerado como um parâmetro de sinalização do fluxo de bits) e os parâmetros codificados sem ruído fornecidos pela codificação sem ruído 480 (que podem ser considerados valores de parâmetros de fluxo de bits). O descodificador SAOC 420 é configurado para receber a informação lateral 432 fornecida pelo codificador SAOC 410 e a representação de sinal de mistura descendente 430 fornecida pelo codificador SAOC 410. O descodificador SAOC 420 compreende uma descodificação sem ruído 464, que é configurada para reverter a codificação sem ruído 460 da informação lateral 432 efetuada no codificador 410. O descodificador SAOC 420 também compreende uma desquantização 468, que pode também ser considerada como uma quantização inversa (embora, a rigor, uma quantização não seja reversível com exatidão perfeita), em que a desquantização 468 é configurada para receber a informação lateral descodificada 466 a partir da descodificação sem ruído 464. A desquantização 468 fornece os parâmetros desquantizados 470, por exemplo, os valores comuns de correlação inter-objetos descodificados e desquantizados fornecidos pelo calculador único de correlação inter-objetos 448 e também os valores de diferenças de nível de objeto OLD descodificados e desquantizados, os valores de ganho de mistura descendente DMG descodificados e desquantizados e os valores das diferenças de nível de canais de mistura descendente DCLD descodificados e desquantizados. O descodificador SAOC 420 também compreende um expansor único de correlação inter-objetos 474, que é configurado para fornecer uma pluralidade de valores de correlação inter-objetos associados a uma pluralidade de pares de objetos de áudio relacionados com base no valor comum de correlação inter-objetos. No entanto, deve ser salientado que o expansor único de correlação inter-objetos 474 pode ser disposto antes da descodificação sem ruído 464 e da desquantização 468 em alqumas formas de realização. Por exemplo, o expansor único de correlação inter-objetos 474 pode ser integrado num analisador de fluxo de bits, que recebe um fluxo de bits que compreende tanto a representação de sinal de mistura descendente 430 como a informação lateral 432. O descodificador SAOC 420 também compreende um descodificador SAOC de processamento e de mistura 480, que é configurado para receber a representação de sinal de mistura descendente 430 e os parâmetros descodificados incluídos (de modo codificado) na informação lateral 432. Portanto, o descodificador SAOC de processamento e de mistura 480 pode, por exemplo, receber um ou dois valores de correlação inter-objetos para cada par de (diferentes) objetos de áudio, em que os um ou dois valores de correlação de inter-objetos podem ser nulos para objetos de áudio não relacionados e não-nulos para objetos de áudio relacionados. Adicionalmente, o descodificador SAOC de processamento e de mistura 480 pode receber valores de diferença de nível de objeto para cada objeto de áudio. Adicionalmente, o descodificador SAOC de processamento e de mistura 480 pode receber valores de ganho de mistura descendente e (opcionalmente) valores de diferença de nível de canal de mistura descendente que descrevem a mistura descendente efetuada no processamento SAOC de mistura descendente 440. Deste modo, o descodificador SAOC de processamento e de mistura 480 pode fornecer uma pluralidade de sinais de canal 484a a 484N na dependência da representação de sinal de mistura descendente 430, dos parâmetros da informação lateral incluídos na informação lateral 432 e de uma informação de interação 482, que descreve um processamento desejado dos objetos de áudio. No entanto, deve-se salientar que os canais 484a a 484N podem ser representados ou na forma de sinais individuais de canal de áudio ou na forma de uma representação paramétrica, como, por exemplo, uma representação multicanal conforme a norma MPEG Surround (compreendendo, por exemplo, um sinal de ambiente MPEG Surround de sinal de mistura descendente e uma informação lateral relacionada ao canal MPEG Surround). Por outras palavras, tanto uma representação de sinal individual de canal de áudio como uma representação paramétrica multicanal de sinal de áudio serão consideradas como uma representação de sinal de mistura ascendente dentro da presente descrição. A seguir, serão descritos alguns detalhes referentes à funcionalidade do codificador SAOC 410 e do descodificador SAOC 420 . A informação lateral SAOC, que será discutida a seguir, exerce um papel importante na codificação SAOC e na descodificação SAOC. A informação lateral SAOC descreve os objetos de entrada (objetos de áudio) por meio da sua matriz de covariância de tempo/frequência variante. Os sinais de objetos N 420a a 420N (também às vezes brevemente denominados "objetos") podem ser escritos como linhas numa matriz:
Aqui, as entradas Sj_(l) designam valores espectrais de um objeto de áudio que tem índice de objeto de áudio i para uma pluralidade de porções temporais que têm índices de tempo 1. Um bloco de sinal de L amostras representa o sinal num intervalo de tempo e frequência que é parte da cobertura perceptualmente motivada do plano tempo-frequência que se aplica para a descrição das propriedades do sinal.
Aqui, a matriz de covariância é dada por com
A matriz de covariância é tipicamente usada pelo descodificador SAOC de processamento e de mistura 480 para obter os sinais de canal 484a a 484N.
Os elementos diagonais podem ser diretamente reconstruídos no lado do descodif icador SAOC com os dados OLD, e os elementos não diagonais são dados pelas correlações inter-objetos (IOCs) como
Deve ser salientado que os valores das diferenças de nível de objetos descrevem sm e sn. O número de valores de correlação inter-objetos necessários para transportar a matriz de covariância inteira é N*N/2-N/2. Como este número pode crescer muito (por exemplo, para um número N grande de sinais de objetos), resultando numa alta demanda de bits, o codificador SAOC 410 (assim como o codificador de sinal de áudio 200) pode, opcionalmente, transmitir apenas valores de correlação inter-objetos selecionados para pares de objetos, que são sinalizados para serem "relacionados" uns aos outros. Esta informação "relacionados" opcional é, por exemplo, transportada estaticamente numa configuração específica SAOC de elemento de sintaxe de fluxo de bits, que pode, por exemplo, ser indentifiçada com "ConfigEspecSAOC" (SAOCSpecificConfigO. Objetos que não são relacionados mutuamente, são, por exemplo, admitidos ser não-correlacionados, ou seja, a sua correlação inter-objetos é nula.
No entanto, existem cenários de aplicação em que todos os objetos (ou quase todos os objetos) são relacionados uns aos outros. Um exemplo de um tal cenário de aplicação é uma conferência telefónica com uma configuração de microfone e acústica do espaço com um alto grau de conversas cruzadas por microfone. Nestes casos, a transmissão de todos os valores de IOC seria necessária (se o mecanismo convencional acima citado for usado), mas normalmente excederia o orçamento de bits desejado). Como alternativa, admitir que todos os objetos são não correlacionados induziria a um grande erro no modelo e, portanto, acarretaria qualidade de áudio abaixo de ótima na cena processada. 0 pressuposto subjacente da abordagem proposta é que, para certos cenários de aplicação SAOC, fontes de som não-correlacionadas resultam em objetos de entrada SAOC correlacionados devido ao ambiente acústico onde eles estão localizados e devido às técnicas de gravação aplicadas.
Considerando uma configuração para conferência telefónica, por exemplo, o impacto da reverberação ambiental e o isolamento imperfeito dos altifalantes individuais leva a objetos SAOC correlacionados, embora a conversação dos sujeitos individuais não seja correlacionada. Estas circunstâncias acústicas e a correlação resultante podem ser aproximadamente descritas com um único valor de variação de frequência e de tempo.
Portanto, o método proposto contorna com sucesso a alta demanda de taxa de bits para transportar todas as correlações de objetos desejadas. Isto é feito calculando um único valor de IOC dependente de tempo/frequência num calculador dedicado "único calculador de IOC" módulo 448 no codificador SAOC (ver Fig. 4) . A utilização da caracteristica "único IOC" é sinalizada na informação SAOC (por exemplo, usando o parâmetro sinalizador de fluxo de bits "bsOnelOC") . 0 único valor IOC por unidade de tempo/frequência é então transmitido em vez de todos os valores separados de IOC (por exemplo, usando o valor comum de parâmetros de fluxo de bits de correlação inter-objetos).
Numa aplicação típica, o cabeçalho de fluxo de bits (por exemplo, o elemento "SAOCSpecificConfig()" de acordo com as não pré-publicadas normas SAOC [SAOC]) inclui um bit que indica se é usada a sinalização "único IOC" ou a sinalização IOC "normal". Alguns detalhes relativos a este assunto serão discutidos abaixo. 0 quadro de dados de carga útil (por exemplo, o "quadro SAOC()" elemento nas Normas SAOC não-pré-publicadas [SAOC]) então inclui IOCs comuns a todos os objetos ou vários IOCs dependendo do modo "único IOCs" ou "normal".
Aqui, um analisador de fluxo de bits (que pode ser parte do descodificador SAOC) para os dados de carga útil no descodificador pode ser concebido de acordo com o exemplo abaixo (que é formulado num pseudo-código C): se (Modo ioc == ÚNICO_IOC) {
LeiaDadosIocDeFluxoDeBits (1); } ou { leiaDadosIocDeFluxoDeBits (númeroDelocsTransmitidos); }
De acordo com o exemplo acima, o analisador do fluxo de bits verifica se o sinalizador "Modoioc" (também chamado "bsOnelOC" [bsUmIOC] na sequência) indica se há apenas um único valor de parâmetros de fluxo de bits de correlação inter-objetos (que é sinalizado pelo valor do parâmetro "ÚNICO IOC" ("SINGLE IOC"). Se o analisador do fluxo de bits verifica que somente há um único valor de correlação inter-objetos, o analisador de fluxo de bits lê uma unidade de dados de correlação inter-objetos (ou seja, um valor de parâmetros de fluxo de bits de correlação inter-objetos) a partir do fluxo de bits, que é indicado pela operação "LêDadosIocDoFluxoDeBits (1)". Se, ao contrário, o analisador de fluxo de bits verifica que o sinalizador "Modoioc" não indica o uso de um único (comum) valor de correlação inter-objetos, o analisador do fluxo de bits lê um número diferente de unidades de dados de correlação inter-objetos (p.ex., valores de parâmetros de fluxo de bits de correlação inter-objetos) a partir do fluxo de bits, que é indicado pela função "lêDadosIocDoFluxoDeBits (númeroDelocsTransmitidos) ") . 0 número ("númeroDelocsTranmitidos") de unidades de dados de correlação inter-objetos lidas neste caso é tipicamente determinado por um número de pares de objetos de áudio relacionados.
Alternativamente, a sinalização "único IOC" pode estar presente no quadro de carga útil (por exemplo, no chamado "QuadroSAOC()" elemento nas não-pré-publicadas Normas SAOC) para permitir a comutação dinâmica entre o modo único de IOC e o modo normal IOC numa base por quadro. 5. Implementação no Lado do Codificador do Cálculo de Um Parâmetro Comum de Fluxo de Bits de Correlação Inter-Objetos
Em seguida, serão descritas algumas implementações preferidas para o cálculo de IOC único (IOCúnico) (IOCSingie) · 5.1. Cálculo usando Termos de Energia Cruzada
Numa forma de realização preferida do codificador SAOC 410, o valor comum de parâmetros de fluxo de bits de correlação inter-objetos IOCSingie (lOCúnico) pode ser computado de acordo com a seguinte equação:
com os termos de energia cruzada
onde n e k são as instâncias de tempo e de frequência (ou índices de tempo e de frequência) para as quais o parâmetro SAOC se aplica.
Por outras palavras, o valor comum de parâmetros de fluxo de bits de correlação inter-ob j etos IOCsirigie (lOCúnico) pode ser computado na dependência de uma relação entre uma soma de termos de energia cruzada nrgij (em que o objeto índice i é tipicamente diferente do objeto índice j) e uma soma de valores médios de energia Jnrg^nrg^ (cujos valores médios de energia representam, por exemplo, uma média geométrica entre os valores de energia nrgii e nrgjj) . A somatória pode ser feita, por exemplo, para todos os pares de diferentes objetos de áudio, ou apenas para os pares de objetos de áudio relacionados. O termo de energia cruzada nrggj pode, por exemplo, ser formado como uma soma de produtos complexo-con j ugados (com um dos fatores sendo complexo-conjugado) dos coeficientes espectrais sin,k, Sjn,k associados aos sinais de objetos de áudio do par de objetosde áudio em consideração para uma pluralidade de instâncias de tempo (com indices de tempo n) e/ou uma pluralidade de instâncias de frequência (com indices de frequência k).
Uma parte real da referida razão pode ser formada (por exemplo, por uma operação Re { }) para ter um valor comum de parâmetros de fluxo de bits de correlação inter-objetos IOCSingie corretamente calculado, como mostrado na equação acima. 5.2. Uso de um Valor Constante
Numa outra forma de realização preferida, um valor constante c pode ser escolhido para obter o valor comum de parâmetros de fluxo de bits de correlação inter-objetos IOCsirigie de acordo com
com c sendo uma constante.
Esta constante c pode, por exemplo, descrever uma conversação cruzada independente de tempo e frequência em uma sala com acústica especifica (total de reverberação) onde acontece uma conferência telefónica. A constante c pode, por exemplo, ser estabelecida de acordo com uma estimativa da acústica da sala, que pode ser efetuada pelo codificador SAOC. Alternativamente, a constante c pode ser introduzida via uma interface de utilizador, ou pode ser predeterminada no codificador SAOC 410. 6. - Determinação no Lado do Descodificador dos Valores de
Correlação Inter-objetos para todos os Pares de Objetos A seguir, descrever-se-á como os valores de correlação inter-objetos para todos os pares de objetos podem ser obtidos.
No lado do descodificador (por exemplo, no descodificador SAOC 420), o parâmetro único (de fluxo de bits) de correlação inter-ob j etos (IOCSingie) é usado para determinar os valores de correlação inter-objetos para todos os pares de objetos. Isto é feito, por exemplo, no módulo "Single IOC Expander" (Expansor IOC Único) 474 (ver Fig. 4).
Um método preferido é uma simples operação de cópia. A cópia pode ser aplicada considerando ou não a informação "relativo a" transportada, por exemplo, no cabeçalho SAOC do fluxo de bits (por exemplo, na parte "SAOCSpecificConfiguration()" "ConfiguraçãoEspecíficaSAOC".
Numa forma de realização preferida, uma cópia sem a informação "relativo a" (ou seja, sem transferir ou considerar uma informação "relativo a") pode ser efetuada da seguinte maneira: IOCmn = IOCsingie, para todos os m, n com m + n.
Portanto, todos os valores de correlação inter-objetos para pares de objetos de áudio diferentes são definidos para os valores comuns de parâmetros (de fluxo de bits) de correlação inter-obj etos.
Noutra forma de realização preferida, uma cópia com a informação "relativo a" (ou seja, levando em consideração a informação "relativo a") , é efetuada, por exemplo, da seguinte maneira:
Deste modo, um ou mesmo dois valores de correlação inter-objetos associados a um par de objetos de áudio (com índices de objetos de áudio men) são ajustados ao valor IOCSingie especificado, por exemplo, pelo valor comum de parâmetros de fluxo de bits de correlação inter-objetos, se a informação do relacionamento de objeto "relativo a (m,n)" indica que os referidos objetos de áudio estão relacionados mutuamente. De outra forma, ou seja, se a informação de relacionamento de objeto "relativo a (m,n)" indica que os objetos de áudio de um par de objetos de áudio não estão relacionados, um ou mesmo dois valores de correlação inter-objetos associados ao par de objetos de áudio são estabelecidos a um predeterminado valor, por exemplo, a zero.
No entanto, métodos diferentes de distribuição são possíveis, por exemplo, levando em consideração a enerqia do objeto. Por exemplo, valores de correlação inter-objetos relativos a objetos com relativamente baixa energia podem ser ajustados a valores altos, tais como 1 (correlação plena), para minimizar a influência do filtro de dêscorrelação no descodificador SAOC. 7. Conceito de Descodificador usando Elementos de Fluxo de Bits de acordo com as Figs. 5 e 6 A seguir, será descrito um conceito de descodificador de um descodificador de sinal de áudio que usa os elementos de sintaxe de fluxo de bits de acordo com as Figs. 5 e 6. Deve-se salientar aqui que o conceito de sintaxe de fluxo de bits e de avaliação de fluxo de bits, que serão descritos com referência às Figs. 5 e 6, podem ser aplicados, por exemplo, no descodificador de sinal de áudio 100 de acordo com a Fig. 1 e no descodificador de sinal de áudio 420 de acordo com a Fig. 4. Adicionalmente, deve-se salientar que o codificador de sinal de áudio 200 de acordo com a Fig. 2 e o descodif icador de sinal de áudio 410 de acordo com a Fig. 4 podem ser adaptados para fornecer elementos de sintaxe de fluxo de bits como discutido em relação às Figs. 5 e 6.
Deste modo, o fluxo de bits compreendendo a representação de sinal de mistura descendente 110 e a informação paramétrica relacionada ao objeto 112 e/ou a representação do fluxo de bits 220 e/ou o fluxo de bits 300 e/ou um fluxo de bits compreendendo a informação de mistura descendente 430 e a informação lateral 432, pode ser fornecido de acordo com a seguinte descrição.
Um fluxo de bits SAOC, que pode ser fornecido pelos codificadores SAOC acima descritos e que pode ser avaliado pelos descodificadores SAOC acima descritos pode compreender uma porção de configuração específica SAOC, que será descrita a seguir, fazendo referência à Fig. 5, que mostra a representação da sintaxe de uma tal porção de configuração específica SAOC "SAOCSpecificConfig()" [Con fig.Esped ficaSAOC]. A informação de configuração específica SAOC compreende, por exemplo, informação de configuração de frequência de amostragem, que descreve uma frequência de amostragem usada por um codificador de sinal de áudio e/ou para ser usada por um descodificador de sinal de áudio. A informação de configuração específica SAOC também compreende uma informação de configuração de modo de baixo atraso, que descreve se um modo de baixo atraso foi usado por um codificador de sinal de áudio e/ou deve ser usado por um descodif icador de sinal de áudio. A informação de configuração específica SAOC também compreende uma informação de configuração de resolução de frequência, que descreve uma resolução de frequência usada por um codificador de sinal de áudio e/ou para ser usada por um descodif icador de sinal de áudio. A informação de configuração específica SAOC também compreende uma informação de configuração de comprimento de quadro que descreve um comprimento de quadro de quadros de áudio usado pelo codificador SAOC e/ou para ser usado pelo descodificador SAOC. A informação de configuração específica SAOC também compreende uma informação de configuração de número de objetos que descreve um número de objetos de áudio. Esta informação de configuração de número de objetos, que é também designada com "bsNumObjects" ("NúmerodeObjetosbs"), descreve, por exemplo, o valor N, que foi usado acima. A informação de configuração especifica SAOC também compreende uma informação de configuração de relacionamento de objetos. Por exemplo, pode haver um bit de fluxo de bits para cada par de objetos de áudio diferentes. No entanto, o relacionamento de objetos de áudio pode ser representado, por exemplo, por uma matriz quadrada N x N que tem uma entrada de bit para cada combinação de objetos de áudio. As entradas da referida matriz que descrevem o relacionamento de um objeto consigo mesmo, ou seja, elementos diagonais, podem ser estabelecidas para um, o que indica que um objeto está relacionado consigo mesmo. Duas entradas, especificamente uma primeira entrada que tem um primeiro indice i e um segundo indice j, e uma segunda entrada que tem um primeiro índice j e um segundo índice i, podem ser associadas com cada par de objetos de áudio diferentes que têm índices de objetos de áudio i e j . Deste modo, um único fluxo de bits determina os valores de duas entradas da matriz de relacionamento de objetos, que são estabelecidos para valores idênticos.
Como se pode ver, um primeiro índice i de objetos de áudio vai de i = 0 a i = bsNumObjetos (externo para loop). Uma entrada diagonal "bsRelatedTo[i] [i]" ("bsRelacionadaCom[i][i]") é estabelecida para um para todos os valores de i. Para um primeiro índice i de objetos de áudio, bits que descrevem um relacionamento entre objetos de áudio i e objetos de áudio j (que têm índice i de objetos de áudio) estão incluídos no fluxo de bits para j = i + laj = bsNúmerodeOb j eto (bsNumOb j ects) . Deste modo, as entradas da matriz de relacionamento "bsRelatedTo [ i ] [j]" ("bsRelacionadaCom [i] [j ]"), que descreve um relacionamento entre os objetos de áudio que têm índices i e j de objetos de áudio, são estabelecidas ao valor dado no fluxo de bits. Adicionalmente, uma entrada de objeto na matriz de relacionamento "bsRelatedTo[j] [i] " é estabelecida para o mesmo valor, ou seja, para o valor da entrada da matriz "bsRelatedTo[i][j]". Para maiores detalhes, faz-se referência à representação de sintaxe da Fig. 5. A informação de configuração especifica SAOC também compreende uma informação absoluta de configuração de transmissão de energia, que descreve se um codificador de áudio inclui uma informação absoluta de energia no fluxo de bits, e/ou se um descodificador de áudio deve avaliar uma informação absoluta de configuração de transmissão de energia incluida no fluxo de bits. A informação de configuração especifica SAOC também compreende uma informação de configuração de número de canais de mistura descendente, que descreve um número de canais de mistura descendente usados pelo codificador de áudio e/ou para serem usados pelo descodificador de áudio. A informação de configuração especifica SAOC pode também compreender informação adicional de configuração, que não é relevante para a presente aplicação e que pode opcionalmente ser omitida. A informação de configuração especifica SAOC também compreende uma informação comum de configuração de correlação inter-objetos (também aqui denominada "parâmetro de sinalização de fluxo de bits") que descreve se um valor comum de parâmetros de fluxo de bits de correlação inter-objetos é incluido no fluxo de bits SAOC, ou se os valores individuais de parâmetros de fluxo de bits de correlação inter-ob j etos de par de objetos estão incluídos no fluxo de bits SAOC. A referida informação comum de configuração de correlação inter-objetos pode, por exemplo, ser denominada "bsOnelOC" (bsUmIOC), e pode ter valor de um bit. A informação de configuração especifica SAOC pode também compreender uma informação de configuração de unidade de controlo de distorção.
Adicionalmente, a informação de configuração especifica SAOC pode compreender um ou mars bits de enchimento, que são denominados "ByteAlign()" [Alinhamento de Bytes()], e que podem ser usados para ajustar os comprimentos da informação de configuração especifica SAOC. Adicionalmente, a informação de configuração especifica SAOC pode compreender informação adicional opcional de configuração "SAOCExtensionConfig() " [ConfigExtensãoSAOCO ] que não é relevante para a pressente aplicação e que, por esta razão, não será discutida aqui.
Deve-se salientar aqui que a informação de configuração especifica SAOC pode compreender mais ou menos que a informação de configuração acima descrita. Por outras palavras, algumas das acima descritas informações de configuração podem ser omitidas em algumas formas de realização, e informações de configuração adicionais podem também ser incluídas em algumas formas de realização.
No entanto, deve ser salientado que informação de configuração especifica SAOC pode, por exemplo, ser incluida uma vez por peça de áudio num fluxo de bits SAOC. No entanto, a informação de configuração especifica SAOC pode, opcionalmente, ser incluida mais frequentemente no fluxo de bits.
Apesar disto, a informação de configuração especifica SAOC é tipicamente fornecida para uma pluralidade de quadros SAOC, porque a informação de configuração especifica SAOC fornece uma significativa sobrecarga de bits.
Em seguida, a sintaxe de um quadro SAOC será descrita fazendo referência à Fig. 6, que mostra uma representação de sintaxe de um tal quadro SAOC. 0 quadro SAOC compreende valores de diferenças de nível de objeto OLD codificados, que podem ser incluídos em termos de banda e por objeto de áudio. 0 quadro SAOC também compreende valores absolutos de energia codificados NRG, que podem ser considerados opcionais, e que podem ser incluídos em termos de banda. 0 quadro SAOC também compreende valores de correlação inter-objetos IOC codificados, que podem ser fornecidos em termos de banda, ou seja, separadamente para uma pluralidade de bandas de frequência, e para uma pluralidade de combinações de objetos de áudio.
Em seguida, o fluxo de bits será descrito em relação às operações que podem ser efetuadas por um analisador de fluxo de bits que analisa o fluxo de bits. 0 analisador de fluxo de bits pode, por exemplo, iniciar variáveis k, iocldxl, iocldx2 ao valor de zero numa primeira etapa preparatória.
Subsequentemente, o analisador de fluxo de bits pode efetuar uma análise para uma pluralidade de valores do primeiro índice i de objetos de áudio entre i = 0 e i = bsNúmeroDeObjetos (externo para loop) . 0 analisador de fluxo de bits pode, por exemplo, estabelecer um valor índice de correlação inter-objetos idxloc[i] [i] que descreve um relacionamento entre o objeto de áudio que tem índice i de objeto de áudio e índice nulo, o que indica uma correlação cheia.
Subsequentemente, um analisador de fluxo de bits pode avaliar o fluxo de bits para valores j de um segundo índice de objetos de áudio entre i + 1 e bsNumObjects. Se os objetos de áudio que têm índices i e j de objetos de áudio são relacionados, o que é indicado por um valor não-nulo de entrada da matriz do relacionamento de objeto "bsRelatedTo[i][j]", o analisador de fluxo de bits executa um algoritmo 610, e por sua vez, o analisador de fluxo de bits estabelece o Índice de correlação inter-objetos associado aos objetos de áudio que têm indices i e j de objetos de áudio em cinco (operação "idxIOC[i] [j] = 5"), o que descreve uma correlação nula. Assim, para pares de objetos de áudio, para os quais a matriz de relacionamento de objetos indica não haver relacionamento, o valor de correlação inter-objetos é estabelecido em zero. Para pares relacionados de objetos de áudio, no entanto, o parâmetro de sinalização de fluxo de bits "bsOnelOC" (bsUmIOC) , que está incluido na configuração especifica SAOC, é avaliado para decidir como proceder. Se o parâmetro de sinalização do fluxo de bits "bsOnelOC" indica que há valores individuais de parâmetros de fluxo de bits de correlação inter-objetos de pares de objetos, uma pluralidade de indices de relacionamento inter-objetos idxIOC[i][j] (que podem ser considerados valores de parâmetros de fluxo de bits de relacionamento inter-objetos) são extraídos do fluxo de bits para bandas de frequência "númBandas" "numBands" usando a função "EcDataSaoc", em que a referida função pode ser usada para descodificar os indices de relacionamento inter-objetos.
No entanto, se o parâmetro de sinalização de fluxo de bits "bsOnelOC" indica que um valor comum de parâmetros de fluxo de bits de correlação inter-objetos é usado para uma pluralidade de objetos de áudio, e idem o parâmetro de fluxo de bits "bsRelatedTo[i][j]" indica que os objetos de áudio que têm indices i e j de objetos de áudio estão relacionados, um único conjunto de uma pluralidade de indices de correlação inter-objetos "idxIOC[i] [j]" é lido do fluxo de bits usando a função "EcDataSaoc" para uma pluralidade de bandas de frequência numBands, em que apenas um único indice de correlação inter-objetos é lido para qualquer banda de frequência dada. No entanto, pela re-execução do algoritmo 610, um indice previamente lido de correlação inter-objetos idxIOC[iocldxl][iocldx2] é copiado sem avaliar o fluxo de bits. Isto é assegurado pelo uso da variável k, que é iniciado em zero e aumentado pela avaliação do primeiro conjunto de índices de correlação inter-objetos idxIOC[i][j].
Para resumir, para cada combinação de dois objetos de áudio, avalia-se primeiramente se os dois objetos de áudio de uma tal combinação são sinalizados como sendo relacionados mutuamente (por exemplo, pela verificação se o valor "bsRelatedTo[i][j]" toma o valor zero ou não) . Se os objetos de áudio do par de objetos de áudio são relacionados, o processamento seguinte 610 é efetuado. De outra forma, o valor "idxIOC[i][j]" associado a este par de objetos de áudio (substancialmente não relacionados) é ajustado a um valor predeterminado, por exemplo, a um valor predeterminado que indica uma correlação inter-objetos nula.
No processamento 610, um valor de fluxo de bits é lido do fluxo de bits para cada par de objetos de áudio (que é sinalizado para compreender objetos de áudio relacionados) se a sinalização "bsOnelOC" está inativa. De outra forma, ou seja, se a sinalização "bsOnelOC" estiver ativa, apenas um valor de fluxo de bits é lido para um par de objetos de áudio, e a referência ao referido par único é mantida estabelecendo os valores dos índices iocldxl e iocldx2 para apontar para este valor lido. O valor único lido é usado novamente para outros pares de objetos de áudio (que são sinalizados como sendo relacionados mutuamente) se a sinalização "bsOnelOC" estiver ativa.
Finalmente, é também assegurado que um mesmo valor de índice de correlação inter-objetos é associado a ambas as combinações de dois determinados objetos de áudio diferentes, independentemente de qual dos dois determinados objetos de áudio é o primeiro objeto de áudio e de qual dos dois determinados objetos de áudio é o segundo objeto de áudio.
Adicionalmente, deve-se salientar que o quadro SAOC tipicamente compreende os valores de ganho de mistura descendente (DMG) codificados numa base por objeto de áudio.
Adicionalmente, o quadro SAOC tipicamente compreende diferenças codificadas de nivel de canal de mistura descendente (DCLD), que podem opcionalmente ser incluídas numa base por -objeto de áudio. 0 quadro SAOC ainda opcionalmente compreende valores de ganho de pós-processamento de mistura descendente (PDG), que podem ser incluídos num modo em termos de banda e por canal de mistura descendente.
Adicionalmente, o quadro SAOC pode compreender parâmetros codificados de unidades de controlo de distorção, que determinam a aplicação de medidas de controlo de distorção.
Além disto, o quadro SAOC pode compreender um ou mars bits de enchimento "ByteAlign()".
Mais ainda, um quadro SAOC pode compreender dados de extensão "SAOCExtensionFrame()" (QuadroEstensãoSAOC) que, no entanto, não são relevantes para a presente aplicação e não serão aqui discutidos em detalhe por esta razão.
Fazendo referência agora à Fig. 7, um exemplo de uma quantização vantajosa do parâmetro de correlação inter-objetos será descrita.
Como se pode ver, um primeira linha 710 de uma tabela da Fig. 7 descreve o indice de quantização idx, que está num intervalo entre zero e sete. Este indice de quantização pode ser alocado à variável "idxIOC[i][j]". Uma segunda linha 720 da tabela da Fig. 7 mostra o valor associado de correlação inter-objetos, e está num intervalo entre -0,99 e 1. Deste modo, os valores dos parâmetros "idxIOC[i] [j]" podem ser mapeados em valores de correlação inter-objetos inversamente quantizados usando o mapeamento da tabela da Fig. 7.
Para concluir, uma porção de configuração SAOC "SAOCSpecificConfig()", de preferência, compreende um parâmetro de fluxo de bits "bsOnelOC" que indica se apenas um único parâmetro IOC é transportado comum a todos os objetos que têm relação mútua, sinalizados por "bsRelatedTo [i] [j] =1". Os valores de correlação inter-objetos são incluídos no fluxo de bits na forma codificada "EcDataSaoc (IOC,k,numBands)". Uma matriz "idxIOC[i] [j]" é montada com base em um ou mais valores de correlação inter-objetos. As entradas da matriz "idxIOC[i][j]" são mapeadas em valores inversamente quantizados usando a tabela de mapeamento da Fig. 7, para obter os valores de correlação inter-objetos inversamente quantizados. Os valores de correlação inter-objetos inversamente quantizados, que são identificados com IOCqj, são usados para obter entradas de uma matriz de covariância. Para esta finalidade, os parâmetros inversamente quantizados de diferenças de nível de objeto são também aplicados, que são identificados com OLDi. A matriz de covariância E de tamanho NxN com elementos e, representa uma aproximação da matriz de covariância do sinal original E»SS* e é obtida a partir dos parâmetros OLD e IOC por
Jourou) f()G, . 7. Alternativas de Implementação
Apesar de alguns aspetos terem sido descritos no contexto de um aparelho, fica claro que estes aspetos também representam uma descrição do método correspondente, onde um bloco ou dispositivo corresponde a uma etapa do método ou a uma característica de uma etapa do método. Analogamente, os aspetos descritos no contexto de uma etapa do método também representam uma descrição de um bloco correspondente ou de um item ou caracterí stica de um aparelho correspondente. Alguma ou todas as etapas dos métodos podem ser executadas por (ou usando) um aparelho de hardware, como, por exemplo, um microprocessador, um computador programável ou um circuito eletrónico. Em algumas formas de realização, alguma ou mais das etapas de métodos mais importantes podem ser executadas por um tal aparelho. 0 sinal de áudio codificado pode ser armazenado num meio de armazenamento digital ou pode ser transmitido via um meio de transmissão, tal como um meio de transmissão sem fios ou um meio de transmissão por fios, tal como a Internet.
Dependendo de certos requisitos de implementação, as formas de realização da invenção podem ser implementadas em hardware ou em software. A implementação pode ser efetuada usando um meio de armazenamento digital, por exemplo uma disquete, um DVD, um Blu-Ray, um CD, um ROM, um PROM, um EPROM, um EEPROM ou uma memória FLASH, tendo sinais de controlo eletronicamente legíveis armazenados no mesmo, que cooperam (ou são capazes de cooperar) com um sistema de computador programável de tal modo que o método respetivo é executado. Portanto, o meio de armazenamento digital pode ser legível em computador.
Em geral, as formas de realização da presente invenção podem ser implementadas como um produto de programa de computador com um código de programa, sendo que o código de programa é operativo para executar um dos métodos quando o produto de programa de computador é executado num computador. 0 código de programa pode, por exemplo, ser armazenado num suporte legível por máquina.
Por outras palavras, uma forma de realização do método inventivo é, portanto, um programa de computador que tem um código de programa para executar um dos métodos aqui descritos, quando o programa de computador é executado num computador.
Em algumas formas de realização, um dispositivo lógico programável (por exemplo, uma rede de portas lógicas programáveis) pode ser usado para executar alguma ou todas as funcionalidades dos métodos aqui descritos. Em algumas formas de realização, uma rede de portas lógicas programáveis pode cooperar com um microprocessador para executar um dos métodos aqui descritos. Em geral, os métodos são, de preferência, executados por qualquer aparelho de hardware.
As formas de realização acima descritas são meramente ilustrativas para os princípios da presente invenção. Deve ser entendido que modificações e variações das disposições e dos detalhes aqui descritos serão evidentes para os peritos na técnica. É intenção, portanto, limitarmo-nos apenas ao âmbito das reivindicações de patente pendentes e não aos detalhes específicos apresentados a título descritivo e de esclarecimento das formas de realização aqui contidas. 8. Referências [BCC] C. Faller and F. Baumgarte, "Binaural Cue Coding -
Part II: Schemes and applications," IEEE Trans, on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003 [JSC] C. Faller, "Parametric Joint-Coding of Audio
Sources", 120th AES Convention, Paris, 2006, Preprint 6752 [SAOC1] J. Herre, S. Disch, J. Hilpert, 0. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of
Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, Abril 2007 [SAOC2] J. Engdegârd, B. Resch, C. Falch, 0. Hellmuth, J. Hilpert, A. Hõlzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers e W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008, Preprint 7377 [SAOC] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC2 9/WG11 (MPEG) FCD 23003-2.
Claims (3)
- REIVINDICAÇÕES1. Um descodificador de sinal de áudio MPEG-SAOC (100; 420) para fornecer uma representação de sinal de mistura ascendente (130; 484a a 484M) com base numa representação de sinal de mistura descendente (110; 430) e numa informação paramétrica relacionada ao objeto (112; 432) e na dependência de uma informação de processamento (120; 482), o aparelho compreendendo: um determinador de parâmetros de objeto (140; 464, 468, 474) configurado para obter valores de correlação inter-objetos (142) para uma pluralidade de pares de objetos de áudio, em que o determinador de parâmetros de objeto é configurado para avaliar um parâmetro de sinalização de fluxo de bits para decidir se se devem avaliar valores individuais de parâmetros de fluxo de bits de correlação inter-objetos para obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados, ou para obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados usando um valor comum de parâmetros de fluxo de bits de correlação inter-objetos dependente de tempo/frequência; e um processador de sinal (150; 480) configurado para obter a representação de sinal de mistura ascendente com base na representação de sinal de mistura descendente e usando valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados, assim como informações de processamento; em que o descodificador de sinal de áudio é configurado para combinar um valor de correlação inter-objetos IOCqj associado a um par de objetos de áudio relacionados com um valor de diferença de nível de objeto OLDí que descreve um nível de objeto de um primeiro objeto de áudio do par de objetos de áudio relacionados e com um valor de diferença de nível de objeto OLDj que descreve um nível de objeto de um segundo objeto de áudio do par de objetos de áudio relacionados, para obter um valor de covariância ei,j associado ao par de objetos de áudio relacionados; em que o descodificador de áudio é configurado para obter um elemento e±,j de uma matriz de covariância de acordo comem que a informação paramétrica relacionada ao objeto (112; 432) compreende o parâmetro de sinalização de fluxo de bits e os valores individuais de parâmetros de fluxo de bits de correlação inter-objetos ou o valor comum de parâmetros de fluxo de bits de correlação inter-objetos dependente de tempo/frequência.
- 2. Um método para fornecer uma representação de sinal de mistura ascendente com base numa representação de sinal de mistura descendente e numa informação paramétrica relacionada ao objeto e na dependência de uma informação de processamento, usando um descodificador MPEG SAOC, o método compreendendo: obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio, em que um parâmetro de sinalização de fluxo de bits é avaliado para decidir se se devem avaliar valores individuais de parâmetros de fluxo de bits de correlação inter-objetos, para obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados ou para obter valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados usando um valor comum de parâmetros de fluxo de bits de correlação inter-objetos dependente de tempo/frequência; e obter a representação de sinal de mistura ascendente com base na representação de sinal de mistura descendente e usando os valores de correlação inter-objetos para uma pluralidade de pares de objetos de áudio relacionados assim como a informação de processamento; em que um valor de correlação inter-objetos IOC±,j associado a um par de objetos de áudio relacionados é combinado com um valor de diferença de nivel de objeto OLDi que descreve um nivel de objeto de um primeiro objeto de áudio do par de objetos de áudio relacionados e com um valor de diferença de nivel de objeto OLDj que descreve um nivel de objeto de um segundo objeto de áudio do par de objetos de áudio relacionados, para obter um valor de covariância e^j associado ao par de objetos de áudio relacionados; em que um elemento e±,j de uma matriz de covariância é obtido de acordo comem que a informação paramétrica relacionada ao objeto (112; 432) compreende o parâmetro de sinalização de fluxo de bits e os valores individuais de parâmetros de fluxo de bits de correlação inter-objetos ou o valor comum de parâmetros de fluxo de bits de correlação inter-objetos dependente de tempo/frequência.
- 3. Um programa de computador adaptado para realizar o método de acordo com a reivindicação 2, quando o programa de computador é executado num computador. Lisboa, 10 de outubro de 2017
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US24668109P | 2009-09-29 | 2009-09-29 | |
| US36950510P | 2010-07-30 | 2010-07-30 | |
| EP10171406 | 2010-07-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| PT2483887T true PT2483887T (pt) | 2017-10-23 |
Family
ID=43085706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PT107574352T PT2483887T (pt) | 2009-09-29 | 2010-09-28 | Descodificador de sinal de áudio mpeg-saoc, método para fornecer uma representação de sinal de mistura ascendente usando descodificação mpeg-saoc e programa de comutador usando um valor comum de parâmetros de correlação inter-objetos dependente de tempo/frequência |
Country Status (17)
| Country | Link |
|---|---|
| US (4) | US9460724B2 (pt) |
| EP (2) | EP3093843B1 (pt) |
| JP (1) | JP5576488B2 (pt) |
| KR (1) | KR101391110B1 (pt) |
| CN (1) | CN102667919B (pt) |
| AR (1) | AR078474A1 (pt) |
| AU (1) | AU2010303039B9 (pt) |
| BR (1) | BR112012007138B1 (pt) |
| CA (1) | CA2775828C (pt) |
| ES (1) | ES2644520T3 (pt) |
| MX (1) | MX2012003785A (pt) |
| MY (1) | MY165328A (pt) |
| PL (2) | PL2483887T3 (pt) |
| PT (1) | PT2483887T (pt) |
| RU (1) | RU2576476C2 (pt) |
| TW (1) | TWI463485B (pt) |
| WO (1) | WO2011039195A1 (pt) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2010303039B9 (en) * | 2009-09-29 | 2014-10-23 | Dolby International Ab | Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value |
| CN108989721B (zh) | 2010-03-23 | 2021-04-16 | 杜比实验室特许公司 | 用于局域化感知音频的技术 |
| US10158958B2 (en) | 2010-03-23 | 2018-12-18 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| KR20120071072A (ko) * | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법 |
| US9754595B2 (en) * | 2011-06-09 | 2017-09-05 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding 3-dimensional audio signal |
| US9299355B2 (en) | 2011-08-04 | 2016-03-29 | Dolby International Ab | FM stereo radio receiver by using parametric stereo |
| EP2560161A1 (en) * | 2011-08-17 | 2013-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optimal mixing matrices and usage of decorrelators in spatial audio processing |
| IN2014CN03413A (pt) | 2011-11-01 | 2015-07-03 | Koninkl Philips Nv | |
| WO2013120510A1 (en) * | 2012-02-14 | 2013-08-22 | Huawei Technologies Co., Ltd. | A method and apparatus for performing an adaptive down- and up-mixing of a multi-channel audio signal |
| EP3748632A1 (en) * | 2012-07-09 | 2020-12-09 | Koninklijke Philips N.V. | Encoding and decoding of audio signals |
| US9190065B2 (en) * | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
| US9489954B2 (en) * | 2012-08-07 | 2016-11-08 | Dolby Laboratories Licensing Corporation | Encoding and rendering of object based audio indicative of game audio content |
| EP2891149A1 (en) | 2012-08-31 | 2015-07-08 | Dolby Laboratories Licensing Corporation | Processing audio objects in principal and supplementary encoded audio signals |
| WO2014108738A1 (en) * | 2013-01-08 | 2014-07-17 | Nokia Corporation | Audio signal multi-channel parameter encoder |
| US10178489B2 (en) * | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
| EP3528249A1 (en) | 2013-04-05 | 2019-08-21 | Dolby International AB | Stereo audio encoder and decoder |
| TWI546799B (zh) * | 2013-04-05 | 2016-08-21 | 杜比國際公司 | 音頻編碼器及解碼器 |
| EP2804176A1 (en) * | 2013-05-13 | 2014-11-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object separation from mixture signal using object-specific time/frequency resolutions |
| EP3005353B1 (en) * | 2013-05-24 | 2017-08-16 | Dolby International AB | Efficient coding of audio scenes comprising audio objects |
| CA3211308A1 (en) | 2013-05-24 | 2014-11-27 | Dolby International Ab | Coding of audio scenes |
| EP2973551B1 (en) | 2013-05-24 | 2017-05-03 | Dolby International AB | Reconstruction of audio scenes from a downmix |
| JP6248186B2 (ja) | 2013-05-24 | 2017-12-13 | ドルビー・インターナショナル・アーベー | オーディオ・エンコードおよびデコード方法、対応するコンピュータ可読媒体ならびに対応するオーディオ・エンコーダおよびデコーダ |
| CN104240711B (zh) * | 2013-06-18 | 2019-10-11 | 杜比实验室特许公司 | 用于生成自适应音频内容的方法、系统和装置 |
| EP2838086A1 (en) | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
| EP2830045A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
| EP2830049A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for efficient object metadata coding |
| EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
| EP2830052A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension |
| KR102243395B1 (ko) * | 2013-09-05 | 2021-04-22 | 한국전자통신연구원 | 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치 |
| US10049683B2 (en) | 2013-10-21 | 2018-08-14 | Dolby International Ab | Audio encoder and decoder |
| WO2015104447A1 (en) | 2014-01-13 | 2015-07-16 | Nokia Technologies Oy | Multi-channel audio signal classifier |
| EP2928216A1 (en) | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
| CN105989845B (zh) | 2015-02-25 | 2020-12-08 | 杜比实验室特许公司 | 视频内容协助的音频对象提取 |
| EP3271918B1 (en) * | 2015-04-30 | 2019-03-13 | Huawei Technologies Co., Ltd. | Audio signal processing apparatuses and methods |
| CN106303897A (zh) * | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
| CN105740029B (zh) * | 2016-03-03 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 一种内容呈现的方法、用户设备及系统 |
| CN109479178B (zh) * | 2016-07-20 | 2021-02-26 | 杜比实验室特许公司 | 基于呈现器意识感知差异的音频对象聚集 |
| CN107731238B (zh) * | 2016-08-10 | 2021-07-16 | 华为技术有限公司 | 多声道信号的编码方法和编码器 |
| US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
| US11004457B2 (en) * | 2017-10-18 | 2021-05-11 | Htc Corporation | Sound reproducing method, apparatus and non-transitory computer readable storage medium thereof |
| WO2020216459A1 (en) * | 2019-04-23 | 2020-10-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for generating an output downmix representation |
| JP2023548650A (ja) * | 2020-10-09 | 2023-11-20 | フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 帯域幅拡張を用いて符号化されたオーディオシーンを処理するための装置、方法、またはコンピュータプログラム |
| GB2627507A (en) * | 2023-02-24 | 2024-08-28 | Nokia Technologies Oy | Combined input format spatial audio encoding |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3268905A (en) | 1960-06-30 | 1966-08-23 | Atlantic Refining Co | Coordinate adjustment of functions |
| EP1173925B1 (en) * | 1999-04-07 | 2003-12-03 | Dolby Laboratories Licensing Corporation | Matrixing for lossless encoding and decoding of multichannels audio signals |
| US20070168183A1 (en) * | 2004-02-17 | 2007-07-19 | Koninklijke Philips Electronics, N.V. | Audio distribution system, an audio encoder, an audio decoder and methods of operation therefore |
| JP2006003580A (ja) * | 2004-06-17 | 2006-01-05 | Matsushita Electric Ind Co Ltd | オーディオ信号符号化装置及びオーディオ信号符号化方法 |
| US8843378B2 (en) | 2004-06-30 | 2014-09-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel synthesizer and method for generating a multi-channel output signal |
| TWI393121B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
| US7903824B2 (en) * | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
| CN101151659B (zh) * | 2005-03-30 | 2014-02-05 | 皇家飞利浦电子股份有限公司 | 多通道音频编码器、设备、方法及其解码器、设备和方法 |
| US7983922B2 (en) * | 2005-04-15 | 2011-07-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
| US7177804B2 (en) * | 2005-05-31 | 2007-02-13 | Microsoft Corporation | Sub-band voice codec with multi-stage codebooks and redundant coding |
| JP4640020B2 (ja) * | 2005-07-29 | 2011-03-02 | ソニー株式会社 | 音声符号化装置及び方法、並びに音声復号装置及び方法 |
| US20070036228A1 (en) | 2005-08-12 | 2007-02-15 | Via Technologies Inc. | Method and apparatus for audio encoding and decoding |
| ES2339888T3 (es) * | 2006-02-21 | 2010-05-26 | Koninklijke Philips Electronics N.V. | Codificacion y decodificacion de audio. |
| WO2008039041A1 (en) | 2006-09-29 | 2008-04-03 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| WO2008046530A2 (en) | 2006-10-16 | 2008-04-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for multi -channel parameter transformation |
| EP2109861B1 (en) * | 2007-01-10 | 2019-03-13 | Koninklijke Philips N.V. | Audio decoder |
| ATE526663T1 (de) * | 2007-03-09 | 2011-10-15 | Lg Electronics Inc | Verfahren und vorrichtung zum verarbeiten eines audiosignals |
| ES2452348T3 (es) * | 2007-04-26 | 2014-04-01 | Dolby International Ab | Aparato y procedimiento para sintetizar una señal de salida |
| EP2278582B1 (en) * | 2007-06-08 | 2016-08-10 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
| RU2443075C2 (ru) * | 2007-10-09 | 2012-02-20 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для генерации бинаурального аудиосигнала |
| MX2010004220A (es) | 2007-10-17 | 2010-06-11 | Fraunhofer Ges Forschung | Codificacion de audio usando mezcla descendente. |
| KR101413967B1 (ko) * | 2008-01-29 | 2014-07-01 | 삼성전자주식회사 | 오디오 신호의 부호화 방법 및 복호화 방법, 및 그에 대한 기록 매체, 오디오 신호의 부호화 장치 및 복호화 장치 |
| BRPI0908630B1 (pt) * | 2008-05-23 | 2020-09-15 | Koninklijke Philips N.V. | Aparelho de 'upmix' estéreo paramétrico, decodificador estéreo paramétrico, método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais, dispositivo de execução de áudio, aparelho de 'downmix' estéreo paramétrico, codificador estéreo paramétrico, método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base nos parâmetros espaciais, e, produto de programa de computador |
| EP2249334A1 (en) * | 2009-05-08 | 2010-11-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio format transcoder |
| JP5678048B2 (ja) * | 2009-06-24 | 2015-02-25 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | カスケード化されたオーディオオブジェクト処理ステージを用いたオーディオ信号デコーダ、オーディオ信号を復号化する方法、およびコンピュータプログラム |
| AU2010303039B9 (en) * | 2009-09-29 | 2014-10-23 | Dolby International Ab | Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value |
| CN102696070B (zh) | 2010-01-06 | 2015-05-20 | Lg电子株式会社 | 处理音频信号的设备及其方法 |
| US8625802B2 (en) | 2010-06-16 | 2014-01-07 | Porticor Ltd. | Methods, devices, and media for secure key management in a non-secured, distributed, virtualized environment with applications to cloud-computing security and management |
-
2010
- 2010-09-28 AU AU2010303039A patent/AU2010303039B9/en active Active
- 2010-09-28 TW TW099132785A patent/TWI463485B/zh active
- 2010-09-28 EP EP16176048.3A patent/EP3093843B1/en active Active
- 2010-09-28 WO PCT/EP2010/064379 patent/WO2011039195A1/en active Application Filing
- 2010-09-28 EP EP10757435.2A patent/EP2483887B1/en active Active
- 2010-09-28 KR KR1020127010610A patent/KR101391110B1/ko active IP Right Grant
- 2010-09-28 MY MYPI2012001410A patent/MY165328A/en unknown
- 2010-09-28 JP JP2012531366A patent/JP5576488B2/ja active Active
- 2010-09-28 RU RU2012116743/08A patent/RU2576476C2/ru active
- 2010-09-28 CN CN201080050553.8A patent/CN102667919B/zh active Active
- 2010-09-28 PL PL10757435T patent/PL2483887T3/pl unknown
- 2010-09-28 CA CA2775828A patent/CA2775828C/en active Active
- 2010-09-28 PT PT107574352T patent/PT2483887T/pt unknown
- 2010-09-28 MX MX2012003785A patent/MX2012003785A/es active IP Right Grant
- 2010-09-28 PL PL16176048T patent/PL3093843T3/pl unknown
- 2010-09-28 BR BR112012007138-6A patent/BR112012007138B1/pt active IP Right Grant
- 2010-09-28 ES ES10757435.2T patent/ES2644520T3/es active Active
- 2010-09-29 AR ARP100103539A patent/AR078474A1/es active IP Right Grant
-
2012
- 2012-03-29 US US13/434,450 patent/US9460724B2/en active Active
-
2015
- 2015-08-14 US US14/826,942 patent/US9466303B2/en active Active
- 2015-08-14 US US14/826,876 patent/US9805728B2/en active Active
-
2017
- 2017-10-11 US US15/730,652 patent/US10504527B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10504527B2 (en) | Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value | |
| JP6735053B2 (ja) | マルチチャネル符号化におけるステレオ充填装置及び方法 | |
| US9578435B2 (en) | Apparatus and method for enhanced spatial audio object coding | |
| JP6687683B2 (ja) | マルチチャネル非相関器、マルチチャネル・オーディオ・デコーダ、マルチチャネル・オーディオ・エンコーダおよび非相関器入力信号のリミックスを使用したコンピュータ・プログラム | |
| ES2649739T3 (es) | Procedimiento y descodificador para un concepto paramétrico de codificación de objetos de audio espacial generalizado para casos de mezcla descendente/mezcla ascendente de multicanal | |
| BR112016001137B1 (pt) | Decodificador de áudio, codificador de áudio, método para fornecer pelo menos quatro sinais de canal de áudio na base de uma representação codificada, e método para fornecer uma representação codificada na base de pelo menos quatro sinais de canal de áudio que usa uma extensão de largura de banda | |
| BR112014010062B1 (pt) | Codificador de objeto de áudio, decodificador de objeto de áudio, método para a codificação de objeto de áudio, e método para a decodificação de objeto de áudio | |
| MX2012005781A (es) | Aparato para proporcionar una representacion de señal de mezcla ascendente con base en la representacion de señal de mezcla descendente, aparato para proporcionar un flujo de bits que representa una señal de audio multicanal, metodos, programas informaticos y flujo de bits que representan una señal de audio multicanal usando un parametro de combinacion lineal. | |
| BR122021008670B1 (pt) | Mecanismo e método para fornecer um ou mais parâmetros ajustados para a provisão de uma representação de sinal upmix com base em uma representação de sinal downmix e uma informação lateral paramétrica associada com a representação de sinal downmix, usando um valor médio | |
| BR112015002794B1 (pt) | Aparelho e método para adaptar informações de áudio na codificação de objeto de áudio espacial | |
| BR112015017094B1 (pt) | Aparelho e método para codificação de objeto de áudio espacial empregando objetos ocultos para manipulação da mistura de sinal | |
| KR102088337B1 (ko) | 인코딩된 오디오 신호를 프로세싱하기 위한 장치 및 방법 | |
| ES2856423T3 (es) | Decodificador de señal de audio MPEG-SAOC, codificador de señal de audio MPEG-SAOC, procedimiento para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC, procedimiento para proporcionar una representación de señal de mezcla descendente usando decodificación MPEG-SAOC, y programa informático que usa un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia | |
| US20230335142A1 (en) | Processing parametrically coded audio |