NO342863B1 - Konsept for kopling av gapet mellom parametrisk flerkanals audiokoding og matrise-surround flerkanalkoding - Google Patents
Konsept for kopling av gapet mellom parametrisk flerkanals audiokoding og matrise-surround flerkanalkoding Download PDFInfo
- Publication number
- NO342863B1 NO342863B1 NO20080850A NO20080850A NO342863B1 NO 342863 B1 NO342863 B1 NO 342863B1 NO 20080850 A NO20080850 A NO 20080850A NO 20080850 A NO20080850 A NO 20080850A NO 342863 B1 NO342863 B1 NO 342863B1
- Authority
- NO
- Norway
- Prior art keywords
- signal
- channel
- parametric data
- parametric
- rule
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000005236 sound signal Effects 0.000 claims description 35
- 238000002156 mixing Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0815—Cache consistency protocols
Abstract
Formålet med oppfinnelsen er å overvinne avstanden mellom parametriske flerkanalsaudiokoding og matrise-surround flerkanalskoding ved å gradvis forbedre lyden til et oppmikset signal, samtidig som bitraten benyttet av sideinformasjon heves, fra null og opp til de bitrater som benyttes av de parametriske fremgangsmåter. Mer spesifikt er det tilveiebrakt en fremgangsmåte for å fleksibelt kunne velge et "operasjonspunkt" et sted mellom matrise-surround (Ingen sideinformasjon, begrenset audiokvalitet) og en fullstendig parametrisk rekonstruksjon (fullstendig sideinformasjonsrate påkrevd, god kvalitet). Dette operasjonspunkt kan velges dynamisk (dvs. varierende over tid) og avhengig av den tillatte sideinformasjonsrate, slik den vil være bestemt av den spesifikke applikasjon.
Description
Den foreliggende oppfinnelse angår flerkanals audiokoding og transmisjon, og mer spesifikt teknikker for koding av flerkanals audio på en måte som vil være fullstendig bakoverrettet kompatibel med stereoinnretninger og -formater, for å tillate en effektiv koding av flerkanals audio.
Parametrisk koding av flerkanals audiosignaler er et aktivt forskningsområde. Det kan generelt skilles mellom to tilnærmingsmåter for koding av flerkanals audiosignaler. "Moving Pictures Experts Group" (MPEG), en undergruppe av den internasjonale organisasjon for standardisering (ISO), arbeider for tiden med standardisering av teknologi for rekonstruksjon av flerkanals audioinnhold, fra stereo, eller til og med mono, nedmiksede signaler, ved å tilføre de nedmiksede signaler kun en liten mengde av hjelpeinformasjon.
Ved parallell stereo-til-flerkanals oppmiksing utvikles det fremgangsmåter som ikke har behov for ytterligere sideinformasjon utover den som allerede (implisitt) foreligger i det nedmiksede signal, for rekonstruksjon av det romlige bildet av det opprinnelige flerkanals audiosignal.
Eksisterende fremgangsmåter for stereokompatibel, flerkanals transmisjon uten ytterligere sideinformasjon, og som har oppnådd praktisk relevans, kan for en stor del karakteriseres som matrise-surround-fremgangsmåter, slik som "Dolby Pro Logic" (Dolby Pro Logic II) og "Logic-7", slik disse er beskrevet mer detaljert i "Dolby Surround Pro Logic II Decoder - Principles of Operation", http://www.dolby.com/assets/pdf/tech_library/209_Dolby_Surround_Pro_Logic_II_De coder_Principles_of_Operation.pdf og i "Multichannel Matrix Surround Decoders for Two-Eared Listeners", Griesinger, D., 101. AES Convention, Los Angeles, USA, 1996, fortrykk 4402. Det felles prinsipp for disse fremgangsmåter er at de gjør bruk av dedikerte måter for flerkanals eller stereo nedmiksing, der koderen anvender faseskift i surround-kanalene, før disse mikses sammen med fremre og senter-kanaler, for således å danne et stereo nedmikset signal. Genereringen av det nedmiksede signal (Lt, Rt) er angitt i følgende ligning:
Det venstre nedmiksede signal (Lt) består av det venstre frontsignal (Lf), sentersignalet (C) multiplisert med en faktor q, det venstre surround-signal (Ls) faserotert med 90 grader (,j') og skalert med en faktor a, og det høyre surround-signal (Rs) som også er faserotert med 90 grader og skalert med en faktor b. Det høyre nedmiksede signal (Rt) genereres på tilsvarende måte. Nedmiksingsfaktorene vil typisk være 0,707 for q og a, og 0,408 for b. Tanken bak de forskjellige fortegn for surroundkanalene for det høyre nedmiksede signal (Rt) og det venstre nedmiksede signal (Lt) er at det vil være fordelaktig å mikse surround-kanalene i motfase i det nedmiksede par (Lt, Rt). Denne egenskapen hjelper dekoderen til å skille mellom fremre og bakre kanaler fra det nedmiksede signalpar. Dermed vil nedmiksingsmatrisen tillate en delvis rekonstruksjon av et flerkanals utgangssignal fra stereo-nedmiksingen i dekoderen, ved å anvende en omvendt matriseoperasjon. I hvor stor grad det angitte flerkanalssignal ligner det opprinnelige inngangssignal i koderen vil imidlertid avhenge av de spesifikke egenskaper til dette flerkanals audioinnhold.
Et eksempel på en kodingsfremgangsmåte for tillegg av hjelpeinformasjon, også kalt sideinformasjon, er en MPEG surround-audiokoding. Denne effektive måte for å utføre en parametrisk, flerkanals audiokoding er f.eks. beskrevet i "The Reference Model Architecture for MPEG Spatial Audio Coding", Herre, J., Purnhagen, H., Breebaart, J., Faller, C., Disch, S., Kjoerling, K., Schuijers, E., Hilpert, J., Myburg, F., Proc. 118th AES Convention, Barcelona, Spain, 2005 og i "Text of Working Draft for Spatial Audio Coding (SAC)", ISO/IEC JTCI/SC29/WG11 (MPEG), Document N7136, Busan, Korea, 2005.
En skjematisk oversikt over en koder som benyttes ved romlig audiokoding er vist i fig. 6. Koderen vil splitte opp innkommende signaler 10 (input 1, ... input N9 i separate tid-frekvens-områder ved hjelp av kvadraturspeilfiltre 12 (QMF). Grupper av de resulterende frekvensområder (bånd) refereres til som "parameterbånd". For hvert parameterbånd bestemmes det ved hjelp av en parameterestimerer 16 et antall romlige parametere 14 som vil beskrive egenskapene til det romlige bildet, f.eks. nivådifferanser mellom par av kanaler (CLD), krysskorrelasjon mellom par av kanaler (ICC) eller informasjon om signalinnhylninger (CPC). Disse parametrene blir deretter kvantisert, kodet og kompilert til en bit-strøm av romlige data. Avhengig av operasjonsmodus kan denne bit-strøm dekke et bredt omfang av bit-rater, fra noen få kBit/s for flerkanalsaudio med god kvalitet og opp til flere titalls kBit/s for en nestentransparent kvalitet.
Ved siden av å trekke ut parametere vil koderen også generere en mono- eller stereonedmiksing fra det flerkanals inngangssignal. Ved en stereonedmiksing kan brukeren videre velge mellom en konvensjonell (ITU-type) stereonedmiksing, eller en nedmiksing som vil være kompatibel med matrise-surround-systemer. Endelig overføres stereonedmiksingen til tidsområdet ved hjelp av QMF-syntesebanker 18. Den resulterende nedmiksing kan sendes til en dekoder, fulgt av de romlige parametere eller bit-strømmen 14 av romlige parametere. Nedmiksingen vil fortrinnsvis bli kodet før transmisjon (ved anvendelse av en konvensjonell mono- eller stereo kjernekoder), mens bit-strømmene i kjernekoderen og de romlige parametere i tillegg kan kombineres (multiplekses), for således å danne en enkelt utgangs-bit-strøm.
En dekoder, slik som skissert i fig. 7, vil i forhold til koderen i prinsippet utføre en motsatt prosess. En inngangsstrøm deles opp i en kjernekoder-bit-strøm og en parameter-bit-strøm. Dette er vist i fig. 7. Deretter prosesseres den dekodede nedmiksing 20 av en QMF-analysebank 22, for å fremskaffe parameterbånd som vil være de samme som de som anvendes i koderen. Et romlig syntesetrinn 24 vil rekonstruere flerkanalssignalet ved hjelp av styredata 26 (dvs. de sendte, romlige parametere). Endelig overføres signalene i QMF-området til tidsområdet, ved hjelp av en QMF-syntesebank 27 som vil fremskaffe de endelige flerkanals utgangssignaler 28.
Fig. 8 viser et enkelt eksempel på en QMF-analyse, slik den utføres i den kjente koder ifølge fig. 6 og den kjente dekoder ifølge fig. 7. Et audiosampel 30, samplet i tidsområdet og med fire samplingsverdier, avgis til en filterbank 32. Filterbanken 32 vil fremskaffe tre utgangssampler 34a, 34b og 34c hvert med fire samplingsverdier. I et ideelt tilfelle vil filterbanken 32 fremskaffe utgangssamplene 34a til 34c slik at samplene i utgangssignalene bare omfatter informasjon om diskrete frekvensområder for det underliggende audiosignal 30. I tilfellet vist i fig. 8 omfatter sampelet 34a informasjon om frekvensintervallet fra f0 til f1, sampelet 34b omfatter informasjon om frekvensintervallet [f1, f2] og sampelet 34c omfatter informasjon om frekvensintervallet [f2, f3]. Selv om frekvensintervallene vist i fig. 8 ikke overlapper hverandre kan frekvensintervallene for utgangssamplene fra en filterbank i et mer generelt tilfelle gjerne omfatte overlappende frekvenser.
En kjent koder kan, slik som allerede beskrevet ovenfor, levere enten en ITU-type nedmiksing eller en matrise-surround-kompatibel nedmiksing, når en tokanals nedmiksing er ønskelig. I tilfellet av en matrise-surround-kompatibel nedmiksing (ved anvendelse av f.eks. matriseoperasjonstilnærmingsmåten gitt ved ligning 1) vil en mulighet være at koderen direkte genererer en matrise-surround-kompatibel nedmiksing.
Fig. 9 viser en alternativ tilnærmingsmåte for å generere en matrise-surroundkompatibel nedmiksing ved anvendelse av en etterprosesseringsenhet 30 for nedmiksingen, for prosessering av en regulær stereonedmiksing 32. Matrise-surroundprosessoren 30 (MTX-koderen) vil modifisere den regulære stereonedmiksing 32 for å gjøre denne matrise-surround-kompatibel, på grunnlag av de romlige parametere 14 ekstrahert av parameterekstraheringstrinnet 16. For transmisjon vil en matrisesurround-kompatibel nedmiksing 34 bli overført til tidsområdet, gjennom en QMF-syntese fra QMF-syntesebanken 18.
Det å fremskaffe det matrise-surround-kompatible signal gjennom en etterprosessering av en regulær stereonedmiksing vil ha den fordelen at matrisesurround-kompatibilitetsprosesseringen kan reverseres fullstendig på dekodersiden, dersom de romlige parametere er tilgjengelige.
Selv om begge disse tilnærmingsmåter vil være egnet for å sende et flerkanalssignal foreligger det spesifikt ulemper ved systemene ifølge kjent teknikk. Matrise-surround-fremgangsmåter vil være svært effektive (siden det ikke kreves ytterligere parametere) på bekostning av en svært begrenset flerkanals rekonstruksjonskvalitet.
Parametriske flerkanalstilnærmingsmåter vil på den annen side kreve en høyere bit-rate på grunn av sideinformasjonen, noe som vil være et problem når det er satt en grense for den maksimale bit-rate for den parametriske representasjon som kan aksepteres. Når de kodede parametere krever en forholdsvis høy bit-rate vil den eneste muligheten til å holde seg innenfor en slik bit-rategrense være å redusere kvaliteten til en kodet nedmiksingskanal, ved å øke komprimeringen av kanalen. Følgelig kan resultatet være et generelt tap av audiokvalitet som kan være uakseptabelt stort. For parametriske flerkanalstilnærmingsmåter vil det med andre ord ofte foreligge en problematisk grense for den minste bit-rate som kreves for det romlige parameterlag, og som i noen tilfeller kan være uakseptabelt høy.
Selv om en bakoverrettet kompatibilitet mellom matrise-surroundfremgangsmåter og romlig-audio-fremgangsmåter i prinsippet kan oppnås en kjent koder som illustrert i fig. 9, vil det gjennom denne tilnærmingsmåte ikke kunne spares ytterligere bit-rate når bare en matrise-basert dekoding er påkrevd. Også da må hele mengden av romlige parametere sendes, med en unødvendig bruk av transmisjonsbåndbredde som resultat.
Mens bit-raten som må benyttes når den parametriske fremgangsmåte anvendes ved visse applikasjonsscenarier kan være for høy kan audiokvaliteten som oppnås gjennom fremgangsmåten som ikke bruker transmisjon av sideinformasjon være utilstrekkelig.
US patentsøknad 2005157883 viser en anordning for konstruksjon av et flerkanals audiosignal, ved anvendelse av et inngangssignal og parametrisk sideinformasjon, der inngangssignalet omfatter den første inngangskanal og den andre inngangskanal fremskaffet fra et opprinnelig flerkanalssignal, og der den parametriske sideinformasjon beskriver sammenhenger mellom kanalene til dette flerkanals opprinnelige signal.
EP 1376538 A1 beskriver en del av spektret til to eller flere inngangssignaler som er kodet ved bruk av konvensjonelle kodeteknikker, mens koding av resten av spektret er ved hjelp av binaural kø-koding (BCC). Ved BCC-koding blir spektrale komponenter av inngangssignalene nedblandet og BCC-parametere (for eksempel mellomkanalnivå og / eller tidsforskjeller) genereres. I en stereoanvendelse, etter å ha konvertert venstre og høyre kanal til frekvensdomene, blir par av venstre og høyre kanal spektralkomponenter nedblandet til mono. Monokomponentene blir deretter konvertert tilbake til tidsdomenet, sammen med venstre og høyre kanal spektrale komponenter som ikke ble nedblandet, for å danne hybride stereo signaler, som deretter kan kodes ved bruk av konvensjonelle kodeteknikker.
Det er et formål med foreliggende oppfinnelse å tilveiebringe et konsept for en mer effektiv koding av flerkanals audiosignaler, samtidig som den vil være bakoverrettet kompatibel med matrise-baserte kodingsløsninger.
I samsvar med et første aspekt ved foreliggende oppfinnelse oppnås dette formål gjennom en flerkanals audiodekoder for prosessering av et nedmiks audiosignal fremskaffet på en matrisert surround-kompatibel måte og for prosessering av første parametriske data som beskriver en første del av et flerkanalsignal, der det for en andre del av flerkanalsignalet ikke prosesseres parametriske data eller andre parametriske data, hvor de andre parametriske data krever færre informasjonsenheter enn de første parametriske data når de beskriver en identisk del av flerkanalsignalet, idet audiodekoderen omfatter en prosessor for å fremskaffe et mellomliggende signal fra det nedmiksede audiosignalet.
Prosessoren benytter en første fremskaffelsesregel for å fremskaffe en første del av det mellomliggende signal, der den første delen av det mellomliggende signal tilsvarer den første delen av flerkanal audiosignalet, hvor den første fremskaffelsesregelen avhenger av de første parametriske data og omfatter et første sett matrise-elementer av en predekorrelasjonsmatrise (M1) eller en miksematrise (M2).
Prosessoren benytter videre en andre fremskaffelsesregel for å fremskaffe en andre del av det mellomliggende signal, der den andre fremskaffelsesregelen ikke bruker parametriske data eller de andre parametriske data, hvor prosessoren er innrettet til å beregne den andre fremskaffelsesregelen fra informasjon på det nedmiksede audiosignalet eller fra de andre parametriske data og omfatter et andre sett matriseelementer av predekorrelasjonsmatrisen (M1) eller miksematrisen (M2).
Oppfinnelsen er kjennetegnet ved at den første delen og den andre delen er en tidsdel eller en frekvensdel.
I samsvar med et andre aspekt ved foreliggende oppfinnelse oppnås dette formål gjennom en flerkanalskoder for generering av en parametrisk representasjon som beskriver romlige egenskaper til et flerkanals audiosignal, der flerkanalskoderen omfatter en parametergenerator for å generere et kombinert sett romlige parametre for en første del og for en andre del av flerkanalsignalet. Flerkanalskoderen omfatter videre en nedmikser for å fremskaffe et nedmikssignal fra flerkanalsignalet ved å bruke en full nedmiksregel avhengig av det fulle sett romlige parametere og i en matrisert surround-kompatibel måte. Flerkanalskoderen omfatter videre et utgående grensesnitt for å generere den parametriske representasjonen og for å utmate nedmikssignalet.
Parametergeneratoren eller det utgående grensesnitt er innrettet for å generere den parametriske representasjonen slik at den parametriske representasjone omfatter første parametriske data for den første del av flerkanalsignalet og hvor for den andre del av flerkanalsignalet ingen parametriske data eller andre parametriske data er inkludert i den parametriske representasjonen, hvor de andre parametriske data krever færre informasjonsenheter enn de første parametriske data når det beskrives en identisk del av flerkanalsignalet.
Den første delen og den andre delen er en tidsdel eller en frekvensdel.
I samsvar med et tredje aspekt ved foreliggende oppfinnelse oppnås dette formål gjennom en fremgangsmåte for prosessering av et nedmiks audiosignal utledet på en matrisert surround-kompatibel måte og for prosessering første parametriske data som beskriver en første del av et flerkanalsignal, hvor for en andre del av flerkanalsignalet ingen parametriske data eller andre parametriske data prosesseres, hvor de andre parametriske data krever færre informasjonsenheter enn de første parametriske data når det beskrives en identisk del av flerkanalsignalet.
Fremgangsmåten omfatter å fremskaffe et mellomliggende signal fra nedmikssignalet ved å bruke en første fremskaffelses¬regel avhengig av de første parametriske data og omfattende et første sett matriseelementer av en predekorrelasjonsmatrise (M1) eller en miksematrise (M2) for å fremskaffe en første del av det mellomliggende signal, hvor den første delen av det mellomliggende signal tilsvarer den første delen av flerkanal audiosignalet.
Fremgangsmåten omfatter videre å fremskaffe en andre del av det mellomliggende signal ved å bruke en andre fremskaffelsesregel, hvor den andre fremskaffelsesregelen ved å bruke de andre parametriske data eller ingen parametriske data og omfattende et andre sett matriseelementer av predekorrelasjonsmatrisen (M1) eller miksematrisen (M2), hvor prosessoren er innrettet til å beregne den andre fremskaffelsesregelen fra informasjon på det nedmiksede audiosignalet eller fra de andre parametriske data.
Den første delen og den andre delen er en tidsdel eller en frekvensdel.
I samsvar med et fjerde aspekt ved foreliggende oppfinnelse oppnås dette formål gjennom en fremgangsmåte for generering av en parametrisk representasjon som beskriver romlige egenskaper til et flerkanals audiosignal, der fremgangsmåten omfatter trinnene å generere et kombinert sett romlige parametre for en første del og for en andre del av flerkanalsignalet, å fremskaffe et nedmikssignal fra flerkanalsignalet ved å bruke en full nedmiksregel avhengig av det kombinerte sett romlige parametere og i en matrisert surround-kompatibel måte og å generere den parametriske representasjonen og å utmate nedmikssignalet;
I trinnene med å fremskaffe eller å generere, genereres den parametriske representasjonen slik at den parametriske representasjonen omfatter første parametriske data for den første del av flerkanalsignalet og hvor for den andre del av flerkanalsignalet, ingen parametriske data eller andre parametriske data er inkludert i den parametriske representasjonen. De andre parametriske data krever færre informasjonsenheter enn de første parametriske data når det beskrives en identisk del av flerkanalsignalet.
Den første delen og den andre delen er en tidsdel eller en frekvensdel.
I samsvar med et femte aspekt ved foreliggende oppfinnelse oppnås dette formål gjennom et datamaskinprogram som har en programkode for å utføre, når det kjører på en datamaskin, en fremgangsmåte ifølge krav 11 eller krav 12.
Foretrukkede utførelsesformer av foreliggende oppfinnelse vil bli beskrevet i det følgende, med referanse til de vedlagte tegninger, der:
Fig. 1 viser en oppfinnerisk koder;
fig. 2 viser et eksempel på en parameter-bit-strøm dannet gjennom det oppfinneriske konsept;
fig. 2a viser en oppfinnerisk kodeomformer;
fig. 3 viser en oppfinnerisk dekoder;
fig. 4 viser et eksempel på en romlig audiodekoder som implementerer det oppfinneriske konsept;
fig. 5 illustrerer bruk av de forskjellige kodingsskjemaer på dekodersiden; fig. 6 viser en kode fra den kjente teknikk;
fig. 7 viser en dekoder fra den kjente teknikk;
fig. 8 viser et blokkdiagram for en filterbank; og
fig. 9 viser et ytterligere eksempel på en koder fra den kjente teknikk.
Fig. 1 viser en oppfinnerisk flerkanals koder. Flerkanalskoderen 100 omfatter en parametergenerator 102 og et utgangsgrensesnitt 104.
Et flerkanals audiosignal 106 avgis til koderen 100, der en første del 108 og en andre del 110 av flerkanalssignalet 106 prosesseres. Parametergeneratoren 102 vil motta den første del 108 og den andre del 110 og fremskaffe romlige parametere som beskriver romlige egenskaper til flerkanalssignalet 106.
De romlige parametere overføres til utgangsgrensesnittet 104 som vil fremskaffe en parametrisk representasjon 112 for flerkanalssignalet 106, slik at den parametriske representasjon 112 omfatter første parametriske data for en første del 108 av flerkanalssignalet, og der det for en andre del 110 av flerkanalssignalet 106 er inkludert andre parametriske data som krever mindre informasjon enn de første parametriske data, eller ingen parametriske data, i den parametriske representasjon 112.
For å oppnå samme mål vil flere variasjoner av flerkanalskoderen 100 være mulig. Parametergeneratoren 102 kan f.eks. anvende to forskjellige parameterfremskaffelsesregler for den første del 108 og den andre del 110, hvilket vil gi forskjellige sett av parametere som så overføres til utgangsgrensesnittet 104 som så vil kombinere de forskjellige sett av parametere til en parametrisk representasjon 112. Et spesielt og foretrukket tilfelle vil være at det for den andre del 110 ikke er inkludert parametere i den parametriske representasjon (og slike vil derfor ikke bli fremskaffet av parametergeneratoren 102), siden en dekoder på dekodersiden ved hjelp av heuristiske regler vil fremskaffe de påkrevde dekodingsparametere.
En annen mulighet er at parametergeneratoren 102 vil fremskaffe et komplett sett av romlige audioparametere, både det for den første del 108 og for den andre del 110. I dette tilfellet må dermed utgangsgrensesnittet 104 prosessere de romlige parametere slik at de andre parametriske data vil kreve færre bits enn de første parametriske data.
Utgangsgrensesnittet 104 kan videre tilføre et ytterligere vindussignal til den parametriske representasjon 112, som for dekoderen vil signalere hvordan flerkanalssignalet 106 under kodingen er blitt delt opp i den første del 108 og den andre del 110. I en modifikasjon av den foretrukkede utførelsesform av en flerkanalskoder 100 kan denne i tillegg omfatte en delavgjørelsesinnretning for å avgjøre hvilken del av flerkanalssignalet 106 som skal utgjøre den første del 108 og hvilken del som skal utgjøre den andre del 110, der denne avgjørelse baseres på et kvalitetskriterie.
Kvalitetskriteriet kan fremskaffes i forhold til en resulterende, total bit-rate for den parametriske representasjon 112, eller i forhold til kvalitetsaspekter, der det tas hensyn til den perseptuelle kvalitet for en reproduksjon av flerkanalssignalet 106 basert på den parametriske representasjon 112.
En hovedfordel vil være at bit-raten som brukes for den parametriske representasjon således kan varieres med tiden, for dermed å sikre at kvalitetskriteriet på ethvert tidspunkt under kodingen vil være tilfredsstilt, samtidig som det tillater en generell reduksjon av den påkrevde bit-rate sammenlignet med fremgangsmåter av den kjente teknikk.
Fig. 2 viser et eksempel på en parametrisk representasjon 112 dannet av en oppfinnerisk koder.
Som nevnt ovenfor vil prosesseringen av audiosignalene bli utført blokkvis, dvs. at et antall av påfølgende sampler av flerkanalssignalet i tidsområdet, som vil utgjøre en såkalt ramme, prosesseres i et trinn. Fig. 2 viser en parameter-bit-strøm, dvs. en parametrisk representasjon for to påfølgende rammer. Parameter-bit-strømmen omfatter en representasjon for en høykvalitetsramme 120 og en representasjon for en ramme 122 av lavere kvalitet. Under kodingen av høykvalitetsrammen 120 avgjøres det at den første del 108 representert gjennom parametriske data må være stor sammenlignet med den andre del, noe som f.eks. kan være tilfellet dersom audioinnholdet som skal kodes er komplisert. Parameter-bit-strømmen ifølge fig. 2 dannes videre med den antagelse at det benyttes en foretrukket utførelsesform av en oppfinnerisk koder som ikke vil fremskaffe parametriske data for den andre del 110 av flerkanalssignalet 106. Som vist i fig. 2 er 28 romlige parametere ICC og ICLD inkludert i den parametriske representasjon for å beskrive høykvalitetsrammen 120. De 28 romlige parametere kan f.eks. beskrive lavfrekvensbåndene for en QMF-representasjon av flerkanalssignalet.
Rammen 122 av lavere kvalitet omfatter bare 21 romlige parametersett med ICC- og ICLD-parametere, siden dette er funnet å være tilstrekkelig for den ønskede perseptuelle kvalitet.
Fig. 2a viser en oppfinnerisk kodeomformer 150. Den oppfinneriske kodeomformer vil motta en inngangs-bit-strøm 152 med et komplett sett av romlige parametere som beskriver en første ramme 154 og en andre ramme 156 av et flerkanals audiosignal.
Kodeomformeren 150 vil generere en bit-strøm 158 som inneholder en parametrisk representasjon som vil representere de romlige egenskapene til flerkanalsaudiosignalet. I eksempelet angitt i fig. 2a vil kodeomformeren 150 fremskaffe den parametriske representasjon slik at antallet parametere 160 for den første ramme bare vil være noe redusert. Antallet parametere 162 som beskriver den andre ramme tilsvarende inngangsparametrene 156 vil være kraftig redusert, noe som i betydelig grad vil redusere bit-raten som kreves for den resulterende, parametriske representasjon. En slik oppfinnerisk kodeomformer 150 kan derfor benyttes for å etterprosessere en allerede eksisterende bit-strøm av romlige parametere, for således å fremskaffe en oppfinnerisk, parameterisk representasjon som under transmisjon vil kreve en lavere bit-rate, eller som vil kreve mindre lagringsplass når den lagres i et datamaskinlesbart medium. Det skal her bemerkes at det selvsagt også vil være mulig å implementere en kodeomformer for kodeomforming i den andre retningen, dvs. å benytte den parametriske representasjon for å generere romlige parametere.
Den oppfinneriske kodeomformer 150 kan implementeres på mange forskjellige måter, f.eks. gjennom en reduksjon av omfanget av parametere i henhold til en gitt regel, eller gjennom et ytterligere mottak av flerkanalsaudiosignalet for å avgjøre den reduksjon av bit-rate som vil være mulig uten å forringe den perseptuelle kvalitet utover en akseptabel grense.
Fig. 3 viser en oppfinnerisk flerkanals audiodekoder 200 omfattende en prosessor 202.
Prosessoren vil motta et nedmikset signal 204 fremskaffet fra et flerkanals audiosignal, første parametriske data 206 som beskriver en første del av flerkanalssignalet og, for en andre del av flerkanalssignalet, valgfrie andre parametriske data 208 som vil kreve færre bits enn de første parametriske data 206. Prosessoren 202 vil fra det nedmiksede signal 204 fremskaffe et mellomliggende signal 210 ved anvendelse av en første fremskaffelsesregel, for å fremskaffe en høykvalitetsdel 212 av det mellomliggende signal, der høykvalitetsdelen 212 av det mellomliggende signal 210 vil korrespondere til den første del av flerkanals audiosignalet. Prosessoren 202 vil anvende en andre fremskaffelsesregel for en andre del 214 av det mellomliggende signal 210, der den andre fremskaffelsesregel vil benytte de andre parametriske data, eller ingen parametriske data, og der den første fremskaffelsesregel vil være avhengig av de første parametriske data 206.
Det mellomliggende signal 210 fremskaffet av prosessoren 202 vil være basert på en kombinasjon av høykvalitetsdelen 212 og den andre del 214.
Flerkanals audiodekoderen 200 kan selv avgjøre hvilke deler av det nedmiksede signal 204 som skal prosesseres med de første parametriske data 206, ved anvendelse av tilpassede regler, f.eks. avhengig av antallet romlige parametere inkludert i de første parametriske data 206. Alternativt kan andelene for høykvalitetsdelen 212 og den andre del 214 i det nedmiksede signal 204 signaleres til prosessoren 202, gjennom ytterligere vindusinformasjon som fremskaffes på kodersiden og som i tillegg sendes til flerkanals audiodekoderen 200.
I en foretrukket utførelsesform vil de andre parametriske data 208 være utelatt, og prosessoren 202 vil fremskaffe den andre fremskaffelsesregel fra informasjon allerede inneholdt i det nedmiksede signal 204.
Fig. 4 viser en ytterligere utførelsesform av foreliggende oppfinnelse som kombinerer det oppfinneriske trekk med matrise-kompatibilitet i en romlig audiodekoder. Flerkanals audiodekoderen 600 omfatter en predekorrelasjonsinnretning 601, en dekorrelasjonsinnretning 602 og en miksingsmatrise 603.
Flerkanals audiodekoderen 600 er en fleksibel innretning som kan betjenes i forskjellige modi, avhengig av konfigurasjonen til inngangssignalene 605 som avgis til predekorrelasjonsinnretningen 601. Generelt vil predekorrelasjonsinnretningen 601 fremskaffe mellomliggende signaler 607 som avgis til dekorrelasjonsinnretningen 602, og som delvis vil bli sendt uendret for å sammen med de dekorrelerte signaler beregnet av dekorrelasjonsinnretningen 602 danne inngangssignalene 608. Inngangssignalene 608 vil bli avgitt til miksingsmatrisen 603 som vil fremskaffe utgangskanalkonfigurasjonene 610a eller 610b, avhengig av inngangskanalkonfigurasjonen 605.
I en 1-til-5-konfigurasjon vil et nedmikset signal og et valgfritt restsignal bli forsynt til predekorrelasjonsinnretningen 601 som vil fremskaffe fire mellomliggende signaler (e1 til e4) som avgis til dekorrelasjonsinnretningen, som vil tilveiebringe fire dekorrelerte signaler (d1 til d4) som vil danne inngangsparametrene 608, sammen med et direkte sendt signal m fremskaffet fra inngangssignalet.
Det skal bemerkes at i et tilfelle der et ytterligere restsignal forsynes som inngangssignal kan dekorrelasjonsinnretningen 602, som generelt vil fungere i et underbåndsområde, betjenes for rett og slett å videresende restsignalet, i stedet for å fremskaffe et dekorrelert signal. Dette kan også gjøres på en frekvensselektiv måte, for visse utvalgte frekvensbånd.
I en 2-til-5-konfigurasjon vil inngangssignalene 605 omfatte en venstrekanal, en høyrekanal og valgfritt et restsignal. Ved denne konfigurasjon vil predekorrelasjonsmatrisen 601 fremskaffe en venstre, en høyre og en senterkanal, og i tillegg to mellomliggende kanaler (e1, e2). Følgelig vil inngangssignalene til miksingsmatrisen 603 være dannet av den venstre kanal, den høyre kanal, senterkanalen, og to dekorrelerte signaler (d1 og d2).
I samsvar med en ytterligere modifikasjon kan predekorrelasjonsmatrisen fremskaffe et ytterligere, mellomliggende signal (e5) som benyttes som inngangssignal for en dekorrelasjonsinnretning (D5), hvis utgangssignal vil være en kombinasjon av det dekorrelerte signal (d5) fremskaffet fra signalet (e5) og de dekorrelerte signaler (d1 og d2). I dette tilfellet kan en ytterligere dekorrelasjon garanteres, mellom senterkanalen og de venstre og høyre kanaler.
Den oppfinneriske audiodekoder 600 vil implementere det oppfinneriske konsept ifølge 2-til-5-konfigurasjonen. Den sendte, parametriske representasjon anvendes i predekorrelasjonsmatrisen 601 og miksingsmatrisen 603. Her kan det oppfinneriske konsept implementeres på forskjellige måter, slik som vist mer detaljert i fig. 5.
Fig. 5 viser predekorrelasjonsinnretningen, implementert som en predekorrelasjonsmatrise 601, og miksingsmatrisen 603, i form av en prinsippskisse, der de andre komponentene i flerkanalsaudiodekoderen 600 er utelatt.
Matrisen som benyttes for å utføre predekorrelasjonen og miksingen vil ha søyler som representerer tids-slots, dvs. de individuelle tidssampler til et signal, og rekker som representerer de forskjellige parameterbånd, dvs. at hver rekke vil være assosiert med et parameterbånd til et audiosignal.
I samsvar med konseptet for foreliggende oppfinnelse vil matriseelementene i matrisene 601 og 603 bare delvis være fremskaffet fra de sendte, parametriske data, der de gjenværende matriseelementer vil være fremskaffet av dekoderen, f.eks. basert på informasjon om det nedmiksede signal. fig. 5 viser et eksempel der elementene i predekorrelasjonsmatrisen 601 og miksingsmatrisen 603 under en gitt frekvensgrenselinje 622 er fremskaffet fra parametere 620 avlest fra bit-strømmen, dvs. basert på informasjon sendt fra koderen. Over denne frekvensgrenselinje 622 vil matriseelementene være fremskaffet i dekoderen, basert på informasjon om det nedmiksede signal.
Grensefrekvensen (eller mer generelt omfanget av matriseelementer fremskaffet fra sendte data) kan fritt tilpasses i samsvar med kvalitets- og/eller bit-ratebegrensninger som for den spesifikke applikasjon må tilfredsstilles.
For den nye kodingsfremgangsmåte som her er utlagt foretrekkes det at en oppmiksingsprosess uten sideinformasjon kan utføres med den samme struktur utlagt i forbindelse med MPEG "Spatial Audio Coding Reference Model 0". Denne oppfinnelse beskriver en fremgangsmåte for en oppmiksing uten sideinformasjon men tilveiebringer fortrinnsvis en fremgangsmåte for en sømløs og fordelaktig kombinasjon av slike konsepter med fremgangsmåter for sideinformasjon assistert oppmiksing.
I motsetning til MPEG "Spatial Audio Coding Reference Model 0" vil elementene i matrisene M1 (601) og M2 (603) ved oppmiksingsprosessen uten sideinformasjon fortrinnsvis ikke være fremskaffet fra data sendt i en bit-strøm, men ved hjelp av forskjellige midler uten bruk av sideinformasjon, f.eks. ved anvendelse av heuristiske regler som bare er basert på informasjon innhentet fra det nedmiksede signal.
På denne måte vil det være mulig å oppnå en gradvis skalering mellom begge teknikker, i forhold til bit-rate så vel som i forhold til lydkvalitet, ved at bare en del av matrisene fylles basert på de sendte parametere, og ved at det anvendes regler for fremgangsmåten som ikke benytter sideinformasjon til å fylle opp de gjenværende deler. Konseptuelt sett vil dette korrespondere til transmisjon av de romlige parametere for visse deler av matrisene, og for andre deler generere disse i dekoderen.
En bestemmelse av de deler av matrisen som skal fremskaffes gjennom den eller den andre fremgangsmåte kan utføres på mange forskjellige måter, slik som • å fremskaffe delene til matrisene som befinner seg under en gitt horisontal grenselinje ved hjelp av en fremgangsmåte, og over denne grenselinje ved hjelp av den andre fremgangsmåte;
• å fremskaffe delene i matrisene som befinner seg til venstre for en gitt vertikal grenselinje ved hjelp av en fremgangsmåte, og til høyre for denne grenselinje ved hjelp av den andre fremgangsmåte;
• å bestemme vilkårlige tid-frekvens-områder i begge matrisene, der elementene i disse fremskaffes ved hjelp av en fremgangsmåte, og der elementene i de gjenværende tid-frekvens-områder fremskaffes ved hjelp av den andre fremgangsmåte.
I de foregående avsnitt er det blitt fremsatt i detalj hvordan det vil være fordelaktig å beskrive alle frekvensdeler i et flerkanalssignal, opp til en bestemt grensefrekvens, ved romlige parametere, mens de gjenværende frekvensdeler av flerkanalssignalet ikke representeres gjennom romlige parametere. Dette tar hensyn til det faktum at det menneskelige øret vil ha en bedre persepsjon i forhold til lavere frekvenser enn høyere frekvenser. Foreliggende oppfinnelse vil selvsagt ikke på noen som helst måte være begrenset til denne splittingen av flerkanalssignalet i en første del og en andre del, siden det også kan være fordelaktig eller passende å beskrive høyfrekvensdeler av signalet med bedre nøyaktighet. Dette kan være særlig tilfellet når det i området av signalet med lavere frekvens bare befinner seg liten energi, siden størstedelen av energien vil være inneholdt i området av audiosignalet med høy frekvens. På grunn av maskeringseffekter vil lavfrekvensdelen da for en stor del være dominert av høyfrekvensdelene, og det kan være fordelaktig å gi mulighet for en høykvalitetsreproduksjon av høyfrekvensdelen av signalet.
Avhengig av de gitte implementeringskrav for de oppfinneriske fremgangsmåter kan disse implementeres i maskinvare eller i programvare. Implementeringen kan utføres ved anvendelse av et digitalt lagringsmedium, mer spesifikt en disk, DVD eller en CD med elektronisk lesbare styresignaler lagret i seg, som vil samvirke med et programmerbart datamaskinsystem slik at de oppfinneriske fremgangsmåter kan utføres. Generelt vil derfor foreliggende oppfinnelse være et datamaskinprogramprodukt med en programkode lagret i en maskinlesbar bærer, der programkoden kan betjenes for utførelse av de oppfinneriske fremgangsmåter når datamaskinprogramproduktet kjøres i en datamaskin. Med andre ord vil de oppfinneriske fremgangsmåter derfor være et datamaskinprogram med en programkode for utførelse av i det minste en av de oppfinneriske fremgangsmåter, når datamaskinprogrammet kjøres i en datamaskin.
Claims (13)
1. Flerkanal audiodekoder (200) for prosessering av et nedmiks audiosignal (204) fremskaffet på en matrisert surround-kompatibel måte og for prosessering av første parametriske data (206) som beskriver en første del av et flerkanalsignal, der det for en andre del av flerkanalsignalet ikke prosesseres parametriske data eller andre parametriske data (208), hvor de andre parametriske data (208) krever færre informasjonsenheter enn de første parametriske data (206) når de beskriver en identisk del av flerkanalsignalet, idet audiodekoderen omfatter en prosessor (202) for å fremskaffe et mellomliggende signal (210) fra det nedmiksede audiosignalet (204), • som benytter en første fremskaffelsesregel for å fremskaffe en første del av det mellomliggende signal, der den første delen av det mellomliggende signal tilsvarer den første delen av flerkanal audiosignalet, hvor den første fremskaffelsesregelen avhenger av de første parametriske data (206) og omfatter et første sett matriseelementer av en predekorrelasjonsmatrise (M1) eller en miksematrise (M2); og
• som benytter en andre fremskaffelsesregel for å fremskaffe en andre del av det mellomliggende signal, der den andre fremskaffelsesregelen ikke bruker parametriske data eller de andre parametriske data (208), hvor prosessoren (202) er innrettet til å beregne den andre fremskaffelsesregelen fra informasjon på det nedmiksede audiosignalet (204) eller fra de andre parametriske data (208) og omfatter et andre sett matriseelementer av predekorrelasjonsmatrisen (M1) eller miksematrisen (M2),
karakterisert ved at den første delen og den andre delen er en tidsdel eller en frekvensdel.
2 Flerkanal audiodekoder (200) i samsvar med krav 1, som er innrettet til å prosessere første parametriske data (206) som omfatter en beskrivelse av en tidsdel av flerkanal audiosignalet, hvor kun informasjon om et forhåndsbestemt frekvensbånd av flerkanal audiosignalet befinner seg i beskrivelsen.
3 Flerkanal audiodekoder (200) i samsvar med krav 1, hvor prosessoren (202) er i stand til å bruke den første fremskaffelsesregelen for å fremskaffe en frekvensdel av det mellomliggende signal (210) liggende i området mellom en lavfrekvent grense og en høyfrekvent grense.
4 Flerkanal audiodekoder (200) i samsvar med krav 3, som er innrettet til i tillegg å prosessere en vindusinformasjon som signalerer minst den høyfrekvente grensen.
5 Flerkanal audiodekoder (200) i samsvar med krav 3, som er innrettet til å fremskaffe minst den høyfrekvente grensen fra de første parametriske data (206) med en vindusestimeringsregel.
6 Flerkanal audiodekoder (200) i samsvar med krav 5, hvor vindusestimeringsregelen omfatter å telle mengden parametriske data innsendt for en signaldel av nedmikssignalet og å sammenlikne den opptelte mengden parametriske data med en nominell mengde parametriske data.
7 Flerkanal audiodekoder (200) i samsvar med krav 1, som er innrettet til å prosessere parametriske data som omfatter én eller flere romlige audioparametere valgt fra følgende liste med romlige audio-parametere:
ICC (inter-kanal korrelasjon)
CLD (kanalnivådifferanse)
CPC (kanalprediksjonskoeffisient).
8 Flerkanal audiodekoder (200) i samsvar med krav 1, som videre omfatter en de-korrelator for å fremskaffe et de-korrelert signal fra det mellomliggende signal (210) ved å bruke et de-korreleringsfilter.
9 Flerkanal audiodekoder (200) i samsvar med krav 1, som videre omfatter en oppmikser for å beregne en rekonstruksjon av flerkanalsignalet basert på det mellomliggende signal (210),
ved å bruke en første oppmiksingsregel for å beregne en første del av rekonstruksjonen av flerkanalsignalet tilsvarende den første delen av flerkanalsignalet, hvor første oppmiksingsregel avhenger av de første parametriske data (206); og ved å bruke en andre oppmiksingsregel for å beregne en andre del av rekonstruksjonen av flerkanalsignalet, hvor den andre oppmiksingsregelen ikke bruker noe parametriske data eller de andre parametriske data (208).
10 Flerkanalkoder (100) for å generere en parametrisk representasjon (112) som beskriver romlige egenskaper av et flerkanal audiosignal (106), idet flerkanalkoderen (100) omfatter:
• en parametergenerator (102) for å generere et kombinert sett romlige parametre for en første del (108) og for en andre del (110) av flerkanalsignalet;
• en nedmikser for å fremskaffe et nedmikssignal fra flerkanalsignalet ved å bruke en kombinert nedmiksregel avhengig av det kombinerte sett romlige parametere og i en matrisert surround-kompatibel måte; og
• et utgående grensesnitt (104) for å generere den parametriske representasjonen (112) og for å utmate nedmikssignalet;
hvor parametergeneratoren (102) eller det utgående grensesnitt (104) er innrettet for å generere den parametriske representasjonen (112) slik at den parametriske representasjonen (112) omfatter første parametriske data (206) for den første del (108) av flerkanalsignalet og hvor for den andre del (110) av flerkanalsignalet (106) ingen parametriske data eller andre parametriske data (208) er inkludert i den parametriske representasjonen (112), hvor de andre parametriske data (208) krever færre informasjonsenheter enn de første parametriske data (206) når det beskrives en identisk del av flerkanalsignalet, og
hvor den første delen og den andre delen er en tidsdel eller en frekvensdel.
11 Fremgangsmåte for prosessering av et nedmiks audiosignal (204) utledet på en matrisert surround-kompatibel måte og for prosessering første parametriske data (206) som beskriver en første del av et flerkanalsignal, hvor for en andre del av flerkanalsignalet ingen parametriske data eller andre parametriske data (208) prosesseres, hvor de andre parametriske data (208) krever færre informasjonsenheter enn de første parametriske data (206) når det beskrives en identisk del av flerkanalsignalet, idet fremgangsmåten omfatter:
• å fremskaffe et mellomliggende signal (210) fra nedmikssignalet ved å bruke en første fremskaffelsesregel avhengig av de første parametriske data (206) og omfattende et første sett matriseelementer av en predekorrelasjonsmatrise (M1) eller en miksematrise (M2) for å fremskaffe en første del av det mellomliggende signal (210), hvor den første delen av det mellomliggende signal tilsvarer den første delen av flerkanal audiosignalet; og
• å fremskaffe en andre del av det mellomliggende signal ved å bruke en andre fremskaffelsesregel, hvor den andre fremskaffelsesregelen ved å bruke de andre parametriske data (208) eller ingen parametriske data og omfattende et andre sett matriseelementer av predekorrelasjonsmatrisen (M1) eller miksematrisen (M2), hvor prosessoren (202) er innrettet til å beregne den andre fremskaffelsesregelen fra informasjon på det nedmiksede audiosignalet (204) eller fra de andre parametriske data (208),
hvor den første delen og den andre delen er en tidsdel eller en frekvensdel.
12 Fremgangsmåte for å generere en parametrisk representasjon (112) som beskriver romlige egenskaper av et flerkanal audiosignal (106), som omfatter:
• å generere et kombinert sett romlige parametre for en første del (108) og for en andre del (110) av flerkanalsignalet;
• å fremskaffe et nedmikssignal fra flerkanalsignalet ved å bruke en kombinert nedmiksregel avhengig av det kombinerte sett romlige parametere og i en matrisert surround-kompatibel måte; og
• å generere den parametriske representasjonen (112) og å utmate nedmikssignalet;
hvor, i trinnene med å fremskaffe eller å generere, genereres den parametriske representasjonen (112) slik at den parametriske representasjonen (112) omfatter første parametriske data (206) for den første del (108) av flerkanalsignalet og hvor for den andre del (110) av flerkanalsignalet (106) ingen parametriske data eller andre parametriske data (208) er inkludert i den parametriske representasjonen (112), hvor de andre parametriske data (208) krever færre informasjonsenheter enn de første parametriske data (206) når det beskrives en identisk del av flerkanalsignalet, og hvor den første delen og den andre delen er en tidsdel eller en frekvensdel.
13 Datamaskinprogram som har en programkode for å utføre, når det kjører på en datamaskin, en fremgangsmåte ifølge krav 11 eller krav 12.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US70100105P | 2005-07-19 | 2005-07-19 | |
| US11/323,965 US20070055510A1 (en) | 2005-07-19 | 2005-12-29 | Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding |
| PCT/EP2006/005971 WO2007009548A1 (en) | 2005-07-19 | 2006-06-21 | Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| NO20080850L NO20080850L (no) | 2008-04-17 |
| NO342863B1 true NO342863B1 (no) | 2018-08-20 |
Family
ID=36873210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| NO20080850A NO342863B1 (no) | 2005-07-19 | 2008-02-18 | Konsept for kopling av gapet mellom parametrisk flerkanals audiokoding og matrise-surround flerkanalkoding |
Country Status (21)
| Country | Link |
|---|---|
| US (2) | US20070055510A1 (no) |
| EP (6) | EP4307124A3 (no) |
| JP (1) | JP5265358B2 (no) |
| KR (1) | KR100946688B1 (no) |
| CN (1) | CN101223578B (no) |
| AU (1) | AU2006272127B2 (no) |
| BR (1) | BRPI0616019B1 (no) |
| CA (1) | CA2614384C (no) |
| DK (1) | DK3404656T3 (no) |
| ES (2) | ES2952871T3 (no) |
| FI (1) | FI3404656T3 (no) |
| HU (1) | HUE064455T2 (no) |
| IL (1) | IL188425A0 (no) |
| MX (1) | MX2008000828A (no) |
| MY (1) | MY149198A (no) |
| NO (1) | NO342863B1 (no) |
| PL (1) | PL1908056T3 (no) |
| PT (2) | PT3404656T (no) |
| RU (1) | RU2382418C2 (no) |
| TW (1) | TWI339028B (no) |
| WO (1) | WO2007009548A1 (no) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI393121B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
| CN101151659B (zh) * | 2005-03-30 | 2014-02-05 | 皇家飞利浦电子股份有限公司 | 多通道音频编码器、设备、方法及其解码器、设备和方法 |
| WO2007010451A1 (en) * | 2005-07-19 | 2007-01-25 | Koninklijke Philips Electronics N.V. | Generation of multi-channel audio signals |
| WO2007055464A1 (en) | 2005-08-30 | 2007-05-18 | Lg Electronics Inc. | Apparatus for encoding and decoding audio signal and method thereof |
| AU2006291689B2 (en) * | 2005-09-14 | 2010-11-25 | Lg Electronics Inc. | Method and apparatus for decoding an audio signal |
| WO2007043388A1 (ja) * | 2005-10-07 | 2007-04-19 | Matsushita Electric Industrial Co., Ltd. | 音響信号処理装置および音響信号処理方法 |
| KR101218776B1 (ko) | 2006-01-11 | 2013-01-18 | 삼성전자주식회사 | 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 |
| KR100773560B1 (ko) * | 2006-03-06 | 2007-11-05 | 삼성전자주식회사 | 스테레오 신호 생성 방법 및 장치 |
| EP1999745B1 (en) * | 2006-03-30 | 2016-08-31 | LG Electronics Inc. | Apparatuses and methods for processing an audio signal |
| US7873424B1 (en) * | 2006-04-13 | 2011-01-18 | Honda Motor Co., Ltd. | System and method for optimizing digital audio playback |
| KR101120909B1 (ko) * | 2006-10-16 | 2012-02-27 | 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. | 멀티 채널 파라미터 변환 장치, 방법 및 컴퓨터로 판독가능한 매체 |
| PL2068307T3 (pl) * | 2006-10-16 | 2012-07-31 | Dolby Int Ab | Udoskonalony sposób kodowania i odtwarzania parametrów w wielokanałowym kodowaniu obiektów poddanych procesowi downmiksu |
| JP5270566B2 (ja) * | 2006-12-07 | 2013-08-21 | エルジー エレクトロニクス インコーポレイティド | オーディオ処理方法及び装置 |
| ATE547786T1 (de) * | 2007-03-30 | 2012-03-15 | Panasonic Corp | Codierungseinrichtung und codierungsverfahren |
| KR101464977B1 (ko) * | 2007-10-01 | 2014-11-25 | 삼성전자주식회사 | 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치 |
| JP4992979B2 (ja) | 2007-11-06 | 2012-08-08 | 富士通株式会社 | 多地点間音声通話装置 |
| WO2009068085A1 (en) * | 2007-11-27 | 2009-06-04 | Nokia Corporation | An encoder |
| EP2232485A4 (en) * | 2008-01-01 | 2012-09-26 | Lg Electronics Inc | METHOD AND APPARATUS FOR SIGNAL PROCESSING |
| JP5202090B2 (ja) * | 2008-05-07 | 2013-06-05 | アルパイン株式会社 | サラウンド生成装置 |
| ES2613693T3 (es) * | 2008-05-09 | 2017-05-25 | Nokia Technologies Oy | Aparato de audio |
| MY159110A (en) * | 2008-07-11 | 2016-12-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V | Audio encoder and decoder for encoding and decoding audio samples |
| EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
| KR101342425B1 (ko) * | 2008-12-19 | 2013-12-17 | 돌비 인터네셔널 에이비 | 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터 |
| EP2214161A1 (en) | 2009-01-28 | 2010-08-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for upmixing a downmix audio signal |
| ES2511390T3 (es) * | 2009-04-08 | 2014-10-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato, procedimiento y programa de computación para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavización de valor de fase |
| TWI444989B (zh) | 2010-01-22 | 2014-07-11 | Dolby Lab Licensing Corp | 針對改良多通道上混使用多通道解相關之技術 |
| JP5604933B2 (ja) * | 2010-03-30 | 2014-10-15 | 富士通株式会社 | ダウンミクス装置およびダウンミクス方法 |
| JP5533502B2 (ja) * | 2010-09-28 | 2014-06-25 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム |
| CN102802112B (zh) * | 2011-05-24 | 2014-08-13 | 鸿富锦精密工业（深圳）有限公司 | 具有音频文件格式转换功能的电子装置 |
| US9183842B2 (en) * | 2011-11-08 | 2015-11-10 | Vixs Systems Inc. | Transcoder with dynamic audio channel changing |
| US9761229B2 (en) | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
| US9479886B2 (en) | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
| RU2640743C1 (ru) * | 2012-11-15 | 2018-01-11 | Нтт Докомо, Инк. | Устройство кодирования аудио, способ кодирования аудио, программа кодирования аудио, устройство декодирования аудио, способ декодирования аудио и программа декодирования аудио |
| WO2014108738A1 (en) * | 2013-01-08 | 2014-07-17 | Nokia Corporation | Audio signal multi-channel parameter encoder |
| KR101775086B1 (ko) * | 2013-01-29 | 2017-09-05 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. | 주파수 향상 오디오 신호를 생성하는 디코더, 디코딩 방법, 인코딩된 신호를 생성하는 인코더, 및 컴팩트 선택 사이드 정보를 이용한 인코딩 방법 |
| CN105074818B (zh) | 2013-02-21 | 2019-08-13 | 杜比国际公司 | 音频编码系统、用于产生比特流的方法以及音频解码器 |
| WO2014171791A1 (ko) | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
| RU2676041C1 (ru) | 2013-05-24 | 2018-12-25 | Долби Интернэшнл Аб | Аудиокодер и аудиодекодер |
| WO2014191793A1 (en) * | 2013-05-28 | 2014-12-04 | Nokia Corporation | Audio signal encoder |
| EP2830053A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
| US9319819B2 (en) * | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
| CN110473560B (zh) | 2013-09-12 | 2023-01-06 | 杜比国际公司 | 多声道音频内容的编码 |
| EP3095117B1 (en) | 2014-01-13 | 2018-08-22 | Nokia Technologies Oy | Multi-channel audio signal classifier |
| WO2015173422A1 (de) * | 2014-05-15 | 2015-11-19 | Stormingswiss Sàrl | Verfahren und vorrichtung zur residualfreien erzeugung eines upmix aus einem downmix |
| DE112015003108B4 (de) * | 2014-07-01 | 2021-03-04 | Electronics And Telecommunications Research Institute | Verfahren und Vorrichtung zur Verarbeitung eines Mehrkanal-Audiosignals |
| MY196436A (en) * | 2016-01-22 | 2023-04-11 | Fraunhofer Ges Forschung | Apparatus and Method for Encoding or Decoding a Multi-Channel Signal Using Frame Control Synchronization |
| DE102016214923B4 (de) | 2016-08-11 | 2023-08-17 | Continental Reifen Deutschland Gmbh | Schwefelvernetzbare Kautschukmischung und deren Verwendung |
| US11363377B2 (en) * | 2017-10-16 | 2022-06-14 | Sony Europe B.V. | Audio processing |
| RU2749349C1 (ru) * | 2018-02-01 | 2021-06-09 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Кодер аудиосцены, декодер аудиосцены и соответствующие способы, использующие пространственный анализ с гибридным кодером/декодером |
| TWI792006B (zh) * | 2019-06-14 | 2023-02-11 | 弗勞恩霍夫爾協會 | 音訊合成器、訊號產生方法及儲存單元 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1376538A1 (en) * | 2002-06-24 | 2004-01-02 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4799260A (en) * | 1985-03-07 | 1989-01-17 | Dolby Laboratories Licensing Corporation | Variable matrix decoder |
| KR960012475B1 (ko) * | 1994-01-18 | 1996-09-20 | 대우전자 주식회사 | 디지탈 오디오 부호화장치의 채널별 비트 할당 장치 |
| US5912976A (en) | 1996-11-07 | 1999-06-15 | Srs Labs, Inc. | Multi-channel audio enhancement system for use in recording and playback and methods for providing same |
| DE19900961A1 (de) | 1999-01-13 | 2000-07-20 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Wiedergabe von Mehrkanaltonsignalen |
| TW510143B (en) * | 1999-12-03 | 2002-11-11 | Dolby Lab Licensing Corp | Method for deriving at least three audio signals from two input audio signals |
| JP2001339311A (ja) * | 2000-05-26 | 2001-12-07 | Yamaha Corp | オーディオ信号圧縮回路および伸長回路 |
| EP1362499B1 (en) * | 2000-08-31 | 2012-02-15 | Dolby Laboratories Licensing Corporation | Method for apparatus for audio matrix decoding |
| JP2002311994A (ja) * | 2001-04-18 | 2002-10-25 | Matsushita Electric Ind Co Ltd | ステレオオーディオ信号符号化方法及び装置 |
| US7006636B2 (en) | 2002-05-24 | 2006-02-28 | Agere Systems Inc. | Coherence-based audio coding and synthesis |
| US7644003B2 (en) | 2001-05-04 | 2010-01-05 | Agere Systems Inc. | Cue-based audio coding/decoding |
| SE0202159D0 (sv) * | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
| KR101021079B1 (ko) * | 2002-04-22 | 2011-03-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 파라메트릭 다채널 오디오 표현 |
| CN100539742C (zh) | 2002-07-12 | 2009-09-09 | 皇家飞利浦电子股份有限公司 | 多声道音频信号编解码方法和装置 |
| RU2325046C2 (ru) | 2002-07-16 | 2008-05-20 | Конинклейке Филипс Электроникс Н.В. | Аудиокодирование |
| JP2004252068A (ja) * | 2003-02-19 | 2004-09-09 | Matsushita Electric Ind Co Ltd | デジタルオーディオ信号の符号化装置及び方法 |
| US20060171542A1 (en) * | 2003-03-24 | 2006-08-03 | Den Brinker Albertus C | Coding of main and side signal representing a multichannel signal |
| US7318035B2 (en) * | 2003-05-08 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Audio coding systems and methods using spectral component coupling and spectral component regeneration |
| US7394903B2 (en) | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
| WO2006000842A1 (en) * | 2004-05-28 | 2006-01-05 | Nokia Corporation | Multichannel audio extension |
| US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
| CA2613885C (en) * | 2005-06-30 | 2014-05-06 | Lg Electronics Inc. | Method and apparatus for encoding and decoding an audio signal |
-
2005
- 2005-12-29 US US11/323,965 patent/US20070055510A1/en not_active Abandoned
-
2006
- 2006-06-21 RU RU2008106225/09A patent/RU2382418C2/ru active
- 2006-06-21 PL PL06743182T patent/PL1908056T3/pl unknown
- 2006-06-21 BR BRPI0616019-0A patent/BRPI0616019B1/pt active IP Right Grant
- 2006-06-21 KR KR1020087002860A patent/KR100946688B1/ko active IP Right Grant
- 2006-06-21 JP JP2008521820A patent/JP5265358B2/ja active Active
- 2006-06-21 DK DK18180076.4T patent/DK3404656T3/da active
- 2006-06-21 EP EP23214132.5A patent/EP4307124A3/en active Pending
- 2006-06-21 EP EP23180543.3A patent/EP4235440A3/en active Pending
- 2006-06-21 CA CA2614384A patent/CA2614384C/en active Active
- 2006-06-21 WO PCT/EP2006/005971 patent/WO2007009548A1/en active Application Filing
- 2006-06-21 PT PT181800764T patent/PT3404656T/pt unknown
- 2006-06-21 EP EP23214133.3A patent/EP4307125A3/en active Pending
- 2006-06-21 ES ES18180076T patent/ES2952871T3/es active Active
- 2006-06-21 EP EP18180076.4A patent/EP3404656B1/en active Active
- 2006-06-21 ES ES06743182.5T patent/ES2690278T3/es active Active
- 2006-06-21 AU AU2006272127A patent/AU2006272127B2/en active Active
- 2006-06-21 EP EP23214134.1A patent/EP4307126A3/en active Pending
- 2006-06-21 HU HUE18180076A patent/HUE064455T2/hu unknown
- 2006-06-21 MX MX2008000828A patent/MX2008000828A/es active IP Right Grant
- 2006-06-21 CN CN2006800259749A patent/CN101223578B/zh active Active
- 2006-06-21 EP EP06743182.5A patent/EP1908056B1/en active Active
- 2006-06-21 PT PT06743182T patent/PT1908056T/pt unknown
- 2006-06-21 FI FIEP18180076.4T patent/FI3404656T3/fi active
- 2006-06-23 MY MYPI20062999A patent/MY149198A/en unknown
- 2006-07-17 TW TW095125971A patent/TWI339028B/zh active
- 2006-07-19 US US11/458,646 patent/US8180061B2/en active Active
-
2007
- 2007-12-26 IL IL188425A patent/IL188425A0/en active IP Right Grant
-
2008
- 2008-02-18 NO NO20080850A patent/NO342863B1/no unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1376538A1 (en) * | 2002-06-24 | 2004-01-02 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| NO342863B1 (no) | Konsept for kopling av gapet mellom parametrisk flerkanals audiokoding og matrise-surround flerkanalkoding | |
| US20240127829A1 (en) | Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding | |
| RU2430430C2 (ru) | Усовершенствованный метод кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования | |
| RU2665214C1 (ru) | Стереофонический кодер и декодер аудиосигналов | |
| US8433583B2 (en) | Audio decoding | |
| AU2018200340B2 (en) | Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding | |
| RU2485605C2 (ru) | Усовершенствованный метод кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования |