NO344760B1

NO344760B1 - Kompatibel flerkanal-koding/dekoding.

Info

Publication number: NO344760B1
Application number: NO20180990A
Authority: NO
Inventors: Jürgen Herre; Johannes Hilpert; Stefan Geyerserger; Andreas Holzer; Claus Spenger
Original assignee: Fraunhofer Ges Forschung
Priority date: 2003-10-02
Filing date: 2018-07-13
Publication date: 2020-04-14
Also published as: EP1668959B1; EP1668959A2; NO344635B1; US20190379990A1; CN1864436A; NO20200106A1; IL174286A; US20180359589A1; US10433091B2; BR122018069728B1; PT1668959E; US10165383B2; WO2005036925A3; DE602004004168D1; US9462404B2; NO20180993A1; US20180359588A1; US11343631B2; IL174286A0; RU2006114742A

Description

Oppfinnelsen angår et apparat og en fremgangsmåte for å behandle et flerkanals audiosignal og især et apparat og en fremgangsmåte for å behandle et flerkanals audiosignal nal på en stereokompatibel måte.

Flerkanals audioreproduseringsteknikker er blitt stadig viktigere. Dette kan skyldes at audiokompresjon/kodeteknikker, for eksempel den kjente mp3-teknikken har gjort det mulig å distribuere audioinnspillinger via Internet eller andre overføringskanaler med en begrenset båndbredde. mp3-kodeteknikken er blitt så kjent på grunn av at den muliggjør distribusjon av alle innspillinger i et stereoformat, dvs. en digital gjengivelse av audioinnspillingen med en første eller venstre stereokanal og en andre eller høyre stereokanal.

Uansett finnes det en grunnleggende ulempe med konvensjonelle tokanals lydsystemer. Dette førte til utviklingen av surround-teknikken. En anbefalt, flerkanalssurround-gjengivelse omfatter, i tillegg til de to stereokanaler L og R, en senterkanal C og to surround-kanaler Ls, Rs. Dette referanselydformatet kalles også tre/to-stereo som innebærer tre frontkanaler og to surround-kanaler. Generelt kreves det fem overføringskanaler. I et avspillingsmiljø trengs det minst fem høyttalere på deres fem forskjellige steder for å få et optimalt lyttested i en bestemt avstand fra de fem, godt plasserte høyttalere.

Flere teknikker er kjent for å redusere mengden av data som kreves for overføringen av et flerkanals lydsignal. Slike teknikker kalles samlestereoteknikker. For å oppnå dette henvises det til fig. 10 som viser en samlestereoenhet 60. Denne enhet kan være en enhet som implementerer for eksempel intensitetsstereo (IS) eller "binaural cuecoding" (BCC). En slik enhet mottar generelt minst to kanaler (CHI, CH2, ... CHn) og sender ut en enkelt bærerkanal og parametriske data. De parametriske data defineres slik at en approksimering av en opprinnelige kanal (CHI, CH2, ... CHn) kan bli beregnet i en dekoder.

Normalt vil bærerkanalen omfatte delbåndsampler, spektralkoeffisienter, tidsdomenesampler osv., som gir en relativt fin gjengivelse av det underliggende signal, mens parameterdataene ikke omfatter slike sampler av spektralkoeffisienten men snarere styrer parametere for å regulere en bestemt rekonstruksjonsalgoritme, for eksempel veiing ved multiplisering, tidsforskyvning, frekvensforskyvning, ... De parametriske data om-fatter derfor bare en relativt grov gjengivelse av signalet eller den tilhørende kanal. I størrelse vil mengden av data som kreves av en bærerkanal være i området 60-70 kbit/s mens mengden av data som kreves av parametersideinformasjon for en kanal vil være mellom 1,5-2,5 kbit/s. Et eksempel på parameterdata er de kjente skaleringsfaktorer, intensitetsstereoinformasjon eller binaural cue parametere, som beskrevet nedenfor.

Intensitetsstereokoding er beskrevet i AES-utkastet 3799 "Intensity stereo coding", J. Herre, K.H. Brandenburg, D. Lederer, februar 1994, Amsterdam. Generelt er ideen med intensitetsstereo basert på at en hovedakse omdanner tilføres data til begge de stereofoniske lydkanalene. Hvis de fleste datapunkter er konsentrert rundt den førstehovedakse, kan en kodegevinst oppnås ved å dreie begge signalene i en viss vinkel før kodingen. Dette er imidlertid ikke alltid tilfelle for virkelig stereoproduksjonsteknikker. Følgelig modifiseres denne teknikk ved å utelukke den andre, ortogonale komponent fra overføringen i bitstrømmen. Således består de rekonstruerte signalene fra venstre og høyre kanal av forskjellige vektede eller skalerte versjoner av det samme, overførte signal. Uansett skiller de rekonstruerte signalene seg i deres amplitude, men er identiske når det gjelder deres faseinformasjon. Energi-tid-eneloppene av begge de opprinnelig lydkanaler opprettholdes imidlertid ved hjelp av den selektive skalering som typisk opererer på frekvensselektiv måte. Dette samsvarer med den menneskelige oppfattelsen av lyd ved høyere frekvenser hvor de dominerende, spatiale stikknoter bestemmes av energienveloppene.

I tillegg, og i praksis, genereres det overførte signalet, dvs. bærerkanalen fra det summerte signal av venstre og høyre kanal i stedet for å dreie begge komponentene. Videre utføres denne behandling, dvs. generering av intensitetsstereoparametere for å utføre skaleringen, frekvensselektivt, dvs. uavhengig av hvert skaleringsfaktorbånd, dvs. koderfrekvenspartisjonen. Fortrinnsvis kombineres begge kanalene for å danne en kombinert eller "bærer"-kanal og i tillegg til den kombinerte kanal blir intensitetsstereoinformasjonen avgjort avhengig av energien av den første kanal, energien av den andre kanal eller energien av den kombinerte kanal.

BCC-teknikken er beskrevet i AES-konvensjonsdokumentet 5574, "Binaural cuecoding applied to stereo and multichannel audio compression", C. Faller, F. Baumgarte, mai 2002, Miinchen. I BCC-koding blir et antall audioinngangskanaler konvertert til en spektral gjengivelse ved å bruke en DFT-basert omforming med overlappende vinduer. Det resulterende, ensartede spektrum blir delt inn i ikkeoverlappende partisjoner som hver har en indeks. Hver partisjon har en båndbredde som er proporsjonal med den tilsvarende rektangulære båndbredde (ERB). Mellomkanalnivåforskjellene (ICLD) og mellomkanaltidsforskjellene (ICTD) beregnes for her partisjon for hver pakke k. ICLD og ICTD kvantiseres og kodes til en BCC-bitstrøm. Mellomkanalnivåforskjellene og mellomkanaltidsforskjellene blir gitt for hver kanal i forhold til referansekanalen. Deretter beregnes parametrene i samsvar med foreskrevne formler som avhenger av de enkelte partisjoner av signalet som skal behandles.

På dekodersiden mottar dekoderen et monosignal og BCC-bitstrømmen. Monosignalet blir omdannet til frekvensdomene og sendt til en spatial synteseblokk som også mottar dekodede ICLD- og ICTD-verdier. I spatialsynteseblokken blir BCC-parameterverdiene (ICLD og ICTD) for å utføre en veiet operasjon av monosignalet for å syntetisere flerkanalssignalene som, etter en frekvens/tidskonvertering gir en rekonstruksjon av det opprinnelige flerkanalslydsignalet.

Når det gjelder BCC kan den samlede stereomodul 60 brukes for å sende kanalsideinformasjon, slik at parameterkanaldataene blir kvantisert og kodet til ICLD-eller ICTD-parametere hvor en av de opprinnelige kanaler brukes som referansekanal for koding av kanalsideinformasjon.

Normalt formes bærerkanalen av summen av de tiltakende, opprinnelige kanaler. Naturligvis gir de ovennevnte teknikker bare en monogjengivelse for en dekoder som bare kan behandle bærerkanalen men som ikke erstatter behandling av parameterdataene for å generere en eller flere approksimasjoner av mer enn en inngangskanal.

For å overføre de fem kanalene på en kompatibel måte, dvs. i et bitstrømformat som også kan forstås av en normal stereodekoder, har den såkalte matriseteknikk blitt brukt som beskrevet i "MUSICAM-surround: et universalt flerkanals kodesystem kompatibelt med ISO 11172-3", G. Theile og G. Stoll, .AES-utkast 3403, oktober 1992,San Francisco. De fem inngangskanaler L, R, C, Ls og Rs mates inn i matriseenheten som utfører en matriseoperasjon for å beregne grunnstereokanalene eller de kompatible stereokanalene Lo, Ro fra de fem inngangskanaler. Især beregnes disse grunnleggende stereokanaler Lo/Ro som beskrevet nedenfor:

Lo=L+xC+yLs

Ro=R+xC+yRs

hvor x og y er konstanter. De andre tre kanalene C, Ls, Rs blir overført som de er i et forlengelseslag, i tillegg til et basisstereolag som omfatter en kodet versjon avbasisstereosignalene Lo/Ro. Når det gjelder bitstrømmen omfatter dette Lo/Ro-basisstereolag en tittelinformasjon, for eksempel skaleringsfaktorer og delbåndsampler. Multikanalforlengelseslaget, dvs. sentralkanalen og de to surround-kanalene er omfattet i flerkanalens forlengede felt som også kalles tilleggsdatafelt.

På dekodersiden blir en omvendt matriseoperasjon utført for å danne rekonstruksjoner av venstre og høyre kanal i fem-kanalsgjengivelsen ved å bruke basisstereokanalene Lo, Ro og de tre tilleggskanalene. I tillegg blir de tre tilleggskanalene dekodet fra tilleggsinformasjonen for å oppnå en dekodet femkanals- eller surround gjengivelse av det opprinnelige flerkanals lydsignalet.

En annen fremgangsmåte for flerkanalskoding; er beskrevet i publikasjonen "Improved MPEG-2 audio multi-channel encoding", B. Grill, J. Herre, K.H. Brandenburg, E. Eberlein, J. Koller, J. Mueller, AES-utkast 3865, februar 1994, Amsterdam, hvor bakoverkompatible moduser vurderes for å oppnå bakoverkompatibilitet. For å oppnå dette brukes en kompatibilitetsmatrise for å oppnå to såkalte nedblandekanaler Lc, Rc fra de opprinnelige fem inngangskanaler. Videre er det mulig å velge dynamisk tre hjelpekanaler som overføres som tilleggsdata.

Teknikkens stand beskriver i US 5701346 A også en fremgangsmåte for koding av flere lydsignaler, hvor den venstre og høyre basis-kanal, og også sentral- kanalen, kombineres ved felles stereokoding for å oppnå et felles kodet signal som avkodes for å tilveiebringe simulerte dekodede signaler.

Teknikkens stand beskriver i EP 0688113 A2 også en kodingsfremgangsmåte og apparat for koding av flerkanalsignaler anvendt i for eksempel et stereosystem av en videospiller, en videobåndopptaker, et filmsekvensfilmsystem eller et såkalt multisurround akustisk system

For å utnytte stereoirrelevans, brukes en samlet stereoteknikk til grupper av kanaler, dvs. de tre frontkanalene, dvs. for venstre kanal, høyre kanal og midtkanalen. For å oppnå dette blir disse tre kanalene kombinert for å oppnå en kombinert kanal. Denne kombinerte kanal kvantiseres og pakkes inn i bitstrømmen. Deretter blir denne kombinerte kanal sammen med tilsvarende samlet stereoinformasjon sendt til en dekodingsmodul for samlet vurdering for å oppnå samlede stereodekodede kanaler, dvs. en samlet stereodekodet venstrekanal, en samlet stereodekodet høyrekanal og en samlet stereodekodet midtkanal. Disse samlede stereodekodede kanaler blir, sammen med venstre surroundkanal og høyre surroundkanal sendt til en kompatibilitetsmatriseblokk for å danne første og andre nedblandekanaler Lc, Rc. Deretter blir kvantiserte versjoner av begge nedblandekanaler og en kvantisert versjon av den kombinerte kanal pakket inn i bitstrømmen sammen med de sammenføyde stereokodeparametere. Ved å bruke intensitetsstereokoding blir følgelig en gruppe av uavhengige, opprinnelige kanalsignaler sendt i en enkelt porsjon av "bærer"-data. Dekoderen vil så re-konstruere de aktuelle signaler som identiske data som blir omskalert ifølge deres opprinnelige energi-tidenvelopper. Følgelig vil en lineær kombinasjon av de sendte kanaler føre til resultater som er helt forskjellige i forhold til den opprinnelige nedblanding. Dette gjelder enhver type av sammenføyd. stereokoding basert på intensitetsstereokonseptet. For et kodesystem som leverer kompatible nedblandekanaler vil dette får en direkte konsekvens. Gjengivelsen ved avmatrising som beskrevet i den foregående publikasjon lider av unaturligheter forårsaket av den utilfredsstillende rekonstruksjon. Ved å bruke et såkalt samlet stereo for-distorsjonsopplegg hvor en sammenføydstereokoding av venstre, høyre og midtkanalene utføres før matrising i koderen, kan dette minske problemet. På denne måte vil avmatriseopplegget for rekonstruksjonen medføre færre kunstgrep siden de samlede stereodekodede signalene på kodesiden har blitt brukt for å generere nedblandekanalen. Således blir den ikke-perfekte rekonstruksjon forflyttet inn i de kompatible nedblandekanalene Lc og Rc hvor den mer sannsynligvis vil bli maskert av selve lydsignalet.

Selv om et slikt system har ført til færre kunstgrep på grunn av dematriseringen av dekodersiden vil det uansett ha enkelte ulemper. En ulempe er at de stereokompatible nedblandekanalene Lc og Rc ikke blir avledet fra de opprinnelige kanalene men fra intensitetsstereokodede/dekodede versjoner av de opprinnelige kanalene. Følgelig blir datatap på grunn av intensitetsstereokodesystemet omfattet i de kompatible nedblandekanalene. En stereodekoder som bare dekoder de kompatible kanalene snarere enn de forbedrede intensitetsstereokodede kanaler vil derfor være et utgangssignal som blir påvirket av intensitetsstereoinduserte datatap. I tillegg må en full tilleggskanal overføres ved siden av de to nedblandekanalene. Denne kanal er den kombinerte kanal som dannes ved hjelp av en sammenføyd stereokoding av venstre, høyre og midtkanalen. I tillegg må også intensitetsstereoinformasjonen for å rekonstruere de opprinnelige kanaler L, R, C fra den kombinerte kanal også overføres til dekoderen. Ved dekoderen utføres en omvendt matrising, det vil si en dematrising utføres for å avlede surroundkanalene fra de to nedblandekanaler. I tillegg blir de opprinnelige venstre, høyre og midtkanaler approksimert ved sammenføyd stereodekoding ved å bruke den overførte kombinerte kanal og de overførte, sammenføyde stereoparametere. Det skal bemerkes at den opprinnelige venstre, høyre og midtkanal avledes av den sammenføyde stereodekoding av den kombinerte kanal.

Det er et formål med oppfinnelsen å tilveiebringe et konsept for en biteffektiv og kunstgrepreduserende behandling eller omvendt behandling av et flerkanals audiosignal.

Oppfinnelsen kjentegnes av et apparat for behandling av et flerkanals lydsignal, hvor det flerkanals lydsignalet som har minst tre opprinnelige kanaler, er omfattende: en tilveiebringer for å tilveiebringe en første nedblandekanal og en andre nedblandekanal, idet den første og den andre nedblandekanalen er avledet fra de opprinnelige kanalene; en kalkulator for å beregne kanalsideinformasjon for en valgt opprinnelig kanal av de opprinnelige signalene, hvor kalkulatoren er operativ for å beregne kanalsideinformasjonen slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første og den andre nedblandekanalen, når vektet ved anvendelse av kanalsideinformasjonen, resulterer i en approksimasjon av den valgte opprinnelige kanalen; og en generator for å generere utgangsdata, hvor utgangsdataene er omfattende kanalsideinformasjonen.

Oppfinnelsen kjentegnes også av en fremgangsmåte for behandling av et flerkanals lydsignal, hvor det flerkanals lydsignalet har minst tre opprinnelige kanaler, omfattende: å tilveiebringe, av en tilveiebringer, en første nedblandekanal og en andre nedblandekanal, hvor den første og den andre nedblandekanalen avledes fra de opprinnelige kanalene; å kalkulere, med en kalkulator, kanalsideinformasjon for en valgt opprinnelig kanal av de opprinnelige signalene slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første og den andre nedblandekanalen, når vektet ved anvendelse av kanalsideinformasjonen, resulterer i en approksimasjon av den valgte opprinnelige kanalen; og å generere, ved hjelp av en generator, utgangsdata, hvor utgangsdataene er omfattende kanalsideinformasjonen, hvori leverandøren, kalkulatoren eller generatoren omfatter en maskinvareimplementering.

Oppfinnelsen kjentegnes også av et apparat for invers behandling av inngangsdata, hvor apparatet er omfattende: en inngangsdataleser for lesing av inngangsdataene, inngangsdataene er omfattende kanalsideinformasjon, en første nedblandekanal eller et signal avledet fra den første nedblandekanalen og en andre nedblandekanal eller et signal avledet fra den andre nedblandekanalen, hvori kanalsideinformasjonen beregnes slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første nedblandekanalen og den andre nedblandekanalen, når vektet ved hjelp av kanalsideinformasjonen, resulterer i en approksimasjon for en valgt opprinnelig kanal, hvori inngangsdataleseren konfigureres for å oppnå den første nedblandekanalen eller et signal avledet fra den første nedblandekanalen og den andre nedblandekanalen eller et signal avledet fra den andre nedblandekanalen og kanalsideinformasjonen; og en kanalrekonstruktør for rekonstruering av approksimasjonen av den valgte opprinnelige kanalen ved hjelp av kanalsideinformasjonen og nedblandekanalen eller den kombinerte nedblandekanalen for å oppnå approksimasjon av den valgte opprinnelige kanalen,

hvori minst en av inngangsdataleseren og kanalrekonstruktøren omfatter en maskinvareimplementasjon.

Oppfinnelsen kjentegnes også av en fremgangsmåte for invers behandling av inngangsdata, hvor fremgangsmåten er omfattende: å lese, av en inngangsdataleser, inngangsdataene, hvor inngangsdataene er omfattende kanalsideinformasjon, en første nedblandekanal eller et signal avledet fra den første nedblandekanalen og en andre nedblandekanal eller et signal avledet fra den andre nedblandekanalen, hvori kanalsideinformasjonen beregnes slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første nedblandekanalen og den andre nedblandekanalen, når vektet ved hjelp av kanalsideinformasjonen, resulterer i en approksimasjon for en valgt opprinnelig kanal; og å rekonstruere, av en rekonstruktør, approksimasjonen av den valgte opprinnelige kanalen ved hjelp av kanalsideinformasjonen og nedblandekanalen eller den kombinerte nedblandekanalen for å oppnå approksimasjonen av den valgte opprinnelige kanalen, hvori minst en av inngangsdataleseren og kanalrekonstruktøren omfatter en maskinvareimplementasjon.

Oppfinnelsen kjentegnes også av et ikke-flyktig lagringsmedium som har lagret derpå et datamaskinprogram med en programkode for å utføre en fremgangsmåte for behandling av et flerkanals lydsignal, hvor flerkanals lydsignalet har minst tre opprinnelige kanaler, omfattende: å tilveiebringe en første nedblandekanal og en andre nedblandekanal, hvor den første og den andre nedblandekanalen avledes fra de opprinnelige kanalene; å kalkulere kanalsideinformasjon for en valgt opprinnelig kanal av de opprinnelige signalene slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første og den andre nedblandekanalen, når vektet ved anvendelse av kanalsideinformasjonen, resulterer i en approksimasjon av den valgte opprinnelige kanalen; og å generere utgangsdata, hvor utgangsdataene er omfattende kanalsideinformasjonen.

Oppfinnelsen kjentegnes også av et ikke-flyktig lagringsmedium som har lagret derpå et datamaskinprogram med en programkode for å utføre en fremgangsmåte for invers behandling av inngangsdata, hvor fremgangsmåten er omfattende: å lese inngangsdataene, hvor inngangsdataene er omfattende kanalsideinformasjon, en første nedblandekanal eller et signal avledet fra den første nedblandekanalen og en andre nedblandekanal eller et signal avledet fra den andre nedblandekanalen, hvori kanalsideinformasjonen beregnes slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første nedblandekanalen og den andre nedblandekanalen, når vektet ved hjelp av kanalsideinformasjonen, resulterer i en approksimasjon for den valgte opprinnelige kanalen; og å rekonstruere approksimasjonen av den valgte opprinnelige kanalen ved hjelp av kanalsideinformasjonen og nedblandekanalen eller den kombinerte nedblandekanalen for å oppnå approksimasjonen av den valgte opprinnelige kanalen.

Ifølge beskrivelsen oppnås dette formål av apparat for å behandle et flerkanals audiosignal med minst tre opprinnelige kanaler: anordning for å til-veiebringe en første nedblandekanal og en andre nedblandekanal, idet første og andre nedblandekanaler avledes fra de opprinnelige kanaler; anordning for å beregne kanalsideinformasjonen for en valgt, opprinnelig kanal av de opprinnelige signaler, idet anordningen for å beregne kan beregne kanalsideinformasjonen slik at en nedblandekanal eller en kombinert nedblandekanal med første og andre nedblandekanal når den er vektet ved å bruke kanalsideinformasjonen, fører til en approksimasjon av den valgte, opprinnelige kanal; og anordning for å generere utgangsdata omfattende kanalsideinformasjon, den første nedblandekanal eller et signal avledet fra den første nedblandekanal og den andre nedblandekanal, eller et signal avledet fra den andre nedblandekanal.

Ifølge beskrivelsen oppnås dette formål ved en fremgangs-måte for å behandle et flerkanals audiosignal med minst tre opprinnelige kanaler som om-fatter: tilveiebringe en første nedblandekanal og en andre nedblandekanal, idet disse avledes fra de opprinnelige kanaler; beregne kanalsideinformasjonen for en valgt, opprinnelig kanal av de opprinnelige signaler, slik at en nedblandekanal eller en kombinert nedblandekanal med den første og andre nedblandekanal når den er vektet ved å bruke kanalsideinformasjonen, fører til en approksimasjon av den valgte, opprinnelige kanal; og generere utgangsdata med kanalsideinformasjonen, den første nedblandekanal eller et signal avledet fra den første nedblandekanal og den andre nedblandekanal eller et signal avledet fra den andre nedblandekanal.

Ifølge beskrivelsen oppnås dette formål av et apparat foromvendt behandling av inngangsdata med kanalsideinformasjon, en første nedblandekanal eller et signal avledet fra den første nedblandekanal og en andre nedblandekanal eller et signal avledet fra den andre nedblandekanal, idet den første nedblandekanal og en andre nedblandekanal avledes fra minst tre opprinnelige kanaler av et flerkanals audiosignal og hvor kanalsideinformasjon beregnes slik at en nedblandekanal eller en kombinert nedblandekanal med den første nedblandekanal og den andre nedblandekanal, når den er vektet ved å bruke kanalsideinformasjonen, fører til en approksimasjon av den valgte, opprinnelige kanal, idet apparatet omfatter; en inngangsdataleser for å lese inngangsdataene for å oppnå den første nedblandekanal eller et signal avledet fra den første nedblandekanal og den andre nedblandekanal eller et signal avledet fra den andre nedblandekanal og kanalsideinformasjonen; og en kanalrekonstruktør for å rekonstruere approksimasjonen av den valgte, opprinnelige kanal ved å bruke kanalsideinformasjonen og nedblandekanalen eller den kombinerte nedblandekanal for å oppnå approksimasjonen av den valgte, opprinnelige kanal.

Ifølge beskrivelsen oppnås dette formål ved en fremgangs-måte med omvendt behandling av inngangsdata med kanalsideinformasjon, en første ned-blandekanal eller et signal avledet fra den første nedblandekanal og en andre nedblandekanal eller et signal avledet fra den andre nedblandekanal, idet den første nedblandekanal og den andre nedblandekanal avledes fra minst tre opprinnelige kanaler av et flerkanalsaudiosignal og hvor kanalsideinformasjon beregnes slik at en nedblandekanal eller en kombinert nedblandekanal med den første nedblandekanal og den andre nedblandekanal, når den veies, ved å bruke kanalsideinformasjonen, fører til en approksimasjon av den valgte, opprinnelige kanal, idet fremgangsmåten omfatter; lese inngangsdataene for å oppnå den første nedblandekanal eller et signal avledet fra den første nedblandekanal og den andre nedblandekanal eller et signal avledet fra den andre nedblandekanal og kanalsideinformasjonen; og rekonstruere approksimasjonen av den valgte, opprinnelige kanal ved å bruke kanalsideinformasjonen og nedblandekanalen eller den kombinerte nedblandekanal for å oppnå approksimasjonen av den valgte, opprinnelige kanal.

Ifølge et femte aspekt ved oppfinnelsen og et sjette aspekt beskrivelsen oppnås dette formål avet dataprogram som omfatter fremgangsmåten med behandling eller fremgangsmåten med omvendt behandling.

Oppfinnelsen Beskrivelsen er basert på å finne at en effektiv og kunstgrepreduserende koding av flerkanals audiosignal oppnås når to nedblandekanaler fortrinnsvis som representerer venstre og høyre stereokanaler, blir pakket inn i utgangsdata.

Ifølge beskrivelsen blir parameterkanalsideinformasjon for en eller flere av de opprinnelige kanaler avledet slik at de relateres til flere av nedblandekanalene snarere enn, som tidligere, til en ekstra "kombinert" samlet stereokanal. Dette innebærer at parameterkanalsideinformasjon blir beregnet slik at kanalrekonstruktør, på dekodersiden, bruker kanalsideinformasjonen og en av nedblandekanalene eller en kombinasjon av nedblandekanalene for å rekonstruere en approksimasjon av den opprinnelige audiokanal som kanalsideinformasjonen er tildelt.

Det nye konsept er fordelaktig ved at det tilveiebringer en biteffektiv flerkanalforlengelse, slik at et flerkanals audiosignal kan spilles av ved en dekoder.

I tillegg er det nye konsept bakoverkompatibelt siden en lavere skaleringsdekoder som bare er tilpasset for tokanalbehandling ganske enkelt kan ignorere forlengelsesinformasjonen, dvs. kanalsideinformasjonen. Den lavere skaleringsdekoder kan bare spille av de to nedblandekanaler for å oppnå en stereogjengivelse av det opprinnelige, flerkanalsaudiosignal. En høyere skaleringsdekoder, som imidlertid er aktivert for flerkanalsbruk, kan bruke den overførte kanalsideinformasjon for å rekonstruere approksimasjoner av de opprinnelige kanaler.

Oppfinnelsen er fordelaktig ved at den er biteffektiv siden ingen ekstra bærerkanal utenfor de første og andre nedblandekanaler Lc, Rc er nødvendig, i motsetning til tidligere teknikk. I stedet blir kanalsideinformasjonen relatert til en eller begge nedblandekanalene. Dette innebærer at nedblandekanalene selv kun tjener som en bærerkanal som kanalsideinformasjonen kombineres til for å rekonstruere en opprinnelig audiokanal. Dette innebærer at kanalsideinformasjonen fortrinnsvis er parametersideinformasjonen, dvs. informasjon som ikke omfatter eventuelle delbåndsampler eller spektral-koeffisienter. I stedet er parametersideinformasjonen en funksjon som brukes for veiing (i tid og/eller frekvens) av den respektive nedblandekanal eller kombinasjonen av de respektive nedblandekanaler for å oppnå en rekonstruert versjon av en valgt, opprinnelig kanal.

I en utførelse av oppfinnelsen oppnås en bakoverkompatibel koding av et flerkanalssignal basert på et kompatibelt stereosignal. Fortrinnsvis blir det kompatible stereosignal (nedblandesignalet) generert ved å bruke matrising av de opprinnelige kanalene av flerkanalsaudiosignalet.

I oppfinnelsen oppnås kanalsideinformasjon for en valgt, opprinnelig kanal basert på samlede stereoteknikker, for eksempel intensitetsstereokoding eller "binaural cuecoding". Således er det ikke nødvendig med noen dematrising på dekodersiden. Problemene i forbindelse med dematrising, dvs. enkelte kunstgrep knyttet til uønsket fordeling av kvantiseringsstøy i dematrisingsoperasjoner, unngås. Dette på grunn av at dekoderen bruker en kanalrekonstruktør som rekonstruerer et opprinnelig signal ved å bruke en av nedblandekanalene eller en kombinasjon av nedblandekanaler og den overførte kanalsideinformasjonen.

Fortrinnsvis brukes det nye konsept på et flerkanals audiosignal fem kanaler. Disse fem kanalene er en venstrekanal L, en høyrekanal R, en senterkanal C, en venstre surroundkanal Ls og en høyre surroundkanal Rs. Fortrinnsvis er nedblandekanalene stereokompatible nedblandekanaler Ls og Rs som leverer en stereogjengivelse av det opp-rinnelige flerkanals audiosignal.

Ifølge den foretrukne utførelse av oppfinnelsen blir kanalsideinformasjonen, for hver opprinnelige kanal, beregnet ved en kodeside pakket inn i utgangsdata. Kanalsideinformasjonen for den opprinnelige venstrekanal avledes ved å bruke venstre nedblandekanal. Kanalsideinformasjonen for den opprinnelige venstre surroundkanal blir avledet ved å bruke den venstre nedblandekanal. Kanalsideinformasjonen for den opprinnelige høyrekanal avledes fra den høyre nedblandekanal. Kanalsideinformasjonen for den opprinnelige høyre surroundkanal blir avledet fra den høyre nedblandekanal.

Ifølge den foretrukne utførelse av oppfinnelsen avledes kanalinformasjonen for den opprinnelig sendte kanal ved å bruke den første nedblandekanal samt den andre nedblandekanal, for eksempel ved å bruke en kombinasjon av de to nedblandekanaler. Fortrinnsvis er denne kombinasjon en summering.

Således er grupperingene, dvs. forholdet mellom kanalsideinformasjonen og bærersignalet, dvs. den brukte nedblandekanal for å tilveiebringe kanalsideinformasjon for en valgt, opprinnelig kanal slik at en bestemt nedblandekanal blir valgt for optimal kvalitet, og som inneholder den høyest mulige relative mengde av det respektive, opprinnelige flerkanalssignalet som representeres av kanalsideinformasjonen. Som sådant brukes et samlet stereobærersignal og første og andre nedblandekanaler. Fortrinnsvis kan også summen av første og andre nedblandekanaler brukes. Naturligvis kan summen av første og andre nedblandekanaler brukes for å beregne kanalsideinformasjonen for hver av de opprinnelige kanaler. Fortrinnsvis brukes imidlertid summen av nedblandekanalene for å beregne kanalsideinformasjonen av den opprinnelige senterkanal i et surroundmiljø, for eksempel femkanalssurround, syvkanalssurround, 5.1-surround eller 7.1-surround. Bruken av summen av første og andre nedblandekanaler er spesielt fordelaktig siden ingen ekstraoverføringstittel må utføres. Dette på grunn av at begge nedblandekanalene er til stede ved dekoderen, slik at summeringen av disse nedblandekanalene lett kan utføres ved dekoderen uten ekstra overføringsbiter.

Fortrinnsvis vil kanalsideinformasjonen som danner flerkanalsforlengelsen sendt til utgangsdatabitstrømmen på en kompatibel måte, slik at en lavere skaleringsdekoderganske enkelt ignorerer flerkanalsforlengelsesdataene og bare leverer en stereogjengivelse av flerkanalsaudiosignalet. Uansett vil en høyere skaleringskoder ikke bare bruke to ned-blandekanaler, men i tillegg bruke kanalsideinformasjonen for å rekonstruere en full flerkanals gjengivelse av det opprinnelige audiosignal.

En ny dekoder vil først dekode begge nedblandekanaler og avlese kanalsideinformasjonen for de valgte, opprinnelige kanaler. Deretter blir kanalsideinformasjonen og nedblandekanalene brukt for å rekonstruere approksimasjoner av de opprinnelige kanaler. For å oppnå dette vil fortrinnsvis ingen dematrising utføres i det hele tatt. Dette innebærer at hver av de for eksempel fem opprinnelige inngangskanaler i denne utførelse blir rekonstruert ved å bruke for eksempel fem sett av forskjellige kanalsideinformasjon. Idekoderen utføres samme gruppering som i koderen for å beregne den rekonstruerte kanalapproksimasjon. I et femkanals surroundmiljø innebærer dette for å rekonstruere den opprinnelige venstrekanal, at venstre nedblandekanal og kanalsideinformasjon for den venstre kanal blir brukt. For å rekonstruere den opprinnelige høyrekanal blir den høyre nedblandekanal og kanalsideinformasjonen for høyre kanal, brukt. For å rekonstruere den opprinnelige venstre surroundkanal blir venstre nedblandekanal og kanalsideinformasjonen for den venstre surroundkanal brukt. For å rekonstruere den opprinnelige høyre surroundkanal, blir kanalsideinformasjon for den høyre surroundkanal og den høyre ned-blandekanal, brukt. For å rekonstruere den opprinnelige senterkanal, blir en kombinertkanal dannet av den første nedblandekanal og den andre nedblandekanal og senterkanalside-informasjonen, brukt.

Naturligvis er det også mulig å spille tilbake første og andre nedblandekanaler som venstre og høyre kanal, slik at bare tre sett (av f.eks. fem) av kanalsideinformasjonsparametere behøver å overføres. Dette er imidlertid bare tilrådelig i situasjoner hvor det finnes mindre strenge regler for kvalitet. Dette på grunn av at venstre og høyre ned-blandekanal normalt er forskjellig fra den opprinnelige venstre og høyre kanal. Bare i situasjoner hvor man ikke har anledning til å overføre kanalsideinformasjon for å bære de opprinnelige kanalene, er en slik behandling fordelaktig.

Oppfinnelsen skal nå beskrives nærmere i det følgende under henvisning til utførelser, hvor:

fig. 1 er et blokkskjema over en foretrukket utførelse av den nye koder, fig. 2 er et blokkskjema av en foretrukket utførelse av den nye dekoder,

fig. 3A er et blokkskjema av en foretrukket implementering av anordningen for å beregne for å oppnå frekvensselektiv kanalsideinformasjon,

fig. 3B er en foretrukket utførelse av en kalkulator som implementerer samlet stereobehandling, for eksempel intensitetskoding eller "binaural cue coding",

fig. 4 viser en annen foretrukket utførelse av anordningen for å beregne kanalsideinformasjon hvor kanalsideinformasjonen er forsterkningsfaktorer,

fig. 5 illustrerer en foretrukket utførelse av en implementering av dekoderen når 25 koderen implementeres som vist på fig. 4,

fig. 6 viser en foretrukket implementering av anordningen for å tilveiebringe nedblandekanaler,

fig. 7 viser grupperinger av opprinnelige og nedblandekanaler for å beregne kanalsideinformasjonen for de respektive, opprinnelige kanaler,

fig. 8 viser en annen foretrukket utførelse av en ny koder,

fig. 9 viser en annen implementering av en ny dekoder, og

fig. 10 viser en sammenføyd stereodekoder av gjeldende teknikk.

Fig. 1 viser et apparat for å behandle et flerkanals audiosignal 10 ved minst tre opprinnelige kanaler, for eksempel R, L og C. Fortrinnsvis har det opprinnelige audiosignal mer enn tre kanaler, for eksempel fem kanaler i surroundmiljøet, som vist på fig. 1. De fem kanalene er venstrekanal L, høyrekanal R, senterkanalen C og venstre surroundkanal Ls og høyre surroundkanal Rs. Det nye apparatet omfatter anordning 12 for å tilveiebringe en første nedblandekanal Lc og en andre nedblandekanal Rc, idet første og kanalene fra de opprinnelige kanaler finnes det flere muligheter. En mulighet er å avlede nedblandekanalene Lc og Rc ved hjelp av matrising av de opprinnelige kanaler ved å bruke matriseoperasjonen som vist på fig. 6. Denne matriseoperasjon utføres i tidsdomenet.

Matriseparametrene a, b og t velges slik at de er lavere eller lik 1. Fortrinnsvis er a og b 0,7 eller 0,5. Den totale vektingsparameter t velges fortrinnsvis slik at kanalklipping unngås.

Alternativt som vist på fig. 1, kan nedblandekanalene Lc og Rc også leveres eksternt. Dette kan utføres når nedblandekanalene Lc og Rc er resultatet av en "håndblande"-operasjon. I dette tilfellet blander lydteknikeren ned blandekanalene selv snarere enn ved å bruke automatisert matriseoperasjon. Lydteknikeren utfører kreativ blanding for å oppnå optimale nedblandekanaler Lc og Rc som gir best mulig stereogjengivelse av det opprinnelige flerkanals audiosignal.

I tilfellet en ekstern tilførsel av nedblandekanaler, utfører anordningen ikke en 15 matriseoperasjon men videresender ganske enkelt de eksternt tilførte nedblandekanalene til en etterfølgende beregningsanordning 14.

Beregningsanordningen 14 kan beregne kanalsideinformasjonen for eksempel l, lsi, ri, eller rsi, for valgte, opprinnelige kanaler, så som L, Ls, R eller Rs. Især kan anordningen 14 for beregning beregne kanalsideinformasjon, slik at en nedblandekanal, når den veies ved å bruke kanalsideinformasjon, fører til en approksimasjon av den valgte, opprinnelige kanal.

Alternativt, eller i tillegg, kan anordningen for å beregne kanalsideinformasjonen brukes for å beregne kanalsideinformasjonen for en valgt, opprinnelig kanal, slik at den kombinerte nedblandekanal omfatter en kombinasjon av første og andre nedblandekanaler, som når de veies, ved å bruke den beregnede kanalsideinformasjonen, fører til en approksimasjon av den valgte, opprinnelige kanal. For å vise denne egenskap på figuren, er det vist en tilleggingsenhet 14a og en kombinert kanalsideinformasjonskalkulator 14b.

Det vil fremgå for en fagmann at disse elementene ikke behøver implementeres som atskilte elementer. I stedet kan hele funksjonaliteten av blokkene 14, 14a og 14b implementeres av en prosessor som kan være en generell prosessor eller en annen anordning for å utføre den ønskede funksjonalitet.

I tillegg skal det bemerkes at kanalsignalene er delbåndsampler eller frekvensdomeneverdier som indikert med store bokstaver. Kanalsideinformasjonen er i motsetning til selve kanalene, vist med små bokstaver. Kanalsideinformasjonen c; er følgelig kanalsideinformasjonen for den opprinnelige senterkanal C.

Kanalsideinformasjonen, samt nedblandekanalene Lc og Rc eller en kodet versjon Lc' og Rc' som produsert av en lydkoder 16, blir sendt til en utgangsdataformaterer 18. Generelt virker utgangsdataformatereren 18 som anordning for å generere utgangsdata, herunder kanalsideinformasjon for minst en opprinnelig kanal, den første nedblandekanal eller et signal som avledes fra den første nedblandekanal (f.eks. en kodet versjon derav) og den andre nedblandekanal eller signal avledet fra den andre nedblandekanal (f.eks. en kodet versjon derav.)

Utgangsdataene eller utgangsbitstrømmen 20 kan deretter overføres til enbitstrømdekoder eller kan lagres eller distribueres. Fortrinnsvis er utgangsbitstrømmen 20 en kompatibel bitstrøm som også kan leses av en lavere skaleringsdekoder som ikke har en flerkanals forlengelsesmulighet. Slike lavere skaleringskodere, for eksempel de fleste normale, eksisterende mp3-dekodere, vil ganske enkelt ignorere flerkanalsforlengelsesdata, dvs. kanalsideinformasjon. De vil bare dekode første og andre nedblandekanaler for å produsere et stereosignal. Høyre skaleringsdekodere, for eksempel flerkanalsaktiverte dekodere vil avlese kanalsideinformasjonen og vil deretter generere en opprinnelig approksimasjon av de opprinnelige audiokanaler, slik at det oppnås en flerkanals audiogjengivelse.

Fig. 8 viser en foretrukket utførelse av oppfinnelsen i miljøet med femkanalssurround/mp3. Her er det foretrukket surroundforbedrende data inn i tilleggsdatafeltet i den standardiserte mp3-bitstrømsyntaks, slik at det oppnås en "mp3-surround"-bitstrøm.

Fig. 2 viser en illustrasjon av en ny dekoder som virker som et apparat for omvendt behandling av inngangsdata mottatt ved inngangsdataporten 22. Dataene mottatt ved inngangsdataporten 22 er de samme data som ble sendt ved utgangsdataporten 20 på fig. 1. Når dataene ikke sendes via en fysisk kanal men via en trådløs kanal, blir alternativt dataene mottatt ved datainngangsporten 22 avledet fra de opprinnelige dataene produsert av koderen.

Dekoderinngangsdataene blir sendt inn i en datastrømleser 24 for å avlese inngangsdataene for til slutt å oppnå kanalsideinformasjonen 26 og den venstre nedblandekanal 28 og den høyre nedblandekanal 30. Når inngangsdataene omfatter kodede versjoner av nedblandedataene som tilsvarer tilfellet hvor audiokoderen 16 på fig. 1 er til stede, vil datastrømleseren 24 også omfatte en audiodekoder som er tilpasset audiokoderen brukt for å kode nedblandekanalen. I dette tilfellet kan audiodekoderen som er en del av datastrømleseren 24 generere den første nedblandekanal Lc og den andre nedblandekanal Rc, eller mer nøyaktig en dekodet versjon av disse kanalene. For beskrivelsen vil et skille mellom signalene og de dekodede versjoner av disse bare bli foretatt når det er uttrykkelig nevnt.

Kanalsideinformasjonen 26 og venstre og høyre nedblandekanaler 28 og 30 fra datastrømleseren 24 blir matet inn i en flerkanals rekonstruktør 32 for å levere en rekonstruert versjon 34 av de opprinnelige audiosignaler som kan spilles av ved hjelp av en flerkanals spiller 36. Når flerkanalsrekonstruktøren brukes i frekvensdomenet, vil flerkanalsspilleren 36 motta frekvensdomeneinngangsdata som må dekodes på en bestemt måte, for eksempel konverteres til tidsdomene før avspilling. For å oppnå dette kan flerkanalsspilleren også omfatte dekodingsmuligheter.

Det skal bemerkes her at en nedskaleringsdekoder bare vil ha datastrømleseren 24 som bare sender ut venstre og høyre nedblandekanaler 28 og 30 til en stereoutgang 38. En forbedret, ny dekoder vil imidlertid trekke ut kanalsideinformasjonen 26 og bruke denne sideinformasjon og nedblandekanalene 28 og 30 for å rekonstruere de rekonstruerteversjoner 34 av de opprinnelige kanaler ved å bruke flerkanalsrekonstruktøren 32.

Fig. 3A viser en utførelse av den nye kalkulator 14 for å beregne kanalsideinformasjonen som en audiokoder på den ene side og kanalsideinformasjonskalkulatoren på en annen side bevirker på den samme spektrale gjengivelse av flerkanalssignalet. Fig. 1 viser imidlertid det andre alternativ hvor audiokoderen på den ene side og kanalsideinforma-sjonskalkulatoren på en annen side virker på forskjellige spektralgjengivelser av flerekanalssignalet. Når beregning av ressursene ikke er så viktig som lydkvaliteten kan alternativet på fig. 1 foretrekkes siden filterbanker som er individuelt optimalisert for lydkoding og sideinformasjonsberegning, brukes. Når imidlertid beregningsressurser er viktig, foretrekkes alternativet på fig. 3A siden dette alternativet krever mindre beregningskraft på grunn av en delt utnyttelse av elementene.

Innretningen vist på fig. 3A kan motta to kanaler A, B. Innretningen vist på fig.

3A kan beregne en sideinformasjon for kanalen B, slik at ved å bruke denne kanalsideinformasjon for den valgte opprinnelige kanal B, kan en rekonstruert versjon av kanalen B beregnes fra kanalsignalet A. I tillegg kan enheten vist på fig. 3A frembringe kanalsidein-formasjon fra frekvensdomenet, for eksempel parametere for vekting (ved multiplisering eller tidsbehandling som i BCC-koding) av spektralverdier eller delbåndsampler. For oppnå dette omfatter den nye kalkulator vindus- og tids/frekvenskonverteringsanordningen 140a for å oppnå en frekvensgjengivelse av kanal A ved inngangen 140b eller en frekvensdomenegjengivelse av kanalen B ved en utgang 140c.

I den foretrukne utførelse utføres sideinformasjonsbestemmelsen (ved hjelp av sideinformasjonsbestemmelsesanordningen 1400f) ved å bruke kvantiserte spektralverdier. Deretter blir en kvantiserer 140d som også er til stede, brukt i forbindelse med en psyko-akustisk modell med en reguleringsinngang 140e. Uansett er det ikke behov for en kvantiserer når sideinformasjonsbestemmelsesanordningen 140c bruker en ikkekvantisertgjengivelse av kanalen A for å bestemme kanalsideinformasjonen for kanal B.

Hvis kanalsideinformasjonen for kanal B beregnes ved hjelp av en frekvensdomenegjengivelse av kanalen A og frekvensdomenegjengivelsen av kanalen B, kan vindus- og tids/frekvenskonverteringsanordningen 140a være den samme som blir brukt i en filterbankbasert audiokoder. I dette tilfellet, og når AAC (ISO/IEC 13818-3) vurderes,blir anordningen 140a implementert som en MDCT-filterbank (MDCT = modified discrete cosine transform) med 50 % overlapping og tilleggsfunksjonalitet.

I et slikt tilfelle er kvantisereren 140d en periodekvantiserer, for eksempel som brukes når mp3 eller AAC-kodede audiosignaler genereres. Frekvensdomenegjengivelsen av kanal A som fortrinnsvis allerede er kvantisert, kan deretter direkte brukes for entropikoding ved å bruke en entropikoder 140g som kan være en Huffman-basert koder eller en entropikoder som implementerer aritmetisk koding.

Sammenliknet med fig. 1 er signalet fra enheten på fig. 3A sideinformasjonen, for eksempel 1; for en opprinnelig kanal (tilsvarende sideinformasjonen for B ved signalet fra enheten 140f). Entropikodet bitstrøm for kanalen A tilsvarer for eksempel den kodede, venstre nedblandekanal L& ved utgangen av blokken 16 på fig. 1. Fra fig. 3A vil det fremgå at elementet 14 (fig. 1), for eksempel kalkulatoren for å beregne kanalsideinformasjonen og audiokoderen 16 (fig. 1) kan implementeres som separate anordninger eller implementeres som en delt versjon, slik at begge enhetene deler flere elementer, for eksempel MDCT-filterbanken 140a, kvantisereren 140e og entropikoderen 140g. Hvis det er ønskelig med en annen omvandling osv. for å behandle kanalsideinformasjonen, vil koderen 16 og kalkulatoren 14 (fig. 1) implementeres i andre enheter, slik at begge elementene ikke deler filterbanken osv.

Generelt kan den faktiske determinator for å beregne sideinformasjonen (eller generelt kalkulatoren 14) implementeres som en felles stereomodul som vist på fig. 3B som virker i samsvar med en av de felles stereoteknikkene som for eksempel intensitetsstereokoding eller "binaural cue coding".

I motsetning til tidligere intensitetsstereokodere, behøver den nye beslutningsanordning 140f ikke å måtte beregne den kombinerte kanal. Den "kombinerte kanal" eller bærerkanalen som allerede finnes og er den venstre kompatible nedblandekanal Lc eller den høyre kompatible nedblandekanal Rc eller en kombinert versjon av disse to nedblandekanaler, for eksempel Lc Rc. Følgelig må den nye enhet 140f bare måtte beregne skaleringsinformasjonen for skalering av den respektive nedblandekanal, slik at energi/tidsenveloppen av en respektivt valgt, opprinnelig kanal oppnås når nedblandekanalen blir vektet ved å bruke skaleringsinformasjon eller intensitetsretningsinformasjonen.

Følgelig er felles stereomodulen 140f på fig. 3B vist slik at den mottar, som et inngangssignal, den "kombinerte" kanal A som er den første eller andre nedblandekanal eller en kombinasjon av nedblandekanalen og den opprinnelig valgte kanal. Denne modulsender naturligvis ut den "kombinerte" kanal A og de felles stereoparametere som kanal-sideinformasjon slik at en approksimasjon av den opprinnelig valgte kanal B kan beregnes ved å bruke den kombinerte kanal A og de felles stereoparametere.

Alternativt kan den felles stereomodul 140f implementeres for å utføre "binaural cue coding".

Når det gjelder BCC, sender den felles stereomodul 140f kanalsideinformasjon, slik at kanalsideinformasjonen blir kvantisert og koder ICLD- eller ICTD-parametere, idet den valgte, opprinnelige kanal tjener som den faktiske behandlede kanal mens den respektive nedblandekanal som brukes for å beregne sideinformasjonen, for eksempel den første, den andre eller en kombinasjon av første og andre nedblandekanaler brukes som referansekanal i BCC-kode/dekodeteknikken.

På fig. 4 er det vist en enkelt energirettet implementering av elementet 140f. Denne enheten omfatter en frekvensbåndvelger 44 som velger et frekvensbånd forkanalen A og det tilsvarende frekvensbånd av kanalen B. Deretter blir en energi i begge frekvensbånd beregnet ved hjelp av en energikalkulator 42 for hver gren. Denne detaljerte implementering av energikalkulatoren 42 vil avhenge av om utgangssignalet fra blokken 40 er et delbåndsignal eller er frekvenskoeffisienter. I andre implementeringer hvor skaleringsfaktorer for skaleringsfaktorbåndene blir beregnet, kan det allerede brukes skaleringsfaktorer av første og andre kanal A, B som energiverdier EA og EB eller minst som estimater av energien. I en forsterkningsfaktorberegningsinnretning 44, blir en forsterkningsfaktor gB for det valgte frekvensbånd bestemt basert på en bestemt regel, for eksempel forsterkningsbestemmelsesregelen vist i blokk 44 på fig. 4. Her kan forsterkningsfaktoren gB direkte brukes for å vekte tidsdomenesampler eller frekvenskoeffisienter som beskrevet senere under fig. 5. For å oppnå dette blir forsterkningsfaktoren gB som er gyldig for det valgte frekvensbånd brukt som kanalsideinformasjon for kanalen B som den valgte, opprinnelige kanal. Denne valgte, opprinnelige kanal B vil ikke bli sendt til dekoderen men bli representert av parameterkanalsideinformasjonen som beregnet av kalkulatoren 14 på fig. 1.

Det skal bemerkes her at det ikke er nødvendig å sende forsterkningsverdier som kanalsideinformasjon. Det er også tilstrekkelig å sende frekvensavhengige verdier tilknyttet den absolutte energi av den valgte, opprinnelige kanal. Deretter må dekoderen beregne den faktiske verdi av nedblandekanalen og forsterkningsfaktoren basert på nedblandekanalens energi og den overførte energi for kanal B.

Fig. 5 viser en mulig implementering av en dekoder satt opp i forbindelse med en omvandlingsbasert, tenkt audiodekoder. Sammenliknet med fig. 2, vil funksjonaliteten av entropidekoderen og den omvendte kvantiserer 50 (fig. 5) omfattes i blokken 24 på fig.

2. Funksjonaliteten av frekvens/tidskonverteringselementene 52a, 52b (fig. 5) vil imidlertid bli implementert under punkt 36 på fig. 2. Elementet 50 på fig. 5 mottar en kodet versjon av første eller andre nedblandesignal Lc’ eller Rc’. Ved utgangen av elementet 50 er minst en delvis dekodet versjon av første og andre nedblandekanal til stede som til slutt vil bli kalt kanal A. Kanal A blir sendt til en frekvensbåndvelger 54 for å velge et bestemt frekvensbånd fra kanalen A. Dette valgte frekvensbånd blir vektet ved å bruke en multiplikator 56. Multiplikatoren 56 mottar for multiplisering, en bestemt forsterkningsfaktor gB som blir tildelt det valgte frekvensbånd valgt av frekvensbåndvelgeren 54 som tilsvarer frekvensbåndvelgeren 40 på fig. 4 ved kodersiden. Ved inngangen av frekvenstids-konverteren 52a vil det sammen med andre bånd finnes en frekvensdomenegjengivelse av kanal A. Ved utgangen av multiplikatoren 56 og især ved inngangen av frekvens/tidskonverteringsanordningen 52B vil det være en rekonstruert frekvensdomenegjengivelse av kanal B. Følgelig vil det ved utgangen av elementet 52a være en tidsdomenegjengivelse for kanal A mens det ved utgangen av elementet 52b vil være en tidsdomene-gjengivelse av den rekonstruerte kanal B.

Avhengig av den bestemte implementering skal det bemerkes her at den dekodede nedblandekanal Lc eller Rc ikke spiller tilbake i en flerkanals forbedret dekoder. I en slik flerkanals forbedret dekoder brukes bare de dekodede nedblandekanaler for å rekonstruere de opprinnelige kanaler. De dekodede nedblandekanaler blir bare spilt tilbake i stereo-dekodere av lavere skala.

For å oppnå dette henvises det til fig. 9 som viser den foretrukne implementering av oppfinnelsen i et surround/mp3-miljø. En mp3-forbedret surround-bitstrøm blir sendt inn i en standard mp3-dekoder 24 som sender dekodede versjoner av de opprinnelige ned-blandekanaler. Disse nedblandekanalene kan så direkte spilles tilbake ved hjelp av en lavnivådekoder. Alternativt blir disse to kanalene sendt til den arrangerte, felles stereodekodingsenhet 32 som også mottar flerkanalsforlengelsesdata som fortrinnsvis sendes til tilleggsdatafelt i en mp3-tilpasset bitstrøm.

Det henvises så til fig. 7 som viser grupperingen av den valgte, opprinnelige kanal og den respektive nedblandekanal eller kombinerte nedblandekanal. I denne henseende tilsvarer den høyre kolonne av tabellen på fig. 7 kanalen A på fig. 3A, 3B, 4 og 5 mens kolonnen i midten tilsvarer kanal 213 på disse figurene. I den venstre kolonne på fig. 7 blirden respektive kanalsideinformasjon uttrykkelig oppgitt. Ifølge tabellen på fig. 7 blir kanalsideinformasjonen 1i for den opprinnelige venstrekanal L beregnet ved å bruke venstre nedblandekanal Lc. Venstre surroundkanalsideinformasjon Isi bestemmes ved hjelp av den opprinnelig valgte venstre surroundkanal Ls og den venstre nedblandekanal Lc, er bæreren. Høyrekanalsideinformasjonen ri for den opprinnelige høyrekanal R bestemmes ved å bruke den høyre nedblandekanal Rc, I tillegg blir kanalsideinformasjonen for høyre surroundkanal Rs bestemt ved å bruke den høyre nedblandekanal Rc som bærer. Til slutt blir kanalsideinformasjonen ci for senterkanalen C bestemt ved å bruke den kombinerte nedblandekanal som oppnås ved hjelp av en kombinasjon av første og andre nedblandekanal og som lett kan beregnes både i en koder og i en dekoder som ikke krever ekstra biter for overføringen.

Naturligvis er det også mulig å beregne kanalsideinformasjon for venstre kanal, for eksempel basert på en kombinert nedblandekanal eller også en nedblandekanal som oppnås ved en vektet tillegging av første og andre nedblandekanaler, for eksempel 0,7 Lc og 0,3 Rc så lenge vektparametrene er kjent for en dekoder eller overført tilsvarende. For de fleste anvendelser vil det imidlertid være foretrukket bare å avlede kanalsideinformasjonen for senterkanalen fra den kombinerte nedblandekanal, dvs. fra en kombinasjon av første og andre nedblandekanaler.

For å vise bitbesparelsespotensialet ifølge oppfinnelsen, skal følgende typiske eksempel gis. For et femkanals audiosignal trenger en normal koder en bitrate på 64 kbit/s for hver kanal noe som oppgår til en total bitrate på 320 kbit/s for femkanalsignalet. Venstre og høyre stereosignaler krever en bitrate på 128 kbit/s. Kanalsideinformasjonen for en kanal er mellom 1,5 og 2 kbit/s. Således vil disse tilleggsdata oppgå til bare 7,5 til 10 kbit/s i et tilfelle hvor kanalsideinformasjon for hver av de fem kanalene blir overført. Således tillater det nye konsept overføring av et femkanals audiosignal ved å bruke en bitrate på 38 kbit/s (sammenliknet med 320 (!) kbit/s) med god kvalitet siden dekoderen ikke bruker den problematiske dematriseoperasjonen. Viktigere er det at det nye konsept er helt bakoverkompatibelt siden hver av de eksisterende mp3-spillere kan spille tilbake den første nedblandekanal og den andre nedblandekanal for å produsere et konvensjoneltstereosignal.

Avhengig av applikasjonsmiljøet kan den nye fremgangsmåte for å behandle eller omvendt behandle implementeres i maskinvare eller i programvare. Implementeringen kan være et digitalt lagringsmedium, for eksempel en disk eller en CD med elektronisk lesbare styresignaler som kan samvirke med et programmerbart datasystem, slik at den nye fremgangsmåte for behandling eller omvendt behandling blir utført. Generelt angår oppfinnelsen følgelig også et dataprogram med en programkode lagret på en maskinlesbar bærer, idet programvarekoden er tilpasset for å utføre den nye fremgangsmåte når dataprogrammet kjøres på en datamaskin. Med andre ord angår oppfinnelsen også et dataprogram med programkode for å utføre fremgangsmåten når dataprogrammet kjøres på en datamaskin.

Claims

Patentkrav

1. Apparat for behandling av et flerkanals lydsignal, hvor det flerkanals lydsignalet som har minst tre opprinnelige kanaler, er omfattende:

en tilveiebringer for å tilveiebringe en første nedblandekanal og en andre nedblandekanal, idet den første og den andre nedblandekanalen er avledet fra de opprinnelige kanalene;

en kalkulator for å beregne kanalsideinformasjon for en valgt opprinnelig kanal av de opprinnelige signalene, hvor kalkulatoren er operativ for å beregne kanalsideinformasjonen slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første og den andre nedblandekanalen, når vektet ved anvendelse av kanalsideinformasjonen, resulterer i en approksimasjon av den valgte opprinnelige kanalen; og

en generator for å generere utgangsdata, hvor utgangsdataene er omfattende kanalsideinformasjonen.

2. Apparat ifølge krav 1, der generatoren er operativ for å generere utgangsdataene slik at utgangsdataene i tillegg inkluderer den første nedblandekanalen eller et signal som er avledet fra den første nedblandekanalen og den andre nedblandekanalen eller et signal som er avledet fra den andre nedblandekanalen.

3. Apparat ifølge krav 1, der kalkulatoren er operativ for å bestemme kanalsideinformasjonen som parametriske data som ikke er omfattende tidsdomeneprøver eller spektralverdier.

4. Apparat ifølge krav 3, der kalkulatoren er operativ for å utføre intensitetsstereokoding eller ‘binaural cue-coding’, slik at kanalsideinformasjonen representerer en energidistribusjon eller ‘binaural cue-parametere’ for den valgte opprinnelige kanalen, hvori en nedblandekanal eller en kombinert nedblandekanal kan brukes som bærerkanal.

5. Apparat ifølge krav 1, der tilveiebringeren er operativ for å avlede den første nedblandekanalen og den andre nedblandekanalen fra de opprinnelige kanalene ved hjelp av en første forhåndsbestemt lineær vektet kombinasjon for den første nedblandekanalen og anvende en andre forhåndsbestemt lineær vektet kombinasjon for den andre nedblandekanalen.

6. Apparat ifølge krav 5, der den første forhåndsbestemte lineære vektede kombinasjonen er definert som følger:

Lc = t.(L a.Ls b.C); eller

der den første forhåndsbestemte andre lineære vektede kombinasjonen er definert som følger:

Rc = t.(R a.Rs b.C),

hvori Lc er den første nedblandekanalen, hvori Rc er den andre nedblandekanalen, hvori t, a og b er vektingsfaktorer mindre enn 1, hvori L er en opprinnelig venstre kanal, hvori C er en opprinnelig senterkanal, hvori R er en opprinnelig høyre kanal, hvori Ls er en opprinnelig venstre surroundkanal, og hvori Rs er en opprinnelig høyre surroundkanal.

7. Apparat ifølge krav 1, der tilveiebringeren er operativ for å motta eksternt tilførte første og andre nedblandekanaler.

8. Apparat ifølge krav 1, der den første nedblandekanalen og den andre nedblandekanalen er sammensatte kanaler som er sammensatt av de opprinnelige kanalene i varierende grad, hvori kalkulatoren er operativ, for anvendelse, for å beregne kanalsideinformasjonen, nedblandekanalen blant både nedblandekanaler, som er sterkere påvirket av den valgte opprinnelige kanalen i forhold til den andre nedblandekanalen.

9. Apparat ifølge krav 1, der generatoren er operativ for å danne utgangsdataene slik at utgangsdataene er i samsvar med en utgangsdatasyntaks som skal anvendes ved en lavnivå-dekoder for å behandle den første nedblandekanalen eller et signal avledet fra den første nedblandekanalen eller den andre nedblandekanalen eller et signal avledet fra den andre nedblandekanalen for å oppnå en dekodet stereorepresentasjon av det flerkanals lydsignalet.

10. Apparat ifølge krav 9, der utgangsdatasyntaksen er strukturert slik at utgangsdatasyntaksen inkluderer et spesielt datafelt som skal ignoreres av en lavnivådekoder, og der generatoren er operativ for å sette kanalsideinformasjonen inn i det spesielle datafeltet.

11. Apparat ifølge krav 10, der syntaksen er mp3-syntaks og det spesielle datafeltet er et tilhørende datafelt.

12. Apparat ifølge krav 9, der generatoren er operativ for å sette kanalsideinformasjonen inn i utgangsdataene slik at kanalsideinformasjonen bare anvendes ved en høynivå-dekoder, men ignoreres av lavnivå-dekoderen.

13. Apparat ifølge krav 2, som videre omfatter en koder for å kode den første nedblandekanalen for å oppnå signalet som avledes fra den første nedblandekanalen eller for å kode den andre nedblandekanalen for å oppnå signalet som avledes fra den andre nedblandekanalen.

14. Apparat ifølge krav 13, der koderen er en perseptuell koder som inkluderer en konvertør for å konvertere et signal som skal kodes inn i en spektral representasjon, en kvantitisator for å kvantisere den spektrale representasjonen ved hjelp av en psykoakustisk modell og en entropikoder for entropi som koder for en kvantisert spektral representasjon for å oppnå en entropikodet spektral representasjon som signalet avledet fra den første nedblandekanalen eller signalet avledet fra den andre nedblandekanalen.

15. Apparat ifølge krav 14, der den perseptuelle koderen er en koder ifølge MPEG-1/2-lag III (mp3) eller MPEG-2/4 avansert lydkoding (AAC).

16. Apparat ifølge krav 1, der kalkulatoren er operativ for å beregne nedblandeenergiverdier for nedblandekanalen eller den kombinerte nedblandekanalen, for å beregne en opprinnelig energiverdi for den valgte opprinnelige kanalen, og for å beregne en forsterkningsfaktor som kanalsideinformasjonen, idet forsterkningsfaktoren avledes fra nedblandeenergiverdien og den opprinnelige energiverdien.

17. Apparat ifølge krav 1, der kalkulatoren er operativ for å beregne frekvensavhengig kanalsideinformasjonsparametere slik at for et mangfold av frekvensbånd, oppnås det et mangfold av forskjellige kanalsideinformasjonsparametere.

18. Fremgangsmåte for behandling av et flerkanals lydsignal, hvor det flerkanals lydsignalet har minst tre opprinnelige kanaler, omfattende:

å tilveiebringe, av en tilveiebringer, en første nedblandekanal og en andre nedblandekanal, hvor den første og den andre nedblandekanalen avledes fra de opprinnelige kanalene;

å kalkulere, med en kalkulator, kanalsideinformasjon for en valgt opprinnelig kanal av de opprinnelige signalene slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første og den andre nedblandekanalen, når vektet ved anvendelse av kanalsideinformasjonen, resulterer i en approksimasjon av den valgte opprinnelige kanalen; og

å generere, ved hjelp av en generator, utgangsdata, hvor utgangsdataene er omfattende kanalsideinformasjonen,

hvori leverandøren, kalkulatoren eller generatoren omfatter en maskinvareimplementering.

19. Apparat for invers behandling av inngangsdata, hvor apparatet er omfattende: en inngangsdataleser for lesing av inngangsdataene, inngangsdataene er omfattende kanalsideinformasjon, en første nedblandekanal eller et signal avledet fra den første nedblandekanalen og en andre nedblandekanal eller et signal avledet fra den andre nedblandekanalen, hvori kanalsideinformasjonen beregnes slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første nedblandekanalen og den andre nedblandekanalen, når vektet ved hjelp av kanalsideinformasjonen, resulterer i en approksimasjon for en valgt opprinnelig kanal, hvori inngangsdataleseren konfigureres for å oppnå den første nedblandekanalen eller et signal avledet fra den første nedblandekanalen og den andre nedblandekanalen eller et signal avledet fra den andre nedblandekanalen og kanalsideinformasjonen; og

en kanalrekonstruktør for rekonstruering av approksimasjonen av den valgte opprinnelige kanalen ved hjelp av kanalsideinformasjonen og nedblandekanalen eller den kombinerte nedblandekanalen for å oppnå approksimasjon av den valgte opprinnelige kanalen,

20. Apparat ifølge krav 19, som videre er omfattende en perseptuell dekoder for å dekode signalet avledet fra den første nedblandekanalen for å oppnå den dekodede versjonen av den første nedblandekanalen og for å dekode signalet avledet fra den andre nedblandekanalen for å oppnå en dekodet versjon av den andre nedblandekanalen.

21. Apparat ifølge krav 19, som videre er omfattende en kombinator for å kombinere den første nedblandekanalen og den andre nedblandekanalen for å oppnå den kombinerte nedblandekanalen.

22. Fremgangsmåte for invers behandling av inngangsdata, hvor fremgangsmåten er omfattende:

å lese, av en inngangsdataleser, inngangsdataene, hvor inngangsdataene er omfattende kanalsideinformasjon, en første nedblandekanal eller et signal avledet fra den første nedblandekanalen og en andre nedblandekanal eller et signal avledet fra den andre nedblandekanalen, hvori kanalsideinformasjonen beregnes slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første nedblandekanalen og den andre nedblandekanalen, når vektet ved hjelp av kanalsideinformasjonen, resulterer i en approksimasjon for en valgt opprinnelig kanal; og å rekonstruere, av en rekonstruktør, approksimasjonen av den valgte opprinnelige kanalen ved hjelp av kanalsideinformasjonen og nedblandekanalen eller den kombinerte nedblandekanalen for å oppnå approksimasjonen av den valgte opprinnelige kanalen, hvori minst en av inngangsdataleseren og kanalrekonstruktøren omfatter en maskinvareimplementasjon.

23. Ikke-flyktig lagringsmedium som har lagret derpå et datamaskinprogram med en programkode for å utføre en fremgangsmåte for behandling av et flerkanals lydsignal, hvor flerkanals lydsignalet har minst tre opprinnelige kanaler, omfattende:

å tilveiebringe en første nedblandekanal og en andre nedblandekanal, hvor den første og den andre nedblandekanalen avledes fra de opprinnelige kanalene;

å kalkulere kanalsideinformasjon for en valgt opprinnelig kanal av de opprinnelige signalene slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første og den andre nedblandekanalen, når vektet ved anvendelse av kanalsideinformasjonen, resulterer i en approksimasjon av den valgte opprinnelige kanalen; og

å generere utgangsdata, hvor utgangsdataene er omfattende kanalsideinformasjonen.

24. Ikke-flyktig lagringsmedium som har lagret derpå et datamaskinprogram med en programkode for å utføre en fremgangsmåte for invers behandling av inngangsdata, hvor fremgangsmåten er omfattende:

å lese inngangsdataene, hvor inngangsdataene er omfattende kanalsideinformasjon, en første nedblandekanal eller et signal avledet fra den første nedblandekanalen og en andre nedblandekanal eller et signal avledet fra den andre nedblandekanalen, hvori kanalsideinformasjonen beregnes slik at en nedblandekanal eller en kombinert nedblandekanal som omfatter den første nedblandekanalen og den andre nedblandekanalen, når vektet ved hjelp av kanalsideinformasjonen, resulterer i en approksimasjon for den valgte opprinnelige kanalen; og

å rekonstruere approksimasjonen av den valgte opprinnelige kanalen ved hjelp av kanalsideinformasjonen og nedblandekanalen eller den kombinerte nedblandekanalen for å oppnå approksimasjonen av den valgte opprinnelige kanalen.