SE527669C2 - Förbättrad felmaskering i frekvensdomänen - Google Patents

Förbättrad felmaskering i frekvensdomänen

Info

Publication number
SE527669C2
SE527669C2 SE0400418A SE0400418A SE527669C2 SE 527669 C2 SE527669 C2 SE 527669C2 SE 0400418 A SE0400418 A SE 0400418A SE 0400418 A SE0400418 A SE 0400418A SE 527669 C2 SE527669 C2 SE 527669C2
Authority
SE
Sweden
Prior art keywords
frame
coding coefficient
spectral
frequency domain
coefficients
Prior art date
Application number
SE0400418A
Other languages
English (en)
Other versions
SE0400418L (sv
SE0400418D0 (sv
Inventor
Anisse Taleb
Original Assignee
Ericsson Telefon Ab L M
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SE0303498A external-priority patent/SE0303498D0/sv
Application filed by Ericsson Telefon Ab L M filed Critical Ericsson Telefon Ab L M
Priority to SE0400418A priority Critical patent/SE527669C2/sv
Publication of SE0400418D0 publication Critical patent/SE0400418D0/sv
Priority to JP2006545285A priority patent/JP3999807B2/ja
Priority to BRPI0417523A priority patent/BRPI0417523B1/pt
Priority to AT04820554T priority patent/ATE366979T1/de
Priority to MXPA06006497A priority patent/MXPA06006497A/es
Priority to CA2544880A priority patent/CA2544880C/en
Priority to PCT/SE2004/001868 priority patent/WO2005059900A1/en
Priority to PL04820554T priority patent/PL1697927T3/pl
Priority to EP04820554A priority patent/EP1697927B1/en
Priority to CN2004800381050A priority patent/CN1898722B/zh
Priority to AU2004298709A priority patent/AU2004298709B2/en
Priority to DE602004007550T priority patent/DE602004007550T2/de
Priority to US11/011,780 priority patent/US7356748B2/en
Priority to RU2006126073/09A priority patent/RU2328775C2/ru
Publication of SE0400418L publication Critical patent/SE0400418L/sv
Publication of SE527669C2 publication Critical patent/SE527669C2/sv
Priority to HK07105059.0A priority patent/HK1098569A1/xx

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/667Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands

Description

25 30 527 669 2 såsom till exempel DCT-transfonnen (Discrete Cosine Transform). Dessa två. typer av kodekar kan dock betraktas som matematiskt ekvivalenta. I viss mening baseras de på samma princip där en transformkodek kan betraktas som en delbandskodek med ett stort antal delband.
Ett gemensamt drag hos dessa kodekar är att de arbetar på block av sampel: ramar. Kodningskoefficienterna som resulterar från en transformanalys eller en delbandsanalys av varje ram kvantiseras enligt en dynamisk bitallokering och kan variera från ram till ram. Vid mottagning av bitströmmen beräknar avkodaren bitallokeringen och avkodar de kodade koefñcienterna.
I paketbaserad kommunikation kan de kvantiserade kodningskoefficienterna och / eller parametrarna grupperas i paket. Ett paket kan innehålla data avseende flera ramar, en ram eller data rörande enbart del av ram.
Under dåliga kanalförhållanden kan den kodade / komprimerade Y informationen från kodaren gå förlorad eller anlända på mottagarsidan med fel. I allmänhet har överföring av audio-, video- och annan relevant data under dåliga kanalförhållanden blivit ett av de mest utmanande problemen idag. För att minska effekten av fel som introduceras under överföring genom paketförluster eller korrupt data används ofta så kallad felmaskering för att minska försåmringen av kvaliteten hos audio-, video- eller annan data som representeras av kodningskoefñcienterna.
Felmaskeringsscheman förlitar sig oftast på att åstadkomma en ersättning för den eller de kvantiserade kodningskoefficienterna i ett förlorat, eller mer generellt, ett felaktigt paket som liknar det ursprungliga. Detta är möjligt 'I eftersom information såsom audio, och särskilt tal, uppvisar stora mängder kortsiktig egenlikhet. Som sådana fungerar dessa tekniker optimalt för relativt små förlustgrader (10%) och för små paket (4-40 ms).
Multipelbeskrivningskodning är en teknik som år känd inom området för informationsöverföring över otillförlitliga kanaler. Kodaren genererar flera 10 15 20 25 30 527 669 3 olika beskrivningar av samma audiosignal och avkodaren kan åstadkomma en användbar rekonstruktion av den ursprungliga audiosignalen med varje delmångd av de kodade beskrivningarna. Denna teknik antar förekomsten av ett fel eller en förlust på varje beskrivning för sig. Detta skulle innebära att varje beskrivning kan sändas på sin egen kanal eller att beskrivningarna delar på samma kanal men förskjutna i tid med avseende på varandra. l detta fall är sannolikheten hög att avkodaren tar emot giltig data i varje ögonblick. Förlusten av en beskrivning kan därmed överbryggas av tillgängligheten av en annan beskrivning av samma signal. Förfarandet ökar naturligtvis den totala fördröjningen mellan sändaren och mottagaren.
'Vidare måste antingen datahastigheten ökas eller någon annan kvalitet offras för att tillåta ökningen i redundans.
I fallet med block- eller ramorienterade transformkodekar kan uppskattningen av saknade signalintervall göras i tidsdomänen, d.v.s. vid utgången på avkodaren, eller i frekvensdomänen d.v.s. inuti avkodaren.
I tídsdomänen är redan flera felmaskeringstekniker kända. Elementär teknologi såsom dämpningsbaserade förfaranden reparerar sina förluster genom att dämpa utsignalen så länge som data är felaktiga. Felaktiga data -ersätts av en nollsignal. Även om förfarandet är väldigt enkelt leder det till mycket ofördelaktiga effekter på grund av de uppfattade diskontinuiteterna som det inför med plötsligt sjunkande signalenergi.
Repetitionsförfarandet är mycket likt tekniken med dämpning, men istället för att ersätta data med en nollsignal när felaktiga data uppträder, upprepar det en del av de data som togs emot sist. Detta förfarande fungerar bättre än dämpning på bekostnad av en ökning av minnesförbrukningen. Dock fungerar förfarandet begränsat och nägra ganska irriterande bieffekter uppträder. Till exempel, om den sist mottagna ramen var ett trumslag kan __ den senare upprepas vilket kan leda till ett dubbelt trumslag där endast ett enkelt förväntades. Andra bieffekter kan uppträda om t.ex. 10 15 20 25 30 527 669 4 upprepningsfrekvensen är väldigt kort, vilket introducerar ett surrande ljud på grund av en kamfiltreringseffekt.
'Andra mer sofistikerade tekniker syftar till att interpolera audiosignalen genom t.ex. vågformsubstitution, tonhöjdsbaserad vàgforrnsreplikering eller tidsskalemodiñering. Dessa tekniker fungerar bättre än de tidigare beskrivna elementära teknikerna. Dock kräver de större komplexitet. Vidare så är storleken på den fördröjning som krävs för att utföra interpolationen i många fall oacceptabel.
Välkända tekniker i litteraturen för återskapning av audio, t.ex. [1], [2], [3] erbjuder användbara insikter, och behandlar faktiskt liknande problem.
.Felmaskering i frekvensdomänen har beaktats i [4], [5]. I fallet med DCT- transformen (Discrete Cosine Transform), kan man finna att en enkel maskeringsteknik består i att kapa stora DCT-koefficienter.
I [6] används ett tillvägagångssätt baserat på datasubstitution med ett hörselanpassat val av den spektrala energin. Särskilt hittas ett mönster i intakta audiodata innan förekomsten av felaktig data. När detta mönster hittas bestäms ersättningsdata baserat på detta mönster.
I [7] beskrivs en felmaskeringsteknik i frekvensdomänen. Den beskrivna tekniken är ganska generell och avser transformkodare. Den använder ïprediktering för att återskapa förlorade eller felaktiga koefficienter.
Prediktering av en felaktig frekvensavdelning/frekvenskanalkoefficient baseras på tidigare koefficienter för samma avdelning/ kanal, och kan därmed beakta hur fasen i avdelningen/ frekvenskanalen utvecklas över tiden i ett försök att bibehålla den så kallade horisontella faskoherensen. I vissa fall kan denna teknik ge ganska tillfredställande resultat. 10 15 20 25 30 527 669 5 Felmaskeringstekniken som föreslås i [7] resulterar dock generellt sett i en förlust av så kallad vertikal faskoherensen, vilket kan leda till ramdiskontinuiteter och uppfattade bieffekter.
I [8] beskriver Wíese et al. en teknik för felmaskering som baseras på växling mellan flera strategier för maskering, vilka innefattar åtminstone dämpning V av ett delband och upprepning eller skattning av delbandet.
KORT SAMMANFATTNING AV UPPFINNINGEN Uppfinningen övervinner dessa och andra nackdelar hos kända anordningar.
Det är ett allmänt syfte med uppfinningen att åstadkomma en förbättrad felmaskeringsteknik.
Det är ett annat syfte med uppfinningen att åstadkomma en felmaskeringsteknik i frekvensdomänen som mer optimalt utnyttjar medundansen hos den ursprungliga informationssignalen.
Det är ett ytterligare syfte med uppfinningen att åstadkomma en generell och verkningsfull frekvensdomänbaserad felmaskeringsteknik som kan tillämpas på både delbands- och transformkodekar.
Det är också ett syfte att åstadkomma en förbättrad anordning för felmaskering i frekvensdomänen, såväl som en avkodare och en mottagare innefattande en sådan felmaskeringsanordning.
Dessa och andra syften uppnås av uppfinningen såsom den definieras av bifogade patentkrav.
Uppfinningen avser en frekvensdomånbaserad felmaskeringsteknik för information som på ram-till-ram-basis representeras av kodningskoefñcienter. Den grundläggande idén är att maskera/ dölja (eng. conceal) en felaktig kodningskoefñcient genom att utnyttja korrelation 10 15 20 25 30 527 669 6 mellan kodningskoefficienter i både tid och frekvens. Tekniken är tillämpbar på all information, såsom audio-, video- och bilddata, som är komprimerad till kodningskoefficienter och överförs under dåliga kanalförhållanden.
Felmaskeringstekniken som föreslås enligt uppfinningen har den tydliga fördelen att redundansen hos den utnyttja ursprungliga informationssignalen såväl i tid som i frekvens. Detta erbjuder till exempel möjligheten att utnyttja redundans såväl mellan ramar som inom ramar.
Det finns många möjligheter att utnyttja tids- och frekvenskorrelation, innefattande användning av kodningskoefficienter från samma ram som den i vilken den felaktiga kodningskoefficienten finns, tillsammans med koefficienter från en eller flera föregående och/ eller efterföljande ramar, användning av flera olika koefficienter från var och en av ett antal föregående och/ eller efterföljande ramar, eller till och med användning av diagonalmönster av kodningskoefficienter. Det är underförstått att användande av kodningskoefficienter från en eller flera efterföljande ramar i allmänhet introducerar en fördröjning, vilket kan vara acceptabelt eller inte i beroende av tillämpningen.
Användandet av kodningskoefficienter från samma ram som den felaktiga 'kodningskoefficienten kallas ibland för intra-rambaserad koefñcient- korrelation och är ett specialfall av den mer generella frekvenskorrelationen.
På liknande sätt kallas ibland användandet av koefficienter från en eller flera föregående och/ eller efterföljande ramar för inter-rambaserad korrelation, eller helt enkelt tidskorrelation.
Felmaskeringen enligt uppfinningen utförs företrädesvis genom skattning av en ny kodningskoefficient baserat på minst en annan kodningskoefñcient inom samma ram som den felaktiga koefñcienten och minst en kodningskoefficient från en eller flera andra ramar, samt ersättande av den .felaktiga (typiskt sett förlorade) kodningskoefñcienten med den nya kodningskoefñcienten. 10 15 20 25 30 527 669 7 Normalt i delbands- och transformkodekar kan informationen representeras av kodningskoefñcienter för ett antal frekvensavdelningar (eng. frequency bins), antingen frekvensband eller transformfrekvenskomponenter. I en särskilt fördelaktig och praktisk utföringsform, när en felaktig kodningskoefficient detekteras för en särskild frekvensavdelning i en viss ram, kan den nya kodningskoefñcienten för denna frekvensavdelning skattas åtminstone delvis baserat på minst en kodningskoefficient från minst en annan frekvensavdelning i samma ram, och företrädesvis också baserat på minst en kodningskoefficient från samma frekvensavdelning i en eller flera andra ramar. Det kan vara fördelaktigt att också beakta minst en kodningskoefñcient från minst en annan frekvensavdelning i en eller flera andra ramar.
'I En särskilt fördelaktig utföringsform som inte introducerar någon ytterligare fördröjning baseras på skattning av en felaktig koefficient, inte bara från tidigare data från den felaktiga eller saknade avdelningen utan också på nuvarande och/ eller tidigare data från andra avdelningar. Detta innebär att både tids- och frekvensredundans utnyttjas. Detta är särskilt sant för fallet med en audiosignal som består av summan av harmoniska komponenter vars frekvens långsamt varierar med tiden. För detta väldigt vanliga audiofall varierar placeringen av topparna hos spektrumet över tiden. En topp som är lokaliserad vid ram m-1 skulle till exempel vara lokaliserad någon annanstans vid ram m. Användningen av en estimator eller prediktor som ~* utnyttjar denna typ av dubbel redundans år därför väldigt önskvärd.
I synnerhet förslår uppfinningen en speciell teknik för skattning av en ny kodningskoefficient genom att prediktera en spektral faskomponent baserat på approximativ gruppfördröjningsmatchning mellan ramar under användande av ett förutbeståmt approximationskriterium. Detta utförs företrädesvis genom att först skatta gruppfördröjrlingfin Utifrån minst en annan ram och sedan beräkna den spektrala fasen genom att åtminstone approximativt matcha gruppfördröjningen för den felaktiga spektrala komponenten med den skattade giuppfördröjningen. 10 15 20 25 30 527 669 8 En spektral amplitudkomponent kan predikteras baserat på matchning av energin hos spektrala koefficienter i den betraktade ramen med energin hos motsvarande spektrala koefficienter i minst en annan ram.
I fallet med transformkodning, där kodningskoefficienterna är komplexa spektrala transformkoefficienter, skattas en ny komplex spektral .kodningskoefficient för en viss frekvensavdelning företrädesvis genom att prediktera den spektrala amplituden och fasen var för sig och sedan kombinera den predikterade spektrala arnplituden och fasen till en ny komplex spektral kodningskoefficient. Spektral energimatchning och grupp- fördröjningsmatchning kan då användas för att individuellt prediktera den spektrala amplitudkomponenten respektive den spektrala faskomponenten för den komplexa kodningskoefflcienten.
Det är underförstått att en felaktig kodningskoefñcient kan vara en delvis felaktig koefficient eller en helt förlorad kodningskoefficient. I mer 'avancerade feldetekteringsprotokoll kan det vara möjligt att särskilja fel i de minst signifikanta bitarna från fel i de mest signifikanta bitarna i en kodningskoefñcient och på detta sätt återanvända åtminstone delar av informationen.
Uppfinningen uppvisar följande fördelar: - Förbättrad felmaskering; - Optimalt utnyttjande av redundansen i den ursprungliga informationssignalen; - Generellt användbar i alla delbands- eller transformkodek- tillämpningar.
Andra fördelar med uppfinningen kommer att klargöras vid läsning av nedanstående beskrivning av utföringsformer av uppfinningen. 10 15 20 25 30 527 669 9 KORT BESKRIVNING AV RITNINGARNA Uppfinningen, tillsammans med ytterligare syften och fördelar med denna, kan bäst förstås genom hänvisning till följande beskrivning läst tillsammans med de medföljande ritningama, i vilka: Fig.1 är en schematisk översikt av en konventionell källkodnings- tillämpning; Fig. 2A-H är schematiska diagram som visar olika exempel på utnyttjande av 'i både tids- och frekvenskorrelation av kodningskoefficienter; Fig. 3 är ett schematiskt diagram av en möjligt överlappande ramuppdelning av insampel i tidsdomänen; Fig. 4 är ett schematiskt blockschema av ett exempel på en grundläggande transformbaserad kodare; Fig. 5 år ett schematiskt blockschema av ett exempel på en grundläggande transformbaserad avkodare med felmaskering; Fig. 6 är ett schematiskt blockschema över en felmaskeringsenhet enligt en föredragen utföringsfonn av uppfinningen; Fig. 7 är ett schematiskt blockschema av ett exempel på en grundläggande delbandskodare; Fig. 8 är ett schematiskt blockdiagram över ett exempel på en grundläggande delbandsavkodare med felmaskering; _Fig. 9A-B är schematíska diagram som visar fasextrapolering baserat på gruppfördröjningsmatchning; och 10 15 20 25 30 527 669 10 Fig. 10 är ett schematiskt blockdiagram över en estimator för komplexa koefficienter enligt en föredragen utföringsforrn av uppfinningen.
DETALJERAD BESKRIVNING Samma referensbeteckningar kommer att användas för motsvarande eller liknande element i ritningarna.
För bättre förståelse av uppfinningen kan det vara användbart att börja med en kort översikt av en vanlig källkodningstillämpning som involverar överföring av kodad information över en kommunikationskanal. Som tidigare nämnts, är en kodek en sammansatt anordning, krets eller datorprogram som kan bearbeta en informationsström och som i allmänhet innefattar en .kodningsdel och en avkodningsdcl. Kodekar används ofta för komprimering/ dekomprimering av information såsom audio- och videodata för effektiv överföring över bandbreddsbegränsade kommunikationskanaler.
I de flesta audio- och videokodekar enligt teknikens ståndpunkt analyseras varje ram hos insignalen i frekvensdomänen. Resultatet av denna analys kodas och överförs. På mottagarsidan återskapar ett syntesförfarande signalen i tidsdomänen.
Det grundläggande konceptet vid frekvensdomänkodning är att dela upp spektrumet i frekvensband eller komponenter, vanligen kallade frekvensavdelningar, under användande av en filterbank eller en blocktransformanalys. Efter kodning och avkodning kan dessa frekvensavdelningar användas för att återsyntetisera en kopia av insignalen, antingen genom ñlterbanksummering eller en inverstransform.
Två välkända typer av kodekar som tillhör klassen frekvensdomänkodekar är delbandskodekar och transformkodekar. Den grundläggande principen för båda typer av kodekar år uppdelningen av spektrumet i frekvensavdelningar.
Vid delbandskodning används en filterbank för att dela upp insignalen i ett antal relativt breda frekvensband. Vid transformkodning, å andra Sidan. 10 15 20 25 30 527 669 ll används en blocktransformation för att åstadkomma en mycket finare frekvensupplösning.
Ett gemensamt karaktärsdrag för dessa kodekar är att de verkar på sampelblock: rarnar. Kodningskoefflcientema som resulterar från en transformanalys eller en delbandsanalys av varje ram kvantiseras, kodas och “överföra På mottagarsidan avkodas de kodade och kvantiserade kodnings- koefficienterna för att återskapa den ursprungliga informationen.
Med hänvisning till Fig. l utför kodaren 10 en kodningsprocess för att transformera informationsströmmen till kodad form, typiskt som kvantiserade och kodade kodningskoefficienter. Den kodade informationen vidarebefordras sedan till ett kanalbehandlingsblock 20 för att omvandla den kodade informationen till lämplig form för överföring över kommunikations- kanalen. På mottagarsidan behandlas normalt den inkommande bitströmmen av kanalbearbetningsblocket 30, vilket kan utföra demultiplexering och feldetektering. Vid till exempel paketbaserad kommunikation kan paketen kontrolleras för bitfel genom att utföra CRC (Cyclic Redundancy Check) tester eller ekvivalent feldetektering. Ofta slängs paket med felaktiga kontrollsummor. För att motverka effekten av fel som introduceras i paketen under överföringen utnyttjas ofta ett felmaskeringsblock i avkodningsprocessen hos block 40 för maskering av felaktiga eller saknade kodningskoefficienter genom att skatta nya ersättningskoefficienter. Avkodningsblocket 40 utför sedan en syntesprocess icke-felaktiga skattade på de koefficienterna och de ersåttningskoefficientema för att återskapa den ursprungliga informationen.
'Uppñnningen avser en speciellt utformad teknik för felmaskering i frekvensdomånen som baseras på iden att maskera en felaktig kodningskoefñcient genom utnyttjande av kodningskoefficientkorrelation i både tid och frekvens. Tekniken kan tillämpas på all information, såsom audio-, video- och bilddata, som är komprimerad till kodningskocfñcienter och överförs under dåliga kanalförhållanden. Felmaskeringstekniken enligt 10 15 20 25 30 527 669 12 uppfinningen utnyttjar redundans hos informationssignalen i både tid och frekvens, och erbjuder möjligheten att utnyttja redundansen såväl mellan ramar som inom ramar.
Det finns många möjligheter att utnyttja tids- och frekvens- korrelationen/ beroendet hos kodningskoefñcienterna. För att skatta en ny kodningskoefficient att användas istället för en felaktig eller förlorad koefficient är det önskvärt att analysera och bestämma hur fas och/ eller amplitud utvecklas över tiden (mellan ramar) och också hur fas och/ eller -amplitud utvecklas med avseende på frekvensen. Detta kallas också ibland för horisontell korrelation / beroende respektive vertikal korrelation / beroende.
Det är till exempel möjligt att för en given felaktig koefñcient skatta en ny kodningskoefficient baserat på kodningskoefñcienter från samma ram som den felaktiga kodningskoefficienten tillsammans med koefñcienter från en eller flera föregående och/eller efterföljande ramar. En annan möjlighet är att använda multipla koefficienter från var och en av ett antal föregående och /eller efterföljande ramar. Diagonala mönster av koefficíentberoende i tid och frekvens kan också utnyttjas.
Det bör inses att användandet av kodningskoefficienter från en eller flera efterföljande ramar i allmänhet introducerar en fördröjning, vilken i beroende av tillämpningen kan vara acceptabel eller inte. Det är i allmänhet naturligtvis möjligt att använda inte bara icke-felaktiga kodningskoefficienter utan också tidigare skattade ersåttningskoefficienter.
Fig. 2A-H är schematiska diagram som visar olika exempel på utnyttjande av både tids- och frekvenskorrelation mellan kodningskoefficienter. Det bör inses att många andra varianter är möjliga, i beroende av designval, önskad 'berälmingskomplexítet och så vidare. lO 15 20 25 30 527 669 13 I det förenklade schemat i Fig. 2A antas att en felaktig kodningskoefficient (indikerad med ett kryss) har detekterats för en given frekvensavdelning ki 'ett givet block eller ram m. Fig. 2A visar ett grundläggande exempel i vilket den betraktade felaktiga koefficienten ersätts baserat på den tidigare koefñcienten för samma frekvensavdelning tillsammans med koeñicienter för två närliggande avdelningar inom samma ram som den betraktade felaktiga koefficienten. Detta är ett grundläggande exempel på utnyttjande av koefñcientberoende i både tid och frekvens. Användandet av kodningskoefficienter från samma ram som den felaktiga kodnings- koefñcienten kallas ibland för intra-rambaserad koefficientkorrelation och är ett specialfall av den mer generella frekvenskorrelationen. På liknande sätt kallas användandet av koefficienter från en eller flera föregående och/ eller efterföljande ramar för inter-rambaserad korrelation eller tidskorrelation.
Principen för maskering av en felaktig kodningskoefñcient baserat på. såväl inter-ram som intra-rambaserad koefñcientkorrelation är särskilt användbar.
Fig. 2B visar ett exempel pà successiva felaktiga koefficienter i samma avdelning. Här antas att den felaktiga koefficienten i ram m har ersatts av en ny skattad ersättningskoefficient, till exempel som visas i Fig. 2A. I nästa ram m+1 har den felaktiga koefñcienten ersatts baserat pä ersättningskoefficienten (indikerad med ett inringat streckat kryss) för samma frekvensavdelning i föregående ram m tillsammans med till exempel lkoefficienterna för två närliggande avdelningar inom samma ram som den betraktade felaktiga koefficienten. Det kan vara önskvärt att kunna anpassa inflytandet av skattade ersättningskoefficienter jämfört med icke-felaktiga koefficienter. Detta kan åstadkommas genom att tillhandahålla viktningsfaktorer som kan variera i beroende av om koefficienterna är icke- felaktiga överförda koefñcienter eller skattade ersättningskoefñcienter, och även i beroende av ”avståndet” i tid (d.v.s. antalet ramar) och / eller frekvens (d.v.s. antalet avdelningar) från den betraktade felaktiga koefñcienten. 10 15 20 25 30 527 669 14 Fig. 2G visar ett exempel där flera av kodningskoefficienterna i den aktuella ramen är felaktiga. I detta fall används den icke-felaktiga kodningskoefficienten i den aktuella ramen tillsammans med såväl den föregående koefñcienten för samma frekvensavdelning såväl som koefñcienter för andra frekvensavdelningar i föregående ram. Denna process -upprepas vanligen för var och en av de felaktiga koefñcienterna hos den aktuella ramen tills alla har ersatts med nya koefficienter.
Fig. 2D visar ett exempel där flera kodningskoefficienter i mer än en föregående ram betraktas tillsammans med koefficienter inom den aktuella ramen.
Fig. 2E visar ännu ett exempel där koefficientema för samma frekvensavdelning från flera föregående ramar används tillsammans' med koefñcientema för flera avdelningar inom den aktuella ramen.
Fig. 2F visar ett exempel med ett diagonalt korrelationsmönster.
Fig. 2G visar ett grundläggande exempel där en koefficient för samma avdelning i en efterföljande ram används tillsammans med koefñcienterna för två intilliggande avdelningar inom samma ram som den betraktade felaktiga koefficienten. Detta innebär att när en felaktig koefñcient detekteras inom en given ram måste felmaskerings algoritmen vänta tills nästa ram för att komma åt koefñcienterna i efterföljande ram. Detta introducerar uppenbarligen en fördröjning över en ram och antar även att koefficienten i samma avdelning i den efterföljande ramen är en icke- ' felaktig/ återskapad koefficient.
Fig. 2H visar ett annat exempel med en fördröjning över två ramar, där ett antal koefñcienter inom samma ram som den betraktade felaktiga koefficienten används tillsammans med så många icke- felaktiga/ återskapade koefficienter som möjligt i de två direkt efterföljande ramarna. 10 15 20 25 30 527 669 15 Uppfinningen kommer nu att beskrivas i mer detalj, huvudsakligen med hänvisning till transform- och delbandskodekar. För mer detaljerad information om delbands- och transformkodekar innefattande information om bitallokering, stegstorlek och decimering, hänvisas till [9].
Som visas i Fig. 3 kan varje analysram m utgöras av möjligen överlappande block av insampel x(n) i tidsdomänen. Fig. 4 är ett schematiskt blockdiagram av ett exempel på en enkel transformkodek. Som synes multipliceras varje 'block x(m, n) hos insignalen med en viktningsfunktion h.(n) och transformeras sedan i frekvensdomånen genom användning av en FFT-enhet (Fast Fourier Transform) 12. Det inses naturligtvis att en FFT-baserad kodare bara år ett exempel och att andra typer av transforrner kan användas, till exempel MDCT (Modified Discrete Cosine Transform). De erhållna komplexa koefficienterna y(m, k) i frekvensdomänen som är indexerade med frekvensavdelningsnumret k kvantiseras av kvantiseraren 14 till kvantiserade komplexa koefficienter yq(m, k). De kvantiserade koefficienterna kodas sedan och multiplexeras av block 16 till en multiplexerad informationsström. Den resulterande ramindelade bitströmmen paketeras -sedan av block 18 och överförs slutligen till avkodaren på mottagarsidan.
Som visas i Fig. 5 depaketeras den inkommande bitströmmen på mottagarsidan av block 32, vilket producerar såväl en rambitström som en indikator bfi(m) för ”dålig ram” för varje ram m. Indikatorn för ”dålig ram” kan vara ett resultat av en CRC-kontroll eller detektering av ett förlorat paket. Rambitströmmen och motsvarande indikator för ”dålig ram”. vidarebefordras till block 42, vilket utför demultiplexering och avkodning för att extrahera kvantiserade komplexa transformkoefficienter. Om inga fel detekteras inverstransformeras de kvantiserade koefficientema helt enkelt i den IFFT-enhet (InversFFT) 46 för att åstadkomma en tidsdomånsignal som multipliceras med en fönsterfunktion w(n) och överlapp-adderas i överlapp- adderingsenheten 48 för att återskapa en avkodad signal xq(n) i tidsdomänen. 10 15 20 25 30 527 669 16 I beroende av hur kodade data multiplexeras och paketeras kan data relaterade till en ram vara delvis eller helt förlorade. Detta har som effekt att 'åtminstone delar av de spektrala koefficienterna kan vara felaktiga.
Demultiplexering av indikatorn bfi(m) för ”dålig ram” fastställer vilka kodningskoefficienter som är felaktiga och därmed ger upphov till en indikator bci(m, k) för ”dålig koefficient”. Enligt en föredragen utföringsform av uppfinningen mottar därför felmaskeringsenheten (ECU) 44 en indikation bci(m, k) av vilka spektrala koefñcienter som är felaktiga eller förlorade, utöver de extraherade icke-felaktiga spektrala koefñcienterna yq(m, k).
Baserat på indikatorn bci(m, k) ersätter felmaskeringsenheten 44 de spektrala koefficienter som är indikerade som felaktiga eller förlorade med nya spektrala koefñcienter.
Fig. 6 är ett schematiskt blockdiagram över en felmaskeringsenhet 44 enligt en föredragen utföringsform av uppfinningen. Baserat på indikatorn för "dålig koefficient” för alla frekvensavdelningar k i ram m verkar de logiska enheterna 52 och 54 för att särskilja felaktiga koefficienter från icke-felaktiga koefficienter. Företrädesvis är indikatorn bcí(m, k) för ”dålig koefficient” boolsk. När det inte finns några kanalfel sätts indikatorn alltid till FALSK, vilket innebär att felmaskeringsenheten 44 helt enkelt skickar ut sin insignal, d.v.s. jfq(m,k)= yq(m,k). Å andra sidan, när en dålig eller saknad koefficient detekteras sätts indikatorn till SANN, vilket innebär att Ykoefficienten ersätts av utsignalen från estimatom 56. Ibland måste estimatorn alltid arbeta för att hålla sitt interna minnestillstånd uppdaterat, så det är bara dess utsignal som överbryggas som ersättare. Indikatom bci(m, k) tjänar därmed till att välja vilka spektrala koefficienter som måste ersättas av de av estirnatorn 56 skattade spektrala koefficienterna. I det följande betecknas uppsättningen av index k för de felaktiga spektrala koefñcienterna i ram m med S={k, så att bci(m, k)=SANT}. En rekombinations- enhet 58 tar emot och ordnar de skattade ersättningskoefficienterna och de icke-felaktiga kocfñcienterna för ram m för utsígnalering. 10 15 20 25 30 527 669 17 För generalitetens skull kommer nu även fallet med en delbandskodek att kortfattat illustreras med hänvisning till Fig. 7 och 8.
Fig. 7 är ett schematiskt blockdiagram över ett exempel på en grundläggande delbandskodare. I en delbandskodare används en bank av filter 12-1 till 12- _N för att dela upp insignalen i ett antal N frekvensband, av vilka vart och ett normalt är lågpassöversatt till nollfrekvens för att generera en motsvarande kodningskoefñcient yq(m, k). De erhållna koefficienterna y(m, k) indexerade med avdelningsnumret k kvantiseras sedan separat av en uppsättning kvantiserare 14-1 till 14-N till kvantiserade komplexa koefficienter yq(m, k).
De kvantiserade koefficienterna kodas sedan och multiplexeras av block 16 och paketeras därefter av block 18 innan överföring till avkodaren på mottagarsidan.
Som visas i Fig. 8 depaketeras den inkommande bitströmmen på mottagarsidan av block 32, vilket åstadkommer såväl en rambitström som I' en indikator bfi(m) för ”dålig ram” för varje ram m. Rambitströmmen och indikatom för ”dålig ram” vidarebefordras till block 42, vilket utför demultiplexering och avkodning för att extrahera kvantiserade komplexa transformkoefñcienter och en indikator bci(m, k) för ”dålig koefñcient". Om inga fel detekteras, översätts de kvantiserade koefficienterna helt enkelt tillbaka till sina ursprungliga frekvenspositioner av en bank av filter 46-1 till 46-N och summeras för att ge en approximation xq(n) av den ursprungliga signalen. Under dåliga kanalförhållanden, när fel uppträder under överföringen, mottar felmaskeringsenheten 44 en indikation bci(m, k) på vilka spektrala koefñcienter som är felaktiga utöver de extraherade icke-felaktiga -koefficienterna yq(m, k). Baserat på indikatorn för ”dålig koefficient” ersätter felmaskeringsenheten 44 de koefñcienter som indikeras som dåliga eller saknade med nya spektrala koefficienter, på liknande sätt som beskrivits OVaIl.
Utan att förlora i generalitet, kommer nu några exempel på användning av kombinerad tids- och frekvenskorrelation att beskrivas för fallet med 10 15 20 25 30 527 669 18 komplexa kodningskoefñcienter. Det bör dock inses att några av de grundläggande underliggande principerna för utnyttjande av koefficientkorrelation i såväl tid som frekvens beskrivna nedan också kan tillämpas på envärda kodningskoefficienter. Utöver detta, fokuserar vi i huvudsak på utföringsformer för realtidstillämpningar som kräver små fördröjningar eller inga fördröjningar alls. Därför betraktas enbart föregående ramar vid skattning av nya kodningskoefficienter i följande exempel.
Arnplimd- och faspredikteñng I denna utföringsform predikteras amplitud och fas företrädesvis var för sig och kombineras sedan. Amplituden och fasen för spektrumet förhåller sig till de spektrala koefficientema enligt följande relationer: Y., = JR=o»,>* + Imomnam* øq (m, k) = arctan(lm(yq (m, k)) I Re( y q (m, k))) Prediktorn predikterar sedan amplituden f; (m, k) och fasen óq(m,k) och »kombinerar dem sedan för att erhålla den predikterade spektrala koefficienten: y,(m,k) = Y,,(m,k)c0s(«;»q(m,k)) + jx“ç,(m,k)sin(q3,,(m,k)) .
Amplitudpredikteríng Konventionellt sett baseras ofta amplitudprediktering på en enkel upprepning av den tidigare avdelningsamplituden: Y,(m,k)=Yq(m-1,k).
Detta har nackdelen att om till exempel en audiosignal har en minskande magnitud så leder predikteringen till en överskattning vilken kan uppfattas dåligt. 10 15 20 25 527 669 19 Ett mer avancerat schema enligt föreliggande uppfinning utnyttjar redundansen i både tid och frekvens, vilket tillåter bättre prediktering av den spektrala magnituden. Till exempel kan den predikterade spektrala magnituden skrivas som: Y.,=fi, där G(m) är en adaptiv förstärkning som erhålls genom att matcha energin hos icke-felaktiga/återskapade spektrala koefficienter i den aktuella ramen med motsvarande spektrala koefñcienter i föregående ram, faktorn y är en dämpningsfaktor, O<ß1 t.ex. 7=0, 9. Ett exempel på energimatchning kan vara att beräkna den adaptiva förstärkning enligt: Xrqurtky kcS Zyqpn-Lky ' klS G(m) = Andra typer av spektrala energirnatchningsmått kan användas utan att avvika från den grundläggande uppfinningstanken.
I en annan utföringsform kan förstärkningen G(m) skattas för flera spektralband genom att gruppera de spektrala koefficienterna i delband och 'skatta förstärkningen ivarje delband. Delbandsgrupperingen kan vara på en likformig skala eller en Bark-skala som motiveras av psykoakustik. Den adaptiva förstärkningen i delband l skattas därför av: Znomkf kedelband (I) keS 22,011 -1,k)* kedzlbandfl) kQS G(m,l) = Den predikterade amplituden hos de spektrala koefficienterna i -frekvensdelband l ges därmed av: 10 15 20 25 30 527 669 20 Yq(m,k) = G(m,l) - Yq(m -1,k), k e aezbanau).
Den skattade förstärkningen på varje spektralband tjänar mycket på .utjämning i såväl tidsdomänen (utjämning i m) som frekvensdomänen (utjämning i l) genom användning av till exempel lågpassfiltrering i tids- och frekvensdomänen eller en polynomanpassning i frekvensdomänen och lågpassfiltrering i tidsdomänen.
Delbandsutföringsformen är speciellt användbar om de saknade spektrala koefficienterna är jämnt fördelade över frekvensaxeln. I vissa situationer kan alla de spektrala koefñcienterna för en tidigare tilldelad delbandsgruppering vara förlorade. I det fallet är det möjligt att slå samman närliggande delbandsgrupperingar eller bestämma den förstärkning som är associerad med delbandet som medelvärdet av den skattade förstärkningen i de närliggande delbanden. En annan strategi innefattar återanvändning av förstärkning d.v.s. G(m, l)=G(m-1, frekvensdomänfiltrerad version d.v.s. G(m,l)=Z f(l)G(m-1,l- p). Andra P föregående l), eller en strategier kan naturligtvis användas utan att frängå den grundläggande idén.
För fallet när alla spektrala koefficienter är förlorade kan matchningen av den adaptiva förstärkningen skattas antingen genom att använda de föregående två ramarna eller genom att använda föregående matchning av _adaptiv förstärkning, d.v.s. G(m, l)=G(m-1, l).
Mer sofistikerade men komplexa medel kan användas för förstärkningsprediktering En linjär adaptiv förstärkningsprediktor kan till exempel användas. Predikteringen kan då göras enligt: ñmk) = 2A,,,(m,k>1í,, .LP --L...L 10 15 20 25 30 527 669 21 där prediktorkoefñcienterna AP, (m, k) anpassas adaptivt med hjälp av någon minsta-fel-metod såsom minsta-kvadrat-anpassning.
Fasprediktering Faspredikteringen är mer kritisk därför att om fasen hos de predikterade spektrala koefñcientema ligger långt ifrån den verkliga så leder en felanpassning av fasen hos de överlappande delarna till allvarliga hörbara 'bieffekten I artikeln ”Improved Phase Vocoder Time-Scale Modification of Audio” av Laroche och Dolson [10] nämns att i fallet med tidsutdragande fas- vokoder så är en av orsakerna till bieffekter bristen på faskoherens.
Företrädesvis använder den faspredikteringsteknik som föreslås enligt uppfinningen redundans hos informationssignalen i både tid och frekvens.
En särskilt fördelaktig modell gruppfördröjningsmatchning. Detta kommer från observationen i baseras på approximativ audiotillämpningar att för en stationär ensam ton är derivatan av fasen med avseende på frekvensen d.v.s. gruppfördröjningen, approximativt konstant .över tiden. Detta bekräftas teoretiskt för en komplex ton med konstant amplitud: jmorwjøo x(m,n)=A~e x(m +1 n) = A - ej“'°"”'°'“"j'”°L å där L är mängden överlappning.
Den fönster-baserade DFT-transformen (Discrete Fourier Transform) av båda signalsektionerna ges av: X(m,w) = Amw - wgef* x(m +1,w) = Amf» - wo )ef°'°*f°'-=L 10 '15 20 25 30 527 669 22 och det inses lått att gruppfördröjningen för båda signalsektionerna år . densamma âargX(m,a>) = öargX(m+l,m) = âargHwl-cuo) am am am ' vilket visar att gmppfördröjningen är konstant och ej beroende av m. Detta förhållande kan visas gälla approximativt för multipla toner i beroende av hur bra undertryckningsbandet (eng. window rejection band) år.
Därmed tillåter skattningen av derivatan av fasen från föregående ram skattning av de saknade spektrala koefficienterna genom extrapolering.
Ett enkelt sätt att utföra fasprediktering baserat på gruppfördröjningsmatchning år att först skatta derivatan av fasen i föregående ram. Detta kan göras genom användande av enkla finita skillnader: Aço(m -1,k) = ø(m -l,k)- Andra sätt att erhålla en skattning av gruppfördröjningen kan naturligtvis också användas. Tanken är då att approximativt återställa samma 'gruppfördröjning för varje saknad spektralkomponent. Detta kan uppnås genom att beräkna de predikterade faserna så att de minimerar en felfunktion, till exempel: Zwtfo-(øoft/ø-øoftk-li-Aøon-Lknï I: där de okända parametrarna år ø(m,k) sådana att k e S , d.v.s. fasen för de saknade spektrala koefñcienterna, och W (k) år positiva viktningskoefficienter. 10 15 20 25 30 527 669 23 Det år fördelaktigt att sätta viktningskoefñcienterna proportionellt mot storleken på spektrumet för föregående ram, eller den predikterade storleken för den aktuella ramen, eller ett utjämnat spektralt envelopp. Detta gör det möjligt att betona vikten av de spektrala topparna och att filtrera bort dåliga skattningar av fasderivatan som introduceras av brus i de spektrala dalarna.
Med andra ord, fasprediktionen baseras företrädesvis på skattning av gruppfördröjningen från minst en annan (föregående) ram och bestämning av spektralfasen för den felaktiga koefñcienten så att gruppfördröjníngen associerad med den felaktiga koefficienten kommer så nåra den skattade gruppfördröjningen som möjligt enligt någon approximeringskriterium.
Ett exempel på en lösning i fallet med W(k)=1 ges. Som visas i Fig. 9A-B ligger de förlorade koefñcienterna mellan avdelning K och avdelning K+N.
*Minimeringen av felkriteriet leder till följande rekursiva lösning för den extrapolerade-predikterade fasen: Ö(m,k) = ç25(m,k -l)+Aø(m-1,k)+Aq>c, k =K+l,...,K +N-1, NP. = (1/N)'($(M,K+N)- I denna lösning är det ganska uppenbart att çö(m,K) = starta rekursionen.
För fallet när alla spektrala koefñcienter har förlorats används en sekundär fasprediktor för att tillåta initiering av ovanstående rekursion.
Mer sofistikerade, men mer komplexa medel kan användas för fasprediktering utan att avvika från den grundläggande iden med gruppfördröjningsmatchning/ bevarande, till exempel med ytterligare 10 15 20 25 527 669 24 utnyttjande av redundanser i tidsdomänen med gruppfördröjnings- bevarande.
Fig. 10 år ett schematiskt blockdiagram över en estimator för komplexa koefñcienter enligt en föredragen utföringsform av uppfinningen. Estimatorn 56 innefattar huvudsakligen en lagringsenhet 60 för lagring av kodningskoefficienter tillhörande ett valbart antal ramar och en enhet 70 för utförande av de nödvändiga beräkningarna för att skatta nya 'ersättningskoefficienten Lagringsenheten 60 tar emot de extraherade koefficientema för den aktuella ramen och lagrar dessa tillsammans med icke-fe1aktiga/ återskapade kodningskoefñcienter tillhörande en eller tidigare ramar. Beräkningsenheten 70 tar emot information S om vilken koefficienter som skall skattas, och beräknar motsvarande ersâttningskoefficienter baserat på de lagrade koefficienterna tillgängliga från lagringsenheten 60.
Enligt en föredragen utföringsform av uppfinningen, anpassad för komplexa transformkoefficienter, innefattar berâkningsenheten 70 en amplitud- skattningsenhet 72 som arbetar baserat på de tidigare beskrivna energimatchningsprincipema, en fasskattningsenhet 74 som arbetar baserat “på de tidigare beskrivna principerna för matchning av gruppfördröjning såväl som en kombinationsenhet 76 för kombinering av de skattade fas- och amplitudkomponentema till komplexa koefñcienter.
Det bör dock inses att de av uppfinningen föreslagna avancerade fas- och amplitudskattningsteknikerna kan användas oberoende av varandra. Fasen kan till exempel skattas baserat på gruppfördröjningsmatchning som indikerats ovan, med en enklare amplitudskattning. Å andra sidan kan amplituden skattas baserat på matchning av spektral energi såsom indikerats ovan, med en enklare fasskattning. 10 15 20 527 669 25 Direkt koeficientprediktering 'l denna utföringsform predikteras komplexa spektrala koefficienter direkt.
Prediktorns utresultat j, (m,k) är företrädesvis beroende av åtminstone den föregående spektrala koefficienten/ -erna för samma frekvensavdelning såväl som av föregående och/ eller aktuella spektrala koefficienter för andra avdelningar.
Generellt kan detta representeras av en tidsberoende adaptiv prediktorfunktion f,,,_,, sådan att: íqÜnsk) = fm,k(Xq(m°'I)=-~~>ZI (m"q)vy(makl)ßy(møkl)ß-°°=y(m>kp))a där kl,k2,...,k,, betecknar index för de icke-felaktiga spektrala koefficientema.
Prediktorfunktionen kan till exempel anta formen av en linjär prediktor.
Ovan beskrivna utföringsformer ges enbart som exempel och det bör inses att föreliggande uppñnning inte år begränsad till dessa. Ytterligare modifieringar, förändringar och förbättringar vilka bibehåller de underliggande principerna som beskrivs och för vilka patentskydd yrkas ligger inom ramen för uppfinningen. 10 15 20 25 527 669 26 REFERENSER [1] S.J. Godsill, P.J. Rayner, ”Digital Audio Restoration”, Springer, 1998. [2] J. J. K. O Ruanaidh, W. J. Fitzgerald, “Numerical Bayesían Methods 'Applied to Signal Processing”, Springer 1998. [3] R. Veldhuis “Restauration of lost samples in digital signals", Prentice Hall, 1990. [4] J. Herre, E. Eberlein, ”Error Concealment in the spectral domain", 93ff1 AES Convention, 1992 Oct, 1-4, preprint 3364. [5] J. Herre, E. Eberlein, ”Evaluation of concealment techniques for compressed digital audio", 94th AES Convention, 1993 Oct, 1-4, preprint , 3364. [6] Us-e 421 802-131 [71 EP-o 574 288-131 [s] Us-e 351 728-131 [9] A. M. Kondoz, “Digital Speech: Coding For Low Bit Rate Communication", Wiley (1994), pp. 123-128. '[10] J. Laroche, M. Dolson, “Improved Phase Vocoder Time-Scale Modiñcation of Audio”, IEEE transactions on speech and audio processing, 323-332, Vol. 7, No 3, May 1999.

Claims (39)

10 15 20 25 30 527 669 27 PATENTKRAV
1. Förfarande för felmaskering i frekvensdomånen för information som på ram-till-ram basis representeras av kodningskoefficienter på ram-till-ram basis, kännetecknat av maskering av en felaktig kodningskoefficient i en ram genom utnyttjande av korrelation mellan kodningskoefñcienter i både tid och frekvens. \
2. Förfarandet för felmaskering i frekvensdomånen enligt krav 1, i vilket den felaktiga kodningskoefficienten år åtminstone en av en delvis felaktig kodningskoefficient och en helt förlorad kodningskoefficient.
3. Förfarandet för felmaskering i frekvensdomänen enligt krav 1, i vilket kodningskoefñcienterna är kvantiserade kodningskoefficienter.
4. Förfarandet för felmaskering i frekvensdomänen enligt krav 1, i vilket steget maskering av en felaktig kodningskoefficient innefattar stegen: skattning av en ny kodningskoefficient baserat på minst en annan 'kodningskoefficient inom samma ram som den felaktiga kodnings- koefficienten och minst en kodningskoefficient från minst en annan ram; ersättande av den felaktiga kodningskoefñcienten med den nya kodningskoefficienten.
5. Förfarandet för felmaskering i frekvensdomånen enligt krav 4, i vilket informationen representeras av kodningskoefñcienter för ett antal frekvensavdelningar, och den felaktiga kodningskoefficienten detekteras för . en viss frekvensavdelning i en ram, och en ny kodningskoefficient för frekvensavdelningen skattas åtminstone delvis baserat på minst en kodningskoefficient för minst en annan frekvensavdelning i ramen.
6. Förfarandet för felmaskering i frekvensdomänen enligt krav 5, i vilket den nya kodningskoefñcienten för frekvensavdelningen skattas även baserat 10 15 20 25 30 i 527 669 28 på minst en kodningskoefficient för samma frekvensavdelning i minst en f 81111811 fam.
7. Förfarandet för felmaskering i frekvensdomånen enligt krav 6, i vilket den nya kodningskoefficienten för frekvensavdelningen skattas även baserat på minst en kodningskoefficient för minst en annan frekvensavdelning i minst en annan ram.
8. Förfarandet för felmaskering i frekvensdomänen enligt krav 1, i vilket steget maskering av en felaktig kodningskoefficient innefattar stegen skattning av en ny kodningskoefñcient och ersättande av den felaktiga kodningskoefficienten med den nya kodningskoefficienten, där steget skattning av en ny kodningskoefficient innefattar steget prediktering av en spektral faskomponent baserat på en approximativ gruppfördröjnings- matchning mellan ramar under användande av ett förutbeståmt approximeringskriterium.
9. Förfarandet för felmaskering i frekvensdomänen enligt krav 8, i vilket steget prediktering av en spektral faskomponent innefattar stegen: skattning av gruppfördröjning utifrån minst en annan ram; och beräkning av den spektrala fasen genom att åtminstone approximativt matcha den gruppfördröjning som är associerad med den nya spektrala “komponenten motden skattade gruppfördröjningen.
10. Förfarandet för felmaskering i frekvensdomânen enligt krav 1, i vilket steget maskering av en felaktig kodningskoefficient innefattar stegen skattning av en ny kodningskoefficient och ersättande av den felaktiga kodningskoefficienten med den nya kodningskoefficienten, där steget skattning av en ny kodningskoefñcient innefattar steget prediktering av en spektral amplitudkomponent baserat på spektral energimatchning mellan ramar. 10 15 20 25 30 527 669 29
11. Förfarandet för felmaskering i frekvensdomänen enligt krav 10, i vilket steget prediktering av en spektral amplitudkomponent innefattar stegen: beräkning av en viktningsfaktor genom att matcha energin hos spektrala koefñcienter i samma ram som den felaktiga kodningskoefñcienten med energin hos motsvarande spektrala koefñcienter i minst en annan ram; beräkning av den spektrala amplituden baserat på den spektrala amplituden för samma frekvensavdelning i nämnda minst en annan ram, och viktningsfaktorn.
12. Förfarandet för felmaskering i frekvensdomänen enligt krav 4, i vilket nämnda minst en annan ram innefattar minst en föregående ram.
13. Förfarandet för felmaskering i frekvensdomänen enligt krav 4, i vilket nämnda minst en annan ram innefattar minst en efterföljande ram. -
14. Förfarandet för felmaskering i frekvensdomänen enligt krav 1, i vilket kodningskoefficienterna är komplexa spektrala transforrnkoefficienter.
15. Förfarandet för felmaskering i frekvensdomänen enligt krav 14, i vilket en ny komplex spektral kodningskoefñcient för en viss frekvensavdelning skattas genom prediktering av spektral amplitud och fas var för sig och efterföljande kombinering av den predikterade spektrala amplituden och fasen till en ny komplex spektral kodningskoefficient.
16. Förfarandet för felmaskering i frekvensdomänen enligt krav 15, i vilket den spektrala amplituden predikteras baserat på den spektrala amplituden för samma frekvensavdelning i minst en annan ram, samt en viktningsfaktor, där nämnda viktningsfaktor beräknas genom matchning av energin hos spektrala koefñcienter i nämnda ram med energin hos motsvarande spektrala koefñcienter i nämnda minst en annan ram.
17. Förfarandet för felmaskering i frekvensdomänen enligt krav 15, i vilket den spektrala fasen predikteras genom skattning av gruppfördröjning utifrån 10 15 20 25 30 527 669 30 minst två spektrala faskomponenter i minst en annan ram, och beräkning av den spektrala fasen genom att åtminstone approximativt matcha den gruppfördröjning som år associerad med den nya spektrala koefficienten med den skattade gruppfördröjningen.
18. Förfarandet för felmaskering i frekvensdomänen enligt krav 14, i vilket en ny komplex spektral kodningskoefficient predikteras direkt. _
19. Förfarandet för felmaskering i frekvensdomânen enligt krav 1, i vilket informationen innefattar åtminstone en av audio-, video-, och bilddata.
20. Anordning för felmaskering i frekvensdomånen för information som på ram-till-ram basis representeras av kodningskoefficienter, kännetecknar! av organ (44) för maskering av en felaktig kodningskoefñcient i en ram baserat på korrelation mellan kodningskoefficienter i både tid och frekvens.
21. Anordningen för felmaskering i frekvensdomânen enligt krav 20, i vilken den felaktiga kodningskoefficienten år åtminstone en av en delvis felaktig kodningskoefficient och en helt förlorad kodningskoefficient.
22. Anordningen för felmaskering i frekvensdomänen enligt krav 20, i vilken nämnda organ för maskering av en felaktig kodningskoefñcient innefattar: organ (56) för skattning av en ny kodningskoefficient baserat på minst en annan kodningskoefficient inom samma, ram som den felaktiga kodningskoefficienten och minst en kodningskoefñcient i minst en annan ram; och organ (56, 58) för ersåttande av den felaktiga kodningskoefficienten med den nya kodningskoefficienten.
23. Anordningen för felmaskering i frekvensdomänen enligt krav 22, i vilken informationen representeras av kodningskoefficienter för ett antal frekvensavdelningar, och den felaktiga kodningskoefficienten detekteras för 10 15 20 25 30 527 669 31 en viss frekvensavdelning i ramen, och nämnda skattningsorgan (56) är '_ anpassat för att skatta en ny kodningskoefñcient för frekvensavdelningen åtminstone delvis baserat på minst en kodningskoefficient för minst en annan frekvensavdelning i ramen.
24. Anordningen för felmaskering i frekvensdomänen enligt krav 23, i vilken nämnda skattningsorgan (56) är anpassat för att skatta den nya kodningskoefficienten för frekvensavdelningen även baserat pä minst en kodningskoefficient för samma frekvensavdelning i minst en annan ram.
25. Anordningen för felmaskering i frekvensdomänen enligt krav 24, i vilken nämnda skattningsorgan (56) är anpassat att skatta den nya 'kodníngskoefñcienten för frekvensavdelningen även baserat på minst en kodningskoefficient för minst en annan frekvensavdelning i minst en annan fam.
26. Anordningen för felmaskering i frekvensdomänen enligt krav 20, i vilken nämnda organ (44) för maskering av en felaktig kodningskoefficient innefattar organ (56) för att skatta en ny kodningskoefficient och organ (56, 58) för att ersätta den felaktiga kodningskoefñcienten med den nya kodningskoefficienten, där nämnda organ (56) för skattning av en ny kodningskoefficient innefattar organ (74) för prediktering av en spektral .faskomponent baserat på approximativ gruppfördröjningsmatchning mellan ramar under användande av ett förutbestämt approximeringskriterium.
27. Anordningen för felmaskering i frekvensdomänen enligt krav 26, i vilken nämnda organ (74) för prediktering av en spektral faskomponent innefattar: organ för skattning av gruppfördröjning från minst en annan ram; och organ för beräkning av den spektrala fasen genom att åtminstone approximativt matcha den gruppfördröjning som är associerad med den nya spektrala komponenten mot den skattade gruppfördröjningen. lO 15 20 25 30 527 669 32
28. Anordningen för felmaskering i frekvensdomänen enligt krav 20, i vilken nämnda organ för maskering av en felaktig kodningskoefficient innefattar organ (56) för att skatta en ny kodningskoefficíent och organ (56, 58) för att ersätta den felaktiga kodningskoefñcienten med den nya kodningskoefficienten, där nämnda organ (56) för skattning av en ny 'kodningskoefficient innefattar organ för prediktering av en spektral arnplitudkomponent baserat på matchning av spektralenergi mellan ramar.
29. Anordningen för felmaskering i frekvensdomänen enligt krav 28, i vilken nämnda organ för prediktering av en spektral amplitudkomponent innefattar: organ (72) för beräkning av en viktningsfaktor genom att matcha energin hos spektrala koefñcienter i samma ram som den felaktiga kodningskoefficienten med energin hos motsvarande spektrala koefñcienter i minst en annan ram; och organ (72) för beräkning av den spektrala amplituden baserat' på den spektrala amplituden för samma frekvensavdelning i nämnda minst en annan ram, samt viktningsfaktorn.
30. Anordningen för felmaskering i frekvensdomänen enligt krav 22, i vilken nämnda minst en annan ram innefattar minst en föregående ram.
31. Anordningen för felmaskering i frekvensdomänen enligt krav 22, i vilken nämnda minst en annan ram innefattar minst en efterföljande ram.
32. Anordningen för felmaskering i frekvensdomänen enligt krav 20, i 'vilken kodningskoefficienterna är komplexa spektrala transformkoefficienter.
33. Anordningen för felmaskering i frekvensdomänen enligt krav 32, i vilken nämnda skattningsorgan (56) år anpassat för att skatta en ny komplex spektral kodningskoefficíent för en given frekvensavdelning genom att prediktera spektral amplitud och fas var för sig och därefter kombinera 10 15 20 25 30 527 669 33 den predikterade spektrala amplituden och fasen till en ny komplex spektral kodningskoefñcient.
34. Anordningen för felmaskering i frekvensdomänen enligt krav 33, i vilken nämnda skattningsorgan (56) är anpassat för att prediktera den spektrala amplituden baserat på den spektrala amplituden för samma frekvensavdelning i minst en annan ram, samt en viktningsfaktor, där nämnda skattningsorgan (56) är anpassat för att beräkna viktningsfaktorn genom att matcha energin hos spektrala koefficienter i nämnda ram med energin hos motsvarande spektrala koefñcienter i nämnda minst en annan fam .
35. Anordningen för felmaskering i frekvensdomänen enligt krav 33, i vilken nämnda skattningsorgan (56) är anpassat för att prediktera den spektrala fasen genom att skatta gruppfördröjningen från minst två spektrala faskomponenter i minst en annan ram och beräkna den spektrala fasen genom att åtminstone approximative matcha den gruppfördröjning som är associerad med den nya komponenten mot den skattade gruppfördröjningen.
36. Anordningen för felmaskering i frekvensdomånen enligt krav 32, i vilken en ny komplex spektral kodningskoefficient.predikteras direkt.
37. Anordningen för felmaskering i frekvensdomänen enligt krav 20, i vilken nämnda information innefattar minst en av audio-, video- och bilddata.
38. En avkodare (40) innefattande anordning för felmaskering i frekvensdomänen enligt något av kraven 20-37.
39. En mottagare innefattande anordning för felmaskering i frekvensdomänen enligt något av kraven 20-37.
SE0400418A 2003-12-19 2004-02-20 Förbättrad felmaskering i frekvensdomänen SE527669C2 (sv)

Priority Applications (15)

Application Number Priority Date Filing Date Title
SE0400418A SE527669C2 (sv) 2003-12-19 2004-02-20 Förbättrad felmaskering i frekvensdomänen
US11/011,780 US7356748B2 (en) 2003-12-19 2004-12-15 Partial spectral loss concealment in transform codecs
RU2006126073/09A RU2328775C2 (ru) 2003-12-19 2004-12-15 Улучшенное маскирование ошибки в области частот
PL04820554T PL1697927T3 (pl) 2003-12-19 2004-12-15 Ulepszone maskowanie błędów dziedziny częstotliwości
EP04820554A EP1697927B1 (en) 2003-12-19 2004-12-15 Improved frequency-domain error concealment
AT04820554T ATE366979T1 (de) 2003-12-19 2004-12-15 Verbesserte frequenzbereichs-fehlerverbergung
MXPA06006497A MXPA06006497A (es) 2003-12-19 2004-12-15 Metodo para el ocultamiento de errores en el dominio de frecuencia, mejorado.
CA2544880A CA2544880C (en) 2003-12-19 2004-12-15 Improved frequency-domain error concealment
PCT/SE2004/001868 WO2005059900A1 (en) 2003-12-19 2004-12-15 Improved frequency-domain error concealment
JP2006545285A JP3999807B2 (ja) 2003-12-19 2004-12-15 改良された周波数領域におけるエラー隠蔽技術
BRPI0417523A BRPI0417523B1 (pt) 2003-12-19 2004-12-15 método e arranjo de dissimulação de erro de domínio de freqüência, decodificador, e, receptor
CN2004800381050A CN1898722B (zh) 2003-12-19 2004-12-15 经改善的频域误码掩蔽
AU2004298709A AU2004298709B2 (en) 2003-12-19 2004-12-15 Improved frequency-domain error concealment
DE602004007550T DE602004007550T2 (de) 2003-12-19 2004-12-15 Verbesserte frequenzbereichs-fehlerverbergung
HK07105059.0A HK1098569A1 (en) 2003-12-19 2007-05-14 Improved frequency-domain error concealment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE0303498A SE0303498D0 (sv) 2003-12-19 2003-12-19 Spectral loss conccalment in transform codecs
SE0400418A SE527669C2 (sv) 2003-12-19 2004-02-20 Förbättrad felmaskering i frekvensdomänen

Publications (3)

Publication Number Publication Date
SE0400418D0 SE0400418D0 (sv) 2004-02-20
SE0400418L SE0400418L (sv) 2005-06-20
SE527669C2 true SE527669C2 (sv) 2006-05-09

Family

ID=31996351

Family Applications (1)

Application Number Title Priority Date Filing Date
SE0400418A SE527669C2 (sv) 2003-12-19 2004-02-20 Förbättrad felmaskering i frekvensdomänen

Country Status (13)

Country Link
EP (1) EP1697927B1 (sv)
JP (1) JP3999807B2 (sv)
AT (1) ATE366979T1 (sv)
AU (1) AU2004298709B2 (sv)
BR (1) BRPI0417523B1 (sv)
CA (1) CA2544880C (sv)
DE (1) DE602004007550T2 (sv)
HK (1) HK1098569A1 (sv)
MX (1) MXPA06006497A (sv)
PL (1) PL1697927T3 (sv)
RU (1) RU2328775C2 (sv)
SE (1) SE527669C2 (sv)
WO (1) WO2005059900A1 (sv)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539180B2 (ja) * 2004-06-07 2010-09-08 ソニー株式会社 音響復号装置及び音響復号方法
JP4536621B2 (ja) * 2005-08-10 2010-09-01 株式会社エヌ・ティ・ティ・ドコモ 復号装置、および復号方法
WO2007043642A1 (ja) * 2005-10-14 2007-04-19 Matsushita Electric Industrial Co., Ltd. スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法
US8620644B2 (en) 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
US7533073B2 (en) 2005-12-05 2009-05-12 Raytheon Company Methods and apparatus for heuristic search to optimize metrics in generating a plan having a series of actions
EP2112653A4 (en) * 2007-05-24 2013-09-11 Panasonic Corp AUDIO DEODICATION DEVICE, AUDIO CODING METHOD, PROGRAM AND INTEGRATED CIRCUIT
JP2009116245A (ja) * 2007-11-09 2009-05-28 Yamaha Corp 音声強調装置
CN101437009B (zh) 2007-11-15 2011-02-02 华为技术有限公司 丢包隐藏的方法及其系统
FR2929466A1 (fr) * 2008-03-28 2009-10-02 France Telecom Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique
CA2871268C (en) * 2008-07-11 2015-11-03 Nikolaus Rettelbach Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
US9031834B2 (en) 2009-09-04 2015-05-12 Nuance Communications, Inc. Speech enhancement techniques on the power spectrum
JP5694745B2 (ja) * 2010-11-26 2015-04-01 株式会社Nttドコモ 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム
SG192734A1 (en) * 2011-02-14 2013-09-30 Fraunhofer Ges Forschung Apparatus and method for error concealment in low-delay unified speech and audio coding (usac)
TWI610296B (zh) * 2011-10-21 2018-01-01 三星電子股份有限公司 訊框錯誤修補裝置及音訊解碼裝置
EP2631906A1 (en) * 2012-02-27 2013-08-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Phase coherence control for harmonic signals in perceptual audio codecs
NO2780522T3 (sv) 2014-05-15 2018-06-09
ES2797092T3 (es) 2016-03-07 2020-12-01 Fraunhofer Ges Forschung Técnicas de ocultamiento híbrido: combinación de ocultamiento de pérdida paquete de dominio de frecuencia y tiempo en códecs de audio
JP6883047B2 (ja) 2016-03-07 2021-06-02 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム
MX2018010754A (es) 2016-03-07 2019-01-14 Fraunhofer Ges Forschung Unidad de ocultamiento de error, decodificador de audio y método relacionado y programa de computadora que desaparece una trama de audio ocultada de acuerdo con factores de amortiguamiento diferentes para bandas de frecuencia diferentes.

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111131C2 (de) * 1991-04-06 2001-08-23 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen digitalisierter Tonsignale
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
WO1998048531A1 (de) * 1997-04-23 1998-10-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum verschleiern von fehlern in einem audiodatenstrom
US6597961B1 (en) * 1999-04-27 2003-07-22 Realnetworks, Inc. System and method for concealing errors in an audio transmission
DE19921122C1 (de) * 1999-05-07 2001-01-25 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
US6517203B1 (en) 1999-07-02 2003-02-11 E-Vision, Llc System, apparatus, and method for correcting vision using electro-active spectacles
US7656509B2 (en) 2006-05-24 2010-02-02 Pixeloptics, Inc. Optical rangefinder for an electro-active lens
FR2974722B1 (fr) 2011-05-06 2014-10-10 Essilor Int Procede de determination de la distance de lecture
US8754831B2 (en) 2011-08-02 2014-06-17 Microsoft Corporation Changing between display device viewing modes
US8690321B2 (en) 2012-04-21 2014-04-08 Paul Lapstun Fixation-based control of electroactive spectacles
EP2706396A1 (en) 2012-09-06 2014-03-12 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for adapting the optical function of an adaptive ophtalmic lenses system

Also Published As

Publication number Publication date
RU2006126073A (ru) 2008-01-27
DE602004007550T2 (de) 2008-03-13
BRPI0417523A8 (pt) 2018-04-03
EP1697927A1 (en) 2006-09-06
SE0400418L (sv) 2005-06-20
MXPA06006497A (es) 2006-08-23
RU2328775C2 (ru) 2008-07-10
DE602004007550D1 (de) 2007-08-23
SE0400418D0 (sv) 2004-02-20
ATE366979T1 (de) 2007-08-15
PL1697927T3 (pl) 2007-12-31
WO2005059900A1 (en) 2005-06-30
CA2544880C (en) 2014-01-28
BRPI0417523B1 (pt) 2019-01-15
CA2544880A1 (en) 2005-06-30
JP2007514977A (ja) 2007-06-07
AU2004298709B2 (en) 2009-08-27
JP3999807B2 (ja) 2007-10-31
BRPI0417523A (pt) 2007-03-20
EP1697927B1 (en) 2007-07-11
HK1098569A1 (en) 2007-07-20
AU2004298709A1 (en) 2005-06-30

Similar Documents

Publication Publication Date Title
US7356748B2 (en) Partial spectral loss concealment in transform codecs
SE527669C2 (sv) Förbättrad felmaskering i frekvensdomänen
KR100193353B1 (ko) 적응블록길이, 적응변환, 적응윈도우 변환코더, 디코더 및 고품질 오디오용 인코더/디코더
KR101220621B1 (ko) 부호화 장치 및 부호화 방법
KR101344174B1 (ko) 오디오 신호 처리 방법 및 오디오 디코더 장치
JP4546464B2 (ja) スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法
CA2254567C (en) Joint quantization of speech parameters
JP6076247B2 (ja) ディジタルオーディオ信号エンコーダでのノイズシェーピングフィードバックループの制御
CN104718570B (zh) 帧丢失恢复方法,和音频解码方法以及使用其的设备
JP2009169435A (ja) 実数値のフィルタバンクにおけるスペクトルエンベロープ調整によって生じたエイリアシングを低減するための方法
KR20070083856A (ko) 스케일러블 부호화 장치, 스케일러블 복호화 장치 및이러한 방법
KR20070070174A (ko) 스케일러블 부호화 장치, 스케일러블 복호 장치 및스케일러블 부호화 방법
JP5633431B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
KR20030011912A (ko) 오디오 코딩
US7426462B2 (en) Fast codebook selection method in audio encoding
US6012025A (en) Audio coding method and apparatus using backward adaptive prediction
WO2020169754A1 (en) Methods for phase ecu f0 interpolation split and related controller
ZA200603725B (en) Improved frequency-domain error concealment
WO1998035447A2 (en) Audio coding method and apparatus
Krishnamurthy et al. Audio compression using entropy coding and perceptual noise substitution
Taleb et al. Partial spectral loss concealment in transform coders
KR20130086486A (ko) Nmf 알고리즘을 이용한 음성 신호 코딩 장치 및 그 방법
Hamdy et al. Audio coding using steady state harmonics and residuals
Parsa et al. Interaction of Voice Over Internet Protocol Speech Coders and Disordered Speech Samples
JPH08137494A (ja) 音響信号符号化装置、音響信号復号装置および音響信号処理装置

Legal Events

Date Code Title Description
NUG Patent has lapsed