NO340871B1 - Fremgangsmåte for å knytte sammen rammer i kommunikasjonssystem - Google Patents

Fremgangsmåte for å knytte sammen rammer i kommunikasjonssystem Download PDF

Info

Publication number
NO340871B1
NO340871B1 NO20074418A NO20074418A NO340871B1 NO 340871 B1 NO340871 B1 NO 340871B1 NO 20074418 A NO20074418 A NO 20074418A NO 20074418 A NO20074418 A NO 20074418A NO 340871 B1 NO340871 B1 NO 340871B1
Authority
NO
Norway
Prior art keywords
frame
samples
frames
signal
pass filter
Prior art date
Application number
NO20074418A
Other languages
English (en)
Other versions
NO20074418L (no
Inventor
Søren Vang Andersen
Original Assignee
Skype
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=59285473&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=NO340871(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Skype filed Critical Skype
Publication of NO20074418L publication Critical patent/NO20074418L/no
Publication of NO340871B1 publication Critical patent/NO340871B1/no

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/18Automatic or semi-automatic exchanges with means for reducing interference or noise; with means for reducing effects due to line faults with means for protecting lines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Complex Calculations (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Dc Digital Transmission (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Noise Elimination (AREA)
  • Superconductors And Manufacturing Methods Therefor (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Communication Control (AREA)

Description

FREMGANGSMÅTE FOR Å KNYTTE SAMMEN RAMMER I KOMMUNIKASJONSSYSTEM
Oppfinnelsens område
Oppfinnelsen angår telekommunikasjonssystemer og især angår oppfinnelsen en fremgangsmåte, en innretning og en anordning som minsker uregelmessigheter som oppstår når rammer av ikke-etterfølgende rammer i et opprinnelig audiosignal, eller når en eller begge rammer som er tilknyttet en skjulemetode blir knyttet sammen. Dette skjer særlig i forbindelse med tap og/eller forsinkelsesvanasjoner og/eller taktvridning for signalpakker. Oppfinnelsen forbedrer kvaliteten av signaloverføringen over trådløse telekommunikasjonssystemer og pakkesvitsjede nett.
Bakgrunn for oppfinnelsen
Moderne telekommunikasjon er basert på digital overføring av signaler. Pa Fig. 1 samler f.eks. en sender 200 et lydsignal fra en kilde 100. Kilden kan være resultatet av en eller flere personer som snakker sammen og andre akustiske bølgekilder som oppsamles av en mikrofon, eller den kan være et lydsignallagrings- eller genereringssystem, f.eks. en tekst-til-tale-syntese eller dialogsystem. Hvis kildesignalet er analogt blir det konvertert til en digital fremstilling ved hjelp av en analog-til-digital konverter. Den digitale fremstilling blir deretter kodet og plassert i pakker ifølge et format som egner seg for den digitale kanalen 300. Pakkene blir overført over den digitale kanalen. Den digitale kanalen omfatter typisk flere abstraksjonslag.
Ved abstraksjonslaget på Fig. 1 mottar den digitale kanal en pakkesekvens som input og leverer en rekke rammer som et utsignal. På grunn av svekkelser i kanalen som typisk for-årsaker støy, uregelmessigheter og overbelastning, blir typisk den utsendte rammesekvens forurenset med tap av enkelte rammer og forsinkelser i ankomsttiden og forsinkelses-forstyrrelser for andre rammer. Videre kan forskjell i taktgiveren i sender og mottaker føre til taktvridning. Det er oppgaven til mottakeren 400 å dekode de mottatte datapakkene og konvertere de dekodede digitale fremstillingene fra pakkestrømmen og dekode disse til digitale signalfremstillinger og videre konvertere disse til et dekodet lydsignal i et format som egner seg for å sendes til signalmottakeren 500. Signalmottakeren kan være en eller flere personer som blir presentert for det dekodede lydsignal ved hjelp av f.eks. en eller flere høyttalere. Alternativt kan signalmottaker være et tale- eller audiolagringssystem eller et tale- eller audiodialogsystem eller en gjenkjenner.
Det er oppgaven til mottakeren nøyaktig å kunne reprodusere et signal som kan presenteres for signalmottakeren. Når signalmottakeren direkte eller indirekte omfatter lyttere, er det et formål med mottakeren å oppnå en fremstilling av lydsignalet, som når det presenteres for lytteren, nøyaktig reproduserer det oppfattede inntrykk og informasjonen i det akustiske signalet fra kilden eller kildene. For å utføre denne oppgave i det vanlige tilfellet hvor kanalen svekker den mottatte pakkesekvens, med tap, forsinkelse, forsinkelsepulseringer og takt- eller klokkevriding, er det nødvendig med en effektiv skjuling som en del av mottakerens delsystem.
Som et eksempel, er en mulighet for implementering av en mottakers delsystem for å oppnå dette, vist på Fig. 2. Som vist på figuren, blir innkommende pakker lagret i en pulserings-eller jitterbuffer 410 hvorfra en dekodings- og skjuleenhet 420 henter de mottatte, kodede signalfremstillinger og dekoder og skjuler disse kodede signalfremstillingene for å oppnå signalfremstillinger som egner seg for lagring i en avspillingsbuffer 430 og etterfølgende avspilling. Kontrollen av når skjulingen skal igangsettes og de spesifikke parametere i denne skjuling, f.eks. lengde av det skjulte signal, kan f.eks. utføres av en styreenhet 440 som overvåker innholdet av jitterbufferen og avspillingsbufferen og styrer bruken av dekodings-og skjuleenheten 420.
Skjulingen kan også oppnås som en del av et kanaldelsystem. Fig. 3 viser et eksempel på et kanal-delsystem hvor pakkene blir videresendt fra en kanal 310 til en kanal 330 via et delsystem 320, som senere vil bli benevnt som relé. I praktiske systemer kan reléfunksjonen oppnås av enheter som kan være av forskjellig type, f.eks. rutere, proxyservere, kant-servere, nettverksaksess-styreenheter, trådløse lokale nettverksstyreenheter, voice-over-IP-porter, mediaporter, ikke lisensierte nettverksstyreenheter og andre. I nærværende sammenheng er alle disse eksempler på relésystemer.
Et eksempel på et relésystem som kan foreta audioskjuling, er vist på Fig.4. Som vist på figuren, blir pakker videresendt fra et inngangsbuffer 310 til et utgangsbuffer 360 via pakkesvitsjede delsystemene 320 og 350. Styreenheten 370 overvåker inn- og utbufferne og som resultat av denne overvåkning, foretar beslutninger om eventuell transkoding og skjuling er nødvendig. Hvis dette er tilfellet, vil svitsjene føre pakkene videre via transkodings- og skjuleenheter 330. Hvis dette ikke er tilfellet, vil svitsjene føre rammene videre via det minimale protokolldelsystem 340 som vil foreta et minimum av operasjoner på pakketitlene for å holde seg innenfor protokollene. Dette kan omfatte trinn med å endre sekvensnummeret og tidsstemplet for pakkene.
Ved overføring av audiosignaler ved å bruke systemeene som er beskrevet som ikke-begrensende eksempler, er det et behov for skjuling av tap, forsinkelse, forsinkelsejitter og/eller klokke- eller taktvridning av signaler som er representative eller delvis representative for lydsignalet.
Frekvensrepetisjonen som kan forekomme i oscillatormodellen er basert på et estimat av frekvensperioden i stemt tale eller alternativt i beregningen av den tilsvarende grunn-frekvens av det stemte talesignal. Ved en frekvensperiode oppnås en skjult ramme ved gjentatt avlesning av den siste frekvensperiode. Uregelmessigheter ved begynnelsen og slutten av den skjulte rammen og mellom hver repetisjon av frekvensperioden kan glattes ut ved å bruke en vinduoverlappaddisjonsprosedyre. Se patentnummer WO 0148736 og anbefalingen fra Den Internasjonale Telekommunikasjonsunion ITU-T G.711, Tillegg 1 for eksempler på frekvensrepetisjonsmetoden. Kjente systemer integrerer frekvensrepetisjons- basert skjuling i dekodere basert på prinsippet med linjeprediktiv koding. I disse systemene blir frekvensrepetisjonen typisk oppnådd i det lineære, prediktive eksiteringsdomenet ved en avlesning fra langtidsprediktoren eller en tilpasset kodeboksløyfe. Se patent nummer US5699481, anbefalingen fra Den Internasjonale Telekommunikasjonsunion ITU-T G.729 og Internet Engineering Task Force Request for Comments 3951 for eksempler på frekvens-repetisjon basert skjuling i det lineære prediktive eksiteringsdomenet. Ovennevnte fremgangsmåter gjelder i forbindelse med skjuling av tap eller en økende forsinkelse, dvs. en positiv forsinkelsesjitter og situasjoner med inngangs- eller jitterbufferunderflyt eller nær underflyt, f.eks. på grunn av taktvridning. For å skjule en avtagende forsinkelse, en negativ forsinkelsesjitter eller en inngangs- eller jitterbufferoverflyt, eller nesten overflyt, er det nødvendig med en generering av et forkortet skjulesignal. F re kvens baserte fremgangsmåter oppnår dette ved en overlappaddisjonsprosedyre mellom en frekvensperiode og en tidligere frekvensperiode. Se patent nummer WO 0148736 for et eksempel på denne fremgangsmåte. Igjen kan dette oppnås ved å utnytte mulighetene i lineære, prediktive dekodere. Som et eksempel viser patent nr. US5699481 en fremgangsmåte ved hvilken faste kodebokbidrags-vektorer ganske enkelt blir forkastet fra reproduksjonssignalet og bruker tilstanden til den tilpassede kodebok for å sikre frekvensperiodisitet i det reproduserte signalet. I forbindelse med frekvensrepeteringsfremgangsmåten, er et formål å oppnå en sømløs signalfortsettelse fra den skjulte ramme til den neste ramme. Patent nr. WO 0148736 beskriver en fremgangsmåte for å oppnå dette. Ved oppfinnelsen beskrevet i WO 0148736, oppnås dette ved hjelp av skjulerammer av tidsvarierende og eventuelt signalavhengig lengde. Mens dette effektivt kan sikre en sømløs signalfortsettelse i forbindelse med skjuling av forsinkelsesjitter og taktvridning, innfører denne løsningen en ulempe i forbindelse med systemer av den type som er vist på Fig. 4. Ifølge denne type skjuling, kan ikke en koding av skjulingen til rammer av en bestemt, fast lengde som kobles sømløst til allerede kodede rammer som fortrinnsvis blir videresendt via den minimale protokollmedvirkning 340, garanteres.
Følgelig er det et viktig formål å oppnå skjulerammer av bestemt lengde som er lik lengden av de vanlige signalrammene. En fremgangsmåte for skjuling med forhåndsinnstilt lengde er å fremskaffe en jevn overlappaddisjon mellom samplene som overskrider de forhåndsinnstilte rammelengder med antallet skjulte rammer med et etterfølgende delsett av sampler fra rammen som etterfølger skjulerammene. Denne fremgangsmåte er kjent fra gjeldende teknikk og blir brukt f.eks. i anbefalingen fra Den Internasjonale Telekommunikasjonsunion. ITU-T G.711, Tillegg 1. I prinsipp kan denne fremgangsmåte også brukes når en ramme blir knyttet til en annen og hvor de to rammene gjelder ikke-etterfølgende rammer i det opprinnelige audiosignalet. Således vil en fagmann kunne oppnå dette ved hjelp av en skjult ramme som en fortsettelse den første ramme og legge inn denne skjulte ramme i over-lappaddisjonsprosedyren til den andre ramme og derved delvis redusere uregelmessighetene som oppstår i overgangen mellom det siste samplet av den første ramme og det første sampel av den andre ramme.
Ovennevnte løsninger på disse scenariene er problematiske. Dette på grunn av, avhengig av den faktiske bølgeform av de to signalene som legges inn i denne overlappaddisjons prosedyre, vil en merkbar uregelmessighet være igjen i det resulterende audiosignal. Denne uregelmessighet vil også høres av lytteren som en "hump" eller en "svekkelse" i signalet.
I det første scenariet hvor det brukes en eller flere skjulte rammer, har det i litteraturen blitt foreslått en gjensampling av disse skjulte rammene, se f.eks. Valenzuela og Animalu, "A new voice-packet reconstruction technique", IEEE, 1989, for en slik fremgangsmåte. Fremgangsmåten gir ikke noen løsning hvis formålet er en sammenknytting av to eksisterende rammer i stedet for en sammenknytting med en skjult ramme, og videre for sammenknyttingen av en skjult ramme og en etterfølgende ramme er denne metoden fremdeles problematisk. Dette på grunn av at en nødvendig gjen-sampling for å minske uregelmessigheten slik den oppfattes av en lytter isteden kan innføre en betydelig frekvensforvrengning, dvs. en frekvensforskyvning, som også omfattes av lytteren som et forstyrrende element. Annen beslektet teknikk er angitt i ITU-T: "Pulse Code Modulation (PCM) of voice frequencies Appendix I: A high quality low-complexity algorithm for packet loss concealment with G.711", ITU-T Recommendations, International Telecommunication Union, Geneva, (1999-09), vol. G.711, ISSN 1680-3329, pages I-III, 1, XP001181238. WO 0063881 vedrører en fremgangsmåte og et apparat for utføring av pakketap- eller rammeslettingsskjuling.
Oppsummering av oppfinnelsen
Den beskrevne oppfinnelse eller snarere utførelsene av den, minsker effektivt ovennevnte begrensninger i kjente løsninger samt andre ikke-spesifikke mangler i de kjente løsningene. Ifølge oppfinnelsen oppnås disse formål av en fremgangsmåte, en programkode, en programlagringsenhet og en anordning som alle er forskjellige aspekter ved oppfinnelsen og har trekk som definert i de vedføyde krav.
Sammenlignet med kjente frekvensrepetisjonsbaserte metoder, gir den beskrevne oppfinnelse teknikker for å lenke sammen signalrammer med iboende uregelmessigheter ved rammegrensene, og med betydelig mindre oppfattet forvrengning enn det som er kjent fra gjeldende teknikk. Følgelig minsker oppfinnelsen en begrensning i gjeldende systemer og med direkte forbedret oppfattet lydkvalitet som resultat.
De følgende definisjoner vil bli brukt gjennom beskrivelsen. Med "sampel" forstås en prøve fra et digitalisert audiosignal eller fra et signal avledet fra dette, eller koeffisienter eller parametre som representerer slike signaler, idet disse koeffisientene eller parametrene er skalar- eller vektorstørrelser Med "ramme" forstås et sett av etterfølgende sampler som bruker definisjonen av sampel ovenfor. Ved "delsekvens" forstås et sett av to eller flere etterfølgende sampler ved å bruke ovennevnte definisjon av sampel. Ved å bruke f.eks. overlappaddisjon, kan to etterfølgende delsekvenser omfatte overlappende sampler. Avhengig av valget av rammer, kan en delsekvens strekke seg mellom to etterfølgende rammer.
Oppfinnelsen tilveiebringer i et første aspekt en fremgangsmåte for å lenke sammen en første ramme av sampler og en etterfølgende andre ramme av sampler, slik som definert i det selvstendige krav 1 og omfatter videre trinn med å bruke et fasefilter som er tilpasset for å minimere en uregelmessighet ved en grense mellom første og andre ramme av sampler.
Fortrinnsvis blir fasefilteret brukt på minst en del av samplene i minst to etterfølgende rammer. De minst to etterfølgende rammer kan være en første og andre etterfølgende ramme.
Fasefilteret kan brukes på minst en del av samplene i minst den andre ramme og minst en del av samplene i minst en ramme etter den andre ramme. Fasefilteret kan brukes på minst en del av samplene i minst den andre ramme og minst en del av samplene i minst to rammer som følger etter den andre ramme.
Fasefilteret kan brukes på minst en del av samplene i minst den første ramme og minst en del av samplene i minst en ramme foran den første ramme. Fasefilteret kan brukes på minst en del av samplene i minst den første ramme og minst en del av samplene i minst to rammer foran den første ramme.
Fortrinnsvis omfatter fasefilteret en allpassfilterseksjon, i enkle foretrukne utførelsesformer er fasefilteret et allpassfilter. Allpassfilterseksjonen kan være en parametrisk allpassfilterseksjon. Den parametriske allpassfilterseksjonen omfatter fortrinnsvis mellom 1 og 20 ikke-null koeffisienter.
Fasefilteret kan omfatte modifisering av en fase av en delsekvens av minst et sampel med en radianfaseverdi av pi.
I foretrukne utførelser er fasefilteret tidsvarierende. Fasefilteret er fortrinnsvis tidsvarierende på den måte at en respons for fasefilteret nærmer seg nullfasen ved et endelig antall sampler vekk fra grensen mellom første og andre ramme, f.eks. et endelig antall sampler etter grensen mellom første og andre ramme. Fortrinnsvis har fasefilteret en første valgt faserespons ved et starttidspunkt. Antallet sampler vekk fra grensen kan avhenge av den først valgte faserespons av fasefilteret. Tidspunktet hvor responsen av fasefilteret nærmer seg nullfasen, kan være innenfor minst en av de første og andre rammer. Alternativt kan tidspunktet hvor responsen av fasefilteret nærmer seg nullfasen, være innenfor en ramme som er minst en ramme foran den første rammen. Alternativt er tidspunktet hvor responsen av fasefilteret nærmer seg nullfasen, innenfor en ramme som befinner seg minst en ramme etter den andre ramme.
Antallet sampler vekk fra grensen kan avhenge av en egenskap av en delsekvens av sampler i den andre ramme eller en ramme etter den andre ramme, for eksempel for inputsampler som representerer et talesignal og hvor egenskapene til slike sampler kan brukes for å påvise om slike sampler representerer stemt eller ustemt tale.
Antallet sampler vekk fra grensen kan være avhengig av en egenskap ved en delsekvens av sampler i den første ramme eller en ramme foran den første ramme.
Fasefilteret kan omfatte en flerfasestruktur. Fasefiltreringen kan omfatte en opp-samplings-prosedyre.
Fremgangsmåten omfatter å bruke en vektet overlappaddisjonsprosedyre, f.eks. som omfatter et tilpasset filter. En del av samplene fra denne vektede overlappaddisjon kan med fordel brukes for å initialisere tilstanden av fasefilteret, og hvis en annen del av de resulterende sampler fra overlappaddisjonen blir igjen etter denne initialiseringen, kan disse samplene med fordel brukes som de første innkomne sampler i fasefilteret.
Minst enten første eller andre ramme omfatter et eller flere skjulte sampler som kan genereres av en skjulemetode. Skjulemetoden kan være en som omfatter å generere to etterfølgende delsekvenser av skjulte sampler basert på to etterfølgende delsekvenser av bufrede sampler i omvendt tidsorden.
Fasefilteret kan være basert på skjulte sampler som genereres fra den andre ramme bakover i tid. En innledende tilstand av fasefilteret kan være basert på de skjulte samplene. Et antall sampler kan bli inkludert fra minst et av de skjulte samplene blir valgt for å maksimere et tilpasningsmål. Nevnte tilpasningsmål kan omfatte en korrelering, f.eks. en normalisert korrelering.
Fremgangsmåten kan være i samsvar med ett av de foregående krav hvor samplet i første og andre ramme representerer et digitalisert audiosignal, f.eks. et audiosignal med et talesignal.
I fordelaktige utførelser av oppfinnelsen blir et allpassfilter, f.eks. et parametrisk allpassfilter brukt for fasefiltrering. Fasefiltreringen utføres tidsvarierende, slik at dets respons blir gradvis nærmere en nullfase jo lengre vekk fra rammegrensen det befinner seg. På tidspunktet når nullfasen nåes, blir filteret frakoblet signalbanen. Dette punkt kan være i samme ramme hvor en rammegrensediskontinuitet ble minsket ved hjelp av fremgangsmåten eller dette punktet kan fordelaktig være én eller flere rammer vekk fra punktet hvor ramme-grensediskontinuiteten ble minsket. I andre fordelaktige utførelser av oppfinnelsen, blir det innledende fasefilteret, fasefilterets innledende tilstand og inngangssignaiet til dette filteret bestemt for å minimere uregelmessigheten mellom de siste sampler av den første ramme og de første sampler av den andre ramme, og denne minimering oppnås ved å maksimere et likhetsmål mellom en jevn fortsettelse av siste sampler i den første ramme, oppnådd ved en skjulemetode, og en innledende del av inngangssignalet, tilstanden, eller utgangssignalet fra fasefiltreringen av samplene i den andre ramme. I fordelaktige utførelser oppnås videre sampler som er representative for tiden før det første samplet av den andre ramme ved en skjulemetode som virker bakover i tid i den hensikt å beregne inngangssignal, tilstand og/eller utgangssignal fra fasefilteret fra det første samplet av den andre ramme og videre. I andre fordelaktige utførelser blir en vektet overlappaddisjonsprosedyre, fortrinnsvis et tilpasset filter med vektet overlappaddisjonsprosedyre brukt mellom de skjulte samplene fra den første ramme og inngangssignalet, tilstanden eller utgangssignalet fra fasefilteret.
I et andre aspekt tilveiebringer oppfinnelsen en programkode, slik som definert i krav 23 og som kan kjøres på en datamaskin, og som er tilpasset for å utføre fremgangsmåten ifølge det første aspekt. En slik programkode kan skrives i en maskinavhengig eller en maskinuavhengig form og i ethvert programmeringsspråk, f.eks. et maskinkode- eller høynivå programmeringsspråk.
I et tredje aspekt tilveiebringer oppfinnelsen en programlagringsenhet, slik som definert i krav 24 og som omfatter en sekvens av instrukser for en mikroprosessor, f.eks. en generell mikroprosessor for å utføre fremgangsmåten ifølge det første aspekt. Lagringsenheten kan være enhver type datalagringsanordning, f.eks. disker, minnekort eller minnepinner, harddisk osv.
I et fjerde aspekt tilveiebringer oppfinnelsen en anordning, f.eks. en innretning eller et apparat, slik som definert i krav 25 og egnet for å motta et digitalisert audiosignal omfattende: minneanordning for å lagre sampler som er representative for det mottatte
digitaliserte audiosignal, og
prosessormidler for å utføre fremgangsmåten i henhold til det første aspektet.
Implementering av oppfinnelsen på tilfredsstillende måete, f.eks. slik som beskrevet for de foretrukne utførelser nedenfor, gjør det mulig for en dekoder og et skjulesystem og/eller en transkoder og et skjulesystem effektivt å skjule sekvenser av tapte eller forsinkede pakker uten å innføre merkbare, irriterende elementer. Derved gjør oppfinnelsen det mulig å oppnå en høykvalitets toveis kommunikasjon av audio i situasjoner med alvorlig klokke- eller taktvridning, kanaltap og/eller forsinkelsesvariasjoner.
Kort beskrivelse av tegningene
Oppfinnelsen skal beskrives nærmere i det følgende, der:
Fig. 1 er et blokkskjema som viser et kjent ende-til-ende-pakkesvitjset lydoverføringssystem som er utsatt for virkningene av tap, forsinkelse, forsinkelsesvariasjoner og/eller klokke-eller taktvridning, Fig. 2 er et eksempel på et mottakerdelsystem som tilveiebringer gitt bufring, dekoding og skjuling og avspilling av bufring under styring av en styreenhet, Fig. 3 er et blokkskjema som viser et relédelsystem av en pakkesvitsjet kanal som utsettes for effekten av klokkevridning, tap, forsinkelse og forsinkelsejitter, Fig. 4 er et eksempel på et relédelsystem med innbufring, utbufring og om nødvendig transkoding og skjuling under kontroll av en styreenhet,
Fig. 5 er et blokkskjema som viser et sett av foretrukne utførelser av oppfinnelsen,
Fig. 5A er et riss av delsekvenser i skjulte rammer som begynner med delsekvenser som er basert på de sist bufrede delsekvenser i omvendt tidsorden, Fig. 5B viser et annet eksempel på en større sekvens av delsekvenser i skjulte rammer som begynner med de siste to bufrede delsekvenser i omvendt tidsorden, og hvor etterfølgende delsekvenser er basert på bufrede delsekvenser videre bakover i tid, Fig. 5C viser sampeltellingsindekser i et indeksert mønster formattert av trinn bakover og leselengder.
Fig. 6 er et riss av signaler i forbindelse med indekserings- og interpoleringsfunksjonen.
Fig. 7 er et flytskjema som viser en mulig måte å implementere en beslutningslogikk for stoppekriterier, Fig. 8 er et flytskjema som viser en mulig måte å oppnå en gjentatt samlet optimalisering for utglatning og utjevning, stoppekriterier og antallet tillatte gjentakelser, Fig. 9 viser bruk av en sirkulær forskyvning og overlappaddisjon i forbindelse med initialisering og mating av et fasejusteringsfilter, og
Fig. 10 viser en utførelse av den beskrevne, vektede overlappaddisjonsprosedyre.
Selv om oppfinnelsen kan gjennomgå forskjellige modifikasjoner og alternative former, har spesifikke utførelser blitt vist som eksempel på tegningene og beskrevet nedenfor. Det vil imidlertid fremgå at oppfinnelsen ikke er ment å være begrenset til de bestemte former som beskrevet her, men snarere dekke alle modifikasjoner, ekvivalenter og alternativer som faller innenfor oppfinnelsens ånd og omfang som definert i de vedføyde krav.
Beskrivelse av foretrukne utførelser
I det følgende skal oppfinnelsen bli beskrevet i forbindelse med sammenknytting av en skjult ramme og en etterfølgende ramme. Imidlertid vil det fremgå av kravenes omfang at den nye sammenknyttingsmåte har en meget bredere anvendelse enn dette.
Den nye fremgangsmåte blir aktivert i dekodings- og skjuleenheten 420 av en mottaker, f.eks. den som er vist på Fig. 2 eller aktivert i transkodings- og skjuleenheten 330 av et relé, f.eks. det som er vist på Fig. 4 eller på et annet sted i kommunikasjonssystemet hvor dens bruk er aktuell. Pa disse stedene er et antall bufrede signalrammer tilgjengelig og et antall skjulte rammer er ønsket. De tilgjengelige signalrammer og ønskede skjulte rammer kan bestå av tidsdomenesampler av et audiosignal, f.eks. et talesignal, eller de kan bestå av sampler avledet derav, f.eks. lineære prediksjonseksiteringssampler eller de kan bestå av andre koeffisienter avledet fra audiosignalet og som er helt eller delvis representative for rammer av lydsignaler. Eksempler på slike koeffisienter er frekvensdomenekoeffisienter, koeffisienter for en sinusformet modell, lineære prediktive kodingskoeffisienter, bølge-formsinterpoleringskoeffisienter og andre sett av koeffisienter som helt eller delvis er representative for audiosignalssampler.
Fig. 5 viser en foretrukket utførelse av oppfinnelsen. På Fig. 5 blir tilgjengelige signalrammer 595 som kan mottas og dekodes, eller transkodede signalrammer eller skjulte rammer fra tidligere bruk av denne eller andre fremgangsmåter for å generere skjulte rammer eller en kombinasjon av ovennevnte typer signalrammer, lagret i en rammebuffer 600. Signalet i rammebufferen blir analysert av en indeksmønstergenerator 660. Indeksmønstergeneratoren kan med fordel bruke estimater av signalfrekvens 596 og talesignaltype 597. Avhengig av den generelle systemutforming, kan disse estimatene være tilgjengelige for inngangssignal fra andre prosesser, f.eks. en kodings-, dekodings- eller transkodingsprosess, eller de kan beregnes på annen måte, fortrinnsvis ved å bruke gjeldende fremgangsmåter for signal-analyse. Videre tar indeksmønstergeneratoren som inngangssignalantallet 598 av skjulte signalrammer som skal genereres, og pekere 599 til begynnelsen og slutten av de bestemte signalrammer i rammebufferen som den skjulte ramme eller rammene er erstatning for. Hvis disse bufrene f.eks. peker til slutten av rammebufferen, vil dette innebære at den skjulte ramme eller rammene bør være tilstrekkelig til å følge signalet som er lagret i rammebufferen. Hvis disse pekerne, som et annet eksempel, peker ut et ikke-tomt delsett av etterfølgende rammer i rammebufferen, betyr dette at den skjulte ramme eller rammene bør kunne erstatte disse rammene i rammesekvensen som er representative eller delvis representative for lydsignalet.
For å illustrere dette videre, forutsettes det at rammebufferen 600 inneholder signalramme A, B, C, D, E og at antallet av skjulte rammer 598 er to. Hvis pekerne til rammene for å erstatte 599 peker til slutten av rammebufferen betyr dette at to skjulte signalrammer bør brukes for å følge i rekkefølge etter signalrammen E. Hvis pekerne 599 på den andre side peker ut signalrammene B, C, D, bør de to skjulte rammene erstatte signalrammene B, C, D og følge i rekkefølge etter signalrammen A og følges i sekvensen av signalrammen E.
Når det gjelder fremgangsmåte for å bestemme skjulte rammer 598 og delsettet av rammer som de skjulte rammene til slutt skal erstatte, dvs. pekerne 599, bør gjeldende fremgangsmåte fortrinnsvis brukes. Således utgjør dataene 596, 597, 598 og 599, sammen med signalrammene 595, inngangssignaler til fremgangsmåtens innretning og anordning ifølge oppfinnelsen.
I enkelte generelle systemkonstruksjoner blir lengden eller konstruksjonen av en signalramme fortrinnsvis holdt som en konstant under utførelse av skjuleenheten. Blant andre scenarier er dette typisk tilfellet når den skjulte enheten blir integrert i et relésystem hvor resultatet av skjulingen bør kunne legges i pakker som er representative for lydsignalet innenfor tidsintervallet av en forhåndsinnstilt lengde som er bestemt annetsteds. Som et eksempel kan denne forhåndsinnstilte lengde bli bestemt under protokollforhandlingene under en oppringing i et Voice-over-IP-system og kan endres under konversasjonen som svar på f.eks. styremekanismer for nettverkstilstopning. Enkelte utførelser av oppfinnelsen oppfyller kravene til å kunne virke med en forhåndsinnstilt lengde av en signalramme på en fordelaktig måte, som det vil fremgå senere. Imidlertid er nytenkningen som sådan ikke begrenset til disse systemkravene, idet andre utførelser av oppfinnelsen kan virke med skjulemåter som er et ikke-integer antall rammer og skjulte rammer som har tidsvarierende lengder og hvor disse lengdene kan være funksjoner av det spesifikke innhold i rammebufferen, eventuelt i kombinasjon med andre faktorer.
Utførelser av oppfinnelsen kan med fordel gjøre bruk av en utjevnings- og utlignings-operasjon 610 som virker på signalet 605 fra rammebufferen. Denne utjevning og utligning genererer et signal 615 i hvilket rammer på et tidligere tidspunkt enn den skjulte ramme eller rammene har en større likhet med signalrammen eller rammene som den skjulte ramme eller rammene erstatter, eller en ramme umiddelbart før dette. Hvis den skjulte ramme eller rammene alternativt settes inn i en sekvens med eksisterende rammer uten erstatning, blir likheten med rammen eller rammene som befinner seg umiddelbart før den tiltenkte posisjon av den skjulte ramme eller rammer. For senere referanse vil det ganske enkelt refereres til begge disse tilfellene som likhet. Likhet er som oppfattet av en lytter. Utjevningen og utligningen gir et signal med økt likhet og bevarer samtidig en naturlig lydutvikling av signalet 615. Eksempler på likhetsøkende operasjoner som med fordel utføres av utjevningen og utligningen 610 omfatter økt utjevning og likhet i parametere slik som energiomslutning, frekvenskontur, stemmekvalitet, stemmeavskjæring og spektral omslutning og andre merkbart viktige parametre.
Når det gjelder hver av disse parametrene, blir brå transienter i utvikling av parameteren innenfor rammene som utglattes og utlignes, filtrert ut og gjennomsnittsnivået av parameteren i disse rammene blir utglattende modifisert for å oppnå større likhet i betydningen som definert ovenfor. Med fordel innføres bare likhet i en utstrekning som minst opprettholder en naturlig lydutvikling av signalet, og under kontroll av indeksmønster-generatoren 660, kan utglattingen og utligningen med fordel minske transienter og forstyrrelser som ellers kan oppstå i denne følgende indekserings- og interpoleringsoperasjonen 620. Videre kan utjevningen og utligningen av frekvenskonturen med fordel reguleres av indeksmønstergenerator 660 på en slik måte at forvrengningen minimeres og som eventuelt ellers kan oppstå i de skjulte rammene senere av fasefilteret 650. Utjevnings-og utligningsoperasjonen kan med fordel bruke signal- eller parametererstatninger, miksing, interpolering og/eller sammenslutning med signalrammer (eller parametere avledet derav) funnet bakover i tid i rammebufferen 600. Utjevnings- og utligningsoperasjonen 610 kan utelates fra systemet uten å avvike fra det generelle omfanget av oppfinnelsen. I dette tilfellet utligner signalet 615 signalet 605, og inngangsignalet 656 og styreutgangssignalet 665 av indeksmønstergenerator 660 kan i dette tilfellet bli utelatt fra systemkonstruksjonen.
Indeksstyrings- og interpoleringsoperasjonen 620 tar som inngangssignal det eventuelt utjevnede og utlignede signal 615 og et indeksmønster 666. I enkelte fordelaktige utførelser av oppfinnelsen tar videre indekserings- og interpoleringsoperasjonen en tilsvarende kvalitetsindikator 667 som inngangssignal. Den tilpassede kvalitetsindikator kan være en skalarverdi pr tidsøyeblikk eller den kan være en funksjon av både tid og frekvens. Formålet med den tilpassede kvalitetsindikator vil fremgå senere i beskrivelsen. Indeksmønsteret 666 parametiserer bruken av indekserings- og interpoleringsfunksjonen.
Fig. 5A viser et eksempel på hvordan et indekseringsmønster kan indeksere delsekvenser i de bufrede sampler, BS1, BS2, BS3, BS4, vist bakover i tid ved synteseav en eller flere skjulte rammer. I det viste eksempel er etterfølgende delsekvenser CS1, CS2, CS3, CS, CS5, CS6, CS7 i de skjulte rammene CF1, CF2, CF3 basert på bufrede delsekvenser BS1, BS2, BS3 og BS4 av sampler i rammene BF1, BF2. Som det fremgår, blir de skjulte delsekvenser CS1-CS7 indeksert fra de bufrede delsekvenser BS1-BS4 med en lokaliseringspeker som beveges gradvis bakover og deretter gradvis forover i tid som uttrykt av funksjons-benevnelsen CS1(BS4), CS2(BS3), CS3(BS2), som innebærer at CS1 er basert på BS4 og så videre. Således tjener Fig. 5A som et eksempel på hvordan etterfølgende delsekvenser i skjulte rammer kan følge hverandre basert på etterfølgende, bufrede delsekvenser, men omordnet i tid. Som det fremgår, blir de første fire, skjulte delsekvenser CS1(BS4), CS2(BS3), CS3(BS2) og CS4(BS1) valgt for å baseres på de siste fire delsekvenser av bufrede sampler BS1, BS2, BS3, BS4 i rekkefølge, men i omvendt tidsorden og begynner således med den siste bufrede delsekvens BS1. Etter de første fire delsekvensene i omvendt tidsorden følger tre delsekvenser CS5, CS6, CS7 som alle er basert på etterfølgende, bufrede delsekvenser i tidsorden, nemlig henholdsvis BS2, BS3 og BS4. Det foretrukne indeks-mønster er et resultat av indeksmønstergeneratoren 660 og kan variere meget med inn-gangssignalene 656, 596, 597, 598 og 599 til denne blokken. Fig. 5B gir, etter benevnelsen på Fig. 5A, et annet illustrerende eksempel på hvordan skjulte delsekvenser CS1-CS11 kan være basert på bufrede delsekvenser BS1-BS4 i tidsomordningen. Som det fremgår, blir senere skjulte delsekvenser gradvis basert på bufrede delsekvenser videre bakover i tid. F.eks. blir de første to etterfølgende skjulte delsekvenser CS1 og CS2 basert på de siste to bufrede delsekvenser BS3, BS4 i omvendt tidsorden, mens en senere skjult delsekvens, f.eks. CS10 blir basert på BS1, dvs. en bufret delsekvens ytterligere bakover i tid enn de som blir brukt for å beregne CS1 og CS2. Således tjener Fig. 5B til å vise at etterfølgende, skjulte delsekvenser blir basert på bufrede delsekvenser som indekseres forover og bakover i tid på en måte, slik at indekseringen gradvis beveger seg bakover i tid.
I fordelaktige utførelser av oppfinnelsen blir denne gradvise utvikling bakover i tid forma-lisert som en sekvens av det vi her kaller trinn tilbake og en sekvens av det vi her kaller leselengde. I enkle utførelsesformer med dette formatet på indeksmønsteret, blir en peker til signalsampler eller parametere eller koeffisienter som er representative for dette, flyttet bakover i størrelsesorden lik det første trinn tilbake, hvoretter en mengde sampler eller parametere eller koeffisienter som er representative for dette blir satt inn i skjulerammen, idet denne mengde er lik en første leselengde. Deretter blir pekeren beveget bakover i en størrelsesorden lik et andre trinn tilbake og en mengde sampler eller parametere eller koeffisienter som er representative for disse lik en andre leselengde, blir lest av osv. Fig. 5C viser et eksempel på denne prosess ved omordning av en første nummerering av indekserte sampler. Denne første nummerering er oppgitt på signaltidsaksen, mens nummereringslisten på skjuletidsaksen på Fig. 5C tilsvarer omordningen av de opprinnelige sampler etter hvert som de plasseres i skjulerammen. For dette illustrerende eksempel, ble det første, andre og tredje trinn tilbake, vilkårlig valgt som henholdsvis 5, 6, 5 og første, andre og tredje leselengder ble likeledes vilkårlig valgt som henholdsvis 3, 4, 3. I dette eksemplet er delsekvensene med tidsindeksinnstillinger {6,7,8}, {3,4,5,6} og {2,3,4} delsekvenser som utvikles gradvis bakover i tid. Sekvensene av trinn bakover og leselengder er her valgt bare for illustrasjonsformål. Med talerestsampler som er samplet ved 16 kHz som et eksempel, blir den typiske verdi av trinnet tilbake i området 40-240, men er ikke begrenset til dette området, og typiske verdier for leselengder er i området 5-1000 sampler, men er ikke begrenset til dette området. I mer avansert utførelser av dette formatet, blir f.eks. overgangen fra en foroverrettet sekvens (f.eks. utgangstid eller en indeksert delsekvens tilbake i tid) til en annen foroverrettet sekvens et trinn ytterligere tilbake i tid, utført gradvis ved gradvis å forskyve interpoleringen. Fig. 6 viser bruken av en enkelt utførelse av indekserings- og interpoleringsfunksjonen som svar på et trinn tilbake og en tilsvarende leselengde og tilpasset kvalitetsindikator. Bare for illustrasjonsformål består signalrammer her av tidsdomene-audiosampler. Den gradvise forflyttede interpolering gjelder bare den generelle definisjon av "sampel" brukt i denne beskrivelse, dvs. inkluderende skalar- eller vektorbaserte koeffisienter eller parametere som er representative for tidsdomenets audiosampler på en tilsvarende og derved likefrem måte. På denne Fig. 700 er det vist et segment av signalet 615. Pekeren 705 er sa m pelt id søye-blikket som følger etter sampeltidsøyeblikket av den sist genererte sampel i indekserings- og interpoleringsutgangssignalet 625. Tidsintervallet 750 har en lengde som er lik leselengden. Tidsintervallet 770 har også en lengde som er lik leselengden. Tidsintervallet 760 har en lengde som er lik trinnet tilbake. Signalsamplene i 700 begynner fra tiden 705 og leselengden forover i tid multipliseres en etter en med en vindusfunksjon 720. Signalsamplene i 700 begynner også ved et sted som er et sample etter trinnet tilbake før stedet 706 og leselengdesamplene derfra og forover multipliseres en etter en med en vindusfunksjon 710. De resulterende sampler fra multiplisering med vindu 710 og med vindu 720 blir lagt til en etter en 730 for å føre til samplene 740 som består av en ny bunt av sampler for signalet 625 fra indekserings- og interpoleringsoperasjonen. Etter fullføring av denne operasjonen blir pekeren 705 flyttet til stedet 706.
I enkle utførelser av oppfinnelsen er vindusfunksjonene 710 og 720 enkle funksjoner av leselengden 750. En slik enkel funksjon er å velge vinduet 710 og vinduet 720 for henholdsvis første og andre halvdel av et Hanning-vindu med en lengde som er to ganger leselengden. Selv om en lang rekke funksjoner kan velges her, vil det fremgå at for at slike funksjoner skal være meningsfulle i sammenheng med oppfinnelsen, må de oppnå en vektet interpolering mellom samplene i segmentet som er vist ved 750 og samplene som vist ved 770 på en slik måte at man gradvis, men ikke nødvendigvis, monotont beveges fra en høy vekt på segmentet vist ved 750 til en høy vekt på segmentet vist ved 770.
I andre utførelser av oppfinnelsen blir vindusfunksjonene 710 og 720 funksjoner av til-pasningskvalitetsindikatoren. Et eksempel på en slik funksjon er at det, avhengig av terskelen på den normaliserte korrelering på segmentene av signalet 700 indikert av tidsintervallene 750 og 770, blir valgt en interpoleringsoperasjon for summering til en enten i amplityder, eller potenser. Et annet eksempel på en slik funksjon unngår en begrensningen med å oppsummere amplityder eller potenser til en, men optimerer i stedet bare vindus-vekter som funksjon av det tilsvarende mål. Ytterligere forbedring av denne fremgangsmåte tar den faktiske verdi av den normaliserte korreleringen og optimerer interpoleringsoperasjonen som svar på denne, dvs. ved bruk av klassiske, lineære estimeringsmetoder. Imidlertid er eksempler på foretrukne utførelser beskrevet i det følgende. I disse eksemplene gir henholdsvis terskelen og den faktiske verdi av normalisert korrelering, eksempler på fordelaktig informasjon gitt av den tilsvarende kvalitetsindikator 667. Ifølge foretrukne utførelser beskrevet i det følgende, kan interpoleringsoperasjonen utføres for å implementere forskjellige vektinger ved forskjellig frekvenser. I dette tilfellet kan den tilpassede kvalitetsindikator 667 med fordel oversende mål på tilpasningen som funksjon av frekvens. I fordelaktige utføreIsesformer blir denne vekting som funksjon av frekvens implementert som en tappet forsinkelseslinje eller annen parametrisk filterform som kan optimaliseres for å maksimere tilpasningskriteriet.
På Fig. 6 er det vist en illustrasjon av bruken av indekseringen og interpoleringen når signalet 615 (og følgelig signalsegmentet 700) inneholder sampler som er representative for tidsdomenesamplene av et lydsignal eller av et tidsdomenesignal avledet derav. Som nevnt ovenfor, kan samplene i rammene 595 og følgelig i signalene 605 og 615 med fordel være slik at hvert sampel er en vektor (sampler med vektorverdi) hvor en slik vektor inneholder koeffisienter eller parametere som er representative eller delvis representative for lydsignalet. Eksempler på slike koeffisienter er linjespektralfrekvenser, frekvensdomenekoeffisienter eller koeffisienter som definerer en sinusformet signalmodell, f.eks. et sett av amplityder, frekvenser og faser. Med basis i denne detaljerte beskrivelse av foretrukne utførelser av oppfinnelsen, er utformingen av interpoleringsoperasjonene som med fordel kan brukes på sampler med vektorverdi mulig for en fagperson, ettersom resten av detaljene kan finnes i den generelle litteratur for hver av de spesifikke tilfeller av slike vektorvaliderte sampler.
Det er fordelaktig for forståelse av oppfinnelsen å observere at når indekserings- og interpoleringsoperasjonen brukes gjentatte ganger med en leselengde som er mindre enn trinnet tilbake, vil resultatet bli at samplene i signalet 625 blir representative for signalsamplene som gradvis blir lengre og lengre bakover i signal 615. Når trinnet tilbake og/eller leselengden endres slik at leselengden blir større enn trinnet tilbake, vil denne prosess snu og samplene i signalet 625 blir representative for signalsampler som blir gradvis lengre og lengre forover i signalet 615. Ved et fordelaktig valg av sekvensen av trinn tilbake og sekvensen av leselengder, kan et langt, skjult signal med rik og naturlig variasjon oppnås uten å bruke sampler foran tiden fra sist mottatt signalramme i rammebuffer 600, eller uten å bruke sampler foran et annet forhåndsinnstilt tidstilfelle som kan lokaliseres tidligere enn det siste samplet i sist mottatte ramme i rammebufferen 600. Derved blir skjuling av forsinkelsesspisser i et system med liten avspillingsforsinkelse eller utgangsbufferplanlegging mulig med oppfinnelsen. I formuleringen av beskrivelsen kan den enkle, strenge bakover-tidsmessige utvikling av signalet som det kan være nyttig å tenke på som et element i en enkel utførelse av oppfinnelsen, realiseres ved gjentatt bruk av en leselengde av et sampel, et trinn tilbake for to sampler og et vindu 720 som omfatter et enkelt sampel med verdi 0 og et vindu 710 som omfatter et enkelt sampel med verdi 1.0.
Hovedformålet med indeksmønstergeneratoren 660 er å styre funksjonen av indeksering- og interpoleringsoperasjonen 620. I et sett av foretrukne utførelser blir denne styring for-malisert i et indekseringsmønster 666 som kan bestå av en sekvens med trinn tilbake og en sekvens av leselengder. Denne styring kan videreutvides med en sekvens av tilpassede kvalitetsindikasjoner som i sin tur hver kan være funksjoner f.eks. av frekvens. Et annet trekk som kan leveres fra indeksmønstergeneratoren og hvis bruk vil fremgå senere i denne beskrivelse, er en repetisjonsteller 668. Repetisjonstelleren innebærer antall tidspunkter som en evolusjon bakover i tid blir initiert ved konstruksjon av den, eller de skjulte rammer. Indeksmønstergeneratoren henter disse sekvensene fra en base i informasjonen som kan omfatte det utjevnede og utlignede signal 656 fra utjevnings- og utligningsoperasjonen 610, et frekvensestimat 596, et taleestimat 597, et antall 598 av skjulte rammer for å generere, og pekere 599 til rammene som skal erstattes. I en utførelse av indeksmønstergeneratoren vil den gå inn i forskjellige moduser avhengig av taleindikatoren. Slike moduser er eksempli-fisert nedenfor.
Som et eksempel som med fordel kan brukes i det lineære, prediktive eksiteringsdomenet hvis taleindikatoren vedvarende indikerer at signalet er ustemt tale eller at ingen aktiv tale finnes i signalet, dvs. at signalet består av bakgrunnsstøy, kan indeksmønstergeneratoren gå inn i en modus, i hvilken en enkelt reversering av den tidsmessige evolusjon av signalsamplene blir initiert. Som beskrevet tidligere, kan dette oppnås f.eks. ved å levere en sekvens av trinn tilbake-verdier som er lik to og en sekvens av leselengde-verdier som er lik en (denne beskrivelse er basert på konstruksjonsvalget at indekserings- og interpoleringsoperasjonen selv identifiserer disse verdiene og bruker den tilsvarende vindusfunksjon som beskrevet ovenfor). I enkelte tilfelle kan denne sekvens fortsette inntil en omvendt, tidsmessig utvikling av signalet har blitt implementert for halvparten av antallet nye sampler som trengs i den skjulte ramme eller rammer, hvoretter verdiene i trinnet tilbake-sekvensen kan endres til null, hvorved en forover, tidsmessig evolusjon av signalet blir påbegynt og fortsetter inntil pekeren 706 effektivt er tilbake ved utgangspunktet for pekeren 705 i det første trinnet tilbake. Imidlertid vil denne enkle fremgangsmåte ikke alltid være tilstrekkelig for høykvalitets skjulte rammer. En viktig oppgave for indeksmønstergeneratoren er å over-våke tilfredsstillende stoppekriterier. I ovennevnte eksempel kan den omvendte, tidsmessige evolusjon føre pekeren 706 tilbake til en posisjon i signalet ved hvilket lyden, som fortolket av en lytter, er vesentlig forskjellig fra utgangspunktet. Før dette oppstår, bør den tidsmessige evolusjon vendes.
Foretrukne utførelser av oppfinnelsen kan bruke et sett av stoppekriterier basert på et sett av målinger. Det følgende eksemplifiserer noen få av disse målene og stoppekriteriene. Hvis talesignalet indikerer at signalet ved pekeren 706 er stemt, kan den tidsmessige evolusjonsretning i det ovennevnte eksemplet, som begynner fra ustemt, med fordel vendes, og også hvis signalenergien i et område rundt pekeren 706 er forskjellig (som bestemt av en absolutt eller relativ terskel) fra signalenergien ved utgangstidspunktet for pekeren 705, kan den tidsmessige evolusjonsretning med fordel vendes. Som et tredje eksempel kan spektral-forskjellen mellom et område rundt avgangspunktet for pekeren 705 og gjeldende posisjon av pekeren 706 overskride en terskel og den tidsmessige evolusjonsretning bør vendes.
Et andre eksempel på en modus kan tenkes når signalet ikke tilstrekkelig kan bestemmes som ustemt eller som ikke inneholder noen aktiv tale. I denne modus utgjør frekvens-estimatet 596 en basis for å bestemme indeksmønsteret. En fremgangsmåte for å gjøre dette, er at hvert trinn tilbake blir undersøkt for å gi en maksimert, normalisert korrelering mellom signalet fra pekeren 705 og en frekvenssyklus forover i tid og signalet fra et punkt som er trinnet tilbake tidligere enn pekeren 705 og en frekvenssyklus foran. Søkningen etter potensielle verdier av trinn tilbake kan med fordel begrenses til et område. Dette området kan fordelaktig settes til pluss/minus 10 prosent rundt det tidligere funne trinn tilbake eller frekvensforsinkelsen hvis ikke noe tidligere trinn tilbake har blitt funnet. Etter at trinnet tilbake har blitt bestemt, vil verdien av leselengden bestemme om den tidsmessige signal-evolusjon skal utvikle seg bakover eller forover i tid og hvor raskt denne evolusjon skal finne sted. En langsom evolusjon blir oppnådd ved å velge en leselengde som er nær den identifiserte verdi av trinn tilbake. En rask evolusjon oppnås av et valg av leselengde som er mye mindre eller mye større enn trinnet tilbake i tilfelle bakover- og fremoverevolusjon. Et formål med indeksmønstergeneratoren er å velge en leselengde som optimerer lydkvaliteten som oppfattet av en lytter. Ved å velge en leselengde for nær trinnet tilbake, kan noen signaler, f.eks. signaler som ikke er tilstrekkelig periodiske, føre til oppfatningsmessige, irriterende elementer, f.eks. strenge-lyd. Velges leselengden for langt vekk fra trinnet tilbake, vil det medføre at et større tidsintervall i rammebufferen til slutt blir ført gjennom den tidsmessige evolusjon av den skjulte ramme eller rammene, alternativt at retningen av den tidsmessige evolusjon må vendes flere ganger før en tilstrekkelig mengde av sampler for denne eller de skjulte rammer har blitt generert.
Det første tilfellet kan for noen signaler, f.eks. signaler som ikke er tilstrekkelig stasjonære (alternativt ikke er tilstrekkelige jevne og utlignede), føre til en type oppfatningsmessige,
irriterende elementer som minner om stamming i lyden av den eller de skjulte rammer. I det andre tilfellet kan strenge-lydlignende elementer oppstå. Et trekk ved fordelaktige utførelser av oppfinnelsen er at leselengden kan bestemmes som en funksjon av trinnet tilbake og den normaliserte korrelering som blir optimalisert i søket etter det optimale trinn tilbake. Et enkelt og likevel fordelaktig valg av denne funksjon i utførelsene av oppfinnelsen virker på talesignaler og når signalrammene inneholder 20 ms av lineært, prediktivt eksiteringssignal samplet ved 16 kHz, som et eksempel gitt av følgende funksjon:
ReadLength = [(0,2 + NormalizedCorrelation/3)<*>StepBack] ;Når hakeparentesene brukes for å indikere avrunding til nærmeste integer og hvor symbolene ReadLength, Normalized Correlation og StepBack blir brukt for å benevne henholdsvis leselengden, den normaliserte korrelering oppnådd for det optimal trinn tilbake og tilsvarende trinn tilbake. Ovennevnte funksjon er bare tatt med som et eksempel for å gi et fordelaktig valg i enkelte utførelser av oppfinnelsen. Ethvert valg av leselengde med et hvilket som helst funksjonsforhold for å oppnå denne leselengde er mulig, uten at oppfinnelsens ånd fravikes. Især omfatter fordelaktige fremgangsmåter for å velge leselengde bruk av kontrollen 665 for å parameterisere utjevnings- og utligningsoperasjonen 610, f.eks. for å oppnå en samlet minimering av stamme-lignende og streng-lydlignende elementer i en mellomliggende, skjult ramme 625. Dette forklarer hvorfor indeksmønstergeneratoren 660 tar mellomsignalet 656 som et inngangssignal snarere enn utgangssignalet 615 fra utglattings- og utjevningsoperasjonen, idet signalet 656 representerer potensielle versjoner av det endelige signalet 615 under kontrollen 665 og gjør det mulig for indeksmønster-generatoren å nærme seg optimaliseringsoppgaven ved hjelp av gjentakelser. Som i tilfellet for den ustemte og ikke-aktive talemodus ovenfor, er stoppekriteriene vesentlige også i denne modus. Alle eksemplene på stoppekriteriene i forbindelse med modusen ovenfor gjelder også for denne modus. I tillegg kan stoppekriteriene fra måling på frekvens og normalisert korrelering med fordel i denne modus danne del av utførelsen av oppfinnelsen. ;Fig. 7 viser som et eksempel en fordelaktig beslutningslogikk for en kombinasjon av stoppekriterier. På Fig. 7 indikerer referansetegnene følgende: 800: Identifisere om signalet er av høy korreleringstype, lav korreleringstype eller ingen av disse. Bestemmelse av det første energinivå. ;801: Bestemme neste trinn tilbake og normalisert korrelering og leselengde. ;802: Bestemme om signalet har lagt inn lav korreleringstype. ;803: Bestemme om signalet har lagt inn høy korreleringstype. ;804: Er signalet av høy korreleringstype? ;805: Er signalet av lav korreleringstype? ;806: Er energien under en relativ minimumsterskel eller over en relativ maksimumsterskel? ;807: Er normalisert korrelering under terskelen for høy korreleringstype? ;808: Er normalisert korrelering over terskelen for lav korreleringstype? ;809: Har nok sampler blitt generert? ;I tilfelle operasjon i det lineære, prediktive eksiteringsdomenet av tale samplet ved 16 kHz kan tersklene benyttet i Fig. 7 med fordel velges som følger: Høykorreleringstypen kan legges inn når en normalisert korrelering som er større enn 0,8 blir brukt, en terskel for resten av høykorreleringstypen kan settes til 0,5 i normalisert korrelering, en lav korreleringstype kan legges inn når en normalisert korrelering som er lavere enn 0,5 blir påtruffet, og en terskel for å forbli i lavkorreleringstypen kan settes til 0,8 i normalisert korrelering, en minimum relativ energi kan settes til 0,3, og en maksimum relativ energi kan settes til 3,0. Videre kan annen logikk brukes og andre stoppekriterier kan brukes i sammenheng med oppfinnelsen uten at dette avviker fra oppfinnelsens omfang og ide. ;Anvendelse av stoppekriterier innebærer at en enkelt evolusjon bakover i tid, enten til nok sampler blir generert, eller et stoppekriterium blir oppfylt og deretter videresendt i tid igjen, ikke er garantert å gi det nødvendige antall sampler for de skjulte rammene. Følgelig kan flere evolusjoner bakover og forover i tid brukes av indeksmønstergeneratoren. Imidlertid for mange evolusjoner bakover og fremover kan i enkelte signaler gi strenge-lydlignende elementer. Følgelig kan foretrukne utførelser av oppfinnelsen sammen optimere stoppekriteriene, funksjonen brukt til beregning av leselengde, utjevning- og utligningskontrollen 665 og antallet evolusjoner bakover og forover, dvs. repetisjonstellingen 668, og, hvis aktivert av pekerne til rammene for å erstatte 599, også antallet sampler som blir utviklet forover i tid før en ny evolusjon bakover i tid blir initiert. For å oppnå dette kan også utjevnings- og utligningsoperasjonen med fordel styres for litt å modifisere frekvenskonturen av signalet. Videre kan den felles optimalisering ta hensyn til bruken av fasefilteret 650 og foreta mindre endringer av frekvenskonturen for å oppnå et indeksmønster som minimerer den innførte forvrengning i fasefilteret sammen med de andre parameteren nevnt ovenfor. Med basis i beskrivelsen av foretrukne utførelser av oppfinnelsen, vil det fremgå for en fagmann at en rekke generelle optimaliseringsverktøy kan brukes for oppgaven, og disse verktøyene omfatter gjentatt optimering, Markov beslutningsprosesser, Viterbi-metoder og andre. En hvilken som helst av disse kan brukes uten at oppfinnelsens omfang fravikes. ;Fig. 8 viser ved hjelp av et flytskjema et eksempel på en gjentatt prosedyre for å oppnå en enkel og likevel effektiv optimalisering av disse parametrene. På Fig. 8 indikerer referansetegnene følgende: ;820: Initiere kontroller for utglatting og utligning 665. ;821: Oppnå et nytt jevnt signal 656. ;822: Initiere stoppekriterier. ;823: Initiere et tillatt antall repetisjoner. ;824: Identifisere indeksmønsteret for en sekvens av bakover- og foroverevolusjoner jevnt fordelt over tilgjengelige rammer som indikert av pekerne 599 eller hvis det ;pekes mot slutten av tilgjengelige rammer, evolusjoner bakover som følger etter direkte evolusjoner forover. ;825: Er tilstrekkelig mengde sampler for antallet skjulte rammer 598 generert? ;826: Er det maksimale antall repetisjoner nådd? ;827: Øk tillatt antall repetisjoner. ;828: Er den videste terskelen for stopping av kriterier nådd? ;829: Gjør tersklene for stoppekriterier videre. ;830: Endre kontroller for å øke virkningen av utjevning og utligning. ;Merk at en evolusjon bakover og forover i tid og etterfølgende evolusjon bakover og forover i tid i tilfellet når ikke nok signaler har blitt syntetisert i denne foregående evolusjon eller evolusjoner bakover og forover i tid, med fordel kan være forskjellig. Som eksempler utarbeides sekvensene av trinn bakover, leselengder og interpoleringsfunksjoner og også sluttlokalise-ringspekeren etter evolusjonen bakover og forover i tid for å minimere periodiske elementer som ellers kan oppstå fra en repetisjon av tilsvarende indeksmønstre. Med restdomenesampler av stemt tale ved 16 kHz som et eksempel, kan en evolusjon bakover og forover i tid som genererer omtrent 320 sampler, fortrinnsvis avsluttes omtrent 100 sampler ytterligere bakover i signalet enn en tidligere evolusjon bakover og forover i tid. ;De beskrevne utførelser opp til dette punkt minsker effektivt problemene med kunstige strenge-lyder som kan oppstå ved gjeldende fremgangsmåter og samtidig aktivere effektiv skjuling av brå forsinkelsespulser og brått oppstående, gjentatte tap av pakker. Under vanskelig nettverksforhold som kan oppstå f.eks. i enkelte trådløse systemer og trådløse ad hoc-nettverk og best arbeidende nettverk og andre nettverksscenarier, kan imidlertid selv den beskrevne fremgangsmåte i enkelte tilfeller innføre små komponenter av tonalitet i de skjulte rammene. En mindre støyblanding 630 og et forsiktig dempefilter 640 kan derfor med fordel innføres i enkelte utførelser av oppfinnelsen. De generelle teknikker for støyblanding og dempning er kjent i faget. Dette omfatter den fordelaktige bruk av frekvensavhengig, tidsmessig evolusjon av effekten av støykomponenten og frekvensavhengig og tidsmessig evolusjon av dempningsfunksjonen. Et trekk som er spesifikt for bruk av støyblanding og dempning i sammenheng med oppfinnelsen er bruk av indeksmønsteret 666, det tilsvarende kvalitetsmål 667 og/eller gjentagelsestelleren 668 for tilpasset parameterisering av støy-blanding og dempning. Spesifikt viser indeksmønsteret, hvor uendrede signalsampler blir plassert i den skjulte ramme og hvor samplene av den skjulte ramme er resultat av en interpoleringsoperasjon. Videre indikerer forholdet mellom trinnet tilbake og leselengden i kombinasjon med det tilsvarende kvalitetsmål, oppfatningskvaliteten fra interpoleringsoperasjonen. Således kan lite eller ingen støy med fordel blandes inn i de opprinnelige samplene, idet mer støy med fordel kan blandes inn i samplene som resultat av en interpolerings- prosess, og mengden av støy blandet inn i disse samplene kan med fordel være en funksjon av det tilsvarende kvalitetsmål, fortrinnsvis på en frekvensdifferensiert måte. Videre indikerer også verdien av leselengden i forhold til trinnet tilbake, størrelsen av periodisiteten som kan oppstå, idet støyblandingen med fordel kan omfatte dette målet ved bestemmelse av mengden av støy for innblanding i det skjulte signal. Samme prinsipp gjelder for dempning, idet en rimelig dempning kan brukes med fordel, mens mindre dempning kan innføres for sampler som er representative for opprinnelige signalsampler og mer dempning kan innføres for sampler som oppstår fra interpoleringsoperasjon. Videre kan mengden av dempning i disse samplene med fordel være en funksjon av den tilpassede kvalitetsindikasjon og fortrinnsvis på en frekvensdifferensiert måte. Igjen indikerer verdien av leselengden i forhold til trinnet tilbake, størrelsen av periodisiteten som kan oppstå, idet dempningsoperasjonen med fordel kan omfatte dette mål ved utarbeidelse av dempningen. ;Som behandlet i bakgrunnen for foreliggende oppfinnelse, oppnår et delsett av utførelses-former av foreliggende oppfinnelse et viktig formål; skjulte rammer av forhåndsinnstilt lengde som er lik lengden av vanlige signalrammer. Når dette er ønskelig ut fra et systemperspektiv, kan midlene for å oppnå dette med fordel være et fasefilter 650. En beregningsmessig enkel, tilnærmet, men ofte tilfredsstillende bruk av denne blokken er å foreta en jevn overlappaddisjon mellom samplene som kan overskride de forhåndsinnstilte rammelengde-tider og antallet skjulte rammer med et bakre delsett av sampler fra rammen som følger etter de skjulte rammene. Isolert sett er denne fremgangsmåte kjent i faget og blir f.eks. brukt i anbefalingen fra Den Internasjonale Telekommunikasjonsunion ITU-T G.711, Tillegg 1. Når det er praktisk ut fra et systemperspektiv, kan den enkle overlappaddisjonsprosedyre forbedres ved en multiplikasjon av etterfølgende rammer med -1 når dette øker korreleringen i overlappaddisjonsområdet. Imidlertid kan andre fremgangsmåter med fordel brukes, f.eks. i overgangen mellom stemte signalrammer for å minske ytterligere effekten av uregelmessigheter ved rammegrensene. En slik fremgangsmåte er gjensampling av de skjulte rammene. Som en isolert fremgangsmåte, er dette også godt kjent i faget. Se f.eks. Valenzuela og Animalu, "A new voice-packet reconstruction technique", IEEE, 1989. Således kan minskning av uregelmessigheter ved rammegrensene utføres av en fagperson. Imidlertid kan gjensamplingen i foretrukne utførelsesformer av oppfinnelsen som beskrevet her, med fordel fortsettes inn i rammene etter denne siste skjulte ramme. Imidlertid kan størrelsen av den tidsmessige endring og følgelig frekvens-forskyvningen som er en konsekvens av gjensamplingsteknikken, utføres gradvis når den skal fortolkes av en lytter. Snarere enn gjensampling, er videre bruken av tidsvarierende universalpassfiltre for å minske uregelmessigheter ved rammegrensene beskrevet i oppfinnelsen. En utførelse av dette gis av filterligningen: ;Funksjonen av denne er forklart som følger. Det forutsettes at et sveip fra en forsinkelse på L sampler til en forsinkelse på 0 sampler er ønskelig over et sveipeintervall som kan omfatte alle, eller del av samplene i alle eller del av de skjulte rammene, i rammer før de skjulte rammene og i rammer etter de skjulte rammene. Da blir, i begynnelsen av sveipeintervallet, alpha_l(t) satt til null og alpha_2(t) satt til 1,0 for å implementere en forsinkelse av L sampler. Nar sveipen over t begynner, vil alpha_l(t) gradvis øke mot 0,5 og alpha_2(t) gradvis minske mot 0,5. Nar, mot slutten av sveipeintervallet, alpha_l(t) er lik alpha_2(t), vil filteret H_L(z,t) innføre en forsinkelse på null. Hvis et sveip fra en forsinkelse på null sampler til en forsinkelse på L sampler er ønskelig over et sveipeintervall, kan omvendt alle eller del av samplene i alle eller del av de skjulte rammene, i rammer før de skjulte rammene og i rammer etter de skjulte rammene, omfattes. I begynnelsen av sveipeintervallet kan da alpha_l(t) settes til 0,5 og alpha_2(t) settes til 0,5 for å implementere en forsinkelse på null sampler. Etter hvert som sveipet over t begynner, bør alpha_l(t) gradvis minske mot null og alpha_2(t) gradvis øke mot 1,0.1 slutten av sveipeintervallet vil alpha_l(t) være lik null og alpha_2(t) være lik 1,0 og filteret H_L(z,t) innfører en forsinkelse på L sampler. ;Ovennevnte filtrering er beregningsmessig enkel, men den har en ikke-lineær faserespons. Av oppfattelsesmessige årsaker begrenser denne ikke-lineære fase dens bruk til relativt liten L. Fortrinnsvis er L < 10 for tale ved en samplingsrate på 16 kHz. En fremgangsmåte for å oppnå filtrering for større verdier av den innledende L er å initiere flere filtre for mindre L-verdier som oppsummerer til ønsket total L-verdi, idet disse flere filtre med fordel kan initieres ved forskjellige øyeblikk og sveipe området av alpha over forskjellige tidsintervaller. En annen fremgangsmåte er å øke området av L hvor dette filteret brukes som beskrevet i det følgende. En struktur som implementerer en funksjonelt samme filtrering som ovennevnte er å dele signalet i L-flerfaser og utføre følgende filtrering i hver av disse flerfasene: ;Med oppfinnelsen blir flerfasefiltreringen med fordel implementert ved bruk av opp-sampling. En fordelaktig måte å utføre dette på er å opp-sample hver flerfase med en faktor K og ut-føre filtreringen H_l(z,t) K ganger i hver opp-samplet flerfase før ned-sampling med en faktor K og gjenoppbygging av det fasemodifiserte signal fra flerfasene. Faktor K kan med fordel velges som en K=2. Ved oppsamplingen blir det oppnådd en faserespons som er nærmere lineær. Derved blir den oppfattede kvalitet som fortolket av en lytter, forbedret. ;Ovennevnte fasejustering over flere rammer gjelder når de skjulte rammene settes inn i en sekvens av mottatte rammer uten tap. Den gjelder også når rammene tas ut av signal-sekvensen for å minske avspillingsforsinkelsen for etterfølgende rammer. Det gjelder også når rammene går tapt og null eller flere skjulte rammer blir tatt inn mellom de mottatte rammer før, og de mottatte rammer, etter tapet. I disse tilfeller blir en fordelaktig fremgangsmåte for å hente inngangssignalet for dette filteret og finne forsinkelsen L som følger: 1) På rammer tidligere enn ved avbrytelsespunktet, blir en skjulemetode som beskrevet her eller en annen, fortsatt eller initiert. 2) På rammer senere enn ved avbrytelsen, blir et antall L_test samples satt inn i rammestarten av en skjulemetode, som beskrevet her, eller en annen, men med en ;omvendt indeksing av tidsamplene. ;3) Et tilpasningsmål, f.eks. en normalisert korrelering, blir brukt mellom den skjulte ramme eller rammene fra 1) og rammen eller rammene fra 2) med tittelen L_test samples. ;4) L_test som maksimerer tilpasningsmålet blir valgt som L. ;5) Den skjulte ramme eller rammene fra 2) og rammen eller rammene fra 3) blir lagt sammen ved å bruke en vektet overlappaddisjonsprosedyre. Mens denne vektede overlappaddisjon kan utføres av en fagmann, kan den fortrinnsvis optimaliseres som beskrevet senere i beskrivelsen. 6) Den resulterende ramme eller rammene blir brukt som inngangssignal til ovennevnte fasetilpasningsfiltrering, initiert med den bestemte verdi L. Hvis L er større enn en terskel, blir flere filtre initiert og koeffisienten sveipet ved forskjellige tids-øyeblikk og tidsintervaller og deres L-verdier, oppsummerer den bestemte verdi L. ;Fortrinnsvis kan ovennevnte terskel velges til en verdi i området 5-50 i tale eller talerester samplet ved 8 eller 16 kHz. Ved stemt tale eller stemte talerester blir videre med fordel de skjulte samplene L_test og dens fortsettelse i den følgende ramme oppnådd ved sirkulær forskyvning av samplene av den første frekvensperiode av rammen. Følgelig kan et korrele-ringsmål uten normalisering og korrelering av den fulle frekvensperiode med fordel brukes som tilpasningsmål for å finne den foretrukne, sirkulære forskyvning L. ;Fig. 9 viser en utførelse av en slik fremgangsmåte. På figuren frembringer fasejusteringen en jevn overgang mellom signalrammen 900 og etterfølgende rammer. Dette oppnås som følger: Fra signalramme 900 og tidligere rammer, blir det generert et skjult signal 910. Det skjulte signal kan genereres ved å bruke fremgangsmåter som beskrevet her eller andre fremgangsmåter som kjent i faget. Det skjulte signal multipliseres med et vindu 920 og adderes 925 med et annet vindu 930 som blir multiplisert med et signal generert som følger: Et skjult signal 940 blir generert fra følgende sampler 950 og eventuelt 960 ved effektiv bruk av en skjulemetode, f.eks. som beskrevet her eller ved å bruke andre kjente metoder, og knyttet til følgende sampler 950. Antallet sampler i skjulingen 940 optimaliseres for å maksimere tilpasningen mellom skjulingen 910 og sammenknyttingen av 940 og etter-følgende sampler 950. ;Fortrinnsvis kan normalisert korrelering brukes som et mål på denne tilpasning. For å redusere beregningskompleksiteten, kan tilpasningen for stemt tale eller ustemte talerester begrenses til å omfatte en frekvensperiode. I dette tilfellet kan de skjulte samplene 940 ;oppnås som en første del av en sirkulær forskyvning på en frekvensperiode og korrelerings-målet over en frekvensperiode behøver så ikke normaliseres. Derved unngås beregninger for å regne normaliseringsfaktoren. Som for indekserings- og interpoleringsoperasjonen beskrevet tidligere i denne beskrivelsen av foretrukne utførelser, kan vinduene igjen med fordel ;være en funksjon av en tilpasningskvalitetsindikator og/eller en funksjon av frekvens og fortrinnsvis implementeres som en tappet forsinkelseslinje. Virkemåten for filteret 970 er som følger. De første L-samplene som kommer fra overlappaddisjonen blir ført direkte til utgangen og brukt for å sette opp filterets innledende tilstand. Deretter blir filterkoeffisienten initialisert som beskrevet ovenfor og idet filteret filtrerer fra samplet L + 1 og fremover, justeres disse koeffisientene gradvis, for gradvis å fjerne L-samplene av forsinkelsen som beskrevet ovenfor. ;Ved ovennevnte fremgangsmåte gjelder igjen fremgangsmåten for å optimalisere vekten av vinduene ifølge maksimeringen av tilpasningskriteriet som nevnt ovenfor, og også generaliseringen av vindusfunksjonene til frekvensavhengige vekter og til tilpassede filtre i form av tappede forsinkelseslinjer eller andre parametriske filterformer. I fordelaktige utførelser blir den tidsmessige evolusjon av den frekvensavhengige filtervekting oppnådd av en sekvens av tre overlappaddisjonssekvenser som først ned-fader den eller de skjulte rammene fra tidligere rammer, dernest opp-fader en filtrert utgave av disse med et filter for å passe til de skjulte rammer ut fra senere rammer som oppnås i reversindeksert tid og deretter fade dette ned igjen og deretter fade opp rammen eller rammene på et senere tidspunkt. I et annet sett med fordelaktige utførelser blir den tidsmessige evolusjon av den frekvensavhengige filtervekt oppnådd av en sekvens av fire overlappaddisjonssekvenser, som først ned-fader den eller de skjulte rammene fra tidligere rammer, dernest opp-fader en filtrert utgave av disse med et filter for å passe til de skjulte rammer ut fra senere rammer som oppnås i reversindeksert tid, og deretter fade dette ned igjen, og deretter fade opp en filtrert versjon av rammene på et senere tidspunkt for ytterligere å forbedre denne tilpasning og fade det ned igjen og til slutt fade vinduet opp av rammen eller rammene på et senere tidspunkt. Andre fordelaktige utførelser av vektede overlappaddisjonsmåter er beskrevet senere i beskrivelsen. ;I utjevnings- og utligningsoperasjonen 610 i utførelsen hvor restdomenesampler blir brukt som del av informasjonen som er representativ for talesignalet, kan utjevning og utligning med fordel brukes for dette restsignalet ved å bruke frekvenstilpasset filtrering, f.eks. kam-filter eller et periodisk kjervfilter. Videre kan Wiener- eller Kalman-filtrering med et langtids-korreleringsfilter pluss støy som en modell for den ufiltrerte rest med fordel brukes. Ved å bruke Wiener- eller Kalman-filteret, på denne måten, gjelder variansen av støy i modellene for å justere mengden av utjevning og utligning. Dette er en noe diskutabel bruk ettersom denne komponent brukes tradisjonelt i Wiener- og Kalman-filtreringsteorien for å modellere eksistensen av en uønsket støykomponent. Brukt ifølge oppfinnelsen er hensikten å sette nivået for utjevning og utligning. Som et alternativ til frekvenstilpasset kamming eller kjerv-filtrering og Wiener- eller Kalman-filtrering, kan en tredje fremgangsmåte med fordel brukes for utjevning og utligning av restesignaler i forbindelse med oppfinnelsen. Ved hjelp av denne tredje fremgangsmåte blir enten sampelamplityder som med fordel brukes f.eks. for ustemt tale eller etterfølgende vekter av sampler som med fordel brukes f.eks. for stemt tale, brukt i større utstrekning. Eventuelle fremgangsmåter for å oppnå dette er skissert nedenfor for vektorer av stemt tale og sampler av ustemt tale. ;For stemt tale samles påfølgende sampler av tale eller rest i vektorer med et antall sampler i hver vektor som er lik én frekvensperiode. For beskrivelsen benevner vi her denne vektor som v(k). Fremgangsmåten henter nå en restvektor r(k) som en komponent av v(k) som ikke på noen måte kan finnes i omsluttende vektorer v(k-Ll), v(k-Ll+l), ... , v(k-l) og v(k+l), v(k+2), ... , v(k+L2). For beskrivelsen blir komponenten funnet i omsluttende vektorer benevnt a(k). Restvektoren r(k) blir deretter manipulert på en noe lineær eller ikke-lineær måte for å redusere hørbarheten og samtidig opprettholde naturligheten av den resulterende, rekonstruerte vektor som oppnås ved å gjeninnsette komponenten a(k) i den manipulerte versjon av r(k). ;Dette fører til en utjevnet og utlignet versjon av stemt tale eller stemt resttale. En enkel ut-førelse av ovennevnte prinsipp f.eks. å bruke en praktisk matrisevektorbenevnelse og for eksemplet, er benevnelsen av en lineær kombinering og minstekvadrater for å definere a(k) gitt nedenfor. Dette tjener bare som et eksempel på en enkelt utførelse av ovennevnte generelle prinsipp for utjevning og utligning. ;For formålet av dette eksempel kan matrisen M(k) defineres som: ;;hvorfra a(k) kan beregnes f.eks. som minste kvadratestimat av v(k) gitt M(k). ;a(k) = M(k) inv(trans(M(k)) M(k)) v(k) ;hvor inv( ) benevner matriseinversjon eller kvasiinversjon og trans( ) benevner matrise-transponering. Nå kan resten r(k) beregnes f.eks. ved subtraksjon. ;;Et eksempel på manipulering av r(k) er ved å klippe vekk spisser i denne vektor, f.eks. for å begrense den maksimale, absolutte verdi av et sampel til et nivå som er lik maksimums-amplityden av r(k)-vektoren nærmest startpunktet for bakover/forover-skjuleprosedyren eller til en faktor ganger amplityden av samplet ved samme posisjon i vektoren, men i vektoren nærmest startpunktet for bakover/forover-skjuleprosedyren. Den manipulerte rest rm(k) blir deretter kombinert med a(k)-vektoren for å igjen rekonstruere den utjevnede versjon av v(k), av praktiske årsaker her benevnt ve(k). Denne kombinasjon kan som et eksempel oppnås ved en enkel summering: ;Parameteren alpha i dette eksemplet kan settes til 1,0 eller kan med fordel velges å være mindre enn 1,0, idet et fordelaktig valg for alpha er 0,8. ;For ustemt tale kan en annen utjevning og utligningsmåte brukes med fordel. Et eksempel for utjevning og utligning for ustemt tale beregner en polynomtilpasning til amplityder av restsignaler i et logaritmisk domene. Som et eksempel kan et andre ordens polynom og i log 10-domenet brukes. Etter å ha konvertert polynotilpasningen fra det logaritmiske domenet tilbake til det lineære domenet, blir tilpasningskurven med fordel normalisert til 1,0 ved punktet som tilsvarer startpunktet for bakover/forover-prosedyren. Selvfølgelig er tilpasningskurven lav-begrenset f.eks. til 0,5 hvoretter amplitydene av restsignalet kan deles med tilpasningskurven for å utglatte variasjoner i amplityde for det ustemte restsignalet. ;Når det gjelder vektede overlappaddisjonsprosedyrer kan enkelte, men ikke alle, applika-sjoner som er beskrevet her, dvs. indekserings- og interpoleringsoperasjon 620 og fremgangsmåten for å initiere inngangssignalet for fasejusteringsfiltrering 970, utføres av en fagmann. I foretrukne utførelsesformer av fremgangsmåten med vektede overlappaddisjonsprosedyrer kan imidlertid metodene som beskrevet i det følgende med fordel brukes. ;I en enkel utførelse av en vektet overlappaddisjonsprosedyre modifisert som svar på en tilpasningskvalitetsindikator vil det først vurderes et første vindu multiplisert med en første ;delsekvens og et andre vindu multiplisert med den andre delsekvens, og disse to produktene vil legges inn i en overlappaddisjonsoperasjon. Som et eksempel lar vi det første vindu være et gradvis avtagende vindu, f.eks. som en monotont avtagende funksjon og vi lar det andre vinduet være et gradvis økende vindu, f.eks. en monotont økende funksjon. Som et enkelt eksempel lar vi det andre vindu parameterises av en grunnleggende vindusform multiplisert med en skalarmultiplikator. Vi definerer nå: målet som en første delsekvens, w_target som nevnte første delsekvens sampel-etter-sampel multiplisert med nevnte nedskråningsvindu, w_regressor som nevnte andre delsekvenssampel, sampel-etter-sampel multiplisert med basisvindusformen for det gradvis økende vinduet og coef som nevnte skalarmultiplikator. Nå kan skalarmultiplikatorkomponenten av det andre vinduet optimaliseres for å minimere en summert, kvadrert feil mellom målet og resultatet av overlappaddisjonsoperasjonen. I praksis for en matrisevektorbenevnelse, kan problemet formuleres som minimering av den summerte-kvadrerte forskjellen mellom mål og mengde. ;Herfra defineres vektorene T og H som ;Løsningen på denne optimalisering gis som hvor inv( ) benevner skalar- eller matriseinversjon, trans() benevner transponeringen av en matrise eller vektor og<*>er en matrise- eller vektormultiplikasjon. Som sentrale komponenter i oppfinnelsen som beskrevet her, kan fremgangsmåten utvides til å optimalisere den faktiske formen av et vindu. En måte å oppnå dette på er som følger. Det defineres et sett av former for hvilket det ønskede vindu blir oppnådd som en lineær kombinasjon av elementer i dette settet. Vi definerer H slik at hver kolonne av H er en form fra dette settet sampel etter sampel multiplisert med nevnte andre delsekvens, og vi definerer coef som en kolonnevektor som inneholder de ukjente vekter av disse formene i den optimaliserte vindusfunksjon. Med disse definisjonene gjelder ovennevnte ligninger som formulerer problemet og dets løsning for å løse en mer generell vindusform. Naturligvis kan rollen av første og andre vindu byttes om i ovennevnte, slik at dette nå blir det første vindu som blir optimalisert.
En mer avansert utførelse av oppfinnelsen optimaliserer samlet begge vindusformene. Dette gjøres ved å definere et andre sett av basisvindusformer, eventuelt ekvivalent med det første sett av vindusformer og fortrinnsvis valgt som en tidsreversert indeksing av samplene i hver av vindusformene i det første sett av vindusformer. Det defineres w_target som en matrise hvor hver kolonne er en basisvindusform fra det andre sett av vindusformer sampel etter sampel multiplisert med den første delsekvens og coef definer som en kolonnevektor som inneholder først vektene for det første vindu og dernest vektene for det andre vindu. Deretter kan et mer generelt problem formuleres som å minimere den summerte-kvadrerte forskjellen mellom målet og kvantiteten.
hvor hakeparentesene brukes for å forme en matrise fra delmatrisene eller vektorene.
Definer herfra vektorene T og H som
Løsningen på denne optimalisering er gitt som:
En mer avansert utførelse av oppfinnelsen optimerer ikke bare øyeblikksvindusformer, men vinduer med en optimalisert frekvensavhengig vekting. En utførelsesform av oppfinnelsen er utformet som en tappet forsinkelseslinje, selv om oppfinnelsen ikke på noen måte er begrenset til denne formen. En måte å oppnå denne generaliseringen på er å erstatte, i definisjonen av w_target og w_regressor ovenfor, hver kolonne med et antall kolonner sampel-etter-sampel multiplisert med basisvindusformen tilsvarende kolonnen de erstatter, men hvor basisvindusformen nå blir sampel-etter-sampel-multiplisert med den relevante del-sekvensforsinkelse tilsvarende en spesifikk posisjon i en tappet forsinkelseslinje. Fortrinnsvis tar optimaliseringen av koeffisientene i disse fremgangsmåtene hensyn til vekting, begrensning eller sekvensiell beregning av koeffisientene uten avvikelse fra nærværende oppfinnelse. Slike vektinger kan med fordel omfatte vekting mot mer vekt på koeffisienter tilsvarende lave, absolutte forsinkelsesverdier. En slik sekvensiell beregning kan med fordel beregne koeffisienter bare for lave, absolutte forsinkelsesverdier for å minimere summen av kvadrert feil ved å bruke bare slike koeffisienter, og deretter ved å gjenta denne fremgangsmåte for økende forsinkelsesverdier, men bare på den gjenværende feil fra tidligere trinn i fremgangsmåten.
Generelt tar utførelsesformer av oppfinnelsen flere delsekvenser som mål for optimaliseringen. Optimaliseringen minimerer generelt en forvrengningsfunksjon som er en funksjon av disse måldelsekvenser og signalet fra det vektede overlappaddisjonssystemet. Denne optimalisering kan, uten å fravike oppfinnelsen, bruke forskjellige begrensninger av valget av basisformer for å oppnå forsinkelse og deres vekting i den generelle overlappaddisjon. Avhengig av det nøyaktige valg av former, blir effekten av overlappaddisjonen med fordel fadet ut gradvis fra delsekvensene etter overlappaddisjonsområdet i tid.
Fig. 10 viser en utførelse av den beskrevne overlappaddisjonsmåten. Denne figur er bare for illustrasjonsformål for en utførelse av oppfinnelsen ettersom oppfinnelsen ikke er begrenset til den nøyaktige struktur på figuren. Pa Fig. 10 går en delsekvens 1000 inn i tids- og frekvensformen som er optimalisert med overlappaddisjonen til en annen delsekvens 1010. Hver av disse delsekvensene går inn i en egen forsinkelseslinje hvor z på figuren benevner en tidsforflytning av et sampel forover og z-1 benevner en tidsforsinkelse på et sample og hvor de valgte forsinkelser 1, -1 og 0 bare er for illustrasjonsformål, idet flere eller færre forsinkelser med fordel kan brukes i forbindelse med oppfinnelsen. Hver forsinket versjon av hver delsekvens blir nå mulitiplisert med et antall basisvindusformer og resultatet av hver av disse blir multiplisert med en koeffisient som finnes sammen med de andre koeffisienter i løpet av optimaliseringen. Etter multiplisering med disse koeffisientene, blir de resulterende delsekvenser oppsummert for å gi utgangssignalet 1020 fra den tids- og frekvensforms-optimerte overlappaddisjon. Optimaliseringen 1030 av koeffisienter tar i eksemplet på Fig. 10 delsekvensene 1040 og 1050 som inngangssignal og minimerer en forvrengningsfunksjon som er en funksjon av 1040 og 1050 og utgangssignalet 1020.
I kravene er referansetegnene til figurene tatt med bare for tydelighets skyld. Disse referansene til eksempler på utførelsesformer på figurene skal ikke på noen måte forstås å begrense omfanget av kravene.

Claims (25)

1. Fremgangsmåte for å knytte sammen en første ramme av sampler (900) og en etter-følgende, andre ramme av sampler (950), omfattende følgende trinn: - å initialisere et allpass-filter (970) basert på skjulte sampler (940) generert fra den andre rammen (950), hvor de skjulte samplene (940) blir plassert i signalet, slik at den andre rammen følger de skjulte samplene, og - å bruke allpass-filteret (970) på i det minste en del av samplene i minst to etterfølgende rammer (900, 950, 960) for å minimere en uregelmessighet eller diskontinuitet ved en grense mellom den første og den andre ramme av sampler (900, 950).
2. Fremgangsmåte ifølge krav 1, der de minst to etterfølgende rammer (900, 950, 960) er nevnte første og andre etterfølgende rammer (900, 950).
3. Fremgangsmåte ifølge ethvert av de foregående krav, der allpass-filteret brukes på i det minste en del av samplene i i det minste den andre rammen (950) og på i det minste en del av samplene i minst én ramme (960) etter den andre rammen.
4. Fremgangsmåte ifølge krav 2, der allpass-filteret (970) brukes på i det minste en del av samplene i i det minste den andre rammen (950) og på i det minste en del av samplene i minst to rammer (960) etter den andre rammen.
5. Fremgangsmåte ifølge ethvert av de foregående krav, der allpass-filteret (970) brukes på i det minste en del av samplene i i det minste den første rammen (900) og på i det minste en del av samplene i minst én ramme før den første rammen (900).
6. Fremgangsmåte ifølge krav 5, der allpass-filteret (970) brukes på i det minste en del av samplene i i det minste den første rammen (900) og på i det minste en del av samplene i minst to rammer foran den første rammen (900).
7. Fremgangsmåte ifølge ethvert av de foregående krav, der allpass-filteret (970) omfatter trinnet med å modifisere en fase av en delsekvens av minst ett sampel med en radianfaseverdi av pi.
8. Fremgangsmåte ifølge ethvert av de foregående krav, der allpass-filteret (970) er parametrisk og omfatter mellom 1 og 20 ikke-null koeffisienter.
9. Fremgangsmåte ifølge ethvert av de foregående krav, der allpass-filteret (970) er tidsvarierende.
10. Fremgangsmåte ifølge krav 9, der allpass-filteret (970) er tidsvarierende, slik at en respons fra allpass-filteret (970) nærmer seg en nullfase ved et endelig antall sampler vekk fra grensen mellom de første og andre rammer (900, 950).
11. Fremgangsmåte ifølge krav 10, der allpass-filteret (970) har en forutvalgt faserespons ved en starttid.
12. Fremgangsmåte ifølge krav 11, der antallet sampler vekk fra grensen avhenger av den forutvalgte faserespons fra allpass-filteret (970).
13. Fremgangsmåte ifølge ethvert av kravene 10-12, der tidspunktet hvor responsen fra allpass-filteret (970) nærmer seg nullfase, er innenfor minst én av de første eller andre rammer (900, 950).
14. Fremgangsmåte ifølge ethvert av kravene 10-12, der tidspunktet hvor responsen fra allpass-filteret (970) nærmer seg nullfase, er innenfor en ramme som er minst én ramme foran den første rammen (900).
15. Fremgangsmåte ifølge ethvert av kravene 10-12, der tidspunktet hvor responsen fra allpass-filteret (970) nærmer seg nullfase, er innenfor en ramme som er minst én ramme (960) etter den andre rammen.
16. Fremgangsmåte ifølge ethvert av kravene 10-15, der antallet sampler vekk fra grensen avhenger av en egenskap ved en delsekvens av sampler i den andre rammen (950) eller i en ramme (960) etter den andre rammen.
17. Fremgangsmåte ifølge ethvert av kravene 10-15, der antallet sampler vekk fra grensen avhenger av en egenskap ved en delsekvens av sampler i den første rammen (900) eller en ramme foran den første rammen (900).
18. Fremgangsmåte ifølge ethvert av de foregående krav, der allpass-filteret (970) omfatter en flerfasestruktur.
19. Fremgangsmåte ifølge ethvert av de foregående krav, der fremgangsmåten videre omfatter trinnet med å utføre en oppsampling.
20. Fremgangsmåte ifølge ethvert av de foregående krav, der et antall sampler tatt med fra minst ett av de skjulte samplene (940), blir valgt for å maksimere et tilpassende eller tilpasningsmål.
21. Fremgangsmåte ifølge krav 20, der tilpasningsmålet omfatter en korrelering, slik som en normalisert korrelering.
22. Fremgangsmåte ifølge ethvert av de foregående krav, der samplet i de første og andre rammer (900, 950) representerer et digitalisert audiosignal.
23. Programkode som kan kjøres på en datamaskin og som er tilpasset for å utføre fremgangsmåten ifølge ethvert av de foregående krav.
24. Programlagringsenhet omfattende en sekvens av instrukser for en mikroprosessor, slik som en universal eller standard mikroprosessor, for utføring av fremgangsmåten ifølge ethvert av kravene 1-22.
25. Anordning for mottak av et digitalisert audiosignal, omfattende: en minneinnretning for lagring av rammer som er representativ for et mottatt digitalisert audiosignal, og en prosessorinnretning for utføring av fremgangsmåten ifølge ethvert av kravene 1-22.
NO20074418A 2005-01-31 2007-08-29 Fremgangsmåte for å knytte sammen rammer i kommunikasjonssystem NO340871B1 (no)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DKPA200500146 2005-01-31
PCT/DK2006/000055 WO2006079350A1 (en) 2005-01-31 2006-01-31 Method for concatenating frames in communication system

Publications (2)

Publication Number Publication Date
NO20074418L NO20074418L (no) 2007-08-29
NO340871B1 true NO340871B1 (no) 2017-07-03

Family

ID=59285473

Family Applications (3)

Application Number Title Priority Date Filing Date
NO20074348A NO338798B1 (no) 2005-01-31 2007-08-27 Fremgangsmåte for vektet overlappaddisjon.
NO20074349A NO338702B1 (no) 2005-01-31 2007-08-27 Fremgangsmåte for å generere skjulte rammer i kommunikasjonssystem
NO20074418A NO340871B1 (no) 2005-01-31 2007-08-29 Fremgangsmåte for å knytte sammen rammer i kommunikasjonssystem

Family Applications Before (2)

Application Number Title Priority Date Filing Date
NO20074348A NO338798B1 (no) 2005-01-31 2007-08-27 Fremgangsmåte for vektet overlappaddisjon.
NO20074349A NO338702B1 (no) 2005-01-31 2007-08-27 Fremgangsmåte for å generere skjulte rammer i kommunikasjonssystem

Country Status (15)

Country Link
US (5) US8068926B2 (no)
EP (3) EP1846920B1 (no)
JP (4) JP2008529073A (no)
KR (3) KR101203244B1 (no)
CN (3) CN101120400B (no)
AU (3) AU2006208530B2 (no)
BR (3) BRPI0607251A2 (no)
CA (3) CA2596341C (no)
ES (1) ES2625952T3 (no)
HK (1) HK1108760A1 (no)
IL (3) IL184864A (no)
NO (3) NO338798B1 (no)
RU (3) RU2405217C2 (no)
WO (3) WO2006079348A1 (no)
ZA (3) ZA200706261B (no)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2405217C2 (ru) 2005-01-31 2010-11-27 Скайп Лимитед Способ взвешенного сложения с перекрытием
TWI285568B (en) * 2005-02-02 2007-08-21 Dowa Mining Co Powder of silver particles and process
JP4371246B2 (ja) * 2006-01-26 2009-11-25 パイオニア株式会社 高音質化装置及び方法、並びにコンピュータプログラム
JP2007316254A (ja) * 2006-05-24 2007-12-06 Sony Corp オーディオ信号補間方法及びオーディオ信号補間装置
US8417520B2 (en) * 2006-10-20 2013-04-09 France Telecom Attenuation of overvoicing, in particular for the generation of an excitation at a decoder when data is missing
JP4504389B2 (ja) * 2007-02-22 2010-07-14 富士通株式会社 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム
US8280539B2 (en) * 2007-04-06 2012-10-02 The Echo Nest Corporation Method and apparatus for automatically segueing between audio tracks
CN100550712C (zh) * 2007-11-05 2009-10-14 华为技术有限公司 一种信号处理方法和处理装置
CN101207665B (zh) 2007-11-05 2010-12-08 华为技术有限公司 一种衰减因子的获取方法
CN101437009B (zh) * 2007-11-15 2011-02-02 华为技术有限公司 丢包隐藏的方法及其系统
MX2010009932A (es) * 2008-03-10 2010-11-30 Fraunhofer Ges Forschung Metodo y dispositivo para manipular una señal de audio que tiene un evento transitorio.
FR2929466A1 (fr) * 2008-03-28 2009-10-02 France Telecom Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique
AU2009256551B2 (en) * 2008-06-13 2015-08-13 Nokia Technologies Oy Method and apparatus for error concealment of encoded audio data
US8620660B2 (en) * 2010-10-29 2013-12-31 The United States Of America, As Represented By The Secretary Of The Navy Very low bit rate signal coder and decoder
JP5664291B2 (ja) * 2011-02-01 2015-02-04 沖電気工業株式会社 音声品質観測装置、方法及びプログラム
EP3503098B1 (en) 2011-02-14 2023-08-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method decoding an audio signal using an aligned look-ahead portion
MY165853A (en) 2011-02-14 2018-05-18 Fraunhofer Ges Forschung Linear prediction based coding scheme using spectral domain noise shaping
AR085895A1 (es) * 2011-02-14 2013-11-06 Fraunhofer Ges Forschung Generacion de ruido en codecs de audio
EP2676270B1 (en) 2011-02-14 2017-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding a portion of an audio signal using a transient detection and a quality result
TWI483245B (zh) 2011-02-14 2015-05-01 Fraunhofer Ges Forschung 利用重疊變換之資訊信號表示技術
AU2012217215B2 (en) 2011-02-14 2015-05-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for error concealment in low-delay unified speech and audio coding (USAC)
TR201903388T4 (tr) 2011-02-14 2019-04-22 Fraunhofer Ges Forschung Bir ses sinyalinin parçalarının darbe konumlarının şifrelenmesi ve çözülmesi.
EP2676268B1 (en) 2011-02-14 2014-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing a decoded audio signal in a spectral domain
TWI488176B (zh) 2011-02-14 2015-06-11 Fraunhofer Ges Forschung 音訊信號音軌脈衝位置之編碼與解碼技術
RU2586838C2 (ru) 2011-02-14 2016-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Аудиокодек, использующий синтез шума в течение неактивной фазы
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
FR2977439A1 (fr) * 2011-06-28 2013-01-04 France Telecom Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard.
US8935308B2 (en) * 2012-01-20 2015-01-13 Mitsubishi Electric Research Laboratories, Inc. Method for recovering low-rank matrices and subspaces from data in high-dimensional matrices
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
WO2014077254A1 (ja) 2012-11-15 2014-05-22 株式会社Nttドコモ 音声符号化装置、音声符号化方法、音声符号化プログラム、音声復号装置、音声復号方法及び音声復号プログラム
CN103888630A (zh) * 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制声学回声消除的方法和音频处理装置
PL2951821T3 (pl) 2013-01-29 2017-08-31 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Koncepcja kompensacji przełączania trybu kodowania
RU2660605C2 (ru) 2013-01-29 2018-07-06 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Концепция заполнения шумом
JP6069526B2 (ja) * 2013-02-05 2017-02-01 テレフオンアクチーボラゲット エルエム エリクソン(パブル) オーディオフレーム損失のコンシールメントを制御する方法及び装置
HUE045991T2 (hu) 2013-02-05 2020-01-28 Ericsson Telefon Ab L M Hangkeret-elvesztés elrejtése
EP2954516A1 (en) 2013-02-05 2015-12-16 Telefonaktiebolaget LM Ericsson (PUBL) Enhanced audio frame loss concealment
FR3004876A1 (fr) * 2013-04-18 2014-10-24 France Telecom Correction de perte de trame par injection de bruit pondere.
US9406308B1 (en) 2013-08-05 2016-08-02 Google Inc. Echo cancellation via frequency domain modulation
US10728298B2 (en) * 2013-09-12 2020-07-28 Qualcomm Incorporated Method for compressed sensing of streaming data and apparatus for performing the same
FR3015754A1 (fr) * 2013-12-20 2015-06-26 Orange Re-echantillonnage d'un signal audio cadence a une frequence d'echantillonnage variable selon la trame
CN104751851B (zh) * 2013-12-30 2018-04-27 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
EP3090574B1 (en) * 2014-01-03 2019-06-26 Samsung Electronics Co., Ltd. Method and apparatus for improved ambisonic decoding
US10020000B2 (en) * 2014-01-03 2018-07-10 Samsung Electronics Co., Ltd. Method and apparatus for improved ambisonic decoding
US10157620B2 (en) 2014-03-04 2018-12-18 Interactive Intelligence Group, Inc. System and method to correct for packet loss in automatic speech recognition systems utilizing linear interpolation
EP2922056A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation
EP2922054A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation
EP2922055A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information
NO2780522T3 (no) 2014-05-15 2018-06-09
FR3023646A1 (fr) * 2014-07-11 2016-01-15 Orange Mise a jour des etats d'un post-traitement a une frequence d'echantillonnage variable selon la trame
GB2547877B (en) * 2015-12-21 2019-08-14 Graham Craven Peter Lossless bandsplitting and bandjoining using allpass filters
ES2870959T3 (es) 2016-03-07 2021-10-28 Fraunhofer Ges Forschung Unidad de ocultación de error, decodificador de audio y método relacionado y programa informático que usa características de una representación decodificada de una trama de audio decodificada apropiadamente
WO2017153299A2 (en) * 2016-03-07 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Error concealment unit, audio decoder, and related method and computer program fading out a concealed audio frame out according to different damping factors for different frequency bands
US9679578B1 (en) 2016-08-31 2017-06-13 Sorenson Ip Holdings, Llc Signal clipping compensation
JP6652469B2 (ja) * 2016-09-07 2020-02-26 日本電信電話株式会社 復号装置、復号方法及びプログラム
US9934785B1 (en) 2016-11-30 2018-04-03 Spotify Ab Identification of taste attributes from an audio signal
CN108922551B (zh) * 2017-05-16 2021-02-05 博通集成电路(上海)股份有限公司 用于补偿丢失帧的电路及方法
BR112021021928A2 (pt) * 2019-06-13 2021-12-21 Ericsson Telefon Ab L M Método para gerar um subquadro de áudio de ocultação, dispositivo decodificador, programa de computador, e, produto de programa de computador
EP3901950A1 (en) * 2020-04-21 2021-10-27 Dolby International AB Methods, apparatus and systems for low latency audio discontinuity fade out

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000063881A1 (en) * 1999-04-19 2000-10-26 At & T Corp. Method and apparatus for performing packet loss or frame erasure concealment

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2102254B (en) * 1981-05-11 1985-08-07 Kokusai Denshin Denwa Co Ltd A speech analysis-synthesis system
EP0123616B1 (en) * 1983-04-20 1987-03-04 Nippon Telegraph And Telephone Corporation Interframe coding method and apparatus therefor
FR2606239A1 (fr) 1986-10-30 1988-05-06 Bull Sa Procede et dispositif de transmission de donnees numeriques
US5007094A (en) 1989-04-07 1991-04-09 Gte Products Corporation Multipulse excited pole-zero filtering approach for noise reduction
US5371853A (en) * 1991-10-28 1994-12-06 University Of Maryland At College Park Method and system for CELP speech coding and codebook for use therewith
JP2779886B2 (ja) 1992-10-05 1998-07-23 日本電信電話株式会社 広帯域音声信号復元方法
US5434947A (en) * 1993-02-23 1995-07-18 Motorola Method for generating a spectral noise weighting filter for use in a speech coder
US5995539A (en) 1993-03-17 1999-11-30 Miller; William J. Method and apparatus for signal transmission and reception
SE503547C2 (sv) 1993-06-11 1996-07-01 Ericsson Telefon Ab L M Anordning och förfarande för döljande av förlorade ramar
JP3520555B2 (ja) * 1994-03-29 2004-04-19 ヤマハ株式会社 音声符号化方法及び音声音源装置
US5602959A (en) 1994-12-05 1997-02-11 Motorola, Inc. Method and apparatus for characterization and reconstruction of speech excitation waveforms
TW294867B (no) * 1994-12-23 1997-01-01 Qualcomm Inc
US5699481A (en) 1995-05-18 1997-12-16 Rockwell International Corporation Timing recovery scheme for packet speech in multiplexing environment of voice with data applications
US5774837A (en) 1995-09-13 1998-06-30 Voxware, Inc. Speech coding system and method using voicing probability determination
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6028890A (en) 1996-06-04 2000-02-22 International Business Machines Corporation Baud-rate-independent ASVD transmission built around G.729 speech-coding standard
JP3623056B2 (ja) 1996-09-10 2005-02-23 ソニー株式会社 動画像圧縮装置
JPH1091194A (ja) * 1996-09-18 1998-04-10 Sony Corp 音声復号化方法及び装置
US6766300B1 (en) 1996-11-07 2004-07-20 Creative Technology Ltd. Method and apparatus for transient detection and non-distortion time scaling
JP3596841B2 (ja) 1997-01-24 2004-12-02 株式会社ルネサステクノロジ 受信データ伸長装置
WO1999010719A1 (en) * 1997-08-29 1999-03-04 The Regents Of The University Of California Method and apparatus for hybrid coding of speech at 4kbps
EP0907258B1 (en) * 1997-10-03 2007-01-03 Matsushita Electric Industrial Co., Ltd. Audio signal compression, speech signal compression and speech recognition
FI980132A (fi) * 1998-01-21 1999-07-22 Nokia Mobile Phones Ltd Adaptoituva jälkisuodatin
US6415253B1 (en) 1998-02-20 2002-07-02 Meta-C Corporation Method and apparatus for enhancing noise-corrupted speech
SE513520C2 (sv) * 1998-05-14 2000-09-25 Ericsson Telefon Ab L M Förfarande och anordning för maskering av fördröjda paket
US6292454B1 (en) * 1998-10-08 2001-09-18 Sony Corporation Apparatus and method for implementing a variable-speed audio data playback system
US6456964B2 (en) 1998-12-21 2002-09-24 Qualcomm, Incorporated Encoding of periodic speech using prototype waveforms
AU4190200A (en) 1999-04-05 2000-10-23 Hughes Electronics Corporation A frequency domain interpolative speech codec system
US6765931B1 (en) * 1999-04-13 2004-07-20 Broadcom Corporation Gateway with voice
US7117156B1 (en) * 1999-04-19 2006-10-03 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US6324503B1 (en) * 1999-07-19 2001-11-27 Qualcomm Incorporated Method and apparatus for providing feedback from decoder to encoder to improve performance in a predictive speech coder under frame erasure conditions
US6691082B1 (en) 1999-08-03 2004-02-10 Lucent Technologies Inc Method and system for sub-band hybrid coding
US6665317B1 (en) * 1999-10-29 2003-12-16 Array Telecom Corporation Method, system, and computer program product for managing jitter
US6931370B1 (en) 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
JP2001142477A (ja) 1999-11-12 2001-05-25 Matsushita Electric Ind Co Ltd 有声音形成装置とそれを用いた音声認識装置
FI116643B (fi) 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
SE517156C2 (sv) 1999-12-28 2002-04-23 Global Ip Sound Ab System för överföring av ljud över paketförmedlade nät
US6584438B1 (en) 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
WO2002023523A2 (en) * 2000-09-15 2002-03-21 Lernout & Hauspie Speech Products N.V. Fast waveform synchronization for concatenation and time-scale modification of speech
US6661842B1 (en) 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding
US7031926B2 (en) * 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
US6968309B1 (en) * 2000-10-31 2005-11-22 Nokia Mobile Phones Ltd. Method and system for speech frame error concealment in speech decoding
EP1217613A1 (fr) 2000-12-19 2002-06-26 Koninklijke Philips Electronics N.V. Reconstitution de trames manquantes ou mauvaises en téléphonie cellulaire
US7069208B2 (en) * 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
FR2820227B1 (fr) * 2001-01-30 2003-04-18 France Telecom Procede et dispositif de reduction de bruit
JPWO2002071389A1 (ja) 2001-03-06 2004-07-02 株式会社エヌ・ティ・ティ・ドコモ オーディオデータ補間装置および方法、オーディオデータ関連情報作成装置および方法、オーディオデータ補間情報送信装置および方法、ならびにそれらのプログラムおよび記録媒体
EP1395982B1 (en) * 2001-04-09 2006-04-19 Koninklijke Philips Electronics N.V. Adpcm speech coding system with phase-smearing and phase-desmearing filters
US7610205B2 (en) * 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
WO2002095731A1 (fr) 2001-05-22 2002-11-28 Fujitsu Limited Processeur de signaux vocaux
FI20011392A (fi) * 2001-06-28 2002-12-29 Nokia Corp Mekanismi multicast-jakelua varten tietoliikennejärjestelmässä
US7006511B2 (en) 2001-07-17 2006-02-28 Avaya Technology Corp. Dynamic jitter buffering for voice-over-IP and other packet-based communication systems
US7711563B2 (en) 2001-08-17 2010-05-04 Broadcom Corporation Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
US7590525B2 (en) * 2001-08-17 2009-09-15 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
US6681842B2 (en) * 2001-12-03 2004-01-27 Agilent Technologies, Inc. Cooling apparatus
SE521600C2 (sv) * 2001-12-04 2003-11-18 Global Ip Sound Ab Lågbittaktskodek
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
JP4022427B2 (ja) 2002-04-19 2007-12-19 独立行政法人科学技術振興機構 エラー隠蔽方法、エラー隠蔽プログラム、送信装置、受信装置及びエラー隠蔽装置
US7496086B2 (en) * 2002-04-30 2009-02-24 Alcatel-Lucent Usa Inc. Techniques for jitter buffer delay management
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
JP4089347B2 (ja) 2002-08-21 2008-05-28 沖電気工業株式会社 音声復号装置
JP4756573B2 (ja) * 2002-12-04 2011-08-24 トムソン ライセンシング 重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法
US7305338B2 (en) 2003-05-14 2007-12-04 Oki Electric Industry Co., Ltd. Apparatus and method for concealing erased periodic signal data
JP4233931B2 (ja) 2003-06-17 2009-03-04 日本電信電話株式会社 音声・音響信号再生調整方法、装置、および音声・音響信号再生調整プログラム、そのプログラムを記録した記録媒体
US7356748B2 (en) * 2003-12-19 2008-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Partial spectral loss concealment in transform codecs
JP2005315973A (ja) 2004-04-27 2005-11-10 Seiko Epson Corp 半導体集積回路
TWI273562B (en) * 2004-09-01 2007-02-11 Via Tech Inc Decoding method and apparatus for MP3 decoder
US7676362B2 (en) 2004-12-31 2010-03-09 Motorola, Inc. Method and apparatus for enhancing loudness of a speech signal
RU2405217C2 (ru) 2005-01-31 2010-11-27 Скайп Лимитед Способ взвешенного сложения с перекрытием
US7359409B2 (en) * 2005-02-02 2008-04-15 Texas Instruments Incorporated Packet loss concealment for voice over packet networks
US9160382B2 (en) * 2013-10-08 2015-10-13 Blackberry Limited Phase noise mitigation for wireless communications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000063881A1 (en) * 1999-04-19 2000-10-26 At & T Corp. Method and apparatus for performing packet loss or frame erasure concealment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"PULSE CODE MODULATION (PCM) OF VOICE FREQUENCIES APPENDIX I: A HIGH QUALITY LOW-COMPLEXITY ALGORITHM FOR PACKET LOSS CONCEALMENT WITH G.711", ITU-T RECOMMENDATIONS, INTERNATIONAL TELECOMMENDATION UNION, GENEVA, CH, vol. G.711, 1 September 1999 (1999-09-01), CH, pages I - III + 01, XP001181238, ISSN: 1680-3329 *
VALENZUELA R. A., ANIMALU C. N.: "A NEW VOICE-PACKET RECONSTRUCTION TECHNIQUE.", SPEECH PROCESSING 2, DIGITAL SIGNAL PROCESSING. GLASGOW, MAY 23 - 26, 1989., NEW YORK, IEEE., US, vol. 02., 23 May 1989 (1989-05-23), US, pages 1334 - 1336., XP000090346 *

Also Published As

Publication number Publication date
ZA200706307B (en) 2008-06-25
CN101120400B (zh) 2013-03-27
NO338798B1 (no) 2016-10-24
CA2596337A1 (en) 2006-08-03
JP5925742B2 (ja) 2016-05-25
KR20080002756A (ko) 2008-01-04
US9047860B2 (en) 2015-06-02
RU2407071C2 (ru) 2010-12-20
NO20074418L (no) 2007-08-29
IL184927A0 (en) 2007-12-03
CA2596341C (en) 2013-12-03
AU2006208528C1 (en) 2012-03-01
JP2014038347A (ja) 2014-02-27
US20100161086A1 (en) 2010-06-24
US8918196B2 (en) 2014-12-23
ZA200706534B (en) 2008-07-30
IL184864A0 (en) 2007-12-03
CN101120400A (zh) 2008-02-06
CN101120398A (zh) 2008-02-06
EP1846920B1 (en) 2017-04-19
IL184948A0 (en) 2007-12-03
AU2006208529B2 (en) 2010-10-28
CA2596341A1 (en) 2006-08-03
CA2596338A1 (en) 2006-08-03
KR101237546B1 (ko) 2013-02-26
JP5420175B2 (ja) 2014-02-19
IL184948A (en) 2012-07-31
AU2006208528A1 (en) 2006-08-03
AU2006208529A1 (en) 2006-08-03
US20120158163A1 (en) 2012-06-21
KR101203348B1 (ko) 2012-11-20
JP5202960B2 (ja) 2013-06-05
AU2006208530A1 (en) 2006-08-03
JP2008529072A (ja) 2008-07-31
JP2008529074A (ja) 2008-07-31
RU2007132729A (ru) 2009-03-10
NO338702B1 (no) 2016-10-03
WO2006079348A1 (en) 2006-08-03
KR20080001708A (ko) 2008-01-03
ES2625952T3 (es) 2017-07-21
CN101120399B (zh) 2011-07-06
ZA200706261B (en) 2009-09-30
NO20074349L (no) 2007-10-18
US9270722B2 (en) 2016-02-23
AU2006208530B2 (en) 2010-10-28
RU2405217C2 (ru) 2010-11-27
CN101120399A (zh) 2008-02-06
US20150207842A1 (en) 2015-07-23
EP1846920A1 (en) 2007-10-24
NO20074348L (no) 2007-10-21
RU2417457C2 (ru) 2011-04-27
JP2008529073A (ja) 2008-07-31
US20080154584A1 (en) 2008-06-26
BRPI0607246A2 (pt) 2010-03-23
BRPI0607246B1 (pt) 2019-12-03
BRPI0607247B1 (pt) 2019-10-29
AU2006208528B2 (en) 2011-08-18
WO2006079350A1 (en) 2006-08-03
KR101203244B1 (ko) 2012-11-20
EP1849156A1 (en) 2007-10-31
HK1108760A1 (en) 2008-05-16
IL184864A (en) 2011-01-31
WO2006079349A1 (en) 2006-08-03
CA2596338C (en) 2014-05-13
IL184927A (en) 2016-06-30
US8068926B2 (en) 2011-11-29
EP1846921A1 (en) 2007-10-24
BRPI0607247A2 (pt) 2010-03-23
EP1846921B1 (en) 2017-10-04
KR20080002757A (ko) 2008-01-04
RU2007132735A (ru) 2009-03-10
US20080275580A1 (en) 2008-11-06
CA2596337C (en) 2014-08-19
CN101120398B (zh) 2012-05-23
RU2007132728A (ru) 2009-03-10
BRPI0607251A2 (pt) 2017-06-13
EP1849156B1 (en) 2012-08-01

Similar Documents

Publication Publication Date Title
NO340871B1 (no) Fremgangsmåte for å knytte sammen rammer i kommunikasjonssystem

Legal Events

Date Code Title Description
CREP Change of representative

Representative=s name: BRYN AARFLOT AS, POSTBOKS 449 SENTRUM

CHAD Change of the owner's name or address (par. 44 patent law, par. patentforskriften)

Owner name: SKYPE, IE

CHAD Change of the owner's name or address (par. 44 patent law, par. patentforskriften)

Owner name: MICROSOFT TECHNOLOGYLICENSING, US

CHAD Change of the owner's name or address (par. 44 patent law, par. patentforskriften)

Owner name: MICROSOFT TECHNOLOGY LICENSING, US

MM1K Lapsed by not paying the annual fees