SE517245C2 - Synkronisering av audio- och videosignaler - Google Patents

Description

25 30 i 517 245 Om emellertid en audiosignal och en motsvarande videosignal presentas med en större avvikelse mellan signalerna än 400 ms upplevs presentationen ha en mycket låg kvalitet. Olyckligtvis är fördröjningen i flertalet av dagens videokonferenssystem för ISDN-bastakt på 128 kb/s i storlekskorningen 400 ms (lSDN = Integrated Services Digital Network). l GSM är audiofördröjningen ungefär 90 ms (GSM = Global System for Mobile communication). l en lösning där en röst- signal överförs via GSM och där motsvarande videosignal sänds via ett 128 kb/s-videokonferenssystem måste således en fördröjning på mellan 230 ms och 390 ms adderas till audio- signalen i syfte att upprätthålla en avvikelse mellan audio- och videosignalen på 80 ms eller mindre. Då audiosignalen samplas och konverteras till en kodad signal, som levereras i form av kodade audioramar med typiskt 20 ms-intervall, måste klock- signalen som alstrar fördröjningen av audiosignalen ha en mycket hög noggrannhet.

Patentdokumentet EP, A1, O 577 216 beskriver ett audiolvideo- gränssnitt i vilket en FIFO-buffert (First ln / First Out) används för att åstadkomma en konstant fördröjning av mottagen data, så att en återgiven röstsignal synkroniseras med en talares mot- svarande läpprörelser. FIFO-buffertens fyllnadsgrad styrs i förhållande till en buffertcentreringssignal, vilken anger ett intervall mellan ett övre och ett nedre tröskelvärde motsvarande ett önskat fördröjningsintervall. Om buffertens fyllnadsgrad sjunker under det undre tröskelvärdet repeteras samma data- element tills dess att en tillräcklig fördröjning har àstadkommits.

Om emellertid buffertens fyllnadsgrad stiger över det övre tröskelvärdet lagras istället nya dataelement över tidigare lagrade dataelement tills dess att fördröjningen reducerats till den önskade nivån.

En alternativ metod och anordning för att upprätthålla en konstant fördröjning mellan en mottagen audiosignal och en mottagen videosignal beskrivs i EP, A1, 0 598 295. Här lagras 10 15 20 25 30 517245 sampel av audiosignalen tillfälligt i ett buffertminne för att åstadkomma en viss fördröjning av signalen. Antalet lagrade audiosampel i buffertminnet avkänns för vart nite fält av video- signalen. Om detta antal uppnår ett angivet värde ansätts läs- eller skrivadressen till buffertminnet så att antalet lagrade audio- sampel vid inspektionspunkten vilken inträffar i intervall om n Videofält hålls konstant.

Det amerikanska patentet 6 104 706 anger en lösning där audio, video och eventuella andra slags data tidsmultiplexeras till en paketdataström i vilken varje paket tilldelas en speciell prioritet.

Paketdataströmmen överförs sedan, i princip, enligt priorite- ringsordningen. Audiopaket tilldelas en högsta prioritet, vilken följs av videopaket. Paket innehållande andra typer av data tilldelas den lägsta prioriteten. Kontinuerlig realtidsåtergivning upprätthålls på mottagarsidan genom fördröjning av återgiv- ningen av audiopaketen i en FIFO-buffert, vilken åstadkommer en fördröjning motsvarande en förväntad genomsnittlig fördröj- ning i kommunikationssystemet. Återgivningen av ljudet bromsas eller accelereras i syfte att minska eller öka tidsskillnaden mellan sändaren och mottagaren Patentdokumentet EP, A1, O 577 216 beskriver ett halvauto- matiskt system för att åstadkomma synkronism mellan en talares läpprörelser och motsvarande röstinformatíon genom en programmerbar fördröjningskrets i audiokanalen. En bildyta, som representeras av videokanalen i vilken ljudrelaterade rörelser sker definieras manuellt. Rörelsevektorer genereras sedan för den definierade ytan och korreleras med nivåer hos audiokanalen för att avgöra en tidsskillnad mellan video- och audiokanalerna. Den programmerbara fördröjningskretsen styrs att kompensera för denna fördröjning, så att röstsignalen kan presenteras parallellt med den relevanta videoinformationen.

Samtliga de ovannämnda dokumenten beskiver olika slags fördröjningar av en audiosignal. Det är emellertid mycket svårt att uppnå ett perceptuellt acceptabelt resultat genom tillämpning 10 15 20 25 30 -517245 av de kända lösningarna om fördröjningen åstadkommes av en systemresurs i en dator. l praktiken kan nämligen inte icke- realtids baserade operativsystem upprätthålla en tillräcklig nog- grannhet hos en allokerad systemresurs, så att en fördröjd audiosignal kan ensas tidsmässigt med en videosignal inom ett avvikelseintervall som är acceptabelt för den mänskliga varse- blivningen. Naturligtvis är det än mindre möjligt att i en sådan dator minska avvikelsen mellan sådana signaler under den gräns som är detekterbar av de mänskliga sinnena.

SAMMANFATTNlNG AV UPPFINNINGEN Syftet med föreliggande uppfinning är därför att mildra ovan nämnda problem genom att åstadkomma en fördröjning av en mottagen audiosignal relativt en mottagen videosignal, som är tillräckligt stabil för att upprätthålla en önskad tidsmässig ensning mellan de respektive signalerna.

Enligt en första aspekt av uppfinningen uppnås syftet genom den inledningsvis beskrivna metoden för att adaptivt tidsskifta en kodad audiosignal relativt en kodad videosignal i en mottagen audio/videomeddelandeström, vilken kännetecknas av att först beräkna ett ramfördröjningsantal, som ett av de två heltal vilka angränsar till ett förhållande mellan den önskade fördröjningen och det första ramintervallet. Sedan lagras sekventiellt ett antal audioramar lika med ramfördröjningsantalet innan avkodning av en matchande videoram påbörjas. Därefter avkodas den matchande videoramen och de lagrade audio- ramarna avkodas enligt den sekventiella lagringsordningen.

Dessa steg upprepas för återstående audioramar respektive videoramar i audio/videomeddelandeströmmen.

Enligt en andra aspekt av uppfinningen uppnås syftet med hjälp av ett datorprogram, vilket är direkt laddbart till internminnet i en dator och vilket innefattar mjukvara för att utföra metoden enligt den första aspekten av uppfinningen då programmet körs i en 10 15 20 25 30 51-"7" '245 dator.

Enligt en tredje aspekt av uppfinningen uppnås syftet genom ett datorläsbart medium på vilket ett program finns lagrat, som är ägnat att förmå en dator att utföra metoden enligt den första aspekten av uppfinningen.

Enligt en fjärde aspekt av uppfinningen uppnås syftet genom den inledningsvis beskrivna apparaten för att adaptivt tidsskifta en kodad audiosignal relativt en kodad videosignal i en mottagen audio/videomeddelandeström, vilken kännetecknas av att den innefattar en första och en andra buffert, båda för att sekventiellt lagra mottagna audioramar, och en styrenhet.

Beroende på den aktuella systemspecifikationen och/eller det överföringsprotokoll enligt vilket apparaten arbetar alstras audioramar av en sändare med en viss takt. Styrenheten lagrar internt information gällande denna parameter i form av ett första ramintervall, vilket anger ett tidsspann mellan två konsekutiva audioramar. Styrenheten fastställer och lagrar ett önskat fördröjningsvärde från tidsindikatorer i de mottagna audio- ramarna och de mottagna videoramarna. Det önskade för- dröjningsvärdet anger en nödvändig fördröjning av audio- ramarna för att de avkodade audio- och vldeosignalerna ska ensas tidsmässigt inom ett maximalt avvikelseintervall. Styren- heten beräknar ett ramfördröjningsantal som ett av de två heltal vilka angränsar till ett förhållande mellan den önskade fördröjningen och det första ramintervallet. Dessutom styr styrenheten en alternerade lagring av ett ramfördröjningsantal audioramar i den första bufferten under utläsning av ett ramfördröjningsantal audioramar från den andra bufferten respektive alternerade lagring av ett ramfördröjningsantal audio- ramar i den andra bufferten under utläsning av ett ram- fördröjningsantal audioramar från den första bufferten.

Enligt en femte aspekt av uppfinningen uppnås syftet genom ett system för överföring av realtids audio- och videoinformation från en sändarstation till en mottagarstation, via ett överförings- 10 15 20 25 30 517 i 245 medium. Sändarstationen innefattar en audiokodningsenhet vilken kodar audioinformation till audioramar, en videokod- ningsenhet vilken kodar videoinformation till videoramar och en multiplexor vilken kombinerar audioramarna och videoramarna till en audio/videomeddelandeström. Denna imeddelandeström sänds sedan över överföringsmediet till en mottagarstation. l första hand innefattar mottagarstationen en apparat enligt den fjärde aspekten av uppfinningen. Den innefattar dessutom en audioavkodningsenhet, vilken extraherar en audiosignal ur mottagna audioramar och en videoavkodningsenhet, vilken extraherar en videosignal ur mottagna videoramar.

Den föreslagna adaptiva tidsskiftningen av en kodad audiosignal relativt en kodad videosignal i en mottagen audio/videomedde- landeström är mycket noggrann och säkerställer därmed att avvikelsen mellan den avkodade audiosignalen och den av- kodade videosignalen aldrig överstiger varaktigheten hos en audioram. Då dessa alltid är väldigt korta och är det möjligt att åstadkomma en tidsmässig ensning mellan audio- och video- signalerna som är acceptabel för de mänskliga sinnena. I de flesta fall är det inte ens möjligt för en människa att över huvudtaget notera någon förskjutning mellan audio- och video- signalerna.

Lösningen enligt uppfinningen är också förhållandevis enkel att implementera och den kräver relativt liten processorkraft. Dess- utom blockeras inte centralprocessorn hos den dator på vilken processen körs under fördröjningsintervallet.

Slutligen underlättar uppfinningen en adaptiv justering av fördröjningsvärdet under drift i händelse att den aktuella situa- tionen så skulle fordra.

KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer nu att förklaras närmare med hänvisning till föredragna utföringsformer, vilka beskrivs som exempel, och 10 15 20 25 517245 med referens till de bifogade ritningarna.

Figur1A-1D visar, med hjälp av tidsaxlar, hur audioramar fördröjs relativt matchande videoramar enligt uppfinningen, Figur2 illustrerar, genom ett flödesschema, den generella metoden enligt uppfinningen, Flgur3 visar ett blockschema över en utföringsform av en apparat och ett system enligt uppfinningen, Figur4 illustrerar, genom ett flödesschema, en utföringsform av metoden enligt uppfinningen, och Bilaga 1 innefattar en datorprogramlista för genomförande av metoden enligt en utföringsform av uppfin- ningen.

DETALJERAD BESKRIVNING AV FÖREDRAGNA UTFÖRINGS- FORMER AV UPPFINNINGEN Figur 1A visar en tidsaxel där audioramar Fa(1) - F,.,(14) inne- hållande kodad audioinformation överförs med ett första ramintervall Ta = 20 ms. En första audioram Fa(1) sänds således vid t = O, följd av en andra audioram Fa(2) 20 ms senare osv.

Figur 1B visar tidsaxel där videoramar F,,(1) - FV(3) innehållande kodad videoinformation motsvarande innehållet i audioramarna Fa(1) - Fa(14) i figur 1A. Videoramarna F,,(1) - F,,(3) överförs med ett andra ramintervall Tv, vilket typiskt är längre än det första ramintervallet Ta. Även om detta är sant för de allra flesta tillämpningar är det omvända förhållandet, åtminstone teoretiskt, likaledes tänkbart.

Enligt detta exempel anländer en första videoram F,,(1) till en mottagare receiver 90 ms senare än en första audioram Fa(1). 10 15 20 25 30 S17 245' Givet att avkodningstiden för en audioram 'är lika med avkod- ningstiden för en videoram bör således de mottagna audiora- marna Fa(1) - Fa(14) fördröjas 90 ms i syfte att tidsmässigt ensa den avkodade audiosignalen med den avkodade videosignalen.

Den önskade fördröjningen Dd för de mottagna audioramarna Fa(1) - Fa(14) är följaktligen 90 ms. Den mänskliga varsebliv- ningen kan emellertid inte särskilja en avvikelse mellan audio- och videoinformationen om denna är lägre än ett visst värde Amax, på säg 80 ms. Därför är det acceptabelt om avvikelsen mellan audio- och videosignalen ligger inom ett maxvärde Amax för den önskade fördröjningen Dd.

Audioramarna Fa(1) - Fa(14) bör fördröjas så att de anländer vid en avkodare Dd i Am, efter mottagning av respektive ramar Fa(1) - Fa(14). Givet att det första ramintervallet Ta är kortare än Amax är det tillräckligt om en faktisk fördröjning av audioramarna ligger inom ett första ramintervall Ta från den önskade fördröjningen Dd. Detta är faktiskt ett säkert antagande, då ett vanligt värde för det första ramintervallet Ta är av storleks- ordningen 20 - 30 ms för dagens audiokodningssystem.

Enligt föreliggande uppfinning uttrycks fördröjningen av audioramarna Fa(1) - Fa(14) som ett heltal audioramintervall.

Mera exakt beräknas ett ramfördröjningsantal nD som ett av de två heltal vilka angränsar till ett förhållande mellan den önskade fördröjningen Dd och det första ramintervallet Ta. Detta kan även uttryckas matematiskt som: ns = <1) eller rwD = [EJ + 1 i (2) Figur 1C visar en tidsaxel i vilken audioramarna Fa(1) - Fa(14) i figur 1A har fördröjts en första tid nbTa motsvarande ett första 10 15 20 25 30 517 245 ramfördröjningsantal n'D gånger det första ramintervallet Ta beräknat enligt uttrycket (1) ovan. Alltså, n'D = int(90/20) = 4 och det första ramfördröjningsantalet n'DTa = 4><20 ms = 80 ms.

Figur 1D visar en tidsaxel i vilken audioramarna Fa(1) - Fa(14) i figur 1A istället har fördröjts en andra tid n"DTa motsvarande ett andra ramfördröjningsantal n"D gånger det första ramintervallet Ta beräknat enligt uttrycket (2) ovan. Alltså, n"D = int(90/20) +1 = 5 och det första ramfördröjningsantalet n"DTa = 5><20 ms = 100 ms.

Såväl den första fördröjningstiden n'DTa som den andra fördröj- ningstiden n"DTa resulterar i en avvikelse (10 ms) från den önskade fördröjningen Dd = 90 ms, vilken ligger väl inom det maximala värdet Ama, (omkring 80 ms). Faktum är att den föreslagna lösningen garanterar en maximal avvikelse lika med det första ramintervallet första ramintervallet Ta = 20 ms. Detta är ett värde som ligger långt under vad som kan särskiljas av den mänskliga varseblivningen.

Den med hänvisning till figurerna 1A - 1D ovan exemplifierade metoden illustreras generellt i figur 2 genom ett flödesschema.

Audioramar och videoramar vilka utgör en audio/videomedde- landeström mottas i ett första steg 200. Ett följande steg 205 extraherar tidsinformation ur de i det föregående steget 200 mottagna ramarna. Audio- och videoramarna antas överföras enligt ett transportprotokoll, som erbjuder stöd för tidsrekon- struktion, såsom RTP (Real-time Transport Protocol). Detta protokoll tilldelar en tidsstämpel vilken indikerar en tidpunkt då en viss ram alstrades. Genom studium av tidsstämplarna är det alltså möjligt att avgöra vilka audio- respektive videoramar som ska presenteras tillsammans för att åstadkomma en tidmässig ensning mellan motsvarande signaler. Typiskt anger tidsstämp- larna i den mottagna audio/videomeddelandeströmmen i vilken grad det är önskvärt att fördröja de mottagna audioramarna relativt videoramarna. Den önskade fördröjningen omvandlas sedan till ett motsvarande ramfördröjningsantal nD enligt ekva- 10 15 20 25 30 517245 10 tionerna (1) och (2) så som beskrivits med hänvisning till figurerna 1C och 1D ovan. Enligt RTP innefattar tidsstämplarna 32 bitar och det initiala värdet ansätts slumpmässigt. Skillnaden mellan ett tidsstämpelvärde och detta ursprungliga värde indikerar således en tidsposition (eller ålder) för en viss ram.

Naturligtvis kan godtycklig alternativ metod för att indikera tidsinformationen hos ramarna lika väl användas under metoden enligt föreliggande uppfinning.

Ett nästföljande steg 210 lagrar ett antal mottagna audioramar lika med ramfördröjningsantalet nD innan en matchande videoram avkodas. Ett följande steg 215 avkodar sedan den matchande videoramen, det vill säga en videoram vars tidsstämpel ungefärligen motsvarar tidsstämplarna för de nD lagrade audioramarna. I praktiken innebär detta att audioramarna kan ha tidsstämplar med något högre och/eller lägre värden än videoramen. Ett följande steg 220 avkodar sedan de no lagrade audioramarna. Slutligen undersöker ett steg 225 huruvida audio/videomeddelandeströmmen är slut, och om så är fallet stannar också proceduren. Annars àterförs proceduren till det första steget 200.

Figur 3 visar ett blockschema över en utföringsform av en apparat 300 och ett system enligt uppfinningen. Systemet innefattar en sändarstation, ett överföringsmedium och en mot- tagarstation. Mottagarstationen innefattar i sin tur en apparat, vilken erbjuder adaptiv tidsskiftning av en kodad audiosignal relativt en kodad videsignal i en mottagen audio/videomedde- landeström, så att motsvarande avkodad audiosignal respektive avkodad vídeosignal ensas tidsmässigt inom ett maximalt av- vikelseintervall.

Akustisk och rörlig bildinformation alstras vid sändarstationen och upptas av en mikrofon 301 respektive en videokamera 302.

En audiosignal som modellerar den akustiska informationen överförs frán mikrofonen 301 till en audiokodningsenhet 303, som samplar signalen, omvandlar samplen till ett digitalt kodat 10 15 20 25 30 35 517” "245 11 format och bildar audioramar Fa vilka levereras till en multiplexor 305 enligt ett första ramíntervall. På motsvarande sätt överförs en videosignal som representerar den rörliga bild- informationen från videokameran 302 till en videokodningsenhet 304, som samplar signalen, omvandlar samplen till ett digitalt kodat format och bildar videoramar FV vilka levereras till multiplexorn 305 enligt ett andra ramíntervall.

Multiplexorn 305 kombinerar audioramarna och videoramarna till en audio/videomeddelandeström, vilken överförs via överförings- mediet 306 till mottagarstationen. Överföringsmediet 306 utgörs typiskt av transmissionsresurser på Internet. Överföringsmediet 306 kan emellertid vara godtycklig annan transmissionsresurs med tillräckliga bandbredds- och fördröjníngsegenskaper och kan sättas upp i godtycklig fast eller mobil kommunikationsmiljö.

En Apparat 300 i mottagarstationen samlar audio/videomedde- landeströmmen i en demultiplexor 307, vilken separerar strömmen i audioramar Fa respektive videoramar FV. Dessutom ordnar demultiplexorn 307 de inkommande audioramarna Fa och videoramarna FV i kronologisk ordning. Detta kan exempelvis genomföras på basis av ramsekvensnumret, vilket tilldelats varje ram på sändarsidan då respektive ram alstrades. Demultiplexorn 307 extraherar även tidsinform-ation tsa, tsv ur de mottagna ramarna Fa, F,, och överför denna information till en styrenhet 312. Dessutom lagrar styrenheten 312 ett värde internt, vilket anger intervallet Ta mellan två konsekutiva audioramar Fa som genererats av audiokodningsenheten 303. Baserat på denna tidsinformation tsa, tsv relaterad till de mottagna ramarna Fa, F., respektive intervallet Ta beräknar styrenheten 312 ett önskat fördröjningsvärde Da och ett motsvarande fördröjningsantal nD enligt den tidigare beskrivna metoden. Storleken hos fördröjningsantalet nD avgör hur styrenheten 312 styr omkopp- ling av brytare A, B, C respektive D samt andra enheter i appa- raten 300, så att metoden enligt denna utföringsform av upp- finningen àstadkommes. Detta kommer att beskrivas i närmare detalj nedan med hänvisning till figur 4. 10 15 20 25 30 35 517145 12 Audioramarna Fa förmedlas till en indataformatterande enhet 308 via en första fördröjningsomkopplare A. När denna omkopp- lare A placerats i ett första läge 1 kan audioramarna Fa passera genom den till den indataformatterande enheten 308, där de inkommande audioramarna Fa ordnas enligt en datastruktur som är lämpad för sekventiell lagring l en fördröjningsbuffert. Detta kan exempelvis innebära översättning av en första uppsättning variabler till en andra uppsättning variabler, vilka beskriver data- storleken och/eller strukturen hos audioramarna Fa. Om emel- lertid den första fördröjningsomkopplaren A placeras i ett andra läge 0 passerar de inkommande audioramarna Fa utan extra fördröjning till en andra fördröjningsomkopplare D (placerad i ett andra läge 0) efter vilken audioramarna Fa anländer till en audioavkodningsenhet 313. Den första fördröjningsomkopplaren A och den andra fördröjningsomkopplaren D styrs bägge av styrenheten 312 och placeras i sina respektive andra lägen 0 då det beräknade fördröjningsantalet ng är lika med noll.

Om emellertid fördröjningsantalet nD beräknas till ett värde större än noll, placerar styrenheten 312 den första fördröjnings- omkopplaren A och den andra fördröjningsomkopplaren D i sina respektive första lägen 1. Detta resulterar i att inkommande audioramar Fa matas genom den indataformatterande enheten 308 till en första buffertomkopplare B, vilken initialt är placerad i ett andra läge 0, så att audioramarna Fa matas sekventiellt till en första buffert 309 av FIFO-typ (FlFO = First ln / First Out).

Samtidigt läses tidigare lagrade audioramar Fa (om sådana existerar) sekventiellt ut från en andra buffert 310, också den av FlFO-typ, via en utdataleveransenhet 311 till audioavkodnlngs- enheten 313. Utdataleveransenheten 311 ordnar om audio- ramarna Fa enligt en datastruktur, vilken är anpassad för avkodning. Detta kan exempelvis innebära översättning av den andra uppsättningen variabler tillbaka till den första uppsätt- ningen variabler, vilka beskriver datastorleken och/eller struk- turen hos audioramarna Fa. I början av en ny audiolvideomedde- landeström är den andra bufferten 310 tom, vilket innebär att det 10 15 20 25 30 517: 245 13 under denna inledande fas matas en nollsignal ut, det vill säga tomma audioramar Fa, från den andra bufferten 310.

Då ett antal audioramar Fa lika med fördröjningsantalet nD har lagrasts i den första bufferten 309 placerar styrenheten 312 den första buffertomkopplaren B i sitt första läge 1. Parallellt med detta placeras en andra buffertomkopplare C i ett andra läge 0.

Audioramarna Fa matas nu istället sekventiellt in i den andra bufferten 310. Samtidigt läses de audioramar Fa ut från den första bufferten 309, som lagrades i denna buffert 309 under det förra fördröjningsintervallet. Efter ytterligare ett fördröjnings- antal nD audioramar Fa ställer styrenheten 312 ånyo om buffert- omkopplarna B och C. Effekten av denna alternerande lagring respektive utläsning från den första bufferten 309 och den andra bufferten 310 är att audioramar Fa matas in i audioavkodnings- enheten 313 med en fördröjning motsvarande fördröjningsan- talet nD gånger ramintervallet Ta.

Styrenheten 312 registrerar kontinuerligt tidsinformation infor- mation tsa, tsv hos de mottagna audioramarna Fa och videora- marna FV samt beräknar på basis därav uppdaterade för- dröjningsantal nD. Skulle ett fördröjningsantal no beräknas, vilket är större än dess aktuella värde kommer längre sekvenser av audioramar Fa att lagras i buffertarna 309; 310, och skulle istället ett fördröjningsantal nD beräknas, vilket är lägre än dess aktuella värde kommer kortare sekvenser av audioramar Fa att lagras i buffertarna 309; 310. i I det senare fallet måste att antal audioramar Fa lika med minskningen av fördröjningsantalet nD kasseras. Detta kan effektueras genom att ett tillräckligt antal blindutläsningar sker ur en relevant buffert och att motsvarande antal audioramar Fa kasseras. Naturligtvis kan en sådan kassering genomföras momentant från ett fördröjningsintervall till ett annat. Om emellertid fördröjningsantalet nD ska minskas med mera än ett erhålls en perceptuellt förbättrad utsignal om detta sker som en gradvis övergång från det högre till det lägre värdet. 10 15 20 25 30 1517 245 14 Figur 3 visar buffertarna 309 och 310 som två separata enheter.

Naturligtvis utesluter detta varken att buffertarna innefattas i en och samma minnesenhet eller att buffertarna utgör separata delar av samma minnesarea.

Styrenheten 312 styr alltså omkopplarna A, B, C och D i apparaten 300 så att audioramarna Fa som matas in till audioav- kodningsenheten 313 och videoramarna FV som matas in till videoavkodningsenheten 315 är ensade tidsmässigt inom en maximal avvikelse motsvarande det första ramintervallet Ta.

Som en konsekvens därav kommer motsvarande avkodade audiosignal och motsvarande avkodade videosignal att presen- teras för en användare via en högtalare 314 respektive en videomonitor 316 med en tidsmässig ensning som ligger inom en maximal avvikelse (och vad som kan urskiljas av den mänsk- liga sinnena).

I händelse att avkodningen av en videoram F, tar längre tid än avkodningen av en audioram Fa, eller vice versa, justeras det önskade fördröjningsvärdet Da i syfte att kompensera för detta faktum, så att den avkodade audiosignalen och den avkodade videosignalen fortfarande ensas tidsmässigt inom det maximala avvikelseintervallet.

Figur 4 illustrerar, i ett flödesschema, en utföringsform av uppfinningen enligt vilken styrenheten 312 i figur 3 styrs. Vid varje ramintervall startar proceduren i ett första steg 401 där det undersöks huruvida ett aktuellt fördröjningsantal nD är lika med noll. Om denna fråga besvaras jakande undersöker sedan ett följande steg 402 huruvida fördröjningsantalet no ska ändras.

Om fördröjningsantalet ng bör bibehållas på nollvärdet, fortsätter proceduren med ett steg 403 som sätter utsignalen lika med insignalen (vilket innebär att inkommande audioramar Fa passeras direkt fràn demultiplexorn 307, via den första fördröj- ningsomkopplaren A till den andra fördröjningsomkopplaren D i figur 3). Efter det går proceduren ut med ett fördröjningsantal nD lika med noll och återgår till det första steget 401. 10 15 20 25 30 35 517 245 15 l händelse att frågan i steg 402 besvaras jakande uppdateras fördröjningsantalet nD till ett nytt värde i ett efterföljande steg 404. Att steg därefter 405, efterfrågar ånyo om fördröjningsanta- let nD är noll, och om så är fallet (förvisso osannolikt) fortsätter proceduren till steget 403. Annars bildas indata i ett steg 406.

Detta innebär att inkommande audioramar Fa ordnas i krono- logisk ordning (i den indataformatterande enheten 308). Därefter undersöker ett steg 407 huruvida fördröjningsintervallet är slut, det vill säga om en tidpunkt har nåtts vid vilken en förändring av fördröjningsantalet nD kan ske. Om frågan enligt steg 407 besvaras jakande undersöker ett steg 408 om fördröjnings- antalet nD bör ändras, och om så är fallet, tilldelas parametern ett nytt värde i ett följande steg 409, och den första buffertom- kopplaren B ställs om i ett följande steg 410. Annars fortsätter proceduren direkt från steget 408 till steget 410, där den första buffertomkopplaren B ställs om, så att inkommande audioramar Fa matas in i en annan buffert (det vill säga 309 eller 310) än vid föregående fördröjningsintervall.

Ett följande steg 411 undersöker det aktuella läget för den första buffertomkopplaren B, och om denna omkopplare B befinns vara i sitt andra läge 0 fortsätter proceduren till ett steg 412. Detta steg undersöker om storleken hos de inkommande audiora- marna Fa är noll, det vill säga huruvida det existerar data att lagra i en buffert. Givet att sådana data existerar skriver ett följande steg 413 in datat i den första bufferten 309 (det vill säga lagras sekventlellt i den första bufferten 309). Om emel- lertid steget 412 finner att storleken hos de inkommande audioramarna är noll (det vill säga det inte finns någon data att lagra i den första bufferten 309) undersöker ett följande steg 414 huruvida den andra bufferten 310 är tom, och om så är fallet, levereras en utsignal till utdataleveransenheten 311 som är noll i ett följande steg 415. Annars läser ett steg 416 ut datat (det vill säga lagrade audioramar Fa) från den andra bufferten 310, via den andra buffertomkopplaren C, till utdataleverans- enheten 311. 10 15 20 25 30 "5171245 16 Om steget 411 finner att den första buffertomkopplaren B befinner sig i sitt första läge 1 fortsätter istället proceduren till ett steg 417, vilket undersöker huruvida storleken hos "de inkommande audioramarna Fa är noll (det vill säga om det finns någon indata). Givet att icke-tomma audioramar Fa tas emot skriver ett följande steg 418 data i den andra bufferten 310 (det vill säga audioramar Fa lagras sekventiellt i den andra bufferten 310) och proceduren fortsätter till ett steg 419. Om emellertid steget 417 finner att storleken hos de inkommande audiora- marna Fa är noll (det vill säga det inte finns någon data att lagra i den andra bufferten 310), fortsätter proceduren direkt till steget 419. Detta steg undersöker huruvida den första bufferten 309 är tom, och om så är fallet, sätts den utsignal som levereras till utdataleveransenheten 311 till noll i ett efterföljande steg 420.

Annars läser ett steg 421 ut data (det vill säga lagrade audioramar Fa) från den första bufferten 309, via den andra buffertomkopplaren C, till utdataleveransenheten 311. Sedan går proceduren ut med ett fördröjningsantal nD större än noll och återgår till det första steget 401.

En datorprogramlista för att genomföra metoden enligt en utföringsform av uppfinningen bifogas som en bilaga 1.

Termen "innehåller/innehållande" anger, då den används i denna ansökan, närvaron av angivna kännetecken, heltal, steg eller komponenter. Termen utesluter emellertid inte närvaron av eller tillägg av ett eller flera ytterligare kännetecken, heltal, steg eller komponenter eller grupper därav.

Uppfinnlngen är inte begränsad till de utföringsformer, som beskrivits med hänvisning till figurerna utan kan varieras fritt inom omfånget hos de påföljande patentkraven.

Claims (15)

10 15 20 25 30 517245 17 Patentkrav

1. En metod för att adaptivt tidsskifta en kodad audiosignal relativt en kodad videosignal i en mottagen audiolvideomed- delandeström så att en motsvarande avkodad audiosignal och en motsvarande videosignal ensas tidsmässigt inom ett maxi- malt avvikelseintervall (Amax), där den kodade audiosignalen är indelad i audioramar (Fa) med ett första ramintervall (Ta), den kodade videosignalen är indelad i videoramar (FV) med ett andra ramintervall (Tv), och en önskad fördröjning (Dd) av den kodade audiosignalen bestäms för att motsvarande avkodade audio- och videosignaler ska ensas inom det maximala avvikelseintervallet (Amax), metoden kännetecknad av stegen: beräkning av ett ramfördröjningsantal (nD) som ett av de två heltal vilka angränsar till ett förhållande mellan den önskade fördröjningen (Dd) och det första ramintervallet (Ta), sekventiell lagring av ett antal audioramar (Fa(1) - Fa(5)) lika med ramfördröjningsantalet (no) innan avkodning av en matchande videoram (Fv(1)), avkodning av den matchande videoramen (F\,(1)), avkodning av de lagrade audioramarna (Fa(1) - Fa(5)) enligt den sekventiella lagringsordningen, och upprepning av de ovanstående stegen för de återstående audioramarna (Fa(6) - Fa(k)) respektive videoramarna (Fv(2) - Fv(m)) i audio/videomeddelandeströmmen.

2. En metod enligt krav 1, kännetecknad av att ramfördröj- ningsantalet (nD) är lika med heltalsdelen av förhållandet mellan den önskade fördröjningen (Dd) och det första ramintervallet (Ta)-

3. En metod enligt krav 1, kännetecknad av att ramfördröj- ningsantalet (nD) är lika med heltalsdelen av förhållandet mellan den önskade fördröjningen (Dd) och det första ramintervallet (Ta) 10 15 20 25 s17ï24s 18 plus ett.

4. En metod enligt något av föregående krav, kännetecknad av att audio/videomeddelandeströmmen mottas enligt ett transportprotokoll vilket erbjuder stöd för tidsrekonstruktion.

5. En metod enligt krav 4, kännetecknad av att varje audioram (Fa) och varje videoram (FV) tilldelas en tidsstämpel som indikerar en tidpunkt vid vilken en viss ram (Fa; FV) alstrades.

6. En metod enligt krav 5, kännetecknad av att den önskade fördröjningen (Da) avgörs av tidsstämplarna vilka tilldelats audioramarna (Fa) respektive videoramarna (FV) i audiolvideo- meddelandeströmmen

7. Ett datorprogram, direkt laddbart till internminnet i en dator, innefattande mjukvara _för att utföra metoden, enligt något av kraven 1 - 6 då programmet körs på en dator.

8. Ett datorläsbart medium på vilket ett program finns lagrat, som är ägnat att förmå en dator att utföra metoden enligt något av kraven 1 - 6.

9. En apparat för att adaptivt tidsskifta en kodad audiosignal relativt en kodad videosignal i en mottagen audiolvideomed~ delandeström så att en motsvarande avkodad audiosignal och en motsvarande videosignal ensas tidsmässigt inom ett maxi- malt avvikelseintervall (Amax), där den kodade audiosignalen är indelad i audioramar (Fa) med ett första ramintervall (Ta), och den kodade videosignalen är indelad i videoramar (FV) med ett andra ramintervall (TV), apparaten kännetecknad av att den innefattar: en första buffert (309) för sekventiell lagring av mottagna 10 15 20 25 30 35 S17 '245 19 audioramar (Fa), en andra buffert (310) för Sekventiell lagring av mottagna videoramar (FV), och en styrenhet (312) för lagring av ett första ramintervallsvärde (Ta) motsva- rande tidsavståndet mellan två konsekutivt alstrade audioramar (Ta), fastställande och lagring av ett önskat fördröjnings- värde (Da) från tidsindikatorer (tsa, tsv) i de mottagna audioramarna (Fa) och de mottagna videoramarna (FV) i den mottagna audio/videomeddelandeströmmen, det önskade fördröjningsvärdet (Da) indíkerande en nödvändig fördröjning av audioramarna (Fa) för att de avkodade audio- och videosignalerna ska ensas tidsmässigt inom ett maximalt avvikelseintervall, beräkning av ett ramfördröjningsantal (nD) som ett av de två heltal vilka angränsar till ett förhållande mellan den önskade fördröjningen (Da) och det första ramintervallet (Ta), och styrning av en alternerade lagring av ett ramfördröj- ningsantal (nD) audioramar (Fa) i den första bufferten (309) under utläsning av ett ramfördröjningsantal (nD) audio- ramar (Fa) från den andra bufferten (310) respektive alter- nerade lagring av ett ramfördröjningsantal (nD) audioramar (Fa) i den andra bufferten (310) under utläsning av ett ramfördröjningsantal (nD) audioramar (Fa) från den första bufferten (309).

10. En apparat enligt krav 9, kännetecknad av att den innefattar en första buffertomkopplare (B) och en andra buffertomkopplare (C), styrenheten (312) styr den första buffertomkopplaren (B) att alternerande lagra ljudramar (Fa) i den första bufferten (309) eller i den andra bufferten (310), och styrenheten (312) styr den andra buffertomkopplaren (C) att alternerande läsa ut ljudramar (Fa) från den första bufferten 10 15 20 25 30 517 5245 20 (309) eller från den andra bufferten (310).

11. En apparat enligt något av kraven 9 eller 10, känne- tecknad av att den innefattar en första fördröjningsomkopplare (A) och en andra fördröjningsomkopplare (D), styrenheten (312) styr den första fördröjningsomkopplaren (A) att alternerande addera en fördröjning till den mottagna audiosignalen genom att mata in dess motsvarande audioramar (Fa) genom buffertarna (309; 310) eller förmedla dess mot- svarande audioramar (Fa) utan extra fördröjning, och styrenheten (312) styr den andra fördröjningsomkopplaren (D) att alternerande läsa ut fördröjda ljudramar (Fa) från buffertarna (309; 310) eller icke-fördröjda ljudramar (Fa) via den i första fördröjningsomkopplaren (A).

12. En apparat enligt något av kraven 9 - 11, kännetecknad av att den innefattar en demultiplexor (307), vilken: mottar audio/videomeddelandeströmmen och den i audioramar (Fa) respektive videoramar (FV), ordnar audioramarna (Fa) och videoramarna (FV) i tidsek- vensordning baserat på en till vardera ram tilldelad tidsindi- kation (tsa; tsV), och förmedling av audioramarna (Fa) och tidsindikationer (tsa) för audioramarna (Fa) samt videoramarna (FV) till styrenheten (312). Sepafefal'

13. En apparat enligt krav 12, kännetecknad av att den innefattar en indataformatterande enhet (308) och en utdata- leveransenhet (311), där den indataformatterande enheten (308) mottar audioramar (Fa) som ska fördröjas från demultiplexorn (307) och ordnar sådana ramar enligt en datastruktur vilken är anpassad för sekventiell lagring i en fördröjningsbuffert, och utdataleveransenheten (311) ordnar om de fördröjda 10 15 20 25 30 1517245 21 audioramarna (Fa) enligt en datastruktur som är anpassad för avkodning och leverans av ramarna till efterföljande avkodning till en avkodad audiosignal.

14. Ett system för överföring av realtids audio- och videoinfor- mation fràn en sändarstation till en mottagarstation via ett överföringsmedium (306), där sändarstationen innefattar en audiokodningsenhet (303) för att koda audioinformation till audioramar (Fa), en videokod- ningsenhet (304) för att koda videoinformation till videoramar (FV) och en multiplexor för att kombinera audioramarna (Fa) och videoramarna (FV) till en audio/videomeddelandeström att sän- das över överföringsmediet (306), och mottagarstationen innefattar en apparat enligt något av kraven 9 - 13, en audioavkodningsenhet (313) för att extrahera en audiosignal ur mottagna audioramar (Fa) och en videoavkod- ningsenhet (315) för att extrahera en videosignal ur mottagna videoramar (FV).

15. Ett system enligt krav 14, kännetecknat av att sändar- stationen innefattar: en mikrofon (301) för att registrera akustiska data och förmedla en audiosignal till audiokodningsenheten (303), och en videokamera (302) för att registrera bilddata och förmedla en videosignal till videokodningsenheten (304), och mottagarstationen innefattar: en högtalare (314) för att motta en audiosignal från audioavkodningsenheten (313), och en videomonitor (316) för att motta en videosignal från videoavkodningsenheten (315) och presentera en motsvarande bildsignal.