NO325934B1 - Fremgangsmate for a velge komprimeringsalgoritme for komprimering av data - Google Patents

Abstract

Oppfinnelsen angår en fremgangsmåte for å velge komprimeringsalgoritme for komprimering av data som omfatter å analysere dataene og basert på resultatet av analysen av dataene, velge en komprimeringsalgoritme. Oppfinnelsen angår også en fremgangsmåte for å overføre datamateriale fra en enhet til en annen som i tillegg komprimerer dataene med den valgte komprimeringsalgoritmen, overfører de komprimerte dataene, analyserer de overførte dataene for å finne den benyttede komprimeringsalgoritmen, velger dekomprimeringsalgoritme svarende til den benyttede komprimeringsalgoritmen og dekomprimerer dataene. Oppfinnelsen kan benyttes for overføring av data over en transmisjonskanal med begrenset kanalkapasitet, både akutt og fremtidig.

Description

Oppfinnelsen angår en fremgangsmåte for å velge komprimeringsalgoritme for komprimering av data og en fremgangsmåte for å overføre datamateriale fra en enhet til en annen.

Bakgrunn

Elektronisk A/V kommunikasjon er i kraftig utvikling, samtidig som kravet til mobilitet hos brukeren er økende. A/V kommunikasjon benyttes for informasjonsflyt mellom mennesker eller mellom maskin og menneske. Graden av verdien på informasjonen er blant annet en funksjon av hvor detaljert den er og av hvor raskt den oppdateres.

Elektronisk bilde materiale karakteriseres blant annet av følgende parametere:

• Bildeoppløsning (antall pixler vertikalt og horisontalt)

• Bilderate (frames pr sekund)

• Farvedybde (antall bit som skal til for å beskrive intensiteten pr farge rød, grønn og blå)

• Farvehistogram (hyppighet av hver farge pr. frame)

Elektronisk lyd materiale karakteriseres blant annet av følgende parametere:

• Dynamikkområde (forskjellen mellom det sterkeste og svakeste signal)

• Frekvenskarakteristikk

• Antall kanaler (mono, stereo, surround)

Generelt kan man si at fremveksten av CPU-kraft og kraftige (raske og høyoppløselige) analog-til-digital konvertere har gjort at datamengdene for digitaliserte analoge signaler som eksempelvis A/V signaler er økende. Andre digitaliserte analoge signaler kan være måleverdier fra sensorer (trykk,temperatur,lys,lyd,fuktighet m.m) benyttet i industri og forskning.

Problemstillingen som ligger til grunn for oppfinnelsen gjelder for alle typer datamateriale og er ikke begrenset til A/V datamateriale slik som er beskrevet over. For illustrasjon av oppfinnelsen er det imidlertid i denne beskrivelsen benyttet elektronisk bildemateriale som eksempel, men dette skal ikke anses begrensende for oppfinnelsen.

I den følgende beskrivelse er følgende begreper benyttet:

Piksel:

Den minste bestanddelen i et bilde.

Sanntid:

Et system som opererer i sann tid responderer umiddelbart etter at det har fått ny informasjon uten det omgivelsene vil oppleve som forsinkelse.

Redundans:

Dersom et data materiale inneholder mye redundans, er den samme informasjonen gjengitt flere ganger. Når mye informasjon i data materialet er nesten identisk, kan dette oppfattes som redundans. Et eksempel er et høy oppløselig digitalisert bilde av en himmel. Det menneskelige øye vil ikke oppfatte ørsmå forskjeller i fargenyanser, og informasjonen betraktes derfor som redundant.

Komprimering og komprimeringsgrad: Datakomprimering er en metode for å begrense data mengden i et gitt datamateriale, eksempelvis et digitalisert bilde. Hensikten ved å utføre datakomprimering kan være begrenset tilgang på datalagringsmedium eller begrenset kanalkapasitet i en transmisj onskanal.

Datakomprimering kan deles i 2 hovedkategorier:

Tapsfri komprimering og kodingsgevinst:

Ved å benytte en tapsfri datakomprimeringsalgoritme vil alle dataene i det originale materialet være tilgjengelig etter at komprimering er foretatt. Graden av reduksjon på datamaterialets størrelse etter kompresjon angir kodingsgvinsten. En måleenhet for kodingsgevinst kan være størrelsen (i antall bytes) på det komprimerte datamaterialet dividert på størrelsen på det originale datamaterialet.

Ikke- tapsfri ( lossy) komprimering:

En algoritme for lossy datakomprimering fjerner data i det originale materialet etter bestemte kriterier. Alle dataene i det originale materialet er ikke tilgjengelig etter at komprimering er foretatt. Noen algoritmer tillater brukeren å velge hvor høy/hard komprimeringsgrad som skal benyttes. Jo høyere komprimeringsgrad, jo mer av det originale data materialet fjernes.

Kanalkapasitet:

Kanalkapasitet for en transmisj onskanal beskriver den maksimale dataraten som kan overføres over den angitte kanalen. Måleenhet for kanalkapasitet er datamengde pr tidsenhet, eksempelvis Megabyte pr sekund (Mbps). For mange transmisjonskanaler vil kanalkapasiteten variere som funksjon av tid. Dette gjelder spesielt for radiolinker

Visuell kvalitet:

Visuell kvalitet beskriver verdien på hvordan et bildemateriale oppfattes av det menneskelige øye og hjerne.

Frame:

En frame eller en ramme er ett bilde i en film sekvens. Vanlig benevnelse er frames pr second, dvs. antall rammer per sekund.

Transmisj onskanal:

En transmisj onskanal beskriver en kobling mellom en sender og mottager, eksempelvis en datakabel eller en radiolink.

For å kunne lette prosesseringen av bildemateriale, er det hensiktsmessig å ta utgangspunkt i et digitalt eller digitalisert bilde, det vil si et bilde som kan behandles på en datamaskin. Dermed kan man benytte CPU-ressurser for å gjøre skalering eller andre justeringer på materialet, i tillegg til å kunne overføre informasjonen over digitale transmisj onskanal er.

Bildemateriale inneholder ofte store mengder informasjon, og i mange tilfeller er det snakk om film som består av mange bilder (frames) per sekund. Dersom disse bildene ikke blir overført i riktig hastighet, og med riktig bildekvalitet, vil den visuelle kvaliteten bli sterkt redusert.

Når denne informasjonen skal overføres over en transmisjonskanal, vil transmisj onskanal en svært ofte ikke ha kapasitet til å kunne overføre den informasjonsmengden som trengs - man har da en begrenset transmisjonskanal.

Dersom informasjonsmengden fra bildematerialet som skal overføres er større enn kapasiteten til transmisjonskanalen (målt i informasjonsmengde pr tidsenhet, bps) når aktuelt bildematerialet skal transmitteres, kan dette løses på flere måter. Eksempler på metoder for å løse dette er:

a) Bruk av lengre tid på transmisjonen

b) Prioritering av transmisj onssikkerhet for deler av bildematerialet

c) Utelatelse av overføring av deler av bildematerialet (enkel ikke-tapsfri komprimering)

d) Komprimering av bildematerialet før transmisjon

Dersom det foreligger et krav til at bildematerialet skal overføres i sann tid, faller

alternativ a) bort, jfr. definisjonen av sann tid

Ved å prioritere transmisj onssikkerheten for de enkelte komponentene i bildematerialet som skal transmitteres (alternativ b), må man vurdere hvilke komponenter i materialet som oppleves som visuelt viktige og benytte metoder for å sikre at dette materialet blir overført med stor sikkerhet. Overføring av deler av materialet med større sikkerhet vil gå på bekostning av komponenter i materialet som rangeres som mindre viktige, som må få tilsvarende lav overføringssikkerhet, for å ikke overgå kanalkapasiteten.

Dette kan således betegnes som en komprimeringsmetode, idet man manipulerer dataene slik at man risikerer at uviktige eller redundante data ikke nødvendigvis blir overført.

Ved å utelate å overføre deler av informasjonsmengden (alternativ c), må dette gjøres på en måte som gjør at man begrenser tap av visuell kvalitet. Bildemateriale inneholder ofte mye redundans, og man kan derfor akseptere at informasjon blir utelatt dersom utelatelsen skjer kontrollert. Dette er i og for seg en variant av alternativ b, ettersom mindre viktig informasjon utelates.

Den mest avanserte måten å utelate redundant eller tilnærmet redundant informasjon på er å benytte mer avanserte komprimeringsalgoritmer (alternativ d).

Det finnes flere metoder og algoritmer for bildekomprimering. Disse metodene har forskjellige egenskaper som gjør at de komprimerer visse typer bildemateriale bedre enn andre. Eksempler på parametere som karakteriserer slike komprimeringsalgoritmer er:

• Tapsfri eller ikke-tapsfri komprimering

• Komprimeringsgrad vs visuell kvalitet

(gjelder for ikke-tapsfri komprimeringsalgoritmer)

• -Ressursbehov i utstyr som utfører komprimering/dekomprimering, slik som for eksempel:

- Effektforbruk.

Stort effektforbruk vil generere mye varme som kan være problematisk i enkelte miljøer, dessuten vil en effektkrevende enhet gjør brukstiden kort dersom batteri benyttes.

- Sanntidshåndtering vs. prosesseringskraft.

Avanserte komprimeringsalgoritmer krever mye ressurser. Dersom tilgjengélig utstyr som utfører komprimeringen er begrenset vil komprimeringen ta tid og kan gå utover sanntidskravet.

Digitalt bildemateriale kan grovkategoriseres slik:

• "Naturlige" stillbilder med små variasjoner mellom nabo-piksler når det gjelder farge og intensitet • CPU genererte stillbilder med høyere hyppighet av distinkte forskjeller i intensitet og farge hos nabo-piksler • CPU genererte animasjons filmer med relativt distinkte forskjeller hos nabopiksler og nabo-frames i farge og intensitet • "Naturlig" bevegelig film (motion picture) med små variasjoner mellom nabo-piksler og nabo-frames når det gjelder farge og intensitet • Kombinasjoner av de overnevnte -"twilight zones"

En grafisk fremstilling av hvordan man kan kategorisere bildematerialer er gitt i figur 1.

Den horisontale aksen angir graden av informasjonsmengde som forandrer seg fra frame til frame, mens den vertikale aksen angir graden av hvor "naturlig" bildematerialet er. En presentasjon av et digitalt fotografi har små variasjoner mellom nabo-piksler når det gjelder farge og intensitet og forandrer seg ikke mellom frarnes. Denne må derfor plasseres nederst til venstre på figuren (a). En presentasjon av en CPU generert tekst inneholdende et fotografi (eksempelvis en side i en bok) vil plasseres høyere opp på den vertikale akse (b) fordi det er en høyere grad av CPU generert materiale med større forandring i intensitet mellom nabo piksler. Et CPU generert bilde har større grad av variasjon, som for eksempel en presentasjon av et regneark. Dette har distinkte linjer og forandrer seg svært lite over tid (lite variasjon fra frame til frame). Den plasseres derfor øverst til venstre i figuren ( c).

En presentasjon laget i eksempelvis Powerpoint har regelmessige forandringer av hele bildeinnhold, noe som tilsier tidvis stor forandring i informasjon fra en frame til den neste. Dessuten benyttes det i stor grad CPU generert materiale. Det betyr at de distinkte overgangene mellom pikslene er tilstede - derfor plassert høyt opp i figuren. Fordi man har regelmessig skift i inter-frame informasjon er riktig plassering øverst til høyre i figuren (d). Dersom det legges inn små animasjoner i presentasjonen, vil deler av bildeinformasjonen oppleve stor inter-frame forandring, mens resten av bildet "står stille". Riktig plassering av figuren vil fortsatt være til høyre, men fordi en animasjon har mindre forandring mellom pikslene (dersom animasjonen skal virke "naturlig"), er riktig plassering lengre ned på vertikal akse (e). Helt nederst til høyre i figuren vil man plassere bevegelig naturlig film - motion picture. Her er det stor forandring fra én frame til den neste, mens forskjell i farve og intensitet mellom nabo pikslene er mindre (f).

I enkelte tilfeller er det vanskelig å vurdere om materialet tilhører et CPU generert materiale eller om det ser "naturlig" ut, ved for eksempel et manipulert fotografi. Likeledes kan det være noe informasjonsforandring fra frame til frame, typisk gitt ved en presentasjon med kun en svært liten animasjon. Denne gråsonen er kalt "twilight zone" (g) og her kan det være utfordrende å finne en optimal komprimeringsalgoritme for aktuelt bildemateriale.

Kombinasjoner av kategorier kan eksemplifiseres ved en power point presentasjon inneholdende moduler med både regneark, tekst og en film. De ulike modulene har ulike visuelle egenskaper, for eksempel som beskrevet over. Dersom man skal komprimere bildemateriale som inneholder flere typer slike moduler, må det utføres et valg av komprimeringsalgoritme for hver modul for å oppnå optimal visuell kvalitet når materialet skal presenteres etter overføring og dekomprimering av det komprimerte materialet.

Dersom det benyttes en komprimeringsalgoritme som ikke er optimal for den aktuelle typen bildemateriale, oppleves dette som utilstrekkelig visuell kvalitet ved at det innføres forvrengning. Dersom materialet komprimeres for mye, (for eksempel ved tilpasning til en begrenset overføringskapasitet i transmisjonskanalen) fjerner man mer informasjon enn det som er redundant, dvs. at viktig informasjon kan bli fjernet. Dette kan også føre til ikke-akseptabel visuell kvalitet i form av forvrengning. Det er særlig ved høy komprimeringsgrad at effekten ved bruk av uegnet komprimeringsalgoritme på aktuelt bildemateriale blir tydelig.

Eksempler på tapsfrie komprimeringsalgoritmer er RLE og LZW. Disse benytter seg av at når datamaterialet inneholder mye redundans, dvs. at samme informasjon er representert flere ganger, vil man kunne beskrive informasjonen på en annen måte ved å "telle" forekomster av de redundante dataene. Denne måten vil være mindre plasskrevende og kreve mindre kanalkapasitet ved overføring enn det opprinnelige datasettet.

Ikke-tapsfrie algoritmer kan være JPEG og MPEG. JPEG benytter seg blant annet av at bildemateriale har en del informasjon som oppfattes av den menneskelige hjerne som redundant, selv om informasjonen for de aktuelle pikseldataene faktisk er noe forskjellig. En slik algoritme er ikke egnet for CPU-generert grafikk med distinkte overganger mellom nabopiksler. MPEG er en algoritme som i tillegg benytter redundansen mellom en eller flere frames i en bildesekvens.

Det finnes i dag ingen løsning som kan velge optimal komprimeringsalgoritme for materiale med forskjellig innhold som krever forskjellig type komprimering, når det foreligger et sanntidskrav eller et fremtidig krav til komprimeringsgrad.

Oppsummert kan vi si at det i dag ikke finnes løsninger som klarer å velge optimal komprimeringsalgoritme for aktuelt bildemateriale når ett eller flere av følgende hensyn skal tas: • Bildematerialet skal komprimeres og transmitteres i sann tid eller at det finnes et fremtidig krav til komprimeringsgrad • Bildematerialet innehar egenskaper som gjør at det er påkrevet å benytte forskjellige komprimeringsalgoritmer for å komprimere en gitt datamengde • Tilgjengelig kanalkapasitet er begrenset og varierer i tid i forhold til akutt eller fremtidig behov

Hensikten med oppfinnelsen er å tilveiebringe en fremgangsmåte for å velge egnet algoritme for komprimering av data som tar hensyn til dataenes egenskaper slik at komprimeringsgraden er tilstrekkelig stor uten at nødvendig informasjon forringes. Dette er for eksempel viktig ved overføring av data fra en enhet til en annen over en kanal med begrenset kapasitet hvor det må tas hensyn til både overføringshastighet og kvaliteten på de overførte data.

Hensikten med oppfinnelsen oppnås ved patentkravene.

En fremgangsmåte i henhold til oppfinnelsen for å velge komprimeringsalgoritme for komprimering av daga omfatter trinnene: å analysere dataene og basert på resultatet av analysen av dataene, å velge en komprimeringsalgoritme.

I en annen utførelse av oppfinnelsen baseres valg av komprimeringsalgoritme også på tilgjengelig kanalkapasitet for overføring av dataene over en transmisjonskanal.

I enda en utførelse av oppfinnelsen analyseres dataene med hensyn til en eller flere parametere.

Disse parametrene kan være en eller flere av følgende kvalitetsparametre:

- oppløsning,

- frame rate,

- farvedybde,

- farvehistogram,

- dynamikk område,

- frekvensrespons,

- frekvenshistogram,

- antall transmisjonskanaler.

I en utførelse av oppfinnelsen deles dataene opp i blokker.

I en utførelse av oppfinnelsen deles dataene opp i blokker, og det velges en komprimeringsalgoritme for hver blokk bestemt av minst en av følgende:

- tillatt tap av data,

- tilgjengelig komprimerings algoritmer,

- forhåndskunnskap om hvilke type data som er best egnet for de tilgjengelige komprimerings algoritmene, - tilgjengelig kanal kapasitet på det tidspunktet når dataene skal sendes.

Oppdelingen i blokker kan gjøres basert på en analyse av datamaterialet.

Oppdelingen i blokker kan gjøres basert på en analyse av datamaterialet, og størrelsen og formatet på blokken kan avgjøres av minst en av: - grad av redundans i parametrene som blir analysert (Liten redundans gir mindre blokk størrelse),

- grad av tilgjengelig kanalkapasitet.

I en utførelse av oppfinnelsen bestemmes dataformatet til hver blokk og komprimeringsalgoritme velges fira et sett av komprimeringsalgoritmer, idet settet av komprimeringsalgoritmer omfatter informasjon knyttet til hver komprimeringsalgoritme om foretrukket dataformat for komprimeringen.

I en utførelse av oppfinnelsen omfatter fremgangsmåten de ytterligere trinn:

- å dele datamaterialet opp i blokker,

- å komprimere hver blokk med en tapsfri komprimeringsalgoritme,

- å analysere størrelsen på hver komprimerte blokk og sammenligne størrelsen med tilgjengelig kanalkapasitet på en overføringskanal, - å dersom den komprimerte blokken er for stor for overføringskanalen, bestemme dataformatet til hver blokk og velge komprimeringsalgoritme fra et sett av komprimeringsalgoritmer, idet settet av komprimeringsalgoritmer omfatter informasjon knyttet til hver komprimeringsalgoritme om foretrukket dataformat for komprimeringen.

En fremgangsmåte i henhold til oppfinnelsen for å overføre datamateriale fra en enhet til en annen, omfatter følgende trinn:

- å analysere dataene,

- basert på resultatet av analysen av dataene velge en komprimeringsalgoritme,

- å komprimere dataene med den valgte komprimeringsalgoritmen,

- å overføre de komprimerte dataene,

- å analysere de overførte dataene for å finne den benyttede

komprimeringsalgoritmen,

- å velge dekomprimeringsalgoritme svarende til den benyttede komprimeringsalgoritmen,

- å dekomprimere dataene.

I en utførelse av oppfinnelsen deles bildedataene opp i blokker, det velges en komprimeringsalgoritme for hver blokk og blokkene settes sammen etter overføringen.

En fremgangsmåte i henhold til oppfinnelsen kan benyttes som en kildekode i en enhet for digital overføring av eksempelvis bildemateriale og kan plasseres hos en sender og/eller tilhørende mottager. Fremgangsmåten egner svært godt for alle typer datamateriale som har behov for komprimering relatert til forskjellig typer egenskaper i dataene når dataene skal sendes over en kanal med begrenset og varierende kanalkapasitet. Slike typer datamateriale omhandler eksempelvis digitaliserte analoge data.

En senderenhet som skal overføre data over en overføringskanal utfører en analyse som omfatter å til enhver tid å velge optimal tilgjengelig komprimeringsalgoritme ut fra tilgjengelige parametere (for eksempel egenskaper ved dataene). Selve komprimeringsalgoritmene er således ikke en del av oppfinnelsen. Men brukeren av oppfinnelsen kan benytte den til enhver tid mest hensiktsmessige tilgjengelige algoritmen. Når riktig algoritme er valgt i analysen, kan komprimeringen utføres. Leveransen av det behandlede datamaterialet til overføringskanalen vil derfor være god i forhold til akutt eller fremtidig kanalkapasitet og egenskaper for databildemateriale.

En mottager får informasjon om hvilken komprimeringsalgoritme som til enhver tid er valgt ut fra data som er generert av senderen, og kan utføre dekomprimering i henhold til dette. Dersom deler av materialet er utelatt, vil oppfinnelsen kunne generere datamateriale ut fra tidligere mottatt informasjon for å tilstrebe best mulig kvalitet på eksempelvis bildematerialet som skal presenteres.

Oppfinnelsen kan implementeres som en kildekode og kan realiseres i forskjellige teknologier, som CPU, FPGA eller ASIC.

Ved å implementere oppfinnelsen inn i en dedikert chip (ASIC), kan det oppnås følgende fordeler: • Eliminere behov for bruk av ytterligere CPU-ressurser i bildegenerator. Et eksempel kan være en PC, hvor man kan hente datamaterialet fra f.eks den allerede eksisterende displaytilkoblingen og gjøre prosessering av algoritmen i en dedikert chip. På den måten involverer man ikke CPU'en i PCen som ville ha forårsaket ytterligere forsinkelser for andre prosesser i datamaskinen. • Lette kravet til ressursbehov for komprimeringsmaskinvare. Ved å velge riktig komprimerings algoritme brukes ikke ressurser på å komprimere uegnet materiale. En ASIC vil ta vesentlig mindre plass fordi innholdet i den er optimalisert på oppgaven den skal løse. Ved store volum vil dette også være prisoptimalt.

Lette kravet til kanalkapasitet, fordi en optimal kompresjonsalgoritme for aktuelt data materiale gir best kodingsgevinst.

Oppfinnelsen er svært egnet for systemer som skal transmittere forskjellig type bilde- og/eller lyd-materiale over en kanal med begrenset akutt eller fremtidig kapasitet. Datamaterialet blir for eksempel generert av en A/V kilde og transmisjonen og prosesseringen må i visse tilfeller ha minimal forsinkelse dersom det er et krav til at systemet skal virke i sann tid av brukeren: Eksempler på systemer som inneholder A/V kilde, transmisjonskanal og mottager med fremvisningsenhet: • PC/DVD spiller/TV tuner/videokamera med trådløs link til TV/monitor/video prosjektor • Mobiltelefon med videokamera eller PC tilkobling med overføring til annen mobiltelefon via telefon-nett (GSM,UMTS,EDGE) eller lokal trådløs link

(eks. Bluetooth)

• Mobile spillkonsoller/underholdningsenheter med trådløs link til andre spillkonsoller /underholdningsenheter

• PC/DVD spiller med trådløs overføring til Mobil HMD

• PC/DVD spiller med trådløs overføring til display systemer i offentlige rom

(flyplasser,sykehus,kjøpesentra)

• Videotelefoner med overføring av flere typer bilde materiale med svært begrenset kanalbåndbredde (telefon nett) til annen videotelefon.

Oppfinnelsen vil nå bli beskrevet mer detaljert med henvisning til figurene.

Figur 1 viser en grafisk representasjon av kategorier av bildemateriale.

Figur 2 viser et blokkdiagram for signalflyt i en sendeenhet for bildemateriale. Figur 3 viser et blokkdiagram for signalflyt i en mottakerenhet for bildemateriale. Figur 4 er en skjematisk fremstilling av parametrene som styrer signalflyt for senderenheten i figur 2. Figur 5 er en skjematisk fremstilling av parametrene som styrer signalflyt for mottakerenheten i figur 3.

Figur 6 illustrerer et eksempel på signalflyt for en senderenhet.

Figur 7 illustrerer et eksempel på signalflyt for en mottaker.

En utførelse av oppfinnelsen omfatter en fremgangsmåte for å velge komprimeringsalgoritme for komprimering av data som omfatter å analysere dataene og basert på analysen å velge en komprimeringsalgoritme.

Denne komprimeringsalgoritmen kan så benyttes for å komprimere dataene med den valgte komprimeringsalgoritmen. De komprimerte dataene kan så overføres til en mottaker via en transmisjonskanal.

De overførte data vil i de fleste tilfeller dekomprimeres for å kunne benytte dataene, for eksempel vise frem bildedata på en skjerm. I dette tilfellet vil de overførte dataene analyseres for å finne den benyttede komprimeringsalgoritmen, en dekomprimeringsalgoritme som svarer til den benyttede kompirimeringsalgoritmen velges og dataene dekomprimeres. Dekomprimeringen gjøres på en anvist måte fra den delen av algoritmen som har utført komprimeringen.

Datamateriale som er egnet for, men ikke begrensende for oppfinnelsen er digitaliserte analoge signaler. Fremgangsmåten er svært fleksibel med hensyn til tilgjengelige ressurser i aktuell applikasjon, slik som:

• Tilgjengelig komprimeringsteknologi

Antall og type komprimeringsalgoritmer vil være bestemt av applikasjon. Her må man ta hensyn til arealkrav, prosessorkraft, strømforbruk og til slutt prisområde man ønsker for den enkelte applikasjon

• Tilgjengelig kanal kapasitet

Oppfinnelsen kan for eksempel benyttes for en kommunikasjonslink hvor grensesnittet mot den fysiske enheten vil være gjennom en MAC. Ut fra dette grensesnittet vil det kunne hentes informasjon om tilgjengelig kanalkapasitet for aktuell link og benytte dette når optimal kompresjonsalgoritme skal bestemmes.

• Tilgjengelig informasjon om data fra kilde

Analyse av kildematerialet kan gjøres på flere måter og med varierende dybde. Det betyr at i en applikasjon hvor man aksepterer stor variasjon i kildematerialet, må det tas hensyn til at analysen kan være ressurskrevende. Dessuten må analysen man foretar være tilpasset de

komprimeringsalgoritmene man har tilgjengelig.

Et eksempel på digitalisert analogt materiale er bildedata. Figur 2 og 3 illustrerer hvordan oppfinnelsen vil kunne benyttes i en sender og mottager av bildedata. Fremgangsmåten i henhold til oppfinnelsen er implementert i boksene som er grå-skravert 20.

Senderen omfatter en algoritme som utfører en analyse av to parametere:

- Datamaterialets egenskaper (gitt ved bildematerialegenerator 21)

- Akutt eller fremtidig overføringskanal-kapasitet.

Senderen er illustrert i figur 2. Bildemateriale generator 21 leverer data til Komprimerings algoritme selektor 20. Kommunikasjonskanalen 22 formidler informasjon om kanalkapasiteten til selektoren 20 på det tidspunktet dataene skal sendes over kommunikasjonskanalen. Ut fra denne informasjonen utfører selektoren 20 en analyse, og velger den mest egnede komprimeringsalgoritmen ut fra et sett med tilgjengelige komprimeringsalgoritmer 23 og 24.

I mottageren vist i figur 3 er en algoritme som mottar data fra kommunikasjonskanalen 32 og ut fra informasjonen i dette materialet velges riktig dekomprimeringsalgoritme 33 og34, gitt av hvilken komprimeringsalgoritme som senderen har benyttet. Senderen (fig. 2) legger altså til informasjon om hva slags komprimeringsalgoritme som har blitt benyttet på aktuelt bildemateriale. Dette dekomprimeres og settes sammen til en eller flere frames og sendes til en displayenhet 31 for fremvisning.

Figur 4 beskriver algoritmen for flyten av datamateriale (eksemplifisert ved bildemateriale) i en sender. Det er innlysende at algoritmen også kan benyttes til andre type data som har behov for intelligent valg av komprimeringsalgoritme, eksempelvis digitaliserte analoge signaler. I denne utførelsen deles dataene opp i blokker for overføring, og hver blokk komprimeres for seg.

a. Bildematerialet mottas fra kilden. Materialet kan være i utgangspunktet på analogt format (fra for eksempel en TV tuner) og digitalisert ved hjelp av en analog-til-digital konverter (ADC)

b. Formatet på bildematerialet analyseres 40 med hensyn på for eksempel frame rate, oppløsning, farvedybde og farvehistogram, etc. Sammenholdt med informasjon om kanal kapasitet bestemmes størrelsen på blokkene for en frame.

Ved ekstremt lav kanal kapasitet er risikoen for tap av data stor, og blokkstørrelsen bør begrenses. Ved medium kanal kapasitet kan man med fordel øke blokkstørrelsen. Ved høy kanalkapasitet har det ingen hensikt å bruke ressurser på å øke blokk størrelsen.

c. Det tas utgangspunkt i en minimum blokk størrelse på a x b, og dersom det er tilstrekkelig redundans med andre blokker innenfor samme frame eller andre frames, økes blokk størrelsen til et hensiktsmessig nivå gitt av kanalkapasitet og applikasjon. Dataene deles opp blokker i trinn 41. d. Hver frame mellomlagres i et frame buffer 42. Et frame buffer tillater at aktuell frame sammenlignes med én eller tidligere frames når prioriteringen av hvilke blokker som skal sendes finner sted.

e. Aktuell blokk komprimeres i tapsfri kompresjonsalgoritme nr 1 - m 43.

Tapsfri kompresjonsalgoritme vil i de fleste applikasjoner foretrekkes først, idét man ønsker å minimere kvalitetstapet på bildematerialet. Tapsfrie kompresjonsalgoritmer har ikke prediktiv kompresjonsgrad. Aktuell blokk blir derfor prosessert i alle tilgjengelige tapsfrie kompresjonsalgoritmer i parallell og den algoritmen som gir best kompresjonsgrad blir benyttet videre i algoritmen

Selektoren 46 er en prosessor som håndterer informasjon til alle aktivitetene i algoritmen. Oppgavene til selektoren kan være: Å utføre bildematerialanalyse (blant annet oppløsning, frame rate fargedybde

og fargehistogram)

Å administrere frame buffer, det vil si å adressere de enkelte pikslene i

bildematerialet og håndtere opp- og nedlasting.

Å vedlikeholde frame blokk status gitt av Frame blokk status matrisen 48 Å definere nivåer i FIFO buffer 49, og å lese ut aktuelt nivå for bruk i Frame

blokk transmisjon matrisen 47

Å motta informasjon om komprimeringsgrad som er oppnådd i de(n) tapsfrie

komprimeringsalgoritmen(e)

Å velge om det skal utføres komprimering med lossy kompresjons algoritme

utifrå aktuelt FIFO nivå

Å bestemme hvilken (av nr.l-o) lossy komprimeringsalgoritme som skal velges utifrå for eksempel følgende kriterier:

I. Innholdsanalyse av aktuell blokk

II. Aktuelt FIFO nivå

III. Blokkstatus

Å bestemme komprimeringsgrad på lossy komprimeringsalgoritme utifrå

eksempelvis:

I. Blokk status

II. Aktuelt FIFO nivå

Å generere protokoll-data

f. Dersom Selektoren 46 har informasjon om kanal kapasitet som tilsier at den kompresjonsgraden som den tapsfrie kompresjonen er akseptabel, foretas det en analyse som er beskrevet i en Frame blokk status matrise 48.

Frame blokk status matrisen kan forklares slik:

Aktuell blokk kontrolleres mot frame bufferet 42 om hvorvidt den har blitt endret siden forrige gang den ble sendt. Er svaret ja, får den stempelet "endret" og får høy prioritet for transmisjon. Er svaret nei, blir den kontrollert for hvor lenge siden den har vært sendt tidligere og om den har blitt sendt med tapsfri komprimering eller med tap. Prioriteten er da gitt ut fra dette. Man oppnår derved at man kan sende blokker med tap først for å få en rask respons, mens man i senere transmisjoner oppdaterer blokken til å bli tapsfri.

g. Aktuell blokk komprimeres i én av lossy kompresjonsalgoritme nr 1 - o 44 dersom Selektoren 46 anser det for hensiktsmessig.

Komprimeringsgrad angis av selektoren 46 basert på aktuell kanalkapasitet for transmisjonskanalen når materialet skal sendes.

Frame blokk transmisjons matrisen 47 bestemmer om aktuell blokk skal sendes eller om den må vente.

Hver blokk har en status som er eksempelvis 1 av 4 mulige; Endret, sendt m/tap, uendret (gammel) og uendret (fersk).

Kanalkapasiteten kan måles på forskjellige måter. En mulig måte er å benytte et FIFO buffer 49 som kan sammenlignes med et timeglass med påfyllingsmulighet. Dataene som "helles inn" suppleres fra algoritmen, mens dataene som "renner ut" i andre enden transmitteres over transmisjons-linken. Jo høyere nivået er i FIFO bufferet, desto dårligere er kanal kapasiteten.

Ved å først kikke på den aktuelle blokkens status, for så å kikke på FIFO nivået kan man bestemme om hvorvidt blokken skal sendes eller ikke. Et eksempel er dersom frame blokk status er "endret" får man tillatelse til å sende så lenge FIFO bufferet er ikke helt fullt. Dersom status er "uendret (fersk)" får blokken ikke sendes så lenge FIFO nivået er tilnærmet tomt.

h. Protokoll data tillegges komprimert bildemateriale 45, slik at mottageren får informasjon om hvor blokken skal plasseres i frame eller sekvens av frames - tillegg til blokkens størrelse. Dessuten gis det informasjon om hvilken komprimerings metode som er valgt til mottageren slik at den kan dekomprimeres på samme måte. Hvilken frame blokken hører til er også viktig informasjon.

Feil korrigerende eller detekterende data blir også lagt til.

i. Bildemateriale føres til FIFO buffer 49 for transmisjon til MAC/PHY.

Figur 5 beskriver algoritmen for flyten av bildemateriale i en mottager.

Det komprimerte bildematerialet mottas fra MAC/PHY enheten i mottageren.

a. Dataene analyseres for transmisjonsfeil (feil som har oppstått i transmisjonen mellom sender og mottager. Avhengig av om det er benyttet feil-detekterende eller feil-korrigerende kode, blir feilen rettet opp eller forkastet 51.

b. Protokolldataene dekodes for å hente informasjon om kilde format 51:

I. Frame rate

IL Oppløsning

III. Farvedybde

IV. Informasjon angående komprimeringsalgoritme benyttet på aktuell blokk.

Informasjonen i I-III er initielle data som systemet har behov for å vite ved oppstarten av en transmisjon for å sette opp visningsenheten/display riktig. Protokollen vil i de fleste tilfeller ikke inneholde denne informasjonen ved hver blokk. c. Aktuell blokk dekomprimeres med riktig algoritme gitt av informasjon fra senderen (protokoll data) 52.

Deselektoren 55 er en prosessor som har som oppgave å:

Å motta protokoll informasjon

Å angi riktig dekomprimeringsalgoritme for aktuell blokk Å administrere frame buffer

Å administrere blokk sammensetning til frames fra frame buffer Å håndtere kommunikasjon med display encoder

d. Hver blokk mellomlagres i et frame buffer 54. Hensikten med frame buffer er at alle blokkene ikke sendes i sekvens, men er styrt av kanalkapasitet og kompresjonsgrad. På denne måten må Deselektoren 55 administrere de enkelte blokkene i frame bufferet etterhvert som de mottas

e. Blokker hentes ut av frame buffer 54 og settes sammen til en frame f. Frame sendes videre til display encoder (DVI, HDMI eller tilsvarende)

I figur 6 og figur 7er det gitt et enkelt eksempel på en realisering av algoritmen benyttet på bilde materiale.

Figur 6 viser et eksempel på signalflyten for en sender som kan brukes med en utførelse av oppfinnelsen.

a. Bildematerialet mottas og frame formatet analyseres (a)

b. Frame innhold lagres i buffer (b)

c. Frame oppdeles i blokker på nxn pixler

I dette eksempelet er det for enkelhets skyld valgt en fast størrelse på blokkene som er mindre enn én frame. Blokkstørrelsen være variabel - også utover én frame størrelse . d. Blokk status genereres (d) efter kriteria gitt i blokk status matrise (t).

Dette lagres så i framebufferet (u) sammen med selve bilde materialet

e. Komprimering ved hjelp av tapsfri komprimeringsalgoritme #1 -#m

utfører (e)

f. Den tapsfrie komprimeringsalgoritmen som gir komprimeringsgrad

bestemmes (f)

g. Det foretas en kontroll mot transmisjonsmatrisen (q) om aktuell blokk kan sendes (g)

h. Dersom transmisj onsmatrisen tillater det, sendes dataene videre til protokolldata generering (1) Hvis dette ikke er tilfelle, sendes dataene til (i), (m) eller (n) avhengig av tildelt prioritet i transmisj onsmatrisen i. Ved prioritet 1, bestemmes best mulig lossy komprimerings algoritme utifrå farvehistogramanalyse (i) ut i fra et sett med tilgjengelige lossy komprimeringsalgoritmerer.

j. Lossy komprimering utføres med den valgte algoritmen med

komprimeringsgrad gitt av aktuelt FIFO nivå

k. De komprimerte dataene blir nå kontrollert mot transmisj onsmatrise om de tillates sendt videre (g). Svaret vil med svært høy sannsynlighet være at transmisjon tillates, idet dataene er komprimert så mye som aktuell kanalkapasitet tilsier

1. Dersom prioriet 2 bestemmes, sendes dataene til (m). Her sjekkes det om FIFO nivået er bedre enn forrige gang den aktuelle blokken ble sendt. Er svaret ja sendes dataene til (j) for å utføre lossy kompresjon (j). Hvis svaret er nei forkastes transmisjon av aktuell blokk. Ved prioritet 3 har blokken blitt sendt før med tap, og kanalkapasiteten tillater ikke at man kan sende den uten tap

m. Dersom prioritet 3 eller 4 bestemmes (blokkene er uendret fra forrige

frame), forkastes transmisjon av aktuell blokk (n)

n. Protokolldata genereres i (1) hvor informasjon om valgt komprimeringsalgoritme,komprimeringsgrad og adresse på aktuell blokk legges til. Dersom appliaksjonen tillater bruk av sjekksum (feildetekterende og/eller feilkorrigerende kode), genereres også dette o. Blokk status oppdateres for aktuell blokk (r)

p. Datamateriale med protokoll sendes til FIFO buffer (s) og videre til

MAC/PHY

Figur 7 viser et eksempel på signalflyten for en mottaker som kan brukes med en utførelse av oppfinnelsen.

a. Komprimert bildedata mottas fra MAC/PHY i mottageren og protokolldekoding utføres (a), herunder kontroll av sjekksum for å kontrollere at materialet ikke har blitt korrupt ved transmisjon. Dersom materialet er korrupt forkastes aktuell blokk

b. Dekomprimering utføres med valgt kompimeringsmetode (b) og komprimeringsgrad. Komprimeringsgrad angis kun dersom det er valgt lossy komprimering, idet man ikke kan bestemme komprimeringsgrad for en tapsfri komprimerings algoritme c. Aktuell blokk lagres i frame bufferet på riktig sted angitt av blokk adressen (c) d. Det genereres en oppdatert frame basert på nye blokker som er mottatt siden forrige frame ble generert (d)

Aktuell frame sendes til display encoder (DVI,HDMI eller tilsvarende)

CPU Central Processing Unit

A/V Audio og Visuell

FPGA Field Programmable Gate Array

ASIC Application Specific Integrated Circuit

DVD Digital Video Dise

BPS Bit Per Second

HMD Head Mounted Display

MAC Media Access Control layer (ISO definisjon for det laveste laget i en SW

applikasjon)

PHY PHYsical layer (ISO definisjon for HW frontend i en sender/mottager) FIFO First In First Out buffer håndtering VESA Video Electronics Standards Association

DDC Display Data Channel

HDCP High-Bandwidth Digital Content Protection

RLE Run Length Encoding, tapsfri datakomprimeringsalgoritme

LZW Lempel-Ziv-Welch, tapsfri datakomprimeringsalgoritme utviklet av

L, Z og W

JPEG Joint Photographic Experts Group

MPEGMoving Picture Experts Group

DVI Digital Visual Interface

HD MI High Density Multimedia Interface

GSM Global System for Mobile communication

EDGE Enhanced Data rates for Global Evolution

UMTS Universal Mobile Telecommunications System

Claims (14)

1. Fremgangsmåte for å velge komprimeringsalgoritme for komprimering av data omfattende analyse av dataene, karakterisert ved at: basert på resultatet av analysen av dataene og på tilgjengelig kanalkapasitet for en transmisjonskanal for overføring av dataene, velge en komprimeringsalgoritme.

2. Fremgangsmåte i henhold til krav 1,karakterisert ved at dataene analyseres med hensyn til en eller flere parametere.

3. Fremgangsmåte i henhold til krav 1,karakterisert ved at dataene analyseres med hensyn til en eller flere av følgende kvalitetsparametre - oppløsning, - frame rate, - farvedybde, - farvehistogram, - dynamikk område, - frekvensrespons, - frekvenshistogram, - antall transmisj onskanaler.

4. Fremgangsmåte i henhold til krav 1,karakterisert ved at dataene deles opp i blokker.

5. Fremgangsmåte i henhold til krav 1,karakterisert ved at dataene deles opp i blokker, og det velges en komprimeringsalgoritme for hver blokk bestemt av minst en av følgende: - tillatt tap av data, - tilgjengelig komprimerings algoritmer, - forhåndskunnskap om hvilke type data som er best egnet for de tilgjengelige komprimerings algoritmene, - tilgjengelig kanal kapasitet på det tidspunktet når dataene skal sendes.

6. Fremgangsmåte i henhold til krav 4, karakterisert ved at oppdelingen i blokker gjøres basert på en analyse av datamaterialet.

7. Fremgangsmåte i henhold til krav 4, karakterisert ved at oppdelingen i blokker gjøres basert på en analyse av datamaterialet, og at størrelsen og formatet på blokken avgjøres av minst en av: - grad av redundans i parametrene som blir analysert, - grad av tilgjengelig kanalkapasitet.

8. Fremgangsmåte i henhold til krav 4, karakterisert ved at dataformatet til hver blokk bestemmes og komprimeringsalgoritme velges fra et sett av komprimeringsalgoritmer, idet settet av komprimeringsalgoritmer omfatter informasjon knyttet til hver komprimeringsalgoritme om foretrukket dataformat for komprimeringen.

9. Fremgangsmåte i henhold til krav 1,karakterisert ved at den omfatter de ytterligere trinn: - dele datamaterialet opp i blokker, - komprimere hver blokk med en tapsfri komprimeringsalgoritme, - analysere størrelsen på hver komprimerte blokk og sammenligne størrelsen med tilgjengelig kanalkapasitet på en overføringskanal, - dersom den komprimerte blokken er for stor for overføringskanalen, bestemme dataformatet til hver blokk og velge komprimeringsalgoritme fra et sett av komprimeringsalgoritmer, idet settet av komprimeringsalgoritmer omfatter informasjon knyttet til hver komprimeringsalgoritme om foretrukket dataformat for komprimeringen.

10. Fremgangsmåte for å overføre datamateriale fra en enhet til en annen, karakterisert ved at den omfatter følgende trinn: - å analysere dataene, - basert på resultatet av analysen av dataene og på tilgjengelig kanalkapasitet for overføring av dataene, å velge en komprimeringsalgoritme, - å komprimere dataene med den valgte komprimeringsalgoritmen, - å overføre de komprimerte dataene, - å analysere de overførte dataene for å finne den benyttede komprimeringsalgoritmen, - å velge dekomprimeringsalgoritme svarende til den benyttede komprimeringsalgoritmen, - å dekomprimere dataene.

11. Fremgangsmåte i henhold til krav 10, karakterisert ved at bildedataene deles opp i blokker, det velges en komprimeringsalgoritme for hver blokk og blokkene settes sammen etter overføringen.

12. Fremgangsmåte i henhold til krav 11,karakterisert ved at oppdelingen i blokker gjøres etter at dataene er analysert og størrelsen og formatet på blokken avgjøres av minst en av: - grad av redundans i parametrene som blir analysert, - grad av tilgjengelig kanal kapasitet.

13. Fremgangsmåte i henhold til krav 11,karakterisert ved at dataformatet til hver blokk bestemmes og komprimeringsalgoritme velges fra et sett av komprimeringsalgoritmer, idet settet av komprimeringsalgoritmer omfatter informasjon knyttet til hver komprimeringsalgoritme om foretrukket dataformat for komprimeringen.

14. Fremgangsmåte i henhold til krav 10, karakterisert ved at den omfatter de ytterligere trinn: - dele bildedataene opp i blokker, - komprimere hver blokk med en tapsfri komprimeringsalgoritme, - analysere størrelsen på hver komprimerte blokk og sammenligne størrelsen med tilgjengelig kanalkapasitet på en overføringskanal, - dersom den komprimerte blokken er for stor for overføringskanalen, bestemme dataformatet til hver blokk og velge komprimeringsalgoritme fra et sett av komprimeringsalgoritmer, idet settet av komprimeringsalgoritmer omfatter informasjon knyttet til hver komprimeringsalgoritme om foretrukket dataformat for komprimeringen.