NO336560B1 - Fremgangsmåte for komprimert overføring av bildedata for tredimensjonal fremvisning av scener og objekter - Google Patents

Description

Den foreliggende oppfinnelse vedrører en fremgangsmåte for komprimert overføring av bildedata for tredimensjonal fremvisning av scener og objekter, og som angitt i den innledende delen av det selvstendige krav.

I tysk patentsøknad DE 102 31 286.9 beskrives en fremgangsmåte for overføring av tilleggsdata innenfor en videodataoverføring mellom en sender og en mottaker ifølge fremgangsmåten med prioritert pikseloverføring, hvorved videodataene består av separate pikselgrupper og hver pikselgruppe oppviser en posisjonsverdi i en bilderekke og minst én pikselverdi. Bilderekkens minste størrelse er definert av videobildets høyde h og bredde b, angitt i bildepunkter. Ved overføringen av tilleggsdataene anvendes posisjonsverdiene som ikke forekommer i de egentlige videodataer, men er tilordnet til et forskjøvet område i bilderekken. Den egentlige overføring av bildedataene er basert på en fremgangsmåte for komprimering og dekomprimering av bilde- og videodataer ved hjelp av prioriterende pikselgrupper, slik det er beskrevet i publikasjonen DE 101 13880 A1.

Det vises også til US 6055274 B, og som omhandler en fremgangsmåte og et apparat for komprimering av videodata fra et første perspektiv og et andre perspektiv, hvor et første sett videodata for det ene perspektivs videostrøm kodes ved en kjent kompresjonsalgoritme i en første koder, og hvor en andre koder omfatter en pikselbasert estimator som mottar det kodede første sett videodata fra den første koder, og mottar et andre sett av videodata fra det andre perspektivet og genererer et pikselbasert forskjells-vektorfelt mellom de mottatte første og andre sett av videodata, idet fra det første sett videodata overføres et høyere antall piksler enn fra det kodede forskjellsvektorfeltet, hvorfra manglende piksler kan beregnes av de piksler som allerede er overført i videodataene.

I det vesentlige er det kjent to forskjellige fremgangsmåter for overføring av tredimensjonale scener og objekter. For det første er det kjent å ta opp en scene eller et objekt fra forskjellige kameraperspektiver og å overføre disse data. Ifølge den andre fremgangsmåte blir objektene eller scenene modellert ved hjelp av gittermodeller og lagret respektivt overført. Gitrene danner da de enkelte objekters eller sceners innhyllingsende. Gitterets posisjon i det tredimensjonale rom bestemmes av gitterpunkter. Flatene mellom gitterpunktene fylles ut med teksturer, som for det meste overføres atskilt fra gitterstrukturen. Denne fremgangsmåte anvendes hovedsakelig på området dataspill, hvor kunstige objekter genereres ved hjelp av datamaskinen. Fordelen ligger i muligheten til å fremvise objektene/scenene under forskjellige forhold (for eksempel betraktningsvinkel, belysning i forskjellige belysninger). Ved naturlige objekter (for eksempel virkelige personer, planter) er det imidlertid for tiden ikke mulig å omforme disse i sanntid til en tilsvarende gittermodell.

Av denne grunn gjennomføres det for naturlige opptak i dag som regel en overføring etter den første fremgangsmåte med hjelp av forskjellige kameraperspektiver. Mennesket kan se romlig idet det observerer en scene samtidig med begge øyner. Derved observerer øynene samme scene litt forskjellig. Den menneskelige hjerne frembringer av disse forskjellige observasjoner et romlig bilde. Dette faktum utnyttes også blant annet av 3D-filmer, idet mennesket ved betraktningen av disse tilbys på det venstre og på det høyre øye et (litt) forskjellig bilde. Praktiske utpregninger er for eksempel briller, som for det venstre og det høyre øye kan filtrere ut bilder overensstemmende enten med fargen (rød/grønn) eller lysets polarisering (horisontal/vertikal). Bildene som skal for-midles til øynene avviker som regel minimalt fra hverandre. Særlig ved objekt-kanter er en slik forskjell merkbar. Denne omstendighet kan utnyttes i den foreliggende overføringsfremgangsmåte. For enkelthets skyld betegnes i det etterfølgende bildeinformasjonen som opptas av det venstre øye som bilde 1 og bildeinformasjonen som observeres av det høyre øye som bilde 2. Formålet med oppfinnelsen er å videreutvikle fremgangsmåten som er kjent fra tysk patentsøknad 102 31 286.9 for overføring av tilleggsdata ved en video dataoverføring mellom en sender og en mottaker ifølge fremgangsmåten med den prioriterte pikseloverføring, slik at en overføring av tredimensjonale objekter og scener muliggjøres via smalbånds overføringssystemer, for eksempel

GSM/UMTS.

Dette formål oppnås ifølge oppfinnelsen ved hjelp av trekkene i krav 1, og der fremgangsmåten for komprimert overføring av bildedata for en tredimensjonal fremvisning av scener og objekter omfatter,

(a) hver scene eller objekt tas fra minst to perspektiver,

(b) anvende videodataoverføring ifølge fremgangsmåten med prioritert pikseloverføring, (b1) hvorved videodataene til hvert bilde er satt av individuelle pikselgrupper, (b2) hvori hver pikselgruppe har en posisjonsverdi innen posisjonene til en bildegruppe og minst en tilhørende pikselverdi, (b3) der størrelsen til bildegruppen er definert av høyden h og bredden b av et videobilde, gitt i bildeelementer eller piksler, (b4) hvori en prioritetsverdi fastslås for hver pikselgruppe til etterfølgende bilder ved bestemmelse av forskjell mellom en referansepiksel som bestemmer posisjonsverdien til pikselgruppen og andre piksler til pikselgruppen, (b5) og, hver gang en ny prioritetsverdi fastslås, blir prioritetsverdien til pikselgruppen størrelsessortert i avtakende orden i en prioritetsliste, og, som en prioritet for pikselgruppene med den gjeldende høyeste prioritet, blir deres posisjonsverdi og pikselverdi overført, (c) bruk av en fremgangsmåte for overføring av tilleggsdata i den nevnte fremgangsmåten for videodataoverføring, (c1) tilleggsdataene har, tilsvarende som videodataene, posisjonsverdier og tilhørende pikselverdier, og posisjonsverdiene og pikselverdiene til tilleggsdataene overføres sammen med videodataene, (c2) posisjonsverdiene til tilleggsdataene tildeles til et forskyvningsområde til bildegruppen, (c3) og forskyvningsområdet inneholder eksklusive posisjonsdata som ikke danner del av nevnte bildegruppe, (d) data til et første perspektiv danner aktuell videodata, og data til minst et andre perspektiv danner nevnte tilleggsdata, (d1) posisjonsverdier til tilleggsdataene arrangeres i nevnte forskyvningsområde, (d2) og et høyere antall pikselgrupper overføres for posisjonene i bildegruppen enn for posisjonene i forskyvningsområdet, (e) og pikselverdiene til pikselgrupper til forskyvningsområdet som ikke er overført blir beregnet på mottakssiden fra allerede overførte pikselgrupper til bildegruppen.

For de i bilderekken overførte perspektiver kan både pikselgrupper med høyere prioritet og pikselgrupper med lavere prioritet overføres, og for de i forskyvnings-området overførte perspektiver kan utelukkende pikselgrupper med høyere prioritet overføres.

For bestemmelse av egenskapene til de ved hjelp av bildedataene fremviste objekter, kan det gjennomføres en korrelasjon av bestemte bildedata for de enkelte perspektiver.

Av de korrelerte bildedata kan objekters posisjon, størrelse, hastighet eller deformasjon bestemmes.

Av de korrelerte bildedata kan det frembringes bildedata for ytterligere perspektiver, så som kameraposisjoner.

Et enkelt utførelseseksempel av oppfinnelsen forklares i det etterfølgende.

En scene opptas med minst to kameraer. Derved anvendes et kamera som masterkamera. Dette vil kunne være oversiktskameraet som er beskrevet i hovedpatentet og for eksempel defineres som bilde 1. Masterkameraet ville nå fylle ut et første bildeområde (Piksel 0...512). Ved overføringen ville ikke bare de høyere prioriterte pikselgrupper, men også de lavere prioriterte pikselgrupper bli overført for å oppnå et bilde med så god kvalitet som mulig. Det andre kamera eller de andre kameraer tar for eksempel opp det andre bildeområde (piksel 513... 1024). For dette andre bildeområde er det som regel bare nød-vendig å overføre få høyt prioriterte pikselgrupper, idet pikselgruppene som ennå ikke er overført kan beregnes blant annet ved hjelp av det første bilde-områdes dataer.

Et eksempel skal gjøre dette tydelig. Det opptas en scene med en bil som for eksempel bærer en reklameskrift. Bilen med reklameskriften overføres tydelig i det første bildeområde. For det andre bildeområdet er det da tilstrekkelig bare å overføre markante pikselgrupper i bildet, slik at bilens posisjon beskrives entydig i bildet 2. Det vil kunne avstås fra overføringen av pikselgruppene for bildet 2, som ville kunne vise reklameteksten, idet dette kan rekonstrueres utfra relasjonen til bildet 1. Derved ville det for det andre bildeområde fremkomme en enda mye høyere komprimeringsgrad enn for det første bildeområde.

Dersom man anvender mer enn to bildeopptakere er det for eksempel mulig å gjennomføre nøyaktige, tredimensjonale overføringer. Anvendelser for dette foreligger blant annet innen filmindustrien eller den medisinske teknikk ved formidling av tredimensjonalt bildemateriale, for eksempel røntgen- eller NMR-opptak.

Et vesentlig trekk ved oppfinnelsen er derfor den oppnåelige datareduksjon ved overføringen av det andre bilde eller ytterligere bilder. Oppfinnelsen har imidlertid enda flere fordeler som går tilbake på muligheten for tredimensjonal overføring/bearbeidelse.

Således kan det innenfor posisjonsverdier som ikke er bestemt for den egentlige bildeoverføring, lignende slik som de er beskrevet for sceneskiftet i stamsøknaden, utføres en overføring av kameraegenskapene, for eksempel kameraenes posisjon i forhold til hverandre, anvendte brennvidder, egen-hastighet for kameraene ved anvendelse i kjøretøyer eller fly, osv.

For å bestemme egenskapene til objektene som er frembrakt ved hjelp av bildedataene kan det gjennomføres en korrelasjon av bestemte bildedata for de enkelte perspektiver.

De korrelerte verdier kan derved anvendes til å bestemme posisjonen, størrelsen, hastigheten eller deformasjonen av objekter entydig og på enkel måte. Således kan for eksempel den mekaniske deformasjon av et flys bæreflater ved forskjellige flygemanøvrer bestemmes. På det medisinske området vil dette kunne anvendes for kontroll av bevegelsen av forskjellige muskelgrupper og beholdere.

På den annen side kan de korrelerte verdier anvendes til på enkel måte å frembringe et bilde respektivt en video, hvis perspektiv ligger mellom de faktisk opptatte perspektiver (kameraposisjoner). Et eksempel kan tydeliggjøre dette. Bilde 1 er masterkameraet og er rettet mot en vase. Bilde 2 tas opp med et annet kamera som tar opp vasen under en vinkel på 20° i forhold til masterkameraet. Ved hjelp av verdiene som er oppnådd ved hjelp av korrelasjon og med kunnskapen om de forskjellige kameraposisjoner kan det kunstig frembringes et bilde som viser vasen under synsvinkelen til et imaginært kamera, som for eksempel står flyttet bare 10° i forhold til masterkameraet, uten at et slikt kamera må eksistere selv. Denne informasjonen kan da benyttes på enkel måte til å anrike de naturlige opptak med kunstige informasjoner. Anvendelses-scenarier vil kunne være kunstig innblanding av tilleggsinformasjoner, i en fotballkamp for eksempel en linje som viser om bestemte spillere befinner seg i offside.

Korrelasjonen av bildedata fra forskjellige perspektiver beror på følgende betraktninger: Tilsvarende fremgangsmåten ifølge tysk patentsøknad 102 31 286.9 dannes prioriterende pikselgrupper. Hjørnepunkter på objekter gir som regel de høyeste prioritetsverdier. Dersom for eksempel den relative stilling til de fem høyest prioriterte pikselgrupper i forhold til hverandre lignende den relative stilling til de fem høyest prioriterte pikselgrupper for den andre kamera-posisjon innbyrdes, kan man gå utfra at samme objekt ble oppfanget. Enkelte avvik kan ignoreres så lenge de blivende pikselgrupper oppviser en tilsvarende god korrelasjon til hverandre. Av en tilsvarende god korrelasjon kan man nå bestemme det samme objekts avvik av de forskjellige bilderekker for de forskjellige kameraer pikselnøyaktig. Dersom ytterligere informasjoner, for eksempel kameraposisjoner, felles referansepunkter osv. foreligger, kan nøyaktige størrelser bestemmes ved hjelp av enkle geometriske beregninger. I tilfellet en videooverføring kan det ved hensyntagen til tidskomponentene også gjennomføres en hastighetsbestemmelse for bildeobjektene. Ved anvendelse av den prioriterte pikseloverføring er antallet av den nødvendige korrelasjon vesentlig mindre enn om man måtte korrelere alle bildepunktene i det ene bildet med alle bildepunktene i det andre bildet, slik det ved kjente fremgangsmåter gjennomgående er vanlig. Fremgangsmåtene som er beskrevet her reduserer den nødvendige beregningsytelse for korrelasjonen av bildedataene betydelig, slik at den viste fremgangsmåte også kan anvendes godt i mobile apparater, dvs. apparater med en relativt liten regneytelse.

Claims (5)

1. Fremgangsmåte for komprimert overføring av bildedata for en tredimensjonal fremvisning av scener og objekter, (a) hver scene eller objekt tas fra minst to perspektiver, (b) anvende videodataoverføring ifølge fremgangsmåten med prioritert pikseloverføring, (b1) hvorved videodataene til hvert bilde er satt av individuelle pikselgrupper, (b2) hvori hver pikselgruppe har en posisjonsverdi innen posisjonene til en bildegruppe og minst en tilhørende pikselverdi, (b3) der størrelsen til bildegruppen er definert av høyden h og bredden b av et videobilde, gitt i bildeelementer eller piksler, (b4) hvori en prioritetsverdi fastslås for hver pikselgruppe til etterfølgende bilder ved bestemmelse av forskjell mellom en referansepiksel som bestemmer posisjonsverdien til pikselgruppen og andre piksler til pikselgruppen, (b5) og, hver gang en ny prioritetsverdi fastslås, blir prioritetsverdien til pikselgruppen størrelsessortert i avtakende orden i en prioritetsliste, og, som en prioritet for pikselgruppene med den gjeldende høyeste prioritet, blir deres posisjonsverdi og pikselverdi overført, karakterisert ved(c) bruk av en fremgangsmåte for overføring av tilleggsdata i den nevnte fremgangsmåten for videodataoverføring, (c1) tilleggsdataene har, tilsvarende som videodataene, posisjonsverdier og tilhørende pikselverdier, og posisjonsverdiene og pikselverdiene til tilleggsdataene overføres sammen med videodataene, (c2) posisjonsverdiene til tilleggsdataene tildeles til et forskyvningsområde til bildegruppen, (c3) og forskyvningsområdet inneholder eksklusive posisjonsdata som ikke danner del av nevnte bildegruppe, (d) data til et første perspektiv danner aktuell videodata, og data til minst et andre perspektiv danner nevnte tilleggsdata, (d1) posisjonsverdier til tilleggsdataene arrangeres i nevnte forskyvningsområde, (d2) og et høyere antall pikselgrupper overføres for posisjonene i bildegruppen enn for posisjonene i forskyvningsområdet, (e) og pikselverdiene til pikselgrupper til forskyvningsområdet som ikke er overført blir beregnet på mottakssiden fra allerede overførte pikselgrupper til bildegruppen.

2. Fremgangsmåte i samsvar med krav 1,karakterisert vedat for de i bilderekken overførte perspektiver overføres både pikselgrupper med høyere prioritet og pikselgrupper med lavere prioritet, og for de i forskyvnings-området overførte perspektiver overføres utelukkende pikselgrupper med høyere prioritet.

3. Fremgangsmåte i samsvar med krav 1 eller 2,karakterisertved at for bestemmelse av egenskapene til de ved hjelp av bildedataene fremviste objekter, gjennomføres en korrelasjon av bestemte bildedata for de enkelte perspektiver.

4. Fremgangsmåte i samsvar med krav 3,karakterisert vedat av de korrelerte bildedata bestemmes objekters posisjon, størrelse, hastighet eller deformasjon.

5. Fremgangsmåte i samsvar med krav 3,karakterisert vedat av de korrelerte bildedata frembringes bildedata for ytterligere perspektiver, så som kameraposisjoner.