NO20140637A1 - Virtuell protokoll - Google Patents

Description

Bakgrunn for oppfinnelsen

Teknisk område

Oppfinnelsen vedrører spesialeffekter i sin alminnelighet og mer spesielt et system og en fremgangsmåte for å legge gjenstander av den virkelige fysiske verden inn i en virtuell, simulert verden, interaksjoner mellom verdenene og protokoller for effektiv kommunikasjon mellom disse og tredjepartsdeltakere.

Teknisk bakgrunn

Fra det som er tidligere kjent kan det vises til grønnskjermteknologi hvor personer og gjenstander i et studio som typisk har grønn bakgrunnsfarge (kroma-nøkling), blir overlagret på en bakgrunn som kan være syntetisk. Problemet er at deltakerne i studio ikke har noen direkte interaksjon med bakgrunnsbildet. Slike løsninger betyr også at det er begrenset rom for datakompresjon med tredjepartsdeltakere eller rene tilskuere.

Beskrivelse av oppfinnelsen

Problemer som skal løses ved hjelp av oppfinnelsen

Et hovedformål med foreliggende oppfinnelse er derfor å tilveiebringe et system og en fremgangsmåte som overvinner begrensningene ved den kjente teknikk. Det er et formål med oppfinnelsen å overvinne den reelle verdens fysiske begrensninger i studio. Det er også et formål med oppfinnelsen å kunne forbedre datakompresjon for overførte multimedia. Det er også et formål med oppfinnelsen å muliggjøre interaksjon med tredjepartsdeltakere.

Midler for løsning av problemene

Formålet blir oppnådd ifølge oppfinnelsen ved hjelp av midler som angitt i ingressen til de selvstendige kravene og som har de egenskapene som er angitt i den karakteriserende delen av de selvstendige kravene.

Et antall ikke-uttømmende utførelsesformer, varianter eller alternativer av oppfinnelsen er angitt i de uselvstendige kravene.

Foreliggende oppfinnelse oppnår det ovenfor beskrevne formålet ved hjelp av en studiooppstilling som inneholder det virkelige livets gjenstander og en primær spillmaskin for å simulere i det minste noen av det virkelige livets gjenstander, hvor den primære spillmaskinen mottar bevegelses- og posisjonsdata fra studioet og genererer visualisering av gjenstandene, hvor visualiseringen blir overlagret på studiobildene ved å bruke en nøklingsfunksjon.

I en foretrukket utførelsesform er systemet videre forsynt med minst én deltakende spillmaskin for simulering av deltakende enheter, hvor den deltakende spillmaskinen mottar bevegelses- og posisjonsdata fra studioet og genererer visualisering av gjenstandene, hvor visualiseringen blir overlagret på studiobilder ved å bruke en nøklingsfunksjon.

I en mer foretrukket utførelsesform er den minst ene deltakende spillmaskinen videre innrettet for å motta data fra den primære spillmaskinen.

I en ytterligere foretrukket utførelsesform er den primære spillmaskinen videre innrettet for å motta data fra den minst ene deltakende spillmaskinen.

Effekter av oppfinnelsen

De tekniske effektene i forhold til kjent teknikk som bruker kroma-nøkling, er at gjenstandene og deltakerne i studioet kan interagere med en bakgrunn som ikke lenger må forbli statisk.

Disse effektene tilveiebringer i sin tur flere ytterligere fordelaktige effekter:

• det gjør det mulig å simulere gjenstander ved å bruke realistisk fysikk så vel som ikke-realistisk fysikk • det gjør det mulig å endre målestokk mellom reelle og simulerte gjenstander.

Bruken av en deltakende spillmaskin gir ytterligere fordeler:

• det gjør det mulig for deltakere å interagere med handlinger i et studio, for eksempel kan seere delta i et underholdningsprogram i en simulert arena for underholdningen • det gjør det mulig å komprimere data på en effektiv måte siden all grafikk vedrørende simulerte gjenstander kan overføres ved hjelp av posisjonsinformasjon og dermed gjenskapes lokalt • det gjør det mulig å forbedre båndbredden, ikke bare med kompresjon, men også ved forhåndsinnlasting og deltakende spillmaskin før iverksetting.

Når en deltakende spillmaskin mottar data fra den primære spillmaskinen, vil deltakeren også kunne se og eventuelt interagere med simulerte gjenstander.

Når den primære spillmaskinen i tillegg er innrettet for å motta data fra den minst ene deltakende spillmaskinen, kan det totale systemet medføre interaksjon fra deltakere i studio og gjøre deltakernes handlinger synlige for hverandre.

Kort beskrivelse av tegningene

De ovennevnte og ytterligere trekk ved oppfinnelsen er angitt spesielt i de vedføyde patentkrav og vil sammen med de tilhørende fordeler fremgå tydeligere av den følgende detaljerte beskrivelse av et utførelseseksempel av oppfinnelsen gitt under henvisning til de vedføyde tegningene.

Oppfinnelsen vil bli nærmere beskrevet nedenfor i forbindelse med utførelseseksempler som er skjematisk vist på tegningene, hvor:

fig. 1 viser en utførelse av et totalt system.

Beskrivelse av henvisningstall

Følgende henvisningstall og symboler refererer til tegningene:

Detaljert beskrivelse

Forskjellige aspekter ved oppfinnelsen blir beskrevet mer fullstendig i det etterfølgende under henvisning til de vedføyde tegningene. Oppfinnelsen kan imidlertid utformes på mange forskjellige måter og skal ikke anses som begrenset til noen spesiell struktur eller funksjon som er angitt i denne beskrivelsen. Disse aspektene er derimot tilveiebragt slik at beskrivelsen skal være grundig og fullstendig, og fullstendig skal angi omfanget av oppfinnelsen for fagkyndige på området. Basert på den lære som er gitt her, skal en fagkyndig på området forstå at omfanget av oppfinnelsen er ment å dekke ethvert aspekt ved oppfinnelsen som er beskrevet her, uansett om den er implementert uavhengig av eller kombinert med et eventuelt annet aspekt ved oppfinnelsen. Det kan for eksempel implementeres en anordning eller en fremgangsmåte som kan praktiseres ved å bruke et antall av de aspektene som er angitt her. I tillegg er oppfinnelsens omfang ment å dekke en slik anordning eller fremgangsmåte som blir praktisert ved bruk av annen struktur, funksjonalitet eller struktur og funksjonalitet i tillegg til eller i stedet for de forskjellige aspektene ved oppfinnelsen som er angitt her. Det skal bemerkes at ethvert aspekt ved oppfinnelsen som er beskrevet her, kan realiseres ved hjelp av ett eler flere elementer i et krav.

Terminologi

Foreliggende beskrivelse benytter visse termer og uttrykk gjennom hele beskrivelsen, slik som: Studio: et studiosted og tilhørende utstyr slik som en primær spillmaskin og en nøklingsanordning.

Studiosted: et sted i den virkelige verden for bruk med fysiske gjenstander og med midler for registrering av disse, slik som et kamera og et lydopptakersystem. Fortrinnsvis er det belysning og kroma-nøklingsutstyr.

Spillmaskin: en fysisk maskin som interagerer med en grafikkmaskin for å visualisere simulerte objekter i en simulert verden.

Nøklingsanordning: en innretning som kombinerer visuell representasjon av fysiske gjenstander i et studio med visuell representasjon av simulerte gjenstander i en spillmaskin.

Prinsipper som utgjør grunnlaget for oppfinnelsen

Oppfinnelsen vil bli nærmere beskrevet i forbindelse med utførelseseksempler som er skjematisk vist på tegningene, hvor figur 1 viser interaksjon mellom deler som utgjør en utførelsesform av oppfinnelsen.

Sentralt i oppfinnelsen er separasjonen av reelle og simulerte gjenstander som blir integrert før presentasjon.

Beste måte å utføre oppfinnelsen på

Den utførelsesformen av oppfinnelsen som er vist på figur 1 utgjør et system 1000 som omfatter et studio 2000 som omfatter et studiosted 2200 med gjenstander fra den virkelige verden, og en primær spillmaskin 2300 som simulerer i det minste noen av den reelle verdens gjenstander, hvor den primære spillmaskinen mottar bevegelses- og posisjonsdata 2110, 2120 fra studiostedet og genererer visualisering av de nevnte gjenstandene, hvor visualiseringen blir overlagret på studiobilder ved å bruke en nøklingsfunksjon.

Studioet 2000 omfatter typisk fasiliteter for produksjon av programmer, show eller spill. Blant fasilitetene er produksjonsstedet 2200 og midler for å produsere grafiske effekter.

Studiostedet 2200 er et fysisk sted eller en fysisk posisjon i den reelle verden for bruk i forbindelse med fysiske gjenstander og objekter med midler for registrering eller opptak, slik som kamera og lydopptaksutstyr.

Det omfatter en fysisk posisjon 2210 slik som en scene, fortrinnsvis en studioscene, men kan også være et sted i naturen eller et sted av en annen type. Stedet eller posisjonen har geometriske parametere slik som en posisjon, en orientering og en målestokk. Det blir foretrukket at stedet er forsynt med utstyr for innfangning av bevegelse og dermed fortrinnsvis en anordning for å registrere posisjon og orientering for registrerings- eller opptaksanordninger slik som et kamera, video- og audio-utstyr. Data fra disse registreringsanordningene blir overført som fysiske posisjonsbevegelsesdata 2110.

I forbindelse med posisjonen er det fysiske gjenstander og objekter 2220. Disse kan være aktive objekter slik som mennesker, så vel som passive objekter, slik som stoler og bord. Objektene er fortrinnsvis forsynt med anordninger for registrering og posisjonsbestemmelse av objektene, typisk maken til de som brukes i bevegelsesopptakssystemer. Data fra disse registreringsanordningene blir overført som fysiske objektbevegelsesdata 2120.

Registreringsanordningen 2230 registrerer video- og audio-dataene for objektene 2220 i studioposisjonen 2210 og genererer bildedata 2130. En slik registreringsanordning kan være tradisjonelt registreringsutstyr slik som studio-kameraer og mikrofoner. Registreringsanordningen er fortrinnsvis forsynt med midler for registrering av sin posisjon i forhold til studiostedet slik at en ekte tredimensjonal representasjon av scenen kan bestemmes. Legg merke til at ikke alle objekter eller deler i den fysiske posisjonen må være synlige eller registreres til enhver tid.

Bildedata blir overført til en nøklingsanordning 2170 som typisk befinner seg i studioet 2000. Nøklingsanordningen er innrettet for å overlagre bilder fra andre steder ved å bruke kroma-nøkling. Slik kroma-nøkling blir typisk utført ved å bruke grønnskjermer på studiostedet og kan anvendes på stedet og objekter, helt eller delvis.

Den primære spillmaskinen 2300 tilveiebringer en virtuell verden med simulerte objekter styrt av simulert fysikk.

Den virtuelle verden er representert ved en virtuell posisjon 2310 som befinner seg på et sted. Stedet behøver ikke å være identisk med posisjonen til det fysiske stedet 2210.

Spillmaskinen mottar fysiske bevegelsesposisjonsdata 2110 slik at et forhold mellom posisjonene til de reelle og virtuelle verdenene kan etableres.

Relatert til den virtuelle verden, er det virtuelle gjenstander og objekter 2320. Disse kan være enten fullstendig virtuelle og simulert ved hjelp av spillmaskinen, eller kan simuleres basert på data fra et fysisk objekt 2220 basert på fysiske objektbevegelsesdata 2120. Et slikt simulert objekt vil oppføre seg i likhet med det tilsvarende fysiske objektet når det simuleres ved å bruke parametere fra det virkelige liv, slik som masse, tyngde og friksjon.

Spillmaskinen omfatter en fysisk maskin som håndterer den virtuelle verden og tilhørende fysikk og simulering. Representasjonen av den virtuelle verden med virtuell posisjon og objektene blir gjengitt ved hjelp av en grafikkmaskin 2330 som også er en del av spillmaskinen.

En nøklingsanordning 2170 som typisk er plassert i studioet, mottar bilderesultater 2240 fra studiostedet 2200 og bilderesultater 2340 fra den primære spillmaskinen 2300, og kombinerer disse til et kombinert resultat 2180 som kan overføres til seere.

I en typisk anvendelse er det først en oppstillingsfase hvor posisjonene til den reelle og virtuelle verden blir innrettet ved å bruke fysiske posisjonsbevegelsesdata 2110. Den reelle verdensscenen blir befolket med objekter hvis parametere blir overført til den virtuelle verden ved å bruke fysiske objekters bevegelsesdata 2120. Kameraer og annet registreringsutstyr er også objekter, og data omkring disse blir også overført slik at den virtuelle verden forblir synkronisert med den reelle verden etter hvert som kameraer beveger seg, panorerer og zoomer. Det blir tildelt plass for virtuelle objekter, typisk ved å bruke grønnskjerm slik at virtuelle objekter kan overlagres på dette området.

Objekter kan også tildekkes med grønnskjerm slik at deres visuelle representasjon kan erstattes ved å bruke nøklingsanordningen.

Under registreringsfasene kan menneskelige aktører typisk bevege seg omkring på scenen, og deres posisjon blir tilsvarende oppdatert i den virtuelle verden ved å bruke dataene 2110, 2120. Den tekniske effekten av oppfinnelsen blir illustrert når en menneskelig aktør manipulerer et objekt ved for eksempel å sparke en boks. Boksen er forsynt med en grønn farge og blir gjort usynlig ved hjelp av nøklings-anordningen. Data blir imidlertid overført til spillmaskinen som simulerer bevegelsen til boksen og erstatter den reelle verdens oppførsel med en gjengivelse av en virtuell boks simulert med tegneserielignende effekter, slik som ødeleggelse av boksen og utkasting av denne med overdrevet hastighet ved å bruke passende video- og audio-effekter.

I en foretrukket utførelsesform omfatter systemet videre en seer på et deltakersted 3000 forsynt med minst én deltakende spillmaskin 3300 for simulering

av deltakende virtuelle enheter og objekter 3320, hvor den deltakende spillmaskinen mottar bevegelses- og posisjonsdata 2110, 2120 fra studiostedet 2200 og genererer visualisering av gjenstandene, hvor visualiseringen blir overlagret på studiobilder ved å bruke nøklingsfunksjonen.

Under vanlig bruk er det først en oppstillingsfase hvor posisjonene til den reelle og den deltakende virtuelle verden blir innrettet ved å bruke fysiske posisjonsbevegelsesdata 2110. Den reelle verdensscenen blir befolket med objekter hvis parametere blir overført til den virtuelle verden ved å bruke fysiske objekters bevegelsesdata 2120. Kameraer og annet registreringsutstyr er også objekter, og data omkring disse blir også overført slik at den virtuelle verden forblir synkronisert med den reelle verden etter hvert som kameraer beveger seg, panorerer og zoomer. Det blir også tildelt plass for virtuelle objekter, typisk ved å bruke grønnskjerm-teknologi slik at virtuelle objekter kan overlagres i dette området.

Under seerfasen mottar vanligvis den deltakende spillmaskinen bildedata og posisjonsdata fra studiosystemet 2000, og bruker disse til å kombinere bildedata med bilderesultater fra den deltakende spillmaskinen i en nøklingsanordning 3170 som befinner seg på det deltakende stedet. Dette har den fordelen at båndbredden kan reduseres siden bildedata for simulerte objekter kan skapes lokalt fra bevegelsesdata 2110, 2120 med lav båndbredde. Dette muliggjør også lokal justering av for eksempel farger for å forbedre synligheten for synshemmede seere. Lokalt genererte bildedata har mer båndbredde tilgjengelig enn kringkastings-systemer og kan derfor gjengi bilder og lyd med høyere kvalitet og med finere detaljer.

I en mer foretrukket utførelsesform er den minst ene deltakende spillmaskinen innrettet for å motta data fra den primære spillmaskinen.

I en mer foretrukket utførelsesform er deltakerstedet 3000 forsynt med en innmatingsanordning 3150 slik som taster, styrespaker, tastaturer, mikrofon og andre midler for innføring av data i spillmaskinen 3300. Dette lar en seer delta lokalt i et underholdningsshow uten å benytte et sentralisert system som vil kreve båndbredde for innkomne brukerdatatrafikk. Dette muliggjør i sin tur opp-skalering av systemet.

I en ytterligere foretrukket utførelsesform er den primære spillmaskinen videre innrettet for å motta data fra den minst ene deltakende spillmaskinen. Dette kan være bevegelsesdata alene for å bevare båndbredde mens det fremdeles leses resultater fra deltakerne, en løsning som ikke krever de samme behov for lav latens som for et system hvor alle beregninger finer sted sentralt.

I noen utførelsesformer kan i det minste noen deltakerdata gjenutsendes for andre deltakere.

I andre utførelsesformer kan deltakerdata deles mellom en gruppe deltakere uten å bli rutet sentralt, for eksempel av studioet.

Det er foretrukket å dirigere datastrømmer gjennom et databasesystem 4000 som dirigerer passende data til hver deltaker. En slik datastrøm kan være data-strømmer fra studiostedet 4010 og datastrømmer fra den primære spillmaskinen 4020.

Alternative utførelsesformer

Et antall variasjoner av det ovenstående kan tenkes. Studioet kan for eksempel produsere data for registrering i stedet for direkte overføringer.

Deltakerstedet kan likeledes bruke registrerte data i stedet for mottak av direkte data. Dette vil medføre de foran nevnte fordelene med forbedret datakompresjon.

Deltakerstedet kan operere på én av flere måter:

Direkte mottaksmodus: hvor deltakeren passivt ser på det som skjer i studioet,

Virtuell direkte deltakermodus: hvor deltakeren interagerer eller spiller med systemet ved å bruke den deltakende spillmaskinen ved å bruke fortrinnsvis forhåndsinnlastede data fra studioet. Dette har den effekt at det synes å være direkte uten båndbreddebehovet for virkelig direktesending og uten eller med begrenset forsinkelse. Resultatene av interaksjonen returneres typisk til studioet.

Full direkte deltakermodus: hvor deltakeren er i sann tid forbundet med den primære spillmaskinen, typisk for noen få valgte deltakere. Systemet går over fra virtuell direkte deltakermodus til fullstendig direkte deltakermodus for de deltakerne som gjør det ekstra godt og som har størst interesse.

Tilbakestillingsmodus: hvor deltakeren opererer bare på forhåndslastede data. Dataene kan også være resultat av én av de tre modiene som er nevnt ovenfor.

Industriell anvendbarhet

Oppfinnelsen ifølge søknaden kan anvendes ved registrering, overføring, distribusjon og betraktning av multimedia og for seerdeltakelse.

Claims (9)

1. System (1000) for å overlagre gjenstander fra den reelle fysiske verden på en virtuell, simulert verden, omfattende et studiosystem (2000) omfattende: et studiosted (2200) for gjenstander (2220) fra den virkelige verden og en primær spillmaskin (2300) for simulering av i det minste noen av gjenstandene fra den virkelige verden, hvor den primære spillmaskinen mottar bevegelses- og posisjonsdata(2110), (2120) fra studioet og genererer visualisering av gjenstandene, hvor visualiseringen blir overlagret på studiobilder ved å bruke en nøklingsfunksjon (2170).

2. System ifølge krav 1, videre omfattende en anordning for overføring av bevegelses- og posisjonsdata (2110, 2120) til et deltakersted (3000).

3. System ifølge krav 1, videre omfattende en anordning for registrering av bevegelses- og posisjonsdata (2110, 2120) for senere bruk på et deltakersted.

4. System ifølge krav 2, videre omfattende en anordning for å motta data fra den minst ene deltakende spillmaskinen (3000).

5. Deltakersted (3000), omfattende: en deltakende spillmaskin (3300) for simulering av deltakende enheter, hvor den deltakende spillmaskinen mottar bevegelses- og posisjonsdata (2110, 2120) fra studioet og genererer visualisering av gjenstandene, hvor visualiseringen blir overlagret på studiobilder ved å bruke en nøklingsfunksjon (3170).

6. Deltakersted ifølge krav 5, hvor den minst ene deltakende spillmaskinen videre er innrettet for å motta data fra den primære spillmaskinen (2300).

7. Deltakersted ifølge krav 5, videre omfattende en innmatingsanordning (3150) for styring av den deltakende spillmaskinen (3300).

8. Deltakersted ifølge krav 5, hvor den minst ene deltakende spillmaskinen videre er innrettet for å overføre data til den primære spillmaskinen (2300).

9. Deltakersted ifølge krav 5, hvor den minst ene deltakende spillmaskinen videre er innrettet for å motta forhåndsinnlastede data.