NO330120B1 - Fremgangsmate og innretning for a motta og modifisere bildedata - Google Patents

Abstract

En fremgangsmåte og innretning for å motta og modifisere bilde, f.eks videodata for filmproduksjon. Bildedata, feks. Videodata i et komprimert raw-format, mottas fra et kamera. Metadata som representerer kamerafunksjoner eller -innstillinger mottas fra en første trådløs metadataregistreringsinnretning slik som en mobiltelefon. Metadata som representerer manusdata mottas fra en andre trådløs metadataregistreringsinnretning slik som en portable datamskin. Modifiserte bildedata genereres basert på de mottatte bildedata og de mottatte metadata, f.eks. ved fargekorrigering av bildedataene l avhengighet av metadataene.

Description

Område for oppfinnelsen

Den foreliggende oppfinnelsen vedrører en fremgangsmåte og en innretning for å motta og modifisere bildedata, f.eks. videodata mottatt fra et digitalt filmkamera. Fremgangsmåten og innretningen kan særlig anvendes i filmproduksjon eller fj ernsynsproduksj on.

Bakgrunn for oppfinnelsen

Filmfremstillingsprosessen inndeles vanligvis i fem trinn:

- utvikling, herunder skriving av et manuskript; - pre-produksjon; herunder forberedelser til filmingen;

- produksjon; hvori råelementene for filmen opptas ("på settet"); og

- post-produksjon, som innbefatter filmredigering, lydsporredigering, tilføyelse av effekter, osv.; og

- salg og distribusjon.

Den foreliggende fremgangsmåten og innretningen er særlig anvendelig for produksjonsfasen angitt ovenfor.

I eksisterende film- eller fjernsynsproduksjon, spesielt i "på settet"-fasen for produksjonen, er filmmanuskriptet ("historien") grunnlaget for beslutninger som gjøres i arbeidsflyten.

På et filmsett materialiserer regissøren og filmfotografansvarlig (eng: the director of photography) manuskriptet ved deres visuelle tolkning. Filmproduksjon har i om lag 130 år blitt opptatt på analog film. Det er nå en økende trend i industrien at man går over til digitale filmopptak. Filmproduksjon, f.eks. produksjon av dramafilm, involverer høye kostnader i en begrenset opptaksperiode. Det opptatte materialet har høy økonomisk verdi. Mens konvensjonell analog film tilveiebringer et beskyttet, fast medium for originalopptaket, involverer digital film mer flyktige originaldata som må bevares på sikker måte.

Den digitale filen tilveiebrakt av et digitalt filmkamera opptas typisk i et RAW-format. Dette formatet krever manipulering før det kan fremvises eller transformeres til et format som er egnet for betraktning. Slik manipulering krever en type av metadata for at man skal vite hvordan bildet skal fremvises. Under produksjon tilveiebringes metadata blant annet av kameraassistenten og script supervisor.

I dag blir metadata opprettet av personalet på filmsettet, vanligvis skrevet ned på papir, og følger produksjonsarbeidsflyten i papirform eller på digitale formater som ikke kommuniserer med den digitale arbeidsflyten.

Produkter i bakgrunnsteknikken som i bruk av manuell innlesing av produksjonspersonalets metadata er kjent som Iridas Speedgrade OnSet og 3Cp fra Gamma & Density.

Det er derfor et generelt behov for fremgangsmåter og innretninger som kan forbedre den totale filmproduksjonsprosessen, eller detaljer i prosessen.

Sammenfatning av oppfinnelsen

Fremgangsmåten og innretningen ifølge den foreliggende oppfinnelsen er definert ved de vedføyde patentkrav.

Kort beskrivelse av tegningene

Utførelsesformer av oppfinnelsen vil bli beskrevet nedenfor med henvisning til tegningene. Fig. 1 er et skjematisk blokkdiagram som illustrerer prinsipper ved en innretning og i en fremgangsmåte for å motta og modifisere bildedata. Fig. 2 er et skjematisk flytskjema som illustrerer prinsipper ved en første utførelsesform og en fremgangsmåte for å motta og modifisere bildedata. Fig. 3 er et skjematisk flytskjema som illustrerer prinsipper ved en andre utførelsesform av en fremgangsmåte for å motta og modifisere bildedata.

Detaljert beskrivelse av utførelsesformer

Fig. 1 er et skjematisk blokkdiagram som illustrerer prinsipper ved en innretning og en fremgangsmåte for å motta og modifisere bildedata.

En innretning 100 for å motta og modifisere bildedata er anordnet til å motta bildedata fra et kamera 110. De mottatte bildedata kan f.eks. være videodata i et komprimert raw-format.

Kameraet 110 kan være et digitalt filmkamera, dvs. et profesjonelt digitalt videokamera med svært høy oppløsning, egnet for profesjonell filmproduksjon. Andre digitale videokameraer kan også være anvendelige.

Videodata i komprimert raw-format inneholder minimalt prosesserte data (dvs. med minimalt tap) fra bildesensoren i digitalkameraet. Andre video-/bildeformater, innbefattende f.eks. et ukomprimert raw-format, kan også være anvendelig.

Innretningen 100 for å motta og modifisere bildedata er videre innrettet for å motta metadata fra i det minste én metadataregistreringsinnretning 120, 130.

For dette formål innbefatter innretningen 100 inngangskretser 140 for å motta raw-bildedata fra kameraet 110, og for å motta metadata fra en

metadataregistreringsinnretning; og prosesseringskretser (ikke illustrert) konfigurert til å generere modifiserte bildedata basert på raw-bildedataene og metadataene.

Den minst ene metadataregistreringsinnretningen kan innbefatte en kamerametadataregistreringsinnretning 120, tiltenkt å bli betjent av f.eks. en kameraassistent, eller en manuskriptmetadatarekodingsinnretning 130, tiltenkt å bli operert av f.eks. en script supervisor, eller begge.

Innretningen 100 for å motta og modifisere bildedata er videre innrettet for å generere modifiserte bildedata basert på de mottatte bildedata, og de mottatte metadata.

For dette formål innbefatter innretningen 100 for å motta og modifisere bildedata, prosesseringskretser (ikke illustrert) et minne (ikke illustrert) og assosierte inngangs-/utgangskretser (ikke illustrert).

I et aspekt innbefatter generering av de modifiserte bildedata utført av innretningen 100 fargekorreksjon, eller fargegradering, av de mottatte raw-bildedata i avhengighet av innholdet av metadataene.

I et aspekt innbefatter de mottatte metadata kamerafunksjoner eller -innstillinger, angitt som "teknisk informasjon" i fig. 1.

Slike metadata kan innbefatte ett eller flere elementer valgt fra følgende elementer: posisjonsdata (f.eks. data som representerer GPS-koordinater), akselerasjonsdata, f.eks. gyrodata, tidsdata.

I dette tilfellet kan metadataregistreringsinnretningen 120 være en trådløs terminal, og mottaket av metadata kan innbefatte å motta kamerafunksj onene eller

-innstillingene via et trådløst grensesnitt.

Alternativt kan et trådbundet grensesnitt eller annen type grensesnitt benyttes for å overføre metadataene.

Kamerafunksj ons- eller kamerainnstillingsmetadataene kan mottas fra en metadataregistreringsinnretning i form av en trådløs terminal, f.eks. en portabel datamaskin, en PDA, en mobiltelefon eller lignende, f.eks. forsynt med WLAN-kommunikasjonskapabilitet eller annen trådløs eller trådbundet kommunikasjonskapabilitet. I dette tilfellet innbefatter mottak av metadataene mottak av kamerafunksjonsmetadata eller kamerainnstillingsmetadata via et trådløst grensesnitt slik som et WLAN-grensesnitt.

I en særlig utførelsesform kan en trådløs terminal 120 som har innebygde funksjoner for å tilveiebringe i det minste én av følgende data, anvendes: posisjonsdata (f.eks. tilveiebrakt av en innebygget GPS-mottaker), akselerasjonsdata (f.eks. tilveiebrakt av en innebygget gyrosensor), og tidsdata (f.eks. tilveiebrakt av en innebygget GPS-mottaker). Dette vil være særlig nyttig dersom den trådløse terminal er fysisk tilfestet til kameraet, siden metadataene tilveiebrakt av den trådløse terminalens innebygde funksjoner ville være representative for posisjonen og bevegelsen for kameraet, og for den absolutte tiden.

Som et eksempel kan den trådløse terminalen 120 være en Apple iPhone. Andre typer terminaler, innbefattende portable datamaskiner, PDA'er, smarttelefoner, mobiltelefoner kan være anvendelige.

I et annet aspekt kan de mottatte metadataene innbefatte manusmetadata (eng.: script metadata).

Slike manusmetadata kan identifisere i det minste én av: en dag, en scene (eng.: a scene), en slate og en tagning (eng.: a take).

Manusmetadataene kan også mottas fra en metadataregistreringsinnretning i form av en trådløs terminal 130, f.eks. en portabel datamaskin, en PDA, en mobiltelefon eller lignende, f.eks. forsynt med WLAN-kommunikasjonskapabilitet eller en annen trådløs eller trådbundet kommunikasjonskapabilitet. I dette tilfellet innbefatter mottak av metadata mottak av manusmetadata via et trådløst grensesnitt slik som et WLAN-grensesnitt.

Alternativt kan en trådbundet eller annen type grensesnitt benyttes for å overføre metadataene.

Som et eksempel kan den trådløse terminalen 130 være en portabel Macintosh datamaskin OSX. Andre typer terminaler, innbefattende portable datamaskiner, PDA'er, smarttelefoner, mobiltelefoner kan være anvendelige.

I innretningen 100 for å motta og modifisere bildedata kan de mottatte metadata lagres i en database 160, f.eks. sammen med lagring av de mottatte bildedata.

Selv om databasen 160 har blitt illustrert som et integrert element i innretningen 100, skal det forstås at databasen 160 kan være ekstern i forhold til innretningen 100. Videre kan databasen 160 være utført enten som en sentral database eller fordelt blant et hvilket som helst egnet antall fysiske databaseelementer.

De mottatte metadata og de mottatte bildedata kan også lagres i et reservesubsystem (eng.: a backup subsystem) 170, som kan være forsynt med et verifikasjonssubsystem 172, videre forbundet til eksterne (eller interne) lagringsinnretninger slik som et magnetisk båndlager (angitt som "LTO tape") 174, en diskoppstilling (angitt som RAID; Redundant Array of Inexpensive Disks) 178, eller en annen magnetisk, optisk eller faststofflagringsinnretning (angitt som "Harddisk") 176, eller en hvilken som helst kombinasjon av disse.

Genereringstrinnet, utført av innretningen 100, kan innbefatte et de-Bayering-trinn eller demosaikktrinn (eng.: demosaicing step), utført på de mottatte bildedata. Et element som representerer de-Bayeringtrinnet eller demosaikktrinnet er illustrert ved 180. De-Bayering- eller demosaikktrinnet innbefatter en pre-transformasjon av raw-dataene til betraktbar form.

Genereringen av de modifiserte bildedata, særlig fargekorreksjon, eller fargegradering, av de mottatte raw-data, kan utføres basert på en dag, scene, slate eller tagning, identifisert av script-metadataene. Denne fargekorreksj onen kan utføres av fargekorreksjonselementet 190.

Subtrinnet med fargekorreksjon (eller fargegradering) basert på metadata, spesielt manusmetadata, tilveiebringer en nyttig forbindelse av historien (eng.: the story)

(identifisert av manusdata) til den digitale arbeidsflyten. Som resultat gis en bruker muligheten til å fremvise og digitalt fargegradere arbeidet i historiekontekst, på en effektiv og tidsbesparende måte.

Fargekorreksjonselementet 190 er videre forbundet til fargeprofilelementet 210, som er videre forbundet til det digitale displayet 220.

I tillegg til metadataene mottatt fra kameraregistreringsinnretningen 120 og manusdataregistreringsinnretningen 130, kan ytterligere metadata også mottas fra kameraet 110.

Slike ytterligere metadata kan innbefatte kameraidentifikasjonsdata, linsedata, lukkerdata, kameratidsdata, osv.

Innretningen 100 for å motta og modifisere bildedata kan også være anordnet for å avgi de modifiserte bildedata og metadataene, f.eks. ved bruk av utgangsgjengivelseselementet (eng.: the output rendering element) 200. De modifiserte bildedata og metadataene kan f.eks. sendes videre til en postproduksjonsfasilitet 270. Metadataene levert til post-produksjonsfasiliteten 270 kan omfatte XML-data, slik det er illustrert ved 260.

I et aspekt innbefatter bildedataene mottatt av innretningen 100 for å motta og modifisere bildedata et første sett av tidsstempler, og metadataene innbefatter et andre sett av tidsstempler. Genereringen av modifiserte bilder kan da omfatte å sammenligne de første og andre sett av tidsstempler.

I et aspekt kan innretningen 100 for å motta og modifisere bildedata, videre omfatte en subprosess for å kode modifiserte bildedata til multiple utgangsformater.

De multiple utgangsformatene kan innbefatte formater med ulike oppløsninger, og de kan være nyttige for ulike formål slik som forhåndsvisning, redigering, lagring, transmisjon, osv.

Subprosessen med koding av de modifiserte bildedata til multiple videoformater kan omfatte et felles dekomprimeringssubtrinn; et felles de-Bayering- eller demosaikksubtrinn; og et felles fargekorreksjonssubtrinn; fulgt av separate kodingssubtrinn. I denne sammenheng angir "felles" trinn et trinn som utføres bare én gang i den totale kodingssubprosessen. Hvert kodingssubtrinn kan være tilpasset et bestemt videoformat. Inndelingen av den totale kodingssubprosessen i felles presubtrinn (dekomprimering, de-Bayering eller demosaikk, og fargekorreksjon), som er felles for ulike resulterende filformater, og separate kodingssubtrinn som hvert er spesielt tilpasset det aktuelle filformatet, resulterer i en vesentlig reduksjon av den totale prosesserings-/gjengivelsestiden (eng.: overall processing/rendering time), sammenlignet med den tradisjonelle tilnærming med dekomprimering, de- Bayering/demosaikk, fargekorreksjon og koding, hvor alle trinn utføres separat for hvert nødvendige utgangsformat.

Utgangsdataene kan overføres til en eller flere av de følgende: XML-utgangen 260, et nettverkselement 259 forbundet til internett, et lagringselement 240 slik som et portabelt harddiskdrev, en displayinnretning 230 slik som et optisk filmdisplay.

Fig. 2 er et skjematisk flytskjema som illustrerer prinsipper ved den første eksempelutførelsesform av en fremgangsmåte for å motta og modifisere bildedata.

Fremgangsmåten starter ved trinn 400.

Videre, i trinn 410, mottas bildedata fra et kamera. Bildedataene kan være videodata i et komprimert raw-format.

Videre, i trinn 420, mottas metadata fra en metadataregistreringsinnretning, f.eks. innbefattende kamerafunksj oner eller kamerainnstillinger, eller manusmetadata, eller begge.

Videre, i trinn 430, genereres modifiserte bildedata basert på de mottatte bildedata og de mottatte metadata, f.eks. ved fargekorrigering av bildedataene i avhengighet av metadataene.

Fremgangsmåten avsluttes ved trinn 490.

Fig. 3 er et skjematisk flytskjema som illustrerer prinsipper ved en andre eksempelutførelsesform av en fremgangsmåte for å motta og modifisere bildedata.

De samme henvisningstall har blitt brukt for de elementene som også fremstår i fig. 2. Beskrivelsen av elementer vist i fig. 2 gjelder også for beskrivelsen av de samme elementer avbildet i fig. 3.

Fremgangsmåten starter ved trinn 400.

Videre, i trinn 410, mottas bildedata fra et kamera, f.eks. et digitalt filmkamera.

Videre, i trinn 420, mottas metadata fra en metadataregistreringsinnretning, f.eks. innbefattende kamerafunksj oner eller -innstillinger, eller manusmetadata, eller begge.

I subtrinn 422 mottas metadata innbefattende kamerafunksj oner eller -innstillinger fra en første trådløs terminal, og kamerafunksj onene eller -innstillingene mottas via et trådløst grensesnitt assosiert med den første trådløse terminalen.

Videre, i subtrinn 424, mottas metadata innbefattende manusdata fra en andre trådløs terminal. Manusmetadataene mottas via et trådløst grensesnitt assosiert med den andre trådløse terminalen.

Videre, i trinn 430, genereres modifiserte bildedata basert på de mottatte bildedata og de mottatte metadata. De mottatte bildedata kan innbefatte et første sett av tidsstempler, og metadataene innbefatter et andre sett av tidsstempler. Genereringen av de modifiserte bildedata kan innbefatte sammenligning av de første og andre sett av tidsstempler.

Først i genereringstrinnet 430, i subtrinn 432, utsettes de mottatte bildedata for en innledende de-Bayering eller demosaikkprosess.

Videre, i subtrinn 434, identifiseres i det minste én av: en dag, en scene, en slate og en tagning, fra manusmetadataene.

Videre, i subtrinn 436, utføres en fargekorrigering på bildedataene i avhengighet av metadataene. Fargekorrigeringen utføres basert på en dag, scene, slate eller tagning identifisert av manusmetadataene.

Videre, i subtrinn 440, avgis de modifiserte bildedata og metadataene og leveres videre til en postproduksjonsfasilitet. Utgangsmetadataene kan innbefatte XML-data.

De modifiserte bildedata kan kodes til multiple formater. Kodingen kan innbefatte et felles dekomprimeringssubtrinn; et felles de-Bayering- eller demosaikksubtrinn; og et felles fargekorrigeringssubtrinn; så vel som separate kodingssubtrinn, hvert tilpasset for et bestemt videoformat, på samme måte som det allerede er forklart med henvisning til fig. 2.

Metadataene kan også lagres i en database. De mottatte bildedata kan også lagres i databasen. De mottatte bildedataene kan også lagres i en reservefasilitet, på samme måte som det allerede er forklart tidligere i den foreliggende spesifikasjonen.

Ulike aspekter ved oppfinnelsen kan blant annet tilveiebringe i det minste noen av de følgende fordeler: - den totale arbeidsflyt ved filmproduksjonsprosessen kan gjøres mer effektiv, - en bruker av en filmproduksjonsfasilitet kan oppnå bedre kontroll over den kreative prosessen, - sikkerheten og påliteligheten økes, sammenlignet med tidligere løsninger, som monterer digitale raw-data i filmproduksjon, - kamerassistentens og script-supervisorens arbeid kan gjøres mer effektivt, siden tidligere manuelle operasjoner og oppgaver effektivt erstattes ved bruk av trådløse kommunikasjoner, - administrering av filer som resulterer fra et filmproduksjonssett gjøres mer effektiv, hvilket gjør det mulig å ta raske og velavveide beslutninger basert på en tidlig betraktning av registrert materiale,

- digital post-prosessering kan gjøres mer effektivt.

Oppfinnelsen har blitt beskrevet her ved eksempler. Tallrike variasjoner og alternativer vil fremstå tydelig for fagfolk. Således er oppfinnelsens rekkevidde fremsatt ved de vedføyde krav og deres ekvivalenter.

Claims (19)

1. Fremgangsmåte for å motta og modifisere bildedata, omfattende: - å motta bildedata fra et kamera; - å motta metadata fra en metadataregistreringsinnretning; - å generere modifiserte bildedata basert på bildedataene og metadataene,karakterisert vedat de mottatte bildedata innbefatter et første sett av tidsstempler, metadataene innbefatter et andre sett av tidsstempler, og genereringen av modifiserte bildedata innbefatter sammenligning av de første og andre sett av tidsstempler.

2. Fremgangsmåte i samsvar med krav 1, hvor genereringen av de modifiserte bildedata innbefatter fargekorrigering av bildedataene i avhengighet av metadataene.

3. Fremgangsmåte i samsvar med krav 1 eller 2, hvor metadataene innbefatter kamerafunksj oner eller kamerainnstillinger.

4. Fremgangsmåte i samsvar med krav 3, hvor metadataregistreringsinnretningen er en trådløs terminal, og der trinnet med å motta metadataene innbefatter å motta kamerafunksj onene eller kamerainnstillingene via et trådløst grensesnitt.

5. Fremgangsmåte i samsvar med et av de ovenstående krav, hvor metadataene innbefatter manusmetadata.

6. Fremgangsmåte i samsvar med krav 5, hvor manusmetadataene identifiserer i det minste én av en dag, en scene, en slate, og en tagning, og hvor fargekorrigeringen utføres basert på en dag, scene, slate eller tagning som identifisert av manusmetadataene.

7. Fremgangsmåte i samsvar med krav 5 eller 6, hvor metadataregistreringsinnretningen er en trådløs terminal, og hvor trinnet med å motta metadataene innbefatter å motta manusmetadataene via et trådløst grensesnitt.

8. Fremgangsmåte i samsvar med et av de ovenstående krav, hvor metadataene er lagret i en database.

9. Fremgangsmåte i samsvar med et av de ovenstående krav, hvor genereringstrinnet innbefatter et innledende de-Bayering- eller demosaikktrinn utført på de mottatte bildedata.

10. Fremgangsmåte i samsvar med et av de ovenstående krav, videre omfattende å motta ytterligere metadata fra kameraet.

11. Fremgangsmåte i samsvar med et av de ovenstående krav, hvor kameraet er et digitalt filmkamera.

12. Fremgangsmåte i samsvar med et av de ovenstående krav, hvor bildedataene er videodata i et komprimert raw-format.

13. Fremgangsmåte i samsvar med et av de ovenstående krav, videre omfattende å avgi de modifiserte bildedata og metadataene.

14. Fremgangsmåte i samsvar med krav 13, hvor de modifiserte bildedata og metadataene leveres til en postproduksjonsfasilitet.

15. Fremgangsmåte i samsvar med krav 13, hvor metadataene som leveres til postproduksjonsfasiliteten omfatter XML-data.

16. Fremgangsmåte i samsvar med et av de ovenstående krav, videre omfattende koding av de modifiserte bildedata til multiple videoformater.

17. Fremgangsmåte i samsvar med krav 16, hvor kodingen til multiple videoformater omfatter: - et felles dekomprimeringssubtrinn; - et felles de-Bayering- eller demosaikksubtrinn; og - et felles fargekorrigeringssubtrinn; og - separate kodingssubtrinn, hvert tilpasset et bestemt videoformat.

18. Innretning for å motta og modifisere bildedata, omfattende: - første inngangskretser for å motta bildedata fra et kamera; - andre inngangskretser for å motta metadata fra en metadataregistreringsinnretning; og - prosesseringskretser for å generere modifiserte bildedata basert på de mottatte bildedata og metadataene, karakterisert vedat de mottatte bildedata innbefatter et første sett av tidsstempler, metadataene innbefatter et andre sett av tidsstempler, og genereringen av modifiserte bildedata innbefatter sammenligning av de første og andre sett av tidsstempler.

19. Innretning i samsvar med krav 18, tilpasset for å utføre en fremgangsmåte som fremsatt i et av kravene 1-17.