NO333583B1 - Et system for utvikling av dataspill pa internett - Google Patents

Abstract

Oppfinnelsen omfatter et system som består av et web-basert system ("Web OS") i en web browser eller web browser plug-in, en desktop applikkasjon, et klient program/vindu og/eller en web browser plug-in for fjernspilling og/eller lokal spilling, og et accessible OS for binde og svaksynte brukere.

Description

INTRODUKSJON

Oppfinnelsen er generelt sett relatert til informasjonsteknologisystemer, og mer spesifikt til et system for utvikling av høykvalitets dataspill på Internett.

BAKGRUNN

Det eksisterer en god del kjent teknikk innen det tekniske området til oppfinnelsen. Noen eksempler på dette er:

o Systemer for web-baserte operativssystemer på Internett: YouOS og EyeOS.

o Systemer for fjernspillingsopplevelser på Internett: OnLive og GaiKai.

o System for "hosted game development environment" (US patent application number US2004/0106452 Al).

Det finnes mange systemer for utvikling av dataspill. Spillmotorer brukes for å tilby selveste kjernefunksjonaliteten i dataspill (f.eks. Crytek CryEngine og Unreal Engine). Det finnes en

lang rekke verktøy for å lage 3D innhold i dataspill (f.eks. Blender, Autodesk 3D Studio Max, Autodesk Maya, Autodesk Softimage, Poser, DAZ Studio, Bryce og MojoWorld). Videre tilbys det en lang rekke verktøy for å lage musikk, lydeffekter, fysikkeffekter, karakteranimasjon, lyssetting, med videre. Det er hovedsaklig to grafikkbiblioteker per idag for visualisering av 3D grafikk i sanntid i dataspill (dvs. DirectX og OpenGL). nVidia eksperimenterer med en ny type sanntids visualisering med ray-tracing, kalt nVidia OptiX. Ray-tracing er en gammel og godt kjent fremgangsmåte for visualisering av 3D grafikk, men ettersom ray-tracing er mye mer prosessorkrevende enn raster-baserte teknikker (som DirectX og OpenGL benytter), er ray-tracing lite brukt idag til sanntids dataspill 3D grafikk visualisering. Vi tror at ray-tracing vil bli hovedfremgangsmåten for sanntids dataspill 3D grafikk visualisering i fremtiden, fordi prosessorkraften blir stadig bedre i datamaskiner. Det finnes web-baserte operativsystemer (f.eks. YouOS og EyeOS) for ordinære forretningsmessige behov (f.eks. e-post, chat/instant messaging, tekstbehandling, regneark, fillagring, kalkulator, og lignende). Det finnes ingen web-baserte operativsystemer, såvidt vi kjenner til, for spillutvikling. Det finnes også en del tjenester som tilbyr fjernspilling av dataspill over Internett (f.eks. OnLive og GaiKai). Det er også tilgjengelig en del verktøy for studenter og hobby-spillutviklere (f.eks. Microsoft XNA).

Eksisterende teknikk er vanskelig å bruke for studenter og små/mellomstore spillutviklings-prosjekter. Eksisterende teknikk er også vanskelig å bruke til å involvere sluttbrukerne i en brukerdrevet kollaborativ spillutviklingsprosess. Dataspillressurser (f.eks. 3D modeller, kode og media) er ofte store (ofte flere gigabyte). Dette blir et sentralt problem når utviklerne er spredt geografisk. Installasjon og oppgradering av programvareverktøy og maskinvare kan også bli et hinder. Digital rettighetsbeskyttelse er også et problem ved deling av ressurser.

OPPSUMMERING AV OPPFINNELSEN

Det er en hensikt med den foreliggende oppfinnelsen å tilveiebringe et system for å løse de ovenfor nevnte problemene i tidligere kjent teknikk.

Trekkene definert i de selvstendige kravene vedlagt karakteriserer dette systemet.

Den foreliggende oppfinnelsen tilveiebringer et system som består av et web-basert system ("Web OS") i en web browser eller web browser plug-in; en desktop applikasjon; et klient program/vindu og/eller en web browser plug-in for fjemspilling og/eller lokal spilling; og et Accessible OS for blinde og svaksynte brukere.

KORT BESKRIVELSE AV FIGURENE

Oppfinnelsen vil i det videre bli beskrevet i detalj med henvisninger til figurene, hvor:

FIG. 1 viser systemarkitekturen til systemet.

FIG. 2 viser et brukergrensesnitt for Web OS'et i en web browser eller web browser plug-in.

FIG. 3 viser et brukergrensesnitt for Mesh Viewer i Web OS'et.

FIG. 4 viser et brukergrensesnitt for Mesh Viewer i Web OS'et.

FIG. 5 viser et brukergrensesnitt for kurskatalogen i Web OS'et.

FIG. 6 viser et brukergrensesnitt for kursvisningen i Web OS'et.

FIG. 7 viser et brukergrensesnitt for fjernspillingsklienten.

FIG. 8 viser et brukergrensesnitt for fjernspillingsklienten.

FIG. 9 viser et brukergrensesnitt for desktop applikasjonen.

FIG. 10 viser innholdet i en eksempel kildekodefil for et enkelt dataspill.

DETALJERT BESKRIVELSE

Idéen med oppfinnelsen går hovedsaklig ut på å tilveiebringe et "web operativsystem" (Web OS), som eksekverer inne i en web browser, web browser plug-in eller en annen applikasjon med web browsing støtte, hvor Web OS'et inneholder webapplikasjoner for spillutvikling. En av fordelene med en slik løsning erat spillutviklingsverktøy, 3D modelleringsverktøy, andre verktøy, spillmotorer, 3D modeller og andre media kan være lagret/installert på et sett med serversystemer, slik at brukeren ikke nødvendigvis må laste ned (og installere) alt dette for å utvikle et dataspill, delta i å utvikle et dataspill, se på/endre 3D modeller/media, spille ett eller flere dataspill/dataspillfragmenter, med videre. Dette gjelder spesielt i de tilfeller hvor en eller flere studenter, designere og/eller utviklere bare skal delta i en spesifikk oppgave i dataspillet og/eller i en kortere tidsperiode. Dette gjelder også spesielt i de tilfeller hvor det er ønskelig å involvere sluttbrukerne, av et dataspill, i selve utviklingen og/eller utvidelsen av et dataspill. Det vil være tungvindt og problematisk i slike prosjekter å måtte laste ned og installere mange verktøy, spillmotorer, 3D modeller og annet bare for å utføre et kort og lite prosjekt. Server-side lagring forbedrer også håndtering av digital rettighetsbeskyttelse. Oppfinnelsen kan naturligvis brukes til å lage ordinære dataspill (dvs. et "stand-alone" dataprogram som kan lastes ned og installeres ved hjelp av et installasjonsprogram). Men, vi vil også fremheve et annet viktig bruksområde: Vi tror at web innhold, slik vi kjenner det idag, står ovenfor et paradigmeskifte. Vi tror at om ikke altfor lenge vil vi begynne å se web-sider som ser ut som og fungerer som dataspill gjør idag. Raster-basert grafikk (f.eks. DirectX 11 og/eller OpenGL 4, som er siste versjon per idag) vil bli brukt til visualisering av 3D grafisk innhold. Lengre inn i fremtiden (muligens om 10 år) vil ray-tracing teknikker blir brukt. Det tradisjonelle tekst-baserte innholdet vil nok vedvare, men dataspillopplevelser vil bli brukt i større grad. Vi tror web browser plug-ins vil bli brukt for slikt dataspillinnhold. Vi tilbyr også en web browser plug-in og/eller en desktop applikasjon for å tilgjengeliggjøre slike dataspillopplevelser på web. Web browsere og "media centers" vil nok også utvides etterhvert for å støtte denne typen dataspillopplevelser. En av ideene med oppfinnelsen er å gjøre det mye lettere å utvikle og designe slike web-baserte dataspillopplevelser.

Oppfinnelsen inneholder en rekke verktøy. "Mesh Viewer" er et verktøy som gjør det mulig å vise 3D modeller i Web OS'et og andre steder. Brukeren kan, med dette verktøyet, åpne 3D modeller, "interakte" med 3D modellen (f.eks. flytte, rotere, redigere, spille av animasjoner, endre materialer/shadere/farger/lys/kamera/visualiseringer/skyggene/miljøet, med videre), og eventuelt lagre endringer (eller dele dem med andre). Kurskatalogen inneholder en lang rekke med kurs som tilbyr opplæring innen viktige områder relatert til spillutvikling (f.eks. DirectX/Shader/spillmotor programmering, og 3D modellering og design for Blender/Bryce), samt spillprosjekter. Biblioteket inneholder en lang rekke artikler relatert til spillutvikling. Vi legger opp til at spillutviklere kan legge opp artikler og referanser i biblioteket. Oppfinnelsen inneholder også en kodeeditor og et større integrated development environment (IDE). Det brukes hovedsaklig det samme type grensesnitt som i andre IDE'er (f.eks. Microsoft Visual Studio). En mindre kodeeditor brukes for lettere redigering av enkeltfiler. Oppfinnelsen har også mange av de samme verktøyene som i andre Web OS (f.eks. instant messaging, voice, file explorer, file sharing, kalender, prosjektstyring, tekstbehandling, kontaktliste, profil, rss feeds, e-post, arbeidsgrupper, regneark, kalkulator, presentasjonsverktøy, med videre). Vi vil også kunne utvide oppfinnelsen med støtte for avansert 3D modellering, animasjoner, med videre, i fremtiden.

Oppfinnelsen inneholder en rekke programvareapplikasjoner som installeres på brukerens datamaskin. Desktop applikasjonen er et dataprogram som kan lastes ned og installeres på brukerens datamaskin. Desktop applikasjonen har lokal lagring av dataspill/spillressurser, synkronisering av filer imellom systemservere og sluttbrukermaskiner, fjernspilling, instant messaging, konfigurering av in-game huds, med videre. En fjernspillingsklient og en web browser plug-in kan også installeres på brukerens datamaskin. Web browser plug-in'en kan brukes til å vise høykvalitets dataspillopplevelser i en web browser (dvs. større dataspill). Overføring av ressursfiler (3D modeller, teksturer, med videre) er et åpenbart problem. Det er også klart at synkronisering er et problem. En av hovedidéene med oppfinnelsen er dertil å løse problemene med overføring og synkronisering av ressursfiler med å tilby brukerne en "desktop applikasjon" som eksekverer på brukerens maskin som en tjeneste (dvs. i "system tray" eller service). Når brukeren er på en (ordinær HTML) nettside som tilbyr web browser-baserte dataspill opplevelser, kan brukeren f.eks. velge å prøve dataspillet med fjernspilling, eller velge å laste ned dataspillet til egen datamaskin. Dersom brukeren velger nedlasting til egen datamaskin, vil web browser plug-in'en kommunisere dette til desktop applikasjonen, som starter nedlastingsprosessen (forutsatt at brukeren har installert web browser plug-in komponenten og desktop applikasjonen). Desktop applikasjonen vil først hente en XML liste over alle filene som skal lastes ned og/eller synkroniseres, hvorpå filene blir lastet ned. Det kan konfigureres hvor mye båndbredde som skal brukes og lignende. Filene kan naturligvis komprimeres (f.eks. zip/rar og lignende) og krypteres (f.eks. RSA og lignende). Med denne løsningen, kan brukeren lukke web browseren eller navigere til andre sider mens dataspill innholdet lastes ned. Når desktop applikasjonen er ferdig med å laste ned filene, vil det gis beskjed til brukeren (f.eks. med et popup vindu nær system tray). Brukeren kan da starte dataspillet ved å gå tilbake til nettsiden til dataspillet, eller åpne desktop applikasjonen ifra system tray (eller startmenyen e.l.) og starte dataspillet derfra. Desktop applikasjonen vil inneholde en liste over alle brukerregistrerte dataspill nettsteder, hvor brukeren kan starte lokale dataspill i web browser (eller i lokal klient), starte fjernspilling av dataspillene, samt administrere dataspillene (slette, allokere, synkronisere, komprimere, backup, med videre). Desktop applikasjonen kan også inkludere en rekke ytterligere funksjonaliteter, som f.eks. "instant messaging, remote desktops, FTP verktøy, cache, licenses, heads-up display tools," med videre. Fjernspilling vil typisk foregå i web browser plug-in'en, i et eget vindu i desktop applikasjonen, eller i en egen fjemspillingsapplikasjon.

Et annet problem som desktop applikasjonen hjelper til å løse er i forhold til spillutvikling og deling av filer. Desktop applikasjonen kan konfigureres slik at den synkroniserer innholdet i en eller flere filfoldere på sluttbrukermaskinen med filfoldere på systemserverne. Brukeren kan også "sjekke filer inn og ut" (f.eks. som i Microsoft Visual SourceSafe og/eller SVN), slik at de blir mulig å redigere samtidig sammen med andre brukere. Web OS'et vil også vise en oversikt over hvilke filer som er sjekket inn og ut, versjonshistorie, logger, med videre. Det er mulig å bruke kildekode versjonskontrollsystemer (f.eks. Microsoft Visual SourceSafe og SVN). Desktop applikasjonen vil synkronisere store filer (f.eks. 3D modeller og teksturer) på en effektiv måte, slik at bare endringer i filene overføres over nettverket. Det finnes en lang rekke teknikker for å fremskape, representere og anvende slike differanser i ulike typer filer og innhold. Oppfinnelsen er ikke begrenset til en spesifikk differansemetode. Synkronisering av store filer, på denne måten, gjør det mye lettere for brukeren å arbeide lokalt på et sett med filer som er hovedsaklig oppbevart på systemserverne.

Et problem med eksisterende fjernspillingsteknikker (f.eks. OnLive) er at de er begrenset av Internettforbindelsen (dvs. overføringshastighet, "latency," quality of service, etc). Mange brukere av dataspill bruker ofte høy skjermoppløsning (ofte high definition), flere skjermer, og i senere tid også stereoskopisk visning (f.eks. med 3D briller med "active snutters" eller "polarized" teknikker). Sanntids overføring av slike audiovisuelle strømmer over Internett krever svært høy båndbredde. Dataspill har også ofte en handling som krever rask reaksjon fra brukeren. Treghet i nettverksforbindelsen ("latency") vil forsinke denne opplevelsen, slik at mange dataspill (f.eks. Trackmania) ikke blir brukbare med fjernspilling. I tillegg kommer andre problemer, som f.eks. pakketap og lignende. Våre teknikker legger opp til å dra nytte av en kombinasjon (eller en "hybrid-løsning") av det å tilby dataspill nettsted opplevelser i web browseren med en egenutviklet web browser plug-in, og det å tilby dataspill nettsted opplevelser i (og utenfor) web browseren med fjernspilling i (og utenfor) web browser plug-in'en. vår løsning legger opp til å bruke vår web browser plug-in, desktop applikasjon, og fjernspillingsklient på sluttbrukerens datamaskin, samt at dataspill lagres og eksekverer på servere. Hovedidéen med vår løsning er at brukere med ordinær Internettforbindelse (etter dagens standard) kan prøve dataspillet med fjernspilling (for å se om det er noe som de er interesserte i å bruke mer tid på). Dersom de er interesserte kan de også velge å laste ned dataspillet til egen datamaskin for bedre kvalitet. Løsningen kan også lett brukes for å lage "hybrid-spill" hvor deler av dataspillet er laget med fjernspilling (f.eks. "game environment, windows, portals, displays," med videre) og andre deler er laget med lokalt lagret innhold.

FIG. 1 illustrerer systemarkitekturen til systemet. Sluttbrukerens datamaskin (1000) er den datamaskinen som sluttbrukeren bruker. "Sluttbrukere" er utviklere, designere, studenter,

og/eller andre brukere. Det er naturligvis mange sluttbrukermaskiner som bruker systemet. Sluttbrukermaskinen (eller "brukerens maskin", eller "klienten") kommuniserer med en eller flere systemservere (1200) via en Internettforbindelse (1100) eller et annet nettverk. Vi har mulighet for flere programvare- og maskinvareapplikasjoner installert og/eller eksekverende på brukerens maskin. Et eller flere dataspill (1001) kan eksekvere på brukerens maskin. De kan inneholde et eller flere "in-game heads-up displays" (HUD) og/eller stubb-komponenter

(1002). En HUD er typisk et 2D display som vises i et dataspill over den andre grafikken for å tilby funksjonaliteter, som instant messaging, voice, opptak av gameplay video, deling av spilldesktop (video/lyd) med andre brukere over Internett, styring av dataspill, med videre. En HUD kan også implementeres som en del av 3D grafikken. En stubb-komponent er typisk brukt for å styre/kontrollere et dataspill over et nettverk, som f.eks. starte opptak av video, injektere inputtdata (f.eks. mus, tastatur og gamepad), monitorering, logging, debugging, med videre. HUD og stubb-komponenter kan f.eks. implementeres direkte i dataspillet, eller de kan injekteres ved å override DLL-er og/eller runtime "DLL-insertion". Tilsvarende måter i ulike operativsystemer kan benyttes. Oppfinnelsen omfatter "dataspill" både i en kontekst hvor dataspillet "debugges"/utvikles/testes og/eller er endelig distribuert som sluttprodukt.

En web browser (1003) på brukerens maskin kan brukes til å aksessere web sidene som er tilgjengelige på en eller flere systemservere via "portalen" (dvs. en eller flere "web sites")

(1201). Desktop applikasjonen (1004) brukes til å laste ned/styre/håndtere/redigere/m.v. dataspill og spillressurser, synkronisering av filer imellom brukerens maskin og serverene, med videre. Fjernspillingsapplikasjonen (1005) brukes til å fjernspille dataspill. Brukeren kan koble seg til et dataspill på en server (1206) eller en klient (1001). Video/lyd sendes fra dataspillet til fjernspillingsapplikasjonen (eller fjernspillingsklienten) og brukerinputt (f.eks. mus, tastatur og gamepad data) sendes fra fjernspillingsapplikasjonen til dataspillet. Det er også mulig at desktop applikasjonen implementerer fjernspilling. Vi kan også tilby en web browser-basert løsning, hvor en web browser og/eller web browser plug-in viser fjern og lokal avspilling av dataspill fra servere eller klienter. En kan f.eks. vise JPEG og/eller PNG bilder i HTML/JavaScript-koden i en web side som inneholder en bildesekvens av en slik fjernspillings- eller lokalspillingssesjon. De nye HTML5 elementene kan videre optimalisere ved å vise bilder, video og lyd. En web browser plug-in, som f.eks. Adobe Flash, Microsoft Silverlight, Apple QuickTime, eller vår egenutviklede web browser plug-in kan også brukes for å vise og/eller eksekvere fjernspillings- eller lokalspillingssesjoner. Det er også mulig å kombinere fjern og lokal spilling (hybrid spilling), slik at deler av spillopplevelsen ekseverer et annet sted (lokalt eller remote) og vises som bilder/video/lyd i lokalspillingssesjonen, og hvor lokalspillingssesjonen også viser egen 3D grafikk og lyd mikset sammen med dette. Serversystemene (eller serverene) (1200) inneholder en eller flere tjenester/applikasjoner

(1201) til (1207). Det vil typisk være ulike typer servere, f.eks. web servere, live servere, mesh servere, database servere, dataspill servere, med videre. Disse serverene vil typisk eksekvere på ulike fysiske datamaskiner, men de kan også eksekvere på samme maskin. Live server (1202) er et dataprogam som lar brukeren logge inn via ett eller flere av dataprogrammene på brukerens maskin. Live server administrerer instant messaging, voice, live desktop (video/lyd) sharing og lignende. Live serverene vil typisk være implementert som ulike dataprogrammer for forskjellige oppgaver (f.eks. login/chat og voice/video-sharing), som typisk eksekverer på ulike servere. Mesh server (1203) er også et dataprogram som lar brukeren koble seg til via et eller flere av dataprogrammene på brukerens maskin. Mesh server inneholder funksjonalitet for å rendre 3D modeller (til skjerm og/eller til et buffer). Mesh server lager bilde- og/eller videorepresentasjoner av denne renderingen og gjør den tilgjengelig for bruk i portalen eller for dataprogrammene på brukerens maskin. Mesh server kan også "streame" bilder/video/lyd. Dataprogrammene på brukerens maskin fanger opp brukerinputt (f.eks. mus, tastatur og gamepad operasjoner) og/eller andre operasjoner og sender disse over nettverket til Mesh server. Mesh server bruker disse brukerinputtene til å kontrollere "rendringen" (f.eks. rotere, skalere, flytte kamera/modell, endre lyssettingen, endre materialer, endre modellen, spille animasjoner, med videre). Web tjenester (1204) er en rekke ulike tjenester som trengs (f.eks. Ajax API'er og lignende). Lagring (1205) er ulike typer lagring. Dataspill (1206) og HUD/Stubb (1207) er tilsvarende som (1001) og (1002).

FIG. 2 viser brukergrensesnittet til "web operativsystemet" (Web OS). Brukergrensesnittet

vises inne i en web browser (f.eks. Microsoft Internet Explorer, Firefox, Google Chome, eller andre) (2000) eller en annen applikasjon som har web browsing støtte. Brukergrensesnittet ligner på det brukergrensesnittet en finner i andre Web OS (f.eks. YouOS og EyeOS). Ikoner

(2001) og (2002) på desktoppen i Web OS'et kan f.eks. klikkes (eller dobbeltklikkes for å

starte webapplikasjoner. Webvinduene (2008) og (2009) inneholder brukergrensesnittet til webapplikasjonene. Start-knappen (2003) kan f.eks. klikkes for å vise en meny som består av linker/ikoner for å starte webapplikasjoner. Brukeren kan f.eks. klikke på en av disse for å starte webapplikasjonen. "Taskbar-representasjoner" (2004) og (2005) av webvinduene vises på "taskbar", på tilsvarende måte som i andre Web OS. Web OS'et kan også ha noen områder på/ved taskbar som viser "system tray" (2006) og en klokke (2007). System tray brukes typisk til å representere webapplikasjoner som eksekverer, men hvor en ikke alltid ønsker å ha et webvindu oppe (på tilsvarende måte som i andre operativsystemer). Web OS kan også ha andre layout som er vanlige og populære i andre operativsystemer (det vil nok endre seg over tid ettersom nye populære design/layout kommer). Apple Macintosh OS X har f.eks. en annen layout/design, hvor en meny vises øverst, og med en "launchbar" nede på bunnen i skjermbildet. Oppfinnelsen omfatter alle slike layouts og design som er, eller blir, vanlige for Web OS (så lenge det oppfattes av brukerne som et web operativsystem). Web OS'et vil typisk inneholde mange kjente webapplikasjoner, som f.eks. "file explorer, web browser, instant messaging, voice (dvs. voice over IP), web camera sharing, profile, contact/friend management," tekstbehandling, regneark, prosjektplanlegger, med videre (ref. f.eks. YouOS, EyeOS og andre Web OS). Web OS'et vil også inneha webapplikasjoner som er viktige for spillutvikling og design, som f.eks. et større "integrated development environment" (IDE), en mindre kodeeditor, prosjektstyringsverktøy, en liste over mange prosjekter, en hjemmeside for hvert enkelt prosjekt, bugtracking (f.eks. lik Bugzilla), 3D verktøy (f.eks. redigere 3D modeller, generere ulike typer 3D modeller, animasjon av

karakterer og modeller, m.v.), "Shader-editors", musikk/lyd-verktøy, effekt-verktøy, fysikk editor (f.eks. editorene/SDK-muligheter i nVidia PhysX), ray-tracing oppsett, level-editorer for dataspilldesign, mods for dataspill, med videre. Web OS'et vil også ha webapplikasjoner for kurs og opplæring, som f.eks. en kurskatalog, kursvisning, bibliotek, med videre. Web OS'et vil ha en eller flere filstrukturer ("folders and files") som brukerne kan aksessere for å laste opp/ned ulike filer. Desktop applikasjonen (på brukerens maskin) kan brukes for å synkronisere disse filstrukturene med en filstruktur på egen maskin, slik at det blir lettere å jobbe med filene. Web OS'et vil også tilby versjonskontrollsystemer for kildekode (f.eks.

Microsoft Visual SourceSafe, SVN, CVS, og/eller andre). Web OS'et kan vise mange remote desktop visninger (f.eks. fjernspilling, desktop sharing, remote desktop og virtualiserte OS). Web OS'et vil ha støtte for digital rights management (DRM) slik at innholdet er kryptert og lisenser vil trengs for tilgang (f.eks. lignende Microsoft Windows Media Rights Management). De fleste av disse teknikkene er kjente for erfarne fagpersoner og derfor går vi ikke i detalj. Oppfinnelsen omfatter også et system kalt "Accessible OS" (navnet kan endres) som gjør det mulig for blinde og svaksynte personer å bruke systemet. Accessible OS er hovedsaklig audio-basert, men kan ha et visuelt hierarkisk menysystem med stor klar skrift i tillegg. Vi tror at design og produksjon av musikk og lydeffekter er et fagområde som kan åpnes opp for blinde og svaksynte. Accessible OS tilbyr audio-baserte (dvs. hovedsaklig audio info. til brukeren) verktøy for å lage musikk og lydeffekter. Vanlige inputtenheter kan brukes (f.eks. tastatur, mus/trackpad, gamepad, braille enheter, med videre). Accessible OS kan også ha teknikker som gjør det mulig for blinde og svaksynte å oppleve 3D modeller og verdener ved hjelp av spesielle inputtenheter (f.eks. Sensable Phantom devices og lignende).

FIG. 3 og FIG. 4 viser alternative brukergrensesnitt for "Mesh Viewer" (3000) og (4000). Mesh Viewer er en webapplikasjon inne i Web OS'et som brukes til å vise 3D modeller til brukeren. Området "(3D Modell Visning)" viser bilder eller video av 3D modellen. Bruker kan dra og slippe med musen for å rotere/f lytte/m. v. kamera. Bruker kan også bruke tastaturet for å navigere. Bildene/video genereres i sanntid av Mesh server (1203). Mesh Viewer kan lett implementeres i HTML 5/4.01 og JavaScript. Mesh Viewer kan koble seg til Mesh server over Internett ved hjelp av sockets/pipes/e.l. Mesh server kan da åpne en 3D modell, som angitt av brukeren via Mesh Viewer, og rendre denne. Renderingen kan lagres som et JPEG eller PNG bilde (eller andre bildeformater, eller videoformater) og lagre bildet slik at det kan aksesseres via HTTP/e.l. av Mesh Viewer (eller streame det til Mesh Viewer via UDP eller lignende). Mesh Viewer kan da vise det genererte bildet i området "(3D Modell Visning)". Mesh Viewer kan videresende brukerinputt og operasjoner til Mesh server, som oppdaterer renderingen, og genererer et nytt bilde eller videoframe som gjøres tilgjengelig for, eller

sendes, til Mesh Viewer, hvor dette blir vist. På denne måten kan en da vise interaktive 3D modeller til brukerne. FIG. 3 er en enkel løsning hvor en bare har en "(3D Modell Visning)".

FIG. 4 viser en mer avansert løsning hvor en har menyer (4200) til (4202) som inneholder operasjoner; et navigasjonsområde (4001) som inneholder navigasjonsknapper, som f.eks. flytt kamera/modell (4002), flytt kamera/modell opp og ned (eller inn og ut) (4003), og roter kamera/modell (4004); og en "propertiesbar" (4108) som f.eks. inneholder justering av lyssetting (4100) og farger (4104). "+X" setter et lys langt nede på den positive X-aksen

(4101), "-X" setter et lys langt nede på den negative X-aksen, og tilsvarende for de andre aksene (f.eks. (4102)). "Følg kamera" (4103) gjør at lysene følger kameraet. Dersom "følg kamera" ikke er sjekket, vil lysene bruke koordinatsystemet til 3D modellen. Dersom "følg kamera" er sjekket, vil lysene bruke koordinatsystemet til kamera. Ulike kamera kan brukes som f.eks. "arcball" og "walk/navigate" kamera. En liste over materialer (og eventuelt lys) i 3D modellen listes i (4105). Her kan brukeren velge et materiale/lys/e.I. hvor egenskapene til dette kan endres (f.eks. diffus farge, spekular farge, ambient farge, tekstur, shader eller lignende) (f.eks. (4106) og (4107)). Slike operasjoner og valg sendes til Mesh server hvor de blir brukt. Brukergrensesnittene kan naturligvis ha andre design/layout i oppfinnelsen. FIG. 5 og 6 illustrerer brukergrensesnittene til webapplikasjonene "Course Catalog" (kurskatalog) (5000) og "Course Viewer" (kursvisning) (6000). Kurskatalogen viser en liste over kurs som er tilgjengelige. Bildene (bilde 1 til 3) viser "thumbnail" bilde for kurset. Feltene "(Informasjon 1)" til "(Informasjon 3)" inneholder tittel og beskrivelser av kursene. Det vil være en lengre liste over kurs. Kursvisningen viser innholdet i et kurs. Området "(Visning)" viser en video/presentasjon/HTML/bilder e.l. Området "(Kontroller)" inneholder kontroller som kan brukes til å styre avspilningen. Området "(Annet)" inneholder andre ting som f.eks. "rating" av innholdet, ulike operasjoner (se f.eks. YouTube), kommentarer, og lignende. I området til høyre har vi et "kursbilde" som er en "thumbnail" for kurset, "(kurstittel)" er tittelen til kurset, "(kursinfo.)" er en kort beskrivelse av kurset, "Innhold" er en lenkeliste for aksess til de ulike delene av kurset, og "Materialer/referanser" er en lenkeliste til ulike materialer og referanser for kurset. En fagmann vil kunne se at brukergrensesnittene kan ha andre design og/eller layout, men allikevel være konseptuelt omfattet av oppfinnelsen. FIG. 7 og 8 illustrerer brukergrensesnittet til fjernspillingsklienten som brukes på brukerens datamaskin for å fjernspille dataspill (eller spesifikt web-baserte dataspill) over Internett. Brukergrensesnittet kan for eksempel vises som et Windows dialog-boks vindu som illustrert i FIG. 7 og 8 (tittellinje, minimeringsknapp, lukk/slutt-knapp og lignende vinduselementer). Andre typer brukergrensesnitt som er (eller blir) vanlige i operativsystemer, plattformer, web browsere, og lignende, for brukergrensesnittet, er også omfattet av oppfinnelsen. FIG.

7 viser brukergrensesnittet som vises ved oppstart (av programmet) og eventuelt etter at en fjernspillingssesjon er ferdig. Brukergrensesnittet inneholder informasjon, og brukeren angir en server (eller et dataspill) i "comboboksen" (eller annen liste). Brukergrensesnittet kan også inneholde konfigurasjonskontroller for å konfigurere slike ting som bitraten som blir brukt for komprimering av audiovisuelle signaler, fullskjerm, "3D vision, grab input, in-game cursor," pakkestørrelse, bildeskalering, rammerate, nettverksport, brukernavn, og

passord. Denne listen er et eksempel og kan naturligvis endres for ulike implementeringer. "Koble til" knappen (eller lignende) brukes for starte fjernspillingssesjonen (mot serveren). Oppdater-knappen (eller lignende) brukes til å oppdatere listen over servere (og lignende). Avbrytingsknappen (eller lignende) brukes til å lukke/avslutte brukergrensesnittet/klienten. Fjernspillingsklienten viser brukergrensesnittet i FIG. 8 når fjernspillingssesjonen eksekverer (untatt i fullskjerm-modus hvor spillvisningen dekker skjermen). Spillvisning viser dekodet videosignal fra serveren (dvs. en komprimert audio og video strøm av skjermbildene til et

dataspill som eksekverer på serveren). Videosignalet kan være komprimert med et hvilket som helst video og lyd kodek (f.eks. Microsoft WMV2 og WMA). Fjernspillingsklienten fanger opp brukerinputt (som f.eks. tastatur, mus, gamepad, joystick, Directlnput, eller lignende) og sender brukerinputt data komprimert (eller ukomprimert) til serveren (dvs. dataspillet). Fjernspillingsklienten er relativt rett frem og enkel å implementere. Fjernspillingsklienten kan også inneholde et presentasjonssystem for å visualisere 2D, 3D og multimedia innhold

(med brukergrensesnitter) i spillvisningen. Integreringen av presentasjonssystemet i spillvisning er relativt rett frem og enkel, og video strømmen (dvs. for fjemspillingen) kan f.eks. vises med et Video element i presentasjonssystemet. På serveren trengs det komponenter

for muliggjøre fjernspilling. Det trengs programkode, dvs. en stubb (1002) og/eller (1207), i dataspillet som tar imot brukerinputten (eventuelt dekomprimering av denne) og injekterer/ håndterer denne i dataspillet. Dataspillet må også inneholde programkode (dvs. stubb) for å administrere start og stopp av fjernspilling (med konfigurasjoner), fanging ("capture") av

skjermbilder og lyd i dataspillet, komprimering av audio og video, samt sende audio/video pakker over nettverket. Ulike komprimeringsteknikker kan benyttes. I DirectX er de ulike Present-funksjonene en naturlig plass for "capture" av skjermbildet. Oppfinnelsen omfatter også dataspill (og servere) som har slike komponenter for muliggjøring av fjernspilling. Brukergrensesnittene i FIG. 7 og 8 kan settes sammen på mange måter, f.eks. som to dialog-bokser/vinduer, som Microsoft Remote Desktop, slik at vinduet i FIG. 7 endres til vinduet i FIG. 8 når brukeren trykker "Koble til", med videre. Det er også mulig at andre layout og navn benyttes i grensesnittene.

FIG. 9 illustrerer "desktop applikasjonen" som typisk er tilgjengelig i "system tray." Desktop applikasjonen vil typisk starte når datamaskinen starter opp (som et ikon i system tray, slik som f.eks. Skype). Desktop applikasjonen kan også implementeres som en tjeneste (f.eks. som en NT Service i Microsoft Windows). Brukergrensesnittet kan for eksempel vises som et Windows dialogvindu som illustrert i FIG. 9 (tittellinje, minimerings- og maksimeringsknapp, lukk/slutt-knapp og lignende). Andre typer brukergrensesnitt som er (eller blir) vanlige i

operativsystemer, plattformer, web browsere, og lignende, for brukergrensesnittet, er også omfattet av oppfinnelsen. Menylinjen (dvs. Menyl, Meny2, osv.) består av menyfunksjoner. Nedenfor menylinjen er verktøylinjen (dvs. Knappl, Knapp2, osv.). Verktøylinjen inneholder som regel hyppig brukte funksjoner (som også finnes i menyen). Nedenfor verktøylinjen er en "tab" kontroll som viser hovedkategorier av funksjonaliteter (som f.eks. "Game Sites" og annet). Det er aktuelt at menylinjen og verktøylinjen varierer når "tab" kontrollen blir brukt (dvs. hovedkategori funksjonalitetene har ulike menylinjer og verktøylinjer). "Game Sites" er vist som valgt i FIG. 9. Desktop applikasjonen kan også inkludere en rekke hovedkategori funksjonaliteter (f.eks. "instant messaging, remote desktops, FTP verktøy, cache, licenses, heads-up display tools," med videre). "Game Sites tab" inneholder en liste over registrerte dataspill (lokalt nedlastbare dataspill og/eller dataspill for fjernspilling). Listen i figuren viser 3 eksempler på dataspill i listen. En "scrollbar" (til høyre) kan brukes til å "scrolle" i listen. Hvert dataspill i listen er vist med et lite "thumbnail" bilde (Bildel, Bilde2, og Bilde3) som viser et lite representasjonsbilde av dataspillet. Ved siden av "thumbnail" bildet er det et informasjonsfelt (f.eks. Informasjon 1) som inneholder informasjon om dataspillet (som f.eks. beskrivelser, utgiver/publisher, publiseringsdato, URL, antallet bytes dettar opp på harddisken, antall filer, bruksstatistikk, med videre). Informasjonsfeltet kan også inneholde

kontroller (som f.eks. knapper og lignende). Typiske funksjoner som kan utføres på hvert enkelt dataspill i listen er å starte lokale dataspill i web browser (eller i lokal klient), starte fjernspilling av dataspillene, samt administrere dataspillene (slette, allokere, synkronisere, komprimere, backup, med videre). Dataspill kan typisk registreres i listen i fra web browser plug-in'en, eller i fra desktop applikasjonen direkte (f.eks. "add game" i menyen). Dersom et dataspill registreres i fra web browser plug-in'en, kan det f.eks. skje via en Windows message (i Microsoft Windows), registry, en fil, et "remote procedure" kall, eller lignende. Desktop applikasjonen vil hente en XML liste over alle filene som skal lastes ned og/eller synkroniseres, hvorpå filene blir lastet ned. Det kan konfigureres hvor mye båndbredde som skal brukes og lignende. Filene kan naturligvis komprimeres (f.eks. zip/rar og lignende) og krypteres (f.eks. RSA og lignende). En hvilken som helst struktur kan benyttes for denne XML-filen, og f.eks. en liste med "file" og "folder" elementer (inkludert fil/foldernavn, dato, bytes, md5/crc, URL, ageRating, med videre) innenfor et "synch" element. Når desktop applikasjonen er ferdig med å laste ned, kan den sende en melding tilbake til web browser plug-in'en og/eller fjernspillingsklienten (meldinger kan også sendes om "progress"). Videre er en annen sentral funksjon til desktop applikasjonen å synkronisere filstrukturer (dvs. filer og foldere) i mellom brukerens maskin og serverene. Dette er en viktig funksjon i sammen med Web OS'et fordi samarbeidsprosjekter med ulike brukere vil medføre at et større antall filer og foldere blir lagt opp på serverene. Synkronisering av disse, eller subsett av disse, er en viktig funksjonalitet i desktop applikasjonen. Oppsett av en slik synkronisering i desktop applikasjonen kan f.eks. gjøres på samme måte som for spillressurser, dvs. at en "game site" (FIG. 9) blir registrert i desktop applikasjonen. Desktop applikasjonen vil konfigureres med hvilken filstruktur på serveren som skal brukes (f.eks. ved XML-data fra serveren) og hvor filstrukturen skal lagres lokalt. Desktop applikasjonen kan videre konfigureres til hva slags filer som skal synkroniseres (f.eks. blend-filer), når de skal skal synkroniseres (f.eks. umiddelbart ved endring, en gang om dagen, og lignende), med videre. Det er også mulig at oppsettet av synkroniseringer med Web OS'et legges under en egen "tab", eller i en egen dialog-boks som åpnes fra menyen. Det er nødvendig i samarbeidsprosjekter å kunne låse filer og/eller foldere. Dette indikerer ovenfor andre brukere at filen er låst av en bruker og at denne har eksklusive redigeringsmuligheter. Andre brukere kan da ikke redigere den filen og/eller filstrukturen. Dette er nødvendig fordi hvis det ikke var mulig å låse filer, da ville jo to eller flere brukere kunne endre en fil samtidig og synkroniseringen ville overskrive filen

og/eller filstrukturen på serveren vilkårlig (avhengig av tidspunktet brukerne velger "save" i redigeringsprogrammet). Låsing av filer kan f.eks. skje i Web OS'et i file explorer, det lokale operativsystemet (høyreklikk fil og velg "lås"/"lås opp"), og/eller desktop applikasjonen. Det kan også lagres en logg (med kopi av gamle filer) på serveren for bevaring av historikken.

FIG. 10 viser kildekodestrukturen for et minimalistisk dataspill (template kode) laget i Java. Denne strukturen (Load/Update/Draw) er et mulig utgangspunkt for Java-baserte dataspill.

Hovedidéen i forhold til industriell utnyttelse i Norge er hovedsaklig i forhold til å utvikle og tilby "dataspill nettsteder," som benytter vår web browser plug-in, desktop applikasjon, og

fjernspillingsteknikker for å produsere og tilby nettsteder (på Internett), som ser ut som og fungerer på samme måte som (sett i forhold til brukeropplevelsen) "main title" dataspill gjør idag. Per idag benyttes hovedsaklig tekst, video, og enkle multimedieinnhold for utvikling av nettsteder. Vi tror at dataspill-baserte opplevelser er et naturlig neste steg, i fremtiden, for innhold på Intern ett/Web. Våre teknikker representerer spesifikke fremgangsmåter for å lage dataspill nettsteder. Vi planlegger å tilby produkter, tjenester, med videre, for å skape slike dataspill nettsteder for bedrifter, organisasjoner, privatpersoner, med videre, i Norge. Vi planlegger også å lage "seriøse dataspill" med kunnskapsinnhold og positive verdier med dette systemet, hvor studenter og dataspill brukere involveres i kollaborative prosjekter. Vi skal tilby kurs og utdanning i dette systemet og etterhvert tilby utdanningsprogrammer som vil lede frem til "associates", "bachelor", "master" og doktorgrad innen dataspillutvikling. Vi må naturligvis akkreditere utdanningsprogrammene før det blir mulig. Videre, tror vi at en

gang i fremtiden vil (både web-baserte og "stand-alone") dataspill kunne laste 3D modeller, teksturer, media, med videre direkte fra "the cloud". Det blir i økende grad mulig, ettersom Internettforbindelsen til brukerne blir stadig bedre. Brukerne (av dataspill) vil ofte ha egene "avatars" (en 3D representasjon av seg selv eller en annen karakter) på servere hos ulike

leverandører som tilbyr laging av slike "avatars". Sannsynligvis vil brukerne også ha en lang rekke "assets" også (f.eks. bil, hus, AI-venner, klær, gjenstander, romskip, med videre). Vi tror også at brukerne vil lage egne spillverdener (f.eks. level-design, modeller, historie, med videre). Det vil bli behov for mange ulike kollaborative tjenester (f.eks. avatar authoring,

asset authoring, LOD editors, level designers, world environment designers, building design, landscape design, med videre). Digital rettighetsstyring (DRM) er viktig. Vi legger opp til at 3D modeller, teksturer, med videre kan krypteres i Web OS'et (og/eller andre verktøy). Det spesifiseres ikke en bestemt krypteringsalgoritme (f.eks. RSA-basert). Oppfinnelsen dekker ulike krypteringsalgoritmer. Vi ser for oss at vi tilbyr programkode for utstedelse av lisenser som kan brukes for å dekryptere innholdet for bruk på brukerens maskin. Vi ser for oss at vi vil tilby en DRM-løsningsarkitektur som ligner på Microsoft Windows Media Rights Manager. Vi tror det vil bli et stort behov for mange ulike web-baserte dataspillopplevelser, som f.eks. "virtual studios, virtual expos, virtual meetingrooms, virtual seminars, virtual classrooms, virtual corporation, " med videre, med VR-briller, grid computing, ray-tracing, iPads, osv.

Selv om oppfinnelsen har blitt beskrevet med referanse i en legemliggjørelse, vil de som er erfarne innse at variasjoner i form/detalj kan gjøres uten å avvike fra intensjonen i skopet til oppfinnelsen som definert i de vedlagte krav. De spesifikke detaljene ovenfor er ment bare for å være illustrative og skopet av oppfinnelsen er definert av de vedlagte krav. For eksempel kan oppfinnelsen praktiseres som fjernutvikling og fjernspilling i web browser og oppfinnelsen kan integreres i operativsystem, web browsere, maskinvare, og dataspill.

Claims (10)

1. System for utvikling av dataspill via Internett, karakterisert ved et web operativsystem som vises i en web browser og/eller web browser plug'in; web operativsystemet inneholder en kurskatalog, som inneholder en liste over kurs, der hvert kurs har en kursbeskrivelse med bilde; web operativsystemet inneholder en kursvisning, som inneholder et visningsområde, et kontrollerområde, kursbilde, kurstittel, innholdsliste og andre elementer; web operativsystemet inneholder en Mesh Viewer, som viser en 3D modell, hvor en kan endre materialer og lyssettinger til 3D modellen, og interaktivt endre 3D visningen slik at en kan se 3D modellen ifra ulike vinkler og forstørrelser; web operativsystemet inneholder et bibliotek av artikler og referanser; en desktop applikasjon er installert på sluttbrukerens datamaskin, som inneholderen liste over dataspill/dataspillprosjekter, der dataspillressurser/filstrukturer synkroniseres med systemservere/versjonskontrollsystemer slik at en oppdatert filstruktur av kildekode og data filer er tilgjengelig på sluttbrukerens datamaskin for redigering og synkronisert opplasting til systemservere/versjonskontrollsystemer; desktop applikasjonen kan brukes til å starte dataspillet i en kontekst der dataspillet debugges/utvikles/testes på sluttbrukerens lokale datamaskin, og/eller på systemserverene ved fjernspilling, slik at sluttbrukeren kan bidra med debugging og utvikling av dataspillet; desktop applikasjonen kan brukes til å konfigurere en HUD i dataspillet, hvor HUD'en ekseverer lokalt (1002) eller på systemservere (1207), og kobler seg til systemserverne; og desktop applikasjonen kan brukes til å starte dataspillet, med lokal spilling eller med fjernspilling, i en web browser og/eller web browser plug-in på sluttbrukerens datamaskin.

2. System i henhold til krav 1, karakterisert vedat et Accessible OS tilbys til blinde og svaksynte sluttbrukere.

3. System i henhold til krav 1, karakterisert vedat dataspillet eksekverer både på sluttbrukerens datamaskin og på systemservere, slik at videostrømmen fra systemserverene vises inne i dataspillet på sluttbrukerens datamaskin.

4. System i henhold til krav 1, karakterisert vedat web operativsystemet har et grensesnitt/layout med ikoner (2001), web applikasjonsvinduer (2008), startmeny (2003), taskbar med ikoner (2004), og klokke (2007); og webapplikasjonene inkluderer en 3D modell editor og en IDE.

5. System i henhold til krav 1, karakterisert vedat en fjernspillingsklient kan benyttes for å fjernspille og/eller fjernutvikle dataspill over Internett.

6. System i henhold til krav 1, karakterisert vedat en eller flere filer benytter DRM slik at disse er krypterte.

7. System for utvikling av dataspill via Internett, karakterisert ved et web operativsystem som vises i en web browser og/eller web browser plug'in; web operativsystemet inneholder en kurskatalog, som inneholder en liste over kurs, der hvert kurs har en kursbeskrivelse med bilde; web operativsystemet inneholder en kursvisning, som inneholder et visningsområde, et kontrollerområde, kursbilde, kurstittel, innholdsliste og andre elementer; web operativsystemet inneholder en Mesh Viewer, som viser en 3D modell, hvor en kan endre materialer og lyssettinger til 3D modellen, og interaktivt endre 3D visningen slik at en kan se 3D modellen ifra ulike vinkler og forstørrelser; web operativsystemet inneholder et bibliotek av artikler og referanser; webapplikasjonene inkluderer en 3D modell editor og en IDE; og IDE'en lar brukeren redigere og debugge dataspillets kildekode, slik at en debugging fjernspillingsvisning vises i web operativsystemet med en HUD (1207) og/eller en eller flere webapplikasjoner som viser debuggingsinformasjon og styrer debuggingen/dataspillet.

8. System i henhold til krav 7, karakterisert vedat dataspillet eksekverer både på sluttbrukerens datamaskin og på systemservere, slik at videostrømmen fra systemserverene vises inne i dataspillet på sluttbrukerens datamaskin.

9. System i henhold til krav 7, karakterisert vedat web operativsystemet har et grensesnitt/layout med ikoner (2001), web applikasjonsvinduer (2008), startmeny (2003), taskbar med ikoner (2004), og klokke (2007); og et Accessible OS tilbys til blinde og svaksynte sluttbrukere.

10. System i henhold til krav 7, karakterisert vedat en desktop applikasjon kan benyttes for å synkronisere og/ eller laste ned dataspill/dataspillressurser/filstrukturer med/fra systemservere; og desktop applikasjonen kan brukes til å starte dataspillet, med lokal spilling og/eller med fjernspilling, i en web browser og/eller web browser plug-in på sluttbrukerens datamaskin.