NO20093390L - Fremgangsmate og system for volumgjenkjenning - Google Patents

Fremgangsmate og system for volumgjenkjenning

Info

Publication number
NO20093390L
NO20093390L NO20093390A NO20093390A NO20093390L NO 20093390 L NO20093390 L NO 20093390L NO 20093390 A NO20093390 A NO 20093390A NO 20093390 A NO20093390 A NO 20093390A NO 20093390 L NO20093390 L NO 20093390L
Authority
NO
Norway
Prior art keywords
points
recognition method
cluster
clusters
volume recognition
Prior art date
Application number
NO20093390A
Other languages
English (en)
Inventor
Gilles Pinault
Jeremie Roy
Laurent Desmecht
Xavier Baele
Original Assignee
Softkinetic Sa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Softkinetic Sa filed Critical Softkinetic Sa
Publication of NO20093390L publication Critical patent/NO20093390L/no

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Foreliggende oppfinnelse angår en volum gjenkjenningsfremgangsmåte som innbefatter trinnene: a) å fange tre-dimensjonale data ved bruk av et 3D-avbildningssystem (3), hvor bildedataene representerer mange punkter (5), hvor hvert punkt (5) har i det minste et sett av koordinater i et tre-dimensjonalt rom, b) å gruppere minst enkelte av punktene (5) i et klyngesett (6), c) å velge, i samsvar med første parametersett slik som posisjon og størrelse, en klynge (6) som tilsvarer et objekt av interesse (1) som er lokalisert i avbildningssystemets rekkevidde (3), d) å gruppe i det minste enkelte av punktene (5) i den valgte klyngen (6) i et sett av underklynger i samsvar med et andre sett av parametre som innbefatter deres posisjoner i det tre-dimensjonale rommet, hvor hver underklynge har en sentroid (11) i det tre-dimensjonale rommet, og e) å assosiere et volum (12) til hvert av i det minste enkelte av underklyngene, hvori volumene (12) er festet til sentroiden (11) til underklyngene. Foreliggende oppfinnelse angår også et volumgjenkjenningssystem for å utføre denne fremgangsmåten.

Description

Foreliggende oppfinnelse angår en volumgjenkjenningsfremgangsmåte og et volumgjenkjenningssystem, og særlig, men ikke begrenset til, en volumgjenkjenningsmetode og et volumgjenkjenningssystem for vekselvirkning med dataprosesseringsinnretninger
Vekselvirkningen med dataprosessenngssystemer, og særlig innmatningen av data og kommandoer, er en generelt kjent problemstilling Vanligvis finner slik vekselvirkning sted gjennom fysiske tnnmatningsinnretninger slik som tastaturer, mus, rullehjul, penner, berønngsskjermer, styrepinner, spillkontroller etc, som fremstiller signaler som reaksjon på en fysisk handling fra brukeren av disse. Imidlertid har slike fysiske innmatningsinnretninger mange ulemper. Eksempelvis kan de kun tilby en begrenset mengde av forskjellige inngangssignaler, som i enkelte anvendelser, slik som tre-dimensjonale "miljøer for virtuell virkelighet" vil føles unaturlige og mangle realisme. Dessuten vil de ofte bh slitt ut og deres kontinuerlige bruk kan til og med ha negative følger for brukerens helse, slik som skader fra gjentatte belastninger.
Alternative innmatningsinnretninger og innmatningsfremgangsmåter er også kjent. Eksempelvis er praktiske systemer for talegj enkj enn ing tilgjengelige. Imidlertid er talegjenkjenning ikke et praktisk alternativ for enkelte anvendelser, slik som for eksempel handhngsspill, hvor hurtige, nøyaktige og gjentagende innmatninger fra brukeren er nødvendig. Dessuten blir også deres effektivitet negativt påvirket av bakgrunnsstøy, og de krever generelt en lang læringsperiode for å kunne gjenkjenne en bestemt brukers talekommandoer. Et annet alternativ er bildegjenkjenning. I sin simpleste utgave gjenkjenner bildegjenkjenningssystemer binærmønstre i kontrast-farger, slik som strekkoder, og omformer disse mønstrene til binærsignaler for prosessering Mer avanserte bildegjenkjenningssystemer kan gjenkjenne mer komplekse mønstre i bilder og fremstille en rekke forskjellige signaler som reaksjon på dette. Slike bildegjenkjenningssystemer har for eksempel blitt foreslått i US-patent nr. 6256033, for å gjenkjenne en brukers bevegelser innenfor et avbildningssystems dekningsområde. Imidlertid har konvensjonelle avbildningssystemer ingen bildeoppfatning og kan bare fremstille en 2D-projeksjon av brukeren. Som følge av dette er gjenkjennelse av brukerens bevegelser i seg selv feilbeheftede, og begrenset i området av mulige innmatninger og beheftet med mulige gjenkjenningsfeil. Særlig har slike systemer problemer med å skille brukeren fra bakgrunnen.
Utviklingen av 3D-avbildningssystemer gir imidlertid muligheten til å utvikle formgjenkjenningsfremgangsmåter og innretninger som for eksempel muliggjør bedre gjenkjenning av brukerens bevegelse. Et slikt 3D-avbildningssystem har blitt beskrevet i en publikasjon av G. Yahav, G. J. Iddam og D. Mandelboum med tittelen "3D Imaging Camera for Gaming Application" Det 3D-avbildningssystem som er beskrevet i den publikasjonen er av såkalt "Gangtidstypen", eller også kalt TOF-typen, hvor en dybdeoppfatning skaffes fra formen til bølgefronten av lys som blir reflektert fra objekter i 3D-avbildningssystemets dekningsområde. Imidlertid har det også blitt foreslått andre typer avbildningssystemer, slik som stereokameraer, LIDAR, radar, sonar etc.
Et bevegelsestegngj enkj enn ingssystem og fremgangsmåte av samme som gjør bruk av et slikt 3D-avbildningssystem har blitt beskrevet i den internasjonale patentsøknad med pubhkasjonsnummer WO 00/30023 Al. Imidlertid, fordi denne fremgangsmåten ikke gjenkjenner volumer som sådanne, men bare reagerer på tilstedeværelsen av punkter på et subjekt i bestemte områder som er av interesse og punktenes bevegelse i de regioner, kan den kun gjenkjenne de enkleste tegnbevegelser og forblir upassende for mer kompliserte anvendelser. En enda mer grunnleggende innmatningsmetode har blitt beskrevet i publikasjonen WO 2004/064022 Al.
Den amerikanske patentsøknadspubhkasjonen US 2006/023558 Al beskriver en formgjenkjenningsfremgangsmåte som gjør bruk av et 3D-avbildningssystem. I denne fremgangsmåten blir punkter i 3D-bildet gruppert i klynger eller "klumper" i samsvar med deres oppfattede dybde. Primitiver for forskjellige forhåndsdefinerte objekters former kan så bli assosiert med disse "klumper". Selv om denne volumgjenkjenningsfremgangsmåten muliggjør mer nøyaktig modellering av objekter i 3D-avbildningssystemets dekningsområde, har den fremdeles betydelige ulemper. Da alle objektene i bildet blir allokert en "klump", vil deres antall og kompleksitet være begrenset av de tilgjengelige dataprosesseringsmuligheter. I praksis begrenser dette denne fasonggjen-kjenningsfremgangsmåten til anvendelser som bare krever grove objektmodeller, slik som systemer for ulykkekollisjonsvarsel og-unngåelse. Det vil forbli upraktisk i anvendelser som krever finvolumgjenkjennelse, slik som systemer for bevegelsestegngj enkj enning.
Den amerikanske patentsøknadspubhkasjonen US 2003/0113018 Al og den internasjonale patentsøknadspubhkasjonen WO 03/071410 A2 beskriver begge formgjenkjenningsfremgangsmåter som er mer egnede for bevegelsestegngj enkj enning.
I den fremgangsmåten som er beskrevet i publikasjonen US 2003/0113018 Al, er en bruker det objekt som er nærmest 3D-avbildningssystemet, og for å se bort fra bak grunnen, blir punkter i 3D-bildet valgt som er nærmere enn en forutbestemt dybde-terskel. De valgte punktene blir så gruppert i fem klynger, som representerer liv, hode, armer og hender i henhold til flere forskjellige kriterier og grupperingsalgoritmer. Liv og armer blir så assosiert med plane former, og hode og hender med tre-dimensjonale volumer. Selv om denne fremgangsmåten muliggjør mer avansert bevegelsestegn-gjenkjenning, forblir volumgjenkjenning forholdsvis grov, særlig ettersom liv og armer blir gjenkjent som plane, snarere enn tre-dimensjonale elementer.
[ den fremgangsmåten som er beskrevet i publikasjonen WO 03/071410 A2, blir det beskrevet en volumgjenkjenningsfremgangsmåte hvor 3D-bildets punkter blir gruppert i klynger i samsvar med deres oppfattede dybde, som i US 2006/023558 Al, og én av klyngene, som representerer et objekt av interesse, slik som for eksempel en hånd, blir valgt. Et bevegelsestegn blir så gjenkjent ved hjelp av statistisk analyse av karakteristika til den valgte klyngens punkter og sammenligning med forhåndsetablerte mønstre. Selv om denne fremgangsmåten er kraftigere enn de ovennevnte andre tidligere kjente frem-gangsmåter, vil den kreve et betydelig mønsterbibliotek for sømløs gjenkjenning.
Det problem som adresseres av foreliggende oppfinnelse er derfor problemet å tilveiebringe en fremgangsmåte og system for hurtig gjenkjenning av volumet til et objekt av interesse innenfor et 3D-avbildningssystems dekningsområde med forholdsvis fine detaljer, for å muliggjøre enklere og mer nøyaktig vekselvirkning med et dataprosesseringssystem, særlig gjennom kroppsbevegelsestegngjenkj enning.
Foreliggende oppfinnelses volumgjenkjeimingsfremgangsmåte adresserer dette problemet ved å gruppere i det minste noen av en klynges punkter som er valgt i samsvar med første sett av parameter slik som posisjonen og størrelsen og samsvaret til et objekt av interesse som er lokalisert i avbildningssystemets rekkevidde, i et sett av underklynger i samsvar med et andre sett av parametre som innbefatter deres posisjoner i det tre-dimensjonale rommet, hvor hver underklynge har en sentroide i det tre-dimensjonale rommet, og å assosiere et volum til hver av i det minste noen av underklyngene, hvor volumet er festet til underklyngens sentroide.
Ved disse trinnene tilveiebringes foreliggende oppfinnelses volumgjenkjenningsfremgangsmåte, uten å måtte ty til stor prosessenngskraft, en forholdsvis nøyaktig tre-dimensjonal modell av objektet som er av interesse, fonnet av volumer som er assosiert med underklyngene. Denne tre-dimensjonale modellen, som er forholdsvis nøyaktig, kan allikevel bh uttrykt ved baik av kun posisjonene til underklyngenes sentroider og de assosierte volumenes dimensjoner, og hjelper slik den videre prosesseringen av den tre-dimensjonale modellen for vekselvirkning med et dataprosesseringssystem, som for eksempel kan være gjennom kroppsbevegelsestegngjenkjenning.
På fordelaktig vis kan også en K-middelalgontme bli brukt til å gruppere de valgte klyngenes punkter i et forutbestemt antall K underklynger. Ved bruk av en K-middelalgoritme skaffes en hurtig og effektiv fremgangsmåte for gruppering av punktene i et forutbestemt antall underklynger.
På fordelaktig vis kan volumet som blir assosiert med en underklynge være en kule-form, fortrinnsvis sentrert på underklyngens sentroide. Denne formen kan, selv om den tillater god volumgjenkjenning, blikarakterisert vedbruk av radien som den eneste parameter, og således ytterligere redusere størrelsen av et datasett som uttrykker den tre-dimensjonale modellen for objektet som er av interesse.
På fordelaktig vis kan også grupperingen av punkter i klyngene bh utført i samsvar med en fremgangsmåte som innbefatter de følgende trinn:
a) å skape en første klynge som innbefatter et første punkt, og
b) å utføre de følgende handlinger for hvert annet punkt,
i) å finne den klyngen hvis sentroide er nærmest det andre punktet i det tre-dimensjonale trommet, og
11) å skape en tilleggsklynge som innbefatter det andre punktet hvis absoluttavstanden i det tre-dimensjonale rommet mellom det andre punktet og den nærmeste klyngesentroiden er høyere enn en forutbestemt terskel 0, og klyngeantallet fremdeles er under et forutbestemt maksimum q, eller
iii) å legge til det andre punktet til den klyngen hvis sentroide er nærmest det andre punktet hvis absoluttavstanden ikke er høyere enn den forutbestemte terskelen 0, eller klyngeantallet allerede har nådd det forutbestemte maksimum q.
Denne fremgangsmåten sikrer en hurtig og effektiv fremgangsmåte for gruppering av punktene i bildedataene i et sett av klynger, hvor hver tilsvarer et objekt som er særskilt i det tre-dimensjonale rommet, som inkluderer objektet av interesse. Ved å gruppere punktene med denne fremgangsmåten i henhold til deres posisjoner i det tre-dimensjonale rommet, kan objektene som er representert i det tre-dimensjonale bildet bh differensiert enklere enn ved hjelp av enkel seleksjon i henhold til dybde, som i den kjente teknikk. Dette vil følgelig muliggjøre valget av klyngen som svarer til objektet av interesse selv ved tilstedeværelse av flere kandidater i følgingsområdet.
På særlig fordelaktig vis kan grupperingen av punkter i klynger videre innbefatte trinnene å bestemme om to av klyngene er koblede, og å sammensmelte koblede klynger. Dette vil unngå det mulige problemet ved å gaippere punktene til et objekt av interesse i flere klynger, av hvilke kun ett vil da være det valgte.
Ytterligere fordelaktig, for å bestemme om to av klyngene er koblede, kan de følgende trinn utøves: a) å beregne standardavviket til fordelingen langs en akse som kobler sentroidene i de to klyngene til projeksjoner av punktene til hver av de to klyngene, og b) å undersøke om summen av standardavvikene multiplisert med en forutbestemt faktor S, som for eksempel kan være 2, er høyere enn absoluttavstanden mellom
de to klyngenes sentroider.
Ved hjelp av disse trinnene kan en effektiv bestemmelse av koblingene mellom tilstøtende klynger bh utført for eventuelt å sammensmelte koblede klynger.
På fordelaktig vis kan avbildningssystemet innbefatte et gangtids-3D-kamera, et stereokamera, flere kameraer som er lokalisert i forskjellige posisjoner i det tre-dimensjonale rommet, eller en LIDAR, sonar eller et radarsystem. Et hvilket som helst av disse avbildningssystemene kan skaffe tre-dimensjonale bildedata som er egnede for volumgjenkjenning
På fordelaktig vis kan avbildningssystemet innbefatte den i det minste dybden og zenit-og azimutvinklene til hvert punkt, og ytterligere innbefatte et trinn med transformering av dybde og zenit- og azimutvinklene til i det minste noen av disse punktene til tre-dimensjonale kartesiske koordinater. Dette muliggjør enklere håndtering av dybdebilder som er skaffet av et 3D-avbildningssystem i denne volumgjenkjenningsmetoden.
Fortrinnsvis kan objektet av interesse være i det minste en del av et menneskelig legeme, fortrinnsvis et som er stående. Dette vil sette en menneskelig bruker i stand til å vekselvirke med en dataprosesseringsinnretning ved bruk av i det minste en del av vedkommendes legeme.
Ytterligere fordelaktig kan fremgangsmåten videre innbefatte trinnet å beregne approksimerte massesentre og hovedaksen til legemets overkropp. Ettersom posisjonen, orienteringen og bevegelsen av en brukers overkropp kan være særlig nyttig for vekselvirkning med et dataprosesseringssystem, som for eksempel kan være anvendelser som kalles "virtuell virkelighet", kan beregning av dens approksimerte massesenter og hovedakse, uavhengig av posisjonen og bevegelsen til eventuelle utspredte ekstremiteter, være særlig fordelaktig.
På ytterligere fordelaktig vis kan de approksimerte massesenter og hovedakse til overkroppen bh beregnet ved å utføre de følgende trinn:
a) å beregne det valgte klusterets sentroide og hovedakse,
b) å beregne fordelingskurven til den valgte klyngens punkters avstander med hensyn til den valgte klyngens hovedakse,
c) å beregne et knekkpunkt i fordelingskurven,
d) å velge punktene med avstander med hensyn til den valgte klyngens hovedakse som er dårligere enn D-s, hvor s er knekkpunktets avstand til den valgte klyngens hovedakse og D er en faktor som er høyst 1,25, og fortrinnsvis høyst 1,0, og e) å beregne overkroppens massesenter og hovedakse som de valgte punktenes sentroide og hovedakse.
Som i en klynge som tilsvarer et menneskelig legeme, vil de punkter som tilsvarer enhver utspredt ekstremitet vanligvis være tydelig fraskilt fra området med størst punkttetthet, som vil tilsvare overkroppen, vil disse trinnene gjøre det mulig å se bort fra dem i beregningen av overkroppens approksimerte massesenter og hovedakse.
På særlig fordelaktig vis kan signaler bli overført til et dataprosesseringssystem i samsvar med posisjonen til overkroppens massesenter og/eller dens hovedakse og/eller orienteringen til overkroppens hovedakse. Som angitt over, vil dette muliggjøre en særlig naturlig vekselvirkning for brukeren med, for eksempel, en "virtuell virkelighets"-anvendelse.
På særlig fordelaktig vis kan fremgangsmåten videre innbefatte trinnet å måle legemets høyde.
På ytterligere mer fordelaktig vis kan et særlig nøyaktig mål av legemets høyde bli skaffet ved å beregne høydene til punktene blant punktene i den valgte klyngen som er nærmere enn en forutbestemt avstand til overkroppens hovedakse, å filtrere høydene, fortrinnsvis ved hjelp av median filtrering, og å velge høydenes maksimumsverdi etter filtrering. En høydemåling oppnådd ved hjelp av disse trinnene vil vanligvis ikke bh påvirket av en utstrakt arms posisjon, slik at den på pålitelig vis kan bli anvendt for formål slik som å bestemme posisjonen til brukerens hode.
På ytterligere fordelaktig vis kan målet av legemets høyde kun bli betraktet som gyldig hvis et sett av betingelser er oppfylt, slik som for eksempel at overkroppens hovedakse er hovedsakelig vertikal.
På fordelaktig vis kan de volumer som er assosiert med settet av underklynger være representert i et virtuelt miljø når fremstilt ved hjelp av et dataprosesseringssystem. Dette vil muliggjøre en forholdsvis realistisks representasjon av det objekt som er av interesse i et valgt virtuelt miljø med forholdsvis liten prosesseringsinnsats. Volumene kunne, for eksempel, tjene som en virtuell inkarnasjon ("avatar") av en bruker, hvis brukerens legeme er det objekt som er av interesse.
På ytterligere mer fordelaktig vis kan det gjøres en kollisjonskontroll mellom representasjonen av volumene i settet av underklynger og et sett av elementer i det virtuelle miljøet, for å vekselvirke med settet av elementer i det virtuelle miljøet. Således kan en bruker for eksempel skyve, gripe, aktivere eller trekke et element i det virtuelle miljøet ved bevegelse slik at representasjonen berører elementene.
På fordelaktig vis kan et sett av koblinger mellom underklynger bli etablert ved bruk av kriterier slik som absoluttavstanden mellom underklyngenes sentroider, tilstedeværelsen av punkter mellom underklynger etc På denne måten kan interesseobjektets underligg-ende struktur bli gjenkjent, og slik muliggjøre eventuelle vekselvirkninger og eventuelt tillate opprettelsen av en nøyaktig tre-dimensjonal modell av interesseobjektet med et ytterligere redusert datasett
På ytterligere mer fordelaktig vis kan et sett av ekstremiteter ved interesseobj ektet bh identifisert i henhold til koblingene. Forskjellige signaler kan således bh tildelt ekstremitetenes bevegelser eller posisjoner, eller til og med de relative bevegelsene eller posisjonene mellom ekstremiteter, og slik øke versatiliteten til et inngangsgrensesnitt som gjør bruk av denne volumgjenkjenningsfremgangsmåten.
På enda mer fordelaktig vis blir minst én av ekstremitetene merket i henhold til et forutbestemt mønster, for eksempel mønsteret til et menneskelig legeme. Forskjellige signaler kan således bli tildelt forskjellige ekstremiteters bevegelser eller posisjoner, og således ytterligere øke versatiliteten til et inngangsgrensesnitt som gjør bruk av denne vo lumgj enkj enn ings fremgangsmåten
På ytterligere mer fordelaktig vis kan signaler bh overført til et dataprosesseringssystem i samsvar med minst en av de nevnte ekstremitetenes absolutte og/eller relative posisjon og/eller bevegelse. Dette vil tilveiebringe en særlig anvendbar vekselvirknings fremgangsmåte.
Foreliggende oppfinnelse angår også et volumgjenkjenningssystem som innbefatter et avbildningssystem for å skaffe tre-dimensjonale bildedata som representerer et mangfold av punkter, hvor hvert punkt har minst et sett av koordinater i et tre-dimensjonalt rom, og minst noen av punktene er i samsvar med et interesseobj ekt som er lokalisert innenfor avbildningssystemets rekkevidde, og et dataprosesseringssystem forbundet med avbildningssystemet og programmert for å utføre, i samvirke med avbildningssystemet, foreliggende oppfinnelses volumgjenkjenningsfremgangsmåte.
En rekke foretrukne legemliggjøringer av oppfinnelsen vil bli beskrevet på illustrativt vis, men ikke med restriksjoner med hensyn til de vedfølgende figurer, i hvilke: Fig. 1 viser et rom med en bruker som står foran et 3D-avbildningssystem for vekselvirkning med et dataprosesseringssystem som gjør bruk av en legemliggjøring av foreliggende oppfinnelses volumgjenkjenningssystem og volumgjenkjenningsfremgangsmåte, Fig. 2 viser tre-dimensjonale bildedata av det samme rom, i form av punkter fordelt i det tre-dimensjonale rommet, som skaffes av 3D-avbildningssystemet, Fig. 3 viser hvordan punkter er gruppert i klynger i samsvar med deres respektive posisjoner, Fig. 4 viser hvordan naboliggende klynger er undersøkt med henblikk på koblinger, Fig. 5 viser de samme tre-dimensjonale bildedata som er vist i fig. 2, hvor punktene har blitt gruppert i klynger, og hvor én av klyngene er i samsvar med brukeren, Fig. 6a viser sentroidene til 150 underklynger i den klyngen som er i samsvar med brukeren,
Fig 6b viser 150 sfærer, som hver er sentrert i én av sentroidene vist i fig. 6a,
Fig. 6c viser de 150 sfærene i fig. 6b som representerer brukeren i et virtuelt miljø,
Fig. 7a viser sentroidene til 25 underklynger i den klyngen som er i samsvar med brukeren,
Fig 7b viser en nettverkskobling av sentroidene i fig. 7a,
Fig. 7c viser en virtuell legemsstruktur basert på nettverket i fig. 7b,
Fig. 7d viser brukerens virtuelle inkarnasjon ("avatar") basert på den virtuelle legemsstruktiiren illustrert i fig 7c, Fig. 8a viser et riss av brukeren med høyre arm utstrukket, og sentroiden og hovedaksen til klyngen som representerer brukeren, så vel som massesenteret og hovedaksen til brukerens overkropp, og
Fig. 8b viser en fordelingskurve fra punktene i fig. 8a, og
Fig. 9 viser brukeren i en initialiseringsposisjon, vendt mot en skjerm i en data-prosesseringsmnretning med utstrukne armer.
En av de mulige anvendelser av en legemliggjøring av volumgjenkjenningsfremgangsmåten og volumgjenkjenningssystemet er illustrert i fig. 1.1 denne anvendelsen blir dette systemet og denne fremgangsmåten anvendt for gjenkjennelse av kropps-bevegelsene til et interesseobj ekt, i dette tilfellet en menneskelig bruker 1, for å vekselvirke med en dataprosessenngsinnretning 2 som fremstiller et virtuelt miljø fremvist for den menneskelige brukeren 1.
Volumgjenkjenningssysteraet innbefatter et 3D-avbildningssystem, som i denne spesielle legemliggjøringen er et gangtids (TOF)-3D-kamera 3. Dette TOF-3D-kameraet 3 er forbundet med dataprosesseringsinnretningen 2 med hvilket den menneskelige brukeren 1 skal vekselvirke. I denne legemliggjøringen er denne dataprosesseringsinnretningen 2 selv programmert til å utføre, i samvirke med TOF-3D-kameraet 3, foreliggende oppfinnelses volumgjenkjenningsfremgangsmåte. Alternativt kunne en separat dataprosesseringsinnretning som er programmert til å utføre fremgangsmåten være koblet mellom TOF-3D-kameraet og dataprosesseringsinnretningen 2 for slik å sette den menneskelige brukeren i stand til å vekselvirke med dataprosesseringsinnretningen 2.
TOF-3D-kameraet 3 innfanger 3D-bildedata av rommet 4 i hvilket den menneskelige brukeren 1 står, som innbefatter et 2D-bilde av rommet med et mangfold av piksler og en dybdeverdi for hvert piksel som tilsvarer avstanden til TOF-3D-kameraet 3 for det punkt som er avbildet av dette piksel. Fordi X- og Y-posisjonene til pikslene i 2D-bildet selv tilsvarer zenit- og azimutvinkler til de punkter de representerer med hensyn til TOF-3D-kameraet 3, kan disse 3D-bildedataene bli illustrert som i fig. 2 ved hjelp av en tre-dimensjonal sky av punkter 5 som tilsvarer visuelle punkter i objekter innenfor TOF-3D-kamaeraets 3 dekningsområde. For å forenkle prosesseringen, kan dybden og zenit- og azimutvinklene til hvert punkt med hensyn til TOF-3D-kameraet 3 bh om fonnet til kartesiske koordinater.
I foreliggende oppfinnelses volumgjenkjenningsmetodes neste trinn blir disse punktene 5 gruppert i klynger 6. En klynge 6 vil inneholde nabopunkter 5, som illustrert i fig. 3 Denne klyngesamhngen utføres ved bruk av en BSAS-algoritme, slik som den som ble beskrevet i kapittel 12 i publikasjonen med tittel "Pattern Recognition" av Sergios Theodondis, Konstantinos Koutroumbas og Ricky Smith, som er publisert av Academic Press i 1998, som har hastighetsfordelen, ettersom den vil utføre denne klyngesamhngen i et enkelt gjennomløp, og trenger ikke flere iterasjoner for å skaffe tilstrekkelige resultater.
For å utføre denne klyngesamlingen, skapes en første klynge 6 som innbefatter et første punkt 5, og så utføres de følgende handlinger for hvert punkt 5: i) å finne klyngen 6 hvis sentroide 7 er nærmest til det andre punktet 5 i det tre-dimensjonale rommet, og n) å skape en tilleggsklynge 6 som innbefatter det andre punktet 5 hvis absoluttavstanden i det tre-dimensjonale rommet mellom det andre punktet 5 og den nærmeste klyngesentroiden 7 er større enn en forutbestemt terskel 6, og antallet av klynger 6 fremdeles er under et forutbestemt maksimum q, eller
ni) å legge det andre punktet 5 til klyngen 6 hvis sentroide 7 er nærmest det andre punktet 5 hvis absoluttavstanden ikke er større enn den forutbestemte terskelen 0, eller klyngeantallet allerede har nådd det forutbestemte maksimum q.
Dette klyngesamlingstrinnet vil gi som resultat et mangfold av klynger 6 som innbefatter punktene 5. Imidlertid kan bruken av denne algoritmen resultere i at flere av klyngene 6 faktisk blir koblet For å gruppere punktene 5 på riktig måte, vil slike koblede klynger 6 bh påvist og sammensmeltet som skildret i fig. 4.
For å avgjøre om to klynger 6 er koblede, blir punktene 5 i disse to klyngene 6 først projisert på en akse 8 som forbinder de to klyngenes 6 sentroider 7. Så beregnes standardavviket til fordelingen av de resulterende projiseringer langs aksen 8 for hver av klyngene 6. De to klyngene 6 vil bh fastslått som å være koblede hvis summen av disse standardavvikene, multiplisert med en forutbestemt faktor S, som i denne spesielle legemliggjøringen er 2, finnes å være større enn absoluttavstanden mellom de to klyngenes 6 sentroider 7. I dette tilfellet vil de to klyngene 6 bli sammensmeltet til å danne en enkelt klynge.
Resultatet av denne klyngesamlingen og sammensmeltingen vil være et sett med klynger 6 som grovt representerer de forskjellige objektene innenfor rekkevidden til TOF-3D-kameraet 3, som illustrert i fig. 5. Av disse klyngene 6 vil én representere den menneskelige brukeren 1. Denne klyngen 6 som representerer den menneskelige brukeren 1 kan bli identifisert ved hjelp av en rekke forskjellige midler. Eksempelvis vil en klynge 6 bh gjenkjent som å representere den menneskelige brukeren 1 hvis den er i et forutbestemt sporingsområde hvor den menneskelige brukeren 1 bør stå for å vekselvirke med dataprosesseringsinnretningen 2 og hvis den innbefatter et minsteantall av punkter 5 Hvis flere klynger 6 oppfyller disse kriteriene, kan den klyngen 6 som er nærmest TOF-3D-kameraet 3 bh valgt som å representere den menneskelige brukeren 1. Et annet kriterium for å identifisere klyngen 6 som representerer den menneskelige brukeren 1, kan være konformiteten til fordelingen av punktene 5 for denne klyngen til et forutbestemt mønster som er konsistent med et menneskes legeme. Som eksempel, hvis den menneskelige brukeren 1 i en initialiseringssekvens står med utstrukne armer som illustrert i fig. 9, vil punktene 5 i den klyngen 6 som representerer den menneskelige brukeren 1 være fordelt i henhold til et karakteristisk og enkelt gjenkjent mønster. Når TOF-3D-kameraet 3 er et filmkamera som tar inn en rekke med 3D-bildedata-rammer ved suksessive tidspunkter, kan et mulig kriterium for å identifisere den klyngen 6 som tilsvarer den menneskelige brukeren 1 være nærheten med den klyngen 6 som ble identifisert som å representere den menneskelige brukeren 1 i forutgående rammer. På denne måten kunne, for eksempel, volumgjenkjenningssystemet fortsette å følge den menneskelige brukeren som først er gjenkjent under initialiseringssekvensen som beskrevet over selv om vedkommende inntar en stilling som er mindre gjenkjenn-bar som menneskelig eller til og med etter at andre mennesker har kommet inn i spor-lngsområdet.
Følgelig, vil det være mulig å vekselvirke med dataprosesseringsinnretningen 2 gjennom, foreksempel. • tilstedeværelsen eller fraværet av en menneskelig bruker 1 innenfor dekningsområdet til TOF-3D-kameraet 3, • antallet av klynger 6 som er gjenkjennbare som tilsvarende menneskelige brukere 1, og/eller
• rommets 4 generelle arrangement.
Den menneskelige brukeren 1 blir også i stand til å vekselvirke med dataprosesseringsinnretningen 2 gjennom karakteristikkene til klyngen 6 som representerer den menneskelige brukeren 1, slik som:
• symmetrien til i det minste en del av klyngen 6,
• fordelingen av i det minste en del av klyngen 6 i rommet,
• spredningen av punktene 5 i i det minste en del av klyngen 6,
• sentroiden 7 til i det minste en del av klyngen 6, og/eller
• hovedaksene til i det minste en del av klyngen 6.
Straks klyngen 6 som representerer den menneskelige brukeren 1 er identifisert, blir den neddelt til en samling av K underklynger. Punktene 5 i klyngen 6 blir gruppert i disse K underklyngene ved bruk av en K-middelalgontme
K-middelalgoritmen begynner med å oppdele punktene 5 i K innledende underklynger. Den beregner så sentroiden 11 til hver innledende underklynge. Den bygger en ny oppdeling i K underklynger ved å assosiere hvert punkt 5 med sentroide 11 som er nærmest i det tre-dimensjonale rommet, selv om tilleggsparametre, slik som farge, kan bli brukt. Så blir sentroidene 11 gjenkalkulert for de nye underklyngene. Denne prosessen kan itereres inntil punktene 5 ikke lenger bytter underklynger, eller til posisjonene til sentroidene 11 stabiliserer seg. I praksis kan gode resultater bli oppnådd med en enkelt iterasjon.
[ en første legemliggjøring blir de K innledende underklyngene bestemt slumpmessig eller i henhold til bestemte parametre ved klyngen 6, slik som høyden til klyngen 6 eller fordelingen av punktene 5 i klyngen 6, og K er et forholdsvis høyt tall, slik som for eksempel 150. Bruk av denne K-middelalgoritmen resulterer så i et sett med 150 underklynger, hvor hver har en sentroide 11, som representert i fig. 6a. Assosiering av en sfære 12 av en forutbestemt radius til hver av de 150 underklyngene resulterer så i en modell 13 av den menneskelige brukeren 1, som representert i fig. 6b. Denne modellen 13 representerer det volum som opptas av den menneskelige brukeren 1 med god nøyaktighet.
Fig. 6c illustrerer modellen 13 representert i et virtuelt miljø som er fremstilt av dataprosesseringsinnretningen 2. Den menneskelige brukeren 1 kan så vekselvirke med elementene 14 i dette virtuelle miljøet gjennom enkle kollisjons- og/eller nærhets-kontroller mellom representasjonen av sfærene 12 i det virtuelle miljøet og det virtuelle miljøets elementer 14. Således settes den menneskelige brukeren 1 også i stand til å vekselvirke med dataprosesseringsinnretningen 2 gjennom, for eksempel:
• kollisjonen eller nærheten i én eller flere dimensjoner av representasjonen til minst én sfære 12 med minst ett element 14 i et virtuelt miljø fremstilt av dataproseseringsinnretningen 2, hvor elementet 14 kan være punktmessig, mono-, bi- eller tre-dimensjonalt, • kollisjonen eller nærheten i én eller flere dimensjoner av representasjonen til minst én sfære 12 med en representasjon av i det minste et reelt objekt i den menneskelige brukerens 1 reelle miljø i det virtuelle miljøet fremstilt av dataprosesseringsinnretningen 2, • posisjonen og/eller bevegelsen til én eller flere av underklyngenes sentroider 11, og/eller • posisjonen, bevegelsen og/eller fasongen til det volum som er formet av sfærene 12 som er assosiert med minst én av underklyngene, for eksempel de underklynger hvis sentroider 11 viser betydelig bevegelse.
I en andre legemliggjøring blir fasongen til klyngen 6 som tilsvarer den menneskelige brukeren 1 analysert for slik å ekstrahere karakteristikkene til den menneskelige brukerens 1 legeme, slik som massesenteret, den generelle orienteringen, hodets posisjon, posisjonen og orienteringen til skuldrene og høyden. Selv om flere av disse karakteristika, slik som massesenteret eller den generelle orienteringen, kunne bli beregnet fra punktene 5 til hele klyngen 6, ville resultatene bh overdrevent påvirket av posisjonen til den menneskelige brukerens 1 armer 15, som illustrert i fig. 8a, hvor sentroiden 7 og hovedaksen 16 til den klyngen 6 som representerer den menneskelige brukeren 1 med høyre arm 15 utstrukket er representert overlagret med legemet til den menneskelige brukeren 1 Av denne årsak blir punktene 5 som tilsvarer armene 15 i denne bestemte legemliggjøringen identifisert og først tatt hensyn til, for å muliggjøre beregningen av massesenteret 17 og hovedaksen 18 til den menneskelige brukerens 1 overkropp 19, hvor vi med overkropp 19 forstår hele legemet til brukeren 1 med unntak av armene 15. For dette formål blir de følgende trinn utført:
a) beregning av den valgte klyngens 6 sentroide 7 og hovedakse 16,
b) beregning av fordelingskurven 20, som representert i fig 8b, av avstandene til punktene 5 i den valgte klyngen 6 med hensyn til hovedaksen 16,
c) beregning av et bøyningspunkt 21 i fordelingskurven 20,
d) valg av punktene 5' med avstander med hensyn til hovedaksen 16 til den valgte klyngen 6 som er dårligere enn D-s, hvor s er bøyningspunktets 21 avstand til den valgte klyngens 6 hovedakse 16 og D er en faktor som høyst er 1,5, fortrinnsvis høyst 1,25, og e) beregning av torsoens 1 massesenter 17 og hovedakse 18 som sentroiden og hovedaksen til settet av valgte punkter 5.
Denne prosessen kan bh utført på iterativt vis, men vanligvis kan et enkelt gjennomløp gi gode resultater.
Posisjonen til hodet 22 og skuldrene 23 i klyngen 6 kan bli identifisert ved de karakteristiske vinkler 24 som er dannet av nakken 25 og skuldrene 26. Fra de to skuldrenes 26 posisjoner, kan deres orientering også bli utledet. I den initialiseringssekvensen som er illustrert i fig. 9, kan den menneskelige brukeren 1 bli bedt om å vende seg mot en utgangsdisplayskjerm, slik at skuldrenes 26 kan bli betraktet å være parallelle med aksen til utgangsdisplayskjermen, som vil skaffe en referanseverdi for senere bruk. Denne initialiseringssekvensen kan således skaffe minst en referanse for orienteringen av utgangsdisplayskjermen, så vel som en referanse for den menneskelige brukerens 1 mitielle posisjon med hensyn til TOF 3D-kameraet 3. Enkelte senere vekselvirkninger mellom den menneskelige brukeren 1 og dataprosesseringsinnretningen 2 kan gjelde den relative posisjonen til i det minste en del av den menneskelige brukeren 1 med hensyn til nevnte initielle posisjon.
Den menneskelige brukerens 1 høyde blir også beregnet ved bruk kun av de valgte punktene 5. For bedre nøyaktighet blir en middelfiltrering av de valgte punktene 5 utført, og høyden til de høyeste gjenværende valgte punktene 5 blir identifisert som den menneskelige brukerens 1 høyde. Denne høydemåhngen vil kun bli betraktet som gyldig hvis et sett av betingelser er oppfylt, slik som at hovedaksen 18 til torsoen 19 er hovedsakelig vertikal eller at det høyeste gjenværende valgte punkt 5 er i eller nær det området av klyngen 6 som blir identifisert som å representere hodet 22.
Hvis TOF-3D-kameraet 3 er et kamera som tar levende bilder, blir høydemålingene for flere rammer sendt til en gaussisk blandingsmodell, for å ta hensyn til mulig støy og den menneskelige brukerens 1 temporære lave stillinger. Den gaussiske med det maksimale gjennomsnitt som har en tilstrekkelig vekt vil skaffe en robust verdi for den menneskelige brukerens 1 høyde.
I denne legemliggjøringen kan de parametrene som blir skaffet fra denne analysen av fasongen til klyngen 6, slik som høyde, massesenter og hovedakse 18 til torsoen 19, posisjonen til hodet 22 og skuldrenes 26 posisjon og orientering bh brukt i oppdelingen av klyngen 6 i K underklynger ved bruk av K-middelalgoritmen. Eksempelvis kan én av de K innledende underklyngene innbefatte minst noen av de punkter 5 som er identifisert som å tilsvare hodet 22. Klyngen 6 kan således bli oppdelt i et lavere K antall underklynger, slik som for eksempel 25, som imidlertid følger et mønster som tilsvarer strukturen til et menneskelig legeme. Sentroidene 11 til 25 slike underklynger er representert i fig. 7a.
Det blir så mulig å bestemme de underklynger som er koblet, ved bruk av kriterier slik som absoluttavstanden mellom underklyngenes sentroider 11, tilstedeværelsen av punkter 5 mellom underklyngene etc Formålet med å bestemme disse koblingene mellom underklynger er å fremstille et nettverk 27 av koblinger 28 mellom under klyngenes sentroider 11, som representert i fig. 7b. Fra et slikt nettverk 27 kan det så bli utledet hvilke av underklyngene som danner ekstremiteter 29, ettersom de vil ha færre koblinger 28 til andre underklynger.
Følgelig vil den menneskelige brukeren 1 bh satt i stand til å vekselvirke med dataprosesseringsinnretningen 2 gjennom, for eksempel:
• massesenterets 17 posisjon og/eller bevegelse,
• hovedaksens 18 posisjon, orientering og/eller bevegelse,
• skuldrenes 26 posisjon, orientering og/eller bevegelse,
• hodets 22 posisjon og/eller bevegelse,
• posisjonen, orienteringen, bevegelsen og/eller fasongen til én eller flere ekstremiteter 29.
Absolutte så vel som relative posisjoner og bevegelser kan bli brukt for disse vekselvirkninger. Eksempelvis kan brukeren 1 vekselvirke med dataprosesseringsinnretninger 2 gjennom ekstremitetene 29 relative posisjoner og bevegelser med hensyn til hver-andre, til hovedaksen 18, skuldrene 26, hodet 22 og/eller i det minste ett element 14 i et virtuelt miljø som er fremstilt av dataprosesseringsinnretningen 2 kan være kilden til vekselvirkninger
Som illustrert i fig. 7c, kan nettverket 27 bh brukt til å fremstille en struktur 28 som følger et forutbestemt mønster, slik som mønsteret til et menneskelig legeme. Således blir ekstremitetene 2 ikke bare identifisert som ekstremiteter generelt, men blir også merket som for eksempel å være høyre arm 30 eller særlig venstre ben 31. Dette øker ytterligere mulighetene til vekselvirkning. Det muliggjør også fremstilling av en volummessig avatar 32, som vist i fig. 7d, for å representere den menneskelige brukeren 1 i et virtuelt miljø.
Alle de ovennevnte vekselvirkninger kan finne sted separat eller på kombinert måte. Det er, for eksempel, også mulig å utføre prosessene til begge de legemliggjøringer som er blitt beskrevet for å sette en menneskelig bruker 1 i stand til å vekselvirke med dataprosesseringsinnretningen 2 gjennom både det volum som opptas av 150 sfærer 12 og av vedkommende ekstremiteters 2 relative bevegelser.
Likeledes kan foreliggende oppfinnelses volumgjenkjenningssystem og volumgjenkjenningsfremgangsmåte bli brukt alene eller i kombinasjon med andre brukergrense- snitt som er egnet for kommunikasjon med en dataprosesseirngsinnretning 2, slik som for eksempel: bryter, tastatur, mus, trackball, tegnebrett, berøringspute, berønngs-skjerm, 6-DOF-pen feri innretning, styrepinne, spillpute, bevegelses følgingssystem,
øyefølgingssystem, datahanske, 3D-mus, talegj enkj enning, bioelektrisk sensor, neuron-grensesnitt, tredemølle, statisk sykkel, romaskin, eller enhver annen sensor eller ethvert annet grensesnitt som er egnet for å levere en inngang til en dataprosesseringsinnretning 2.
Blant de kommandoer og innganger som kan bh levert til en dataprosesseringsinnretning 2 gjennom foreliggende oppfinnelses volumgjenkjenningssystem og volumgjen-kj ennings fremgangsmåte, foreligger: • 2D- og/eller 3D-navigasjon, slik som rotasjon, translasjon, plassering og/eller orientering av betraktningspunktet, så vel som andre synsparametre, slik som perspektiv, avstand, farge, eksponering etc. • Grensesnittelementnavigasjon, som blant innbefatter navigasjoner i menyer, lister, parametervalg og/eller innmatningsfelter. • Manipulering, som innbefatter blant annet avatarstyring, styring av applikasjons-objektparametre, slik som posisjon, orientering, translatering, rotasjon, fremtoning, fasong og/eller funksjon og/eller styring av systemparametre. • Aktivering, slik som validering av blant annet handlingskommandoer, parameterendringskommandoer og/eller tilstandsendringskommandoer, handlingskommandoer og/eller kommandoer for å endre tilstanden til et applikasjonsobjekt, en styringsparameter og/eller annet. • Valg av blant annet grensesnittselementer, apphkasjonsobjekter, realmiljøobjekter etc.
• Kraftinngang, for eksempel i fysiske simuleringer.
• Utgangsparameterjustering, for eksempel for lydvolum, fremtoning av apphkasjonsobjekter, presentasjon av apphkasjonsobjekter.
Dataprosesseringsinnretningen 2 kan i sin tur være koblet til en rekke forskjellige utgangsinnretninger, slik som for eksempel: Datamaskinsutgangsinnretninger, slik som en 2D- eller 3D-displayinnretning, høyttalere, hodetelefoner, skrivere, haptiske utgangsinnretninger, ventilatorer og/eller bakgrunnsbelysning • Virtuellvirkehghetsutgangsinnretninger, slik som virtuellvirkelighetsbnller, portable displayinnretninger, multippeldisplayinnretninger slik som Cave®, storskjemiinnretninger slik som Reality Center®, stereoskopiske skjermer, kraftreturinnretninger, 3D-displayinnretninger, røykmaskiner og/eller sprinklere. • Hjemmeautomatiseringsinnretninger, slik som vinduslukkestyringsinnretninger, varmestyringsinnretninger og/eller belysningsstyringsinnretninger.
• Hjemmeunderholdningsinnretninger, slik som TVer og/eller musikksystemer.
• Portable innretninger, slik som portable musikk- og/eller videospillere, posisjoneringssystemer, personlige digitale assistenter, bærbare datamaskiner
og/eller mobiltelefoner.
• Andre innretninger som kan tilkobles en dataprosesseringsinnretning 2, slik som ventiler, tredemøller etc.

Claims (22)

1. Volumgjenkjenningsfremgangsmåte, karakterisert v e d at den innbefatter trinnene: a) å registrere tre-dimensjonale bildedata ved bruk av et 3B-avbildningssystem (3), hvor bildedataene representerer et flertall punkter (5), hvor hvert punkt (5) har et koordinatsett i et tre-dimensjonalt rom, b) å gruppere i det minste noen av punktene (5) i et sett av klynger (6), og c) å velge, i samsvar med et første sett av parametre slik som posisjon og størrelse, en klynge (6) som tilsvarer et interesseobj ekt (1) som er lokalisert innenfor avbildingssystemets (3) dekningsområde, og karakterisert ved at den videre innbefatter trinnene: d) å gruppere i det minste noen av punktene (5) som er i den valgte klyngen (6) i et sett av underklynger i samsvar med et andre sett av parametre som innbefatter deres posisjoner i det tre-dimensjonale rommet, hvor hver underklynge har en sentroide (11) i det tre-dimensjonale rommet, og e) å assosiere et volum (12) til hver av i det minste noen av underklyngene, hvor volumet (12) er festet til underklyngens sentroide (11).
2 Volumgjenkjenningsfremgangsmåte ifølge krav 1, hvor en K-middelalgoritme blir brukt for å gruppere den valgte klyngens (6) punkter i et forutbestemt antall K underklynger.
3. Volumgjenkjenningsfremgangsmåte ifølge et hvilket som helst av de forutgående krav, hvor det volum (12) som er assosiert med en underklynge er en sfære, fortrinnsvis sentrert på underklyngens sentroide (11).
4. Volumgjenkjenningsfremgangsmåte ifølge et hvilket som helst av de forutgående krav, hvor grupperingen av punkter (5) i klynger (6) utføres i samsvar med en fremgangsmåte som innbefatter de følgende trinn: a) å skape en første klynge (6) som innbefatter et første punkt (5), og b) å utføre de følgende operasjoner for hvert annet punkt (5): i) å finne den klyngen (6) hvis sentroide (7) er nærmest det andre punktet i det tre-dimensjonale trommet, og ii) å skape en tilleggsklynge (6) som innbefatter det andre punktet hvis absoluttavstanden i det tre-dimensjonale rommet mellom det andre punktet (5) og den nærmeste klyngesentroiden (7) er større enn en forutbestemt terskel 0, og antallet klynger (6) fremdeles er under et forutbestemt maksimum q, eller iu) å legge det andre punktet til den klyngen (6) hvis sentroide (7) er nærmest det andre punktet (5) hvis absoluttavstanden ikke er større enn den forutbestemte terskelen 0, eller antallet av klynger (6) allerede har nådd det forutbestemte maksimum q.
5. Volumgjenkjenningsfremgangsmåte ifølge krav 4, hvor grupperingen av punkter (5) i klynger (6) videre innbefatter tannene: a) å bestemme om to av klyngene (6) er koblede, og b) å sammensmelte koblede klynger (6).
6. Volumgjenkjenningsfremgangsmåte ifølge krav 5, hvor å bestemme om to av klyngene (6) er koblede innbefatter trinnene. a) å beregne standardavviket til fordelingen av projeksjoner av punktene (5) på hver av de to klyngene (6) langs en akse (8) som kobler de to klyngenes (6) sentroider (7), og b) å undersøke om summen av standardavvikene multiplisert med en forutbestemt faktor S, for eksempel 2, er høyere enn absoluttavstanden mellom de to klyngenes (6) sentroider (7).
7. Volumgjenkjenningsfremgangsmåte ifølge et hvilket som helst av de forutgående krav, hvor avbildningssystemet (3) innbefatter et gangtids-3D-kamera, et stereokamera, et flertall kameraer lokalisert i forskjellige posisjoner i det tre-dimensjonale rommet, eller en LIDA, sonar eller radarsystem.
8. Volumgjenkjenningsfremgangsmåte ifølge et hvilket som helst av de foregående krav, hvor bildedataene innbefatter i det minste dybde og zenit- og azimutvinkler for hvert punkt (5), og videre innbefattende et trinn med å transformere dybde og zenit- og azimutvinkler for i det minste noen av disse punktene (5) til tre-dimensjonale, kartesiske koordinater.
9. Volumgjenkjenningsfremgangsmåte ifølge et hvilket som helst av de foregående krav, hvor interesseobj ektet (1) er i det minste en del av et menneskelig legeme, fortrinnsvis et stående
10. Voliimgjenkjenningsfremgangsmåte ifølge krav 9, videre innbefattende trinnet å beregne det approksimerte massesenteret (17) og hovedaksen (18) til det nevnte legemets torso (19).
11. Volumgjenkjenningsfremgangsmåte ifølge krav 10, hvor det approksimerte massesenteret (17) og hovedaksen (18) til torsoen (19) blir beregnet ved å utføre de følgende trinn: a) å beregne den valgte klyngens sentroide (7) og hovedakse (16), b) å beregne fordelingskurven (20) til den valgte klyngens (6) punkter (5) med hensyn til den valgte klyngens (6) hovedakse (16), c) å beregne et bøyningspunkt (21) i fordehngskurve (20), d) å velge punktene (15) med avstander med hensyn til den valgte klyngens (6) hovedakse (16) som er mindre enn D-s, hvor s er bøyningspunktets (21) avstand til klyngens (6) hovedakse (16) og D er en faktor som er høyst 1,25, fortrinnsvis høyst 1,0, og e) å beregne torsoens (19) massesenter (17) og hovedakse (18) som de valgte punktenes (5) sentroide og hovedakse.
12. Volumgjenkjenningsfremgangsmåte ifølge et av kravene 10 eller 11, hvor signaler blir overført til et dataprosesseringssystem (2) i samsvar med torsoens (19) massesenter (17)-posisjon og/eller dens hovedaksen (18) og/eller torsoens (l) hovedakse (17)-orientenng.
13. Voluingjenkjenniiigsfremgangsmåte ifølge et hvilket som helst av kravene 10-12, videre innbefattende trinnet å måle legemets høyde.
14. Volumgjenkjenningsfremgangsmåte ifølge krav 13, hvor legemets høyde måles ved å beregne høydene til de punktene (5) blant punktene i den valgte klyngen (6) som er nærmere enn en forutbestemt avstand til torsoens (19) hovedakse (18), å filtrere høydene, fortrinnsvis ved medianfiltrering, og å velge høydenes maksimumsverdi etter filtrering
15. Volumgjenkjenningsfremgangsmåte ifølge krav 14, hvor legemets høydemål kun blir betraktet som gyldige hvis et sett betingelser er oppfylt, slik som at torsoens (19) hovedakse (18) er hovedsakelig vertikal.
16. Volumgjenkjenningsfremgangsmåte ifølge et hvilket som helst av de foregående krav, hvor de volumer (12) som er assosiert med settet av underklynger er representert i et virtuelt miljø fremstilt av et dataprosesseringssystem (2).
17. Volumgjenkjenningsfremgangsmåte ifølge krav 16, hvor det er en kollisjons- og/eller nærhetskontroll mellom representasjonen av settet av underklyngers volumer (12) og det virtuelle miljøets sett av elementer (14), for å vekselvirke med det virtuelle miljøets sett av elementer (14).
18. Volumgjenkjenningsfremgangsmåte ifølge et hvilket som helst av de foregående krav, hvor et sett av koblinger (28) mellom underklynger blir etablert ved bruk av kriterier slik som absoluttavstand mellom underklyngenes sentroider (11), tilstedeværelsen av punkter (5) mellom underklynger etc.
19 Volumgjenkjenningsfremgangsmåte ifølge krav 16, hvor et sett av ekstremiteter (29) tilhørende interesseobj ektet (1) blir identifisert i samsvar med koblingene (28).
20. Volumgjenkjenningsfremgangsmåte ifølge krav 19, hvor i det minste én av ekstremitetene (2) blir etikettmerket i samsvar med et forutbestemt mønster, som for eksempel mønsteret til et menneskelig legeme.
21. Volumgjenkjenningsfremgangsmåte ifølge et av kravene 19 eller 20, hvor signalene blir overført til et dataprosesseringssystem (2) i samsvar med en absolutt- og/eller relativ posisjon og/eller bevegelse til minst én av ekstremitetene (29).
22 Volumgjenkjenningsfremgangsmåte, karakterisert ved at den innbefatter et avbildningssystem (3) for å innhente tre-dimensjonale bildedata som representerer et flertall punkter (5), hvor hvert punkt (5) har i det minste et sett av koordinater i et tre-dimensjonalt rom, og hvor minst noen av punktene (5) er i overensstemmelse med et interesseobj ekt (1) som er lokalisert i avbildingssystemets (3) dekningsområde, og et dataprosesseringssystem (2) koblet til avbildningssystemet (3) og programmert for å utføre, i samvirke med avbildningssystem (3), en volumgjenkjenningsfremgangsmåte ifølge et hvilket som helst av de foregående krav.
NO20093390A 2007-04-20 2009-11-20 Fremgangsmate og system for volumgjenkjenning NO20093390L (no)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/053895 WO2008128568A1 (en) 2007-04-20 2007-04-20 Volume recognition method and system

Publications (1)

Publication Number Publication Date
NO20093390L true NO20093390L (no) 2010-01-20

Family

ID=38862109

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20093390A NO20093390L (no) 2007-04-20 2009-11-20 Fremgangsmate og system for volumgjenkjenning

Country Status (13)

Country Link
US (1) US8175374B2 (no)
EP (1) EP2095296B1 (no)
JP (1) JP5255623B2 (no)
KR (1) KR101184170B1 (no)
CN (1) CN101715581B (no)
AU (1) AU2007351713B2 (no)
BR (1) BRPI0721562A2 (no)
CA (1) CA2684523A1 (no)
HK (1) HK1143229A1 (no)
IL (1) IL201499A (no)
MX (1) MX2009011251A (no)
NO (1) NO20093390L (no)
WO (1) WO2008128568A1 (no)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5085573B2 (ja) * 2009-01-13 2012-11-28 新日本製鐵株式会社 欠陥検査方法および欠陥検査装置
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8517834B2 (en) * 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
KR101651568B1 (ko) 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
GB2475104A (en) * 2009-11-09 2011-05-11 Alpha Vision Design Res Ltd Detecting movement of 3D objects using a TOF camera
CN102103696A (zh) * 2009-12-21 2011-06-22 鸿富锦精密工业(深圳)有限公司 人脸辨识系统、方法及具有该系统的身份识别装置
EP2357608B1 (en) 2009-12-28 2012-11-21 Softkinetic Software Tracking method
EP2357605B1 (en) 2009-12-28 2013-01-16 Softkinetic Software Stabilisation method and computer system
EP2339507B1 (en) 2009-12-28 2013-07-17 Softkinetic Software Head detection and localisation method
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
CN102812416B (zh) * 2010-06-17 2015-10-07 松下电器(美国)知识产权公司 指示输入装置、指示输入方法、程序、记录介质以及集成电路
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8928659B2 (en) * 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
US8381976B2 (en) * 2010-08-10 2013-02-26 Honeywell International Inc. System and method for object metrology
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US9304592B2 (en) 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
MY163422A (en) * 2011-03-02 2017-09-15 Genscape Intangible Holding Inc Method and system for determining an amount of a liquid energy commodity in storage in an underground cavern
DE102011102038A1 (de) 2011-05-19 2012-11-22 Rwe Effizienz Gmbh Heimautomatisierungssteuerungssystem sowie Verfahren zum Steuern einer Einrichtung eines Heimautomatisierungssteuerungssystems
JP6143747B2 (ja) * 2011-06-24 2017-06-07 ソフトキネティック ソフトウェア 深度測定の品質の向上
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8913821B1 (en) * 2011-09-26 2014-12-16 Google Inc. Preconditioner for solving linear equations for reconstructing three-dimensional structure of a scene
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
KR101901588B1 (ko) * 2012-01-02 2018-09-28 삼성전자주식회사 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
KR101387892B1 (ko) * 2012-06-29 2014-04-21 인텔렉추얼디스커버리 주식회사 온도 정보를 사용한 동작 인식 장치 및 방법
CN103577789B (zh) * 2012-07-26 2018-02-13 中兴通讯股份有限公司 检测方法和装置
JP5934070B2 (ja) * 2012-09-26 2016-06-15 富士フイルム株式会社 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9709990B2 (en) * 2012-12-21 2017-07-18 Toyota Jidosha Kabushiki Kaisha Autonomous navigation through obstacles
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
EP3123399A4 (en) * 2014-03-27 2017-10-04 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
DE102014107683B3 (de) * 2014-06-02 2015-10-01 Insta Elektro Gmbh Verfahren zum Betreiben einer Gebäudeinstallation mit einem Situationswächter sowie Gebäudeinstallation mit einem Situationswächter
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US20160178991A1 (en) * 2014-12-22 2016-06-23 Google Inc. Smart illumination time of flight system and method
US10207185B2 (en) * 2015-03-07 2019-02-19 Sony Interactive Entertainment America Llc Using connection quality history to optimize user experience
JP6053845B2 (ja) * 2015-03-09 2016-12-27 株式会社ソニー・インタラクティブエンタテインメント ジェスチャ操作入力処理装置、3次元ディスプレイ装置およびジェスチャ操作入力処理方法
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US10282177B2 (en) * 2015-03-24 2019-05-07 Vmware, Inc. Application user interface overlays for application lifecycle management
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
JP6427279B2 (ja) 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、rfに基づいた微細動作追跡
US10139916B2 (en) 2015-04-30 2018-11-27 Google Llc Wide-field radar-based gesture recognition
CN104778718B (zh) * 2015-05-07 2017-11-21 西安电子科技大学 基于3d模型的单幅图像卡车体积测量方法
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
JP6691743B2 (ja) * 2015-06-08 2020-05-13 シャープ株式会社 自律走行装置
US10074191B1 (en) 2015-07-05 2018-09-11 Cognex Corporation System and method for determination of object volume with multiple three-dimensional sensors
US9922244B2 (en) * 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
WO2017079484A1 (en) 2015-11-04 2017-05-11 Google Inc. Connectors for connecting electronics embedded in garments to external devices
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
WO2017167382A1 (en) 2016-03-31 2017-10-05 Softkinetic Software Improvements in or relating to filters
US10262222B2 (en) * 2016-04-13 2019-04-16 Sick Inc. Method and system for measuring dimensions of a target object
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
CN107583276B (zh) * 2016-07-07 2020-01-24 苏州狗尾草智能科技有限公司 游戏参数控制方法、装置及游戏控制方法、装置
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10677905B2 (en) * 2017-09-26 2020-06-09 Infineon Technologies Ag System and method for occupancy detection using a millimeter-wave radar sensor
EP3688720A1 (en) 2017-10-31 2020-08-05 Swanson, James Martin Systems and methods to estimate human length
CN108280443A (zh) * 2018-02-23 2018-07-13 深圳市唯特视科技有限公司 一种基于深特征提取异步融合网络的动作识别方法
JP2022071750A (ja) * 2020-10-28 2022-05-16 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
US11967149B2 (en) * 2021-06-09 2024-04-23 International Business Machines Corporation Increasing capabilities of wearable devices using big data and video feed analysis

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282459A (ja) 1992-04-02 1993-10-29 Mitsubishi Electric Corp カラー画像の限定色表示装置
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO2000030023A1 (en) 1998-11-17 2000-05-25 Holoplex, Inc. Stereo-vision for gesture recognition
JP2001160077A (ja) * 1999-12-02 2001-06-12 Osaka Gas Co Ltd 行動シミュレーション装置及び空間評価装置
US6771818B1 (en) 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
JP4112819B2 (ja) 2000-05-11 2008-07-02 株式会社東芝 物体領域情報生成装置及び物体領域情報記述プログラム
JP4810052B2 (ja) * 2000-06-15 2011-11-09 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員センサ
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2002352200A (ja) 2001-05-29 2002-12-06 Dainippon Printing Co Ltd Rfidタグ交信用の手袋
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
WO2004064022A1 (en) 2003-01-14 2004-07-29 Alterface S.A. Kiosk system
JP4445763B2 (ja) * 2004-01-30 2010-04-07 セコム株式会社 画像生成装置及び侵入者監視装置
KR100553712B1 (ko) 2004-05-04 2006-02-24 삼성전자주식회사 리세스 채널을 가지는 선택 트랜지스터가 구비된 비휘발성메모리 소자 및 그 제조방법
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US7646902B2 (en) * 2005-02-08 2010-01-12 Regents Of The University Of Michigan Computerized detection of breast cancer on digital tomosynthesis mammograms
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis

Also Published As

Publication number Publication date
CN101715581A (zh) 2010-05-26
IL201499A (en) 2013-12-31
JP2010525432A (ja) 2010-07-22
JP5255623B2 (ja) 2013-08-07
KR101184170B1 (ko) 2012-09-19
HK1143229A1 (en) 2010-12-24
KR20100017212A (ko) 2010-02-16
CA2684523A1 (en) 2008-10-30
US20100208035A1 (en) 2010-08-19
EP2095296A1 (en) 2009-09-02
BRPI0721562A2 (pt) 2013-01-22
US8175374B2 (en) 2012-05-08
AU2007351713B2 (en) 2011-11-17
MX2009011251A (es) 2009-12-14
WO2008128568A1 (en) 2008-10-30
IL201499A0 (en) 2010-05-31
CN101715581B (zh) 2014-07-23
AU2007351713A1 (en) 2008-10-30
EP2095296B1 (en) 2014-01-01

Similar Documents

Publication Publication Date Title
NO20093390L (no) Fremgangsmate og system for volumgjenkjenning
US8223147B1 (en) Method and system for vision-based interaction in a virtual environment
US8630457B2 (en) Problem states for pose tracking pipeline
US8230367B2 (en) Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
EP2391988B1 (en) Visual target tracking
LaViola et al. 3D spatial interaction: applications for art, design, and science
WO2010088033A2 (en) Visual target tracking using model fitting and exemplar
TWI413018B (zh) 體積識別方法及系統
Ouzounis et al. Using Personalized Finger Gestures for Navigating Virtual Characters.
Arsenault et al. Quaternion based gesture recognition using worn inertial sensors in a motion tracking system
CN109407848B (zh) 一种脚步侦测方法及装置
Stohne Real-time filtering for human pose estimationusing multiple Kinects

Legal Events

Date Code Title Description
FC2A Withdrawal, rejection or dismissal of laid open patent application