NO327899B1 - Fremgangsmate og system for automatisk kamerakontroll - Google Patents

Abstract

Den foreliggende oppfinnelse anvender videodetekteringsteknikker til å detektere deltakere og deres respektive lokasjoner i videorammer oppfanget av kameraet, og basert på lokasjonen og størrelsene av de detekterte deltakere, automatisk å bestemme og bruke optimal kameraorientering og zoom for å. innfange den beste visningen av alle deltakerne.

Description

OMRÅDE FOR OPPFINNELSEN

Den foreliggende oppfinnelsen er relatert til video-konferanser og automatisk innstilling av kameraorientering og zoom.

BAKGRUNN FOR OPPFINNELSEN

I de fleste avanserte videokonferansesystemer blir høy kvalitetskameraer med pan-, tilt- og zoomkapabiliteter brukt til å innramme en visning av møterommet og deltakerne i konferansen. Kameraene vanligvis har et bredt synsfelt (eng.: field-of-view, FOV), og høy mekanisk zoomkapabilitet. Dette gir både god oversikt over et møterom, og mulighet for å innfange nærbilde bilder av deltakerne. Videostrømmen (eng.: the video stream) fra kameraet blir komprimert og sendt til en eller flere mottakssteder (eng.: receiving sites) i videokonferansen. Alle steder (eng.: sites) i konferansen mottar levende video og audio fra andre steder i konferansen, og muliggjør dermed kommunikasjon i sanntid med både visuell og akustisk informasjon.

Videokonferanser varierer en god del når det gjelder formål, antall deltakere, utforming av konferanserom, osv. Hver møtekonfigurasjon krever vanligvis en individuell innstilling av kameraet for å presentere en optimal visning. Innstillinger av kameraet kan være nødvendig både før og under videokonferansen. I et videokonferanserom med plass til opptil 16 personer er det for eksempel naturlig at kameraet er forhåndsinnstilt til å innramme alle de 16 tilgjengelige setelokasjonene. Men hvis bare 2 eller 3 deltakere er til stede, vil det brede synsfeltet for kamerainnstillingen gi mottakersiden en svært dårlig visuell representasjon.

Innstillinger av kameraet gjøres vanligvis via en fjernkontroll, enten ved manuelt å styre kamerapanorering, -tilt og -zoom, eller ved å velge mellom et sett av forhåndsdefinerte kameraposisjoner. Disse forhåndsdefinerte posisjoner er manuelt programmert. Ofte, før eller under en konferanse, ønsker brukerne ikke å være opptatt med manuell styring av kameraet. De mindre erfarne brukerne er kanskje ikke engang klar over muligheten til å endre kameraets synsfelt, eller hvordan det skal gjøres. Derfor er kameraet er ofte etterlatt med en sub-optimal innstilling i en videokonferanse, noe som resulterer i en degradert videoopplevelse.

For derfor å sikre en god kameraorientering for hver situasjon i et videokonferanserom, er det ønskelig med et system for automatisk innstilling av synsfeltet.

Det finnes noen videokonferansesystemer med kamerasporingskapabilitet. Men hensikten med disse systemene er å fokusere kameraet automatisk på en aktiv taler. Disse systemene er vanligvis basert på talerlokalisering ved audiosignalbehandling med en mikrofongruppe (eng.: a microphone array), og/eller i kombinasjon med bildebehandling.

Noen digitale videokameraer (for eksempel web-kameraer) bruker videoanalyse til å oppdage, sentrere og følge ansikt til en person innenfor et begrenset utvalg av digital panorering, tilt og zoom. Men disse systemene er bare egnet for én person, og krever at kameraet i utgangspunktet er riktig posisjonert og har en svært begrenset digital arbeidsrekkevidde.

Derfor beskriver ingen av de tidligere kjente løsningene nevnt ovenfor, et system for automatisk konfigurasjon av kameraet i en videokonferansesammenheng.

US-7 057 636 viser et videokonferansesystem og -fremgangsmåte som automatisk bestemmer passende forhåndssatte kameraparametere korresponderende med deltakere i konferansen. Et kamera zoomer ut eller panorerer videokonferanseområdet og ser etter deltakere, basert på deres ansikter. Ved deteksjon av en deltaker beregnes de forhåndssatte kameraparametrene for denne deltaker idet senteret for deltakeren sammenfaller med senteret for kameraets synsvinkel. Dette gjentas for de øvrige konferansedeltakere.

SAMMENFATNING AV OPPFINNELSEN

Det er en hensikt ved den foreliggende oppfinnelsen å tilveiebringe en fremgangsmåte og et system som løser minst ett av de ovennevnte problemene i den tidligere kjente teknikk.

Trekkene definert i de vedføyde, selvstendige krav kjennetegner denne fremgangsmåten og dette systemet.

KORT BESKRIVELSE AV TEGNINGENE

For å gjøre oppfinnelsen lettere å forstå, vil den etterfølgende diskusjonen referere til den medfølgende tegninger.

Figur 1 illustrerer et typisk videokonferanserom,

Figur 2 viser skjematisk komponenter i en "beste visning"-lokator i henhold til foreliggende oppfinnelse,

Figur 3 er et flytdiagram av drift av "beste visning"-lokatoren,

Figur 4 viser skjematisk en typisk videokonferansesituasjon, og eksempelvise innledende orienteringer av bildeinnhentingsinnretningen,

Figur 5 illustrerer ansiktsgjenkjenning i et bilde med to deltakere,

Figur 6 illustrerer som eksempel et definert område av interesse ("beste visning"), Figur 7 illustrerer som eksempel et annet definert område av interesse ("beste visning"), Figur 8 illustrerer en kamerainnramming for nevnte definerte område i figur 6, Figur 9 illustrerer en audiokilde detektert utenfor det nåværende innrammede bildet, Figur 10 illustrerer en kamerainnramming som innbefatter blant annet en deltaker som representerer nevnte lydkilde i figur 9,

Figur 11 illustrerer en deltaker som forlater kamerasynsfeltet, idet

Fig. 1 IA illustrerer at en person går ut av konferansen; Fig. 1 lb illustrerer at en person er nær kanten av rammen;

Fig. lic illustrerer de to gjenværende personer, og

Fig. Ild illustrerer optimal fremvisning for de gjenværende personer.

DETALJERT BESKRIVELSE AV OPPFINNELSEN

I det følgende vil den foreliggende oppfinnelsen bli drøftet ved å beskrive en foretrukket utførelsesform, og ved å henvise til den medfølgende tegninger. Men fagfolk på området vil innse andre anvendelser og modifikasjoner innenfor rekkevidden av oppfinnelsen som definert i vedlagte selvstendige krav.

Figur 1 illustrerer et typisk videokonferanserom 10, med et eksempel på et videokonferansesystem 20. Videokonferansesystemer 20 består vanligvis av følgende komponenter; en kodek 11 (for koding og dekoding av audio- og video-informasjon), en bruker-inndatainnretning 8 (dvs. fjernkontroll eller tastatur), en bildeinnhentingsinnretning 6 (kamera), en audioinnhentingsinnretning 4; 7 (mikrofon), et videodisplay 9 (skjerm) og en lydgjengivelsesenhet 5 (høyttalere). Ofte bruker avanserte videokonferansesystemer (VCS) høykvalitetskameraer 6 med motoriserte pan-, tilt- og zoom-kapabiliteter.

Den foreliggende oppfinnelse bruker videodeteksjonsteknikker for å detektere deltakerne og deres respektive lokasjoner i videorammer innhentet med kameraet 6, og basert på lokasjon og størrelser på de nevnte oppdagede deltakere, automatisk å bestemme og bruke den optimale kameraorientering og zoom for å innfange den beste visningen over alle deltakerne.

Det kan være mange meninger om hva den "beste visning" av et sett av deltakere i en konferanse er. Men i det følgende er "beste visning" er referert til som et nærbilde av en gruppe deltakere, hvor videorammesenteret i det vesentlige sammenfaller med midten av gruppen, og hvor graden av zoom gir et stramt tilpasset bilde rundt nevnte gruppe. Men bildet må ikke være for stramt, det må i det minste vise deltakernes overkropp, og det må gi rom for deltakerne til å flytte seg noe uten å forlate videorammen.

Figur 2 viser skjematisk modulene i "beste visning"-lokator 52 i henhold til den foreliggende oppfinnelsen. En videodeteksjonsenhet 30 er konfigurert til løpende å detektere objekter, for eksempel ansikter og/eller hoder, i rammer i et innhentet videosignal. Ved forhåndsdefinerte hendelser (f.eks når VCS er slått på, når initiert gjennom brukerinndatainnretningen 8, etc.) zoomer kameraet ut til sitt maksimale synsfelt og flyttes til en forhåndsdefinert pan- og tilt-orientering (asimut- og høydevinkel), og fanger så mye som mulig av rom 10, der systemet befinner seg.. Videodetekteringsenheten 30 analyserer rammene i videosignalet og registrerer alle ansikter/hoder og deres lokasjon i videorammen relativt til et forhåndsbestemt og statisk referansepunkt (f.eks. midt i rammen). Ansikts-/hodelokasjonen og størrelsen (eller arealet) i videobildet transformeres til kamerakoordinater (asimut- og høydevinkler og zoomfaktorer). Informasjon om hvert detekterte ansikt/hode (f.eks. posisjon størrelse, osv.) blir sendt til en bildeprosesseringsenhet 50 via ansiktssporeenheten 35. Basert på nevnte ansikts-Zhodeinformasjon definerer bildeprosesseringsenheten et rektangulært område som minst omfatter alle de detekterte ansikter/hoder. En forhåndsdefinert sett med regler dikterer hvordan området skal defineres, og området representerer den beste visning av personer i rammen (eller videokonferanserommet 10). Kamerakoordinater (asimut- og høydevinkler og zoomfaktorer) for det definerte området og dets lokasjon blir sendt til en kontrollenhet 45. Kontrollenheten instruerer en kamerakontrollenhet 12 til å flytte kameraet til nevnte kamerakoordinater, og kameraets 6 pan, tilt og zoom innstilles for å innramme et bilde samsvarende med det definerte området.

Bildeinnhentingsinnretningen (eller kameraet) 6 inneholder en kamerakontrollenhet 12 for posisjonering av bildeinnhentingsinnretningen. Kamerakontrollenheten 12 er styremekanismen, herunder motorer, og kontrollerer pan- og tilt-orientering og graden av zoom i bildetinnhentingsinnetningen 6. Kamerakontrollsenheten 12 kan også rapportere tilbake sine nåværende asimut- og høydevinkler og zoom-faktorer på forespørsel. Bildeprosesseringsenheten 50 og kontrollenheten 45 kan levere kontrollsignaler til kamerakontrollenheten 12. Kamerakontrollenheten 12 bruker et kamerakoordinatsystem som indikerer en lokasjon basert på asimut- og høydevinkler og zoom-faktorer som beskriver retningen for den innfangede rammen relativt til kameraet 6 og zoomgraden. Videodeteksjonenheten 30 er konfigurert til å konvertere koordinatmålinger uttrykt i et video- (eller bilde-) koordinatsystem til koordinatmålinger uttrykt i kamerakoordinatsystemet ved bruk av asimut- og høydevinkler og zoomfaktorer for kameraet 6 når bildet var innfanget med kameraet 6 .

Figur 3 er et flytdiagram for operasjonen av "beste visning"-lokatoren 52. Kameraet 6 leverer et videosignal som omfatter en serie av rammer (bilder). Rammene analyseres av videodeteksjonsenheten 30. Ved forhåndsdefinerte hendelser blir kamerakontrollenheten 12 instruert til å flytte kameraet til en initialorientering (trinn 60). Hensikten med den initialorienteringen er å sørge for at kameraet kan "se" alle personer i møterommet. Det finnes flere måter å bestemme en slik initialorientering på.

Med henvisning til figur 4, ifølge en eksempelutførelsesform av oppfinnelsen, zoomer kameraet ut til sitt maksimale synsfelt og går over til en forhåndsdefinert pan- og tilt- orientering 13, innfanger så mye som mulig av rommet 10a og/eller innfanger den del av rommet som har den største sannsynlighet for å finne møtedeltakere. Den forhåndsdefinerte pan- og tilt-orientering (eller initialorientering) er vanligvis manuelt inngitt til systemet gjennom en oppsettsfunksjon (f.eks. ved flytting av kameraet manuelt til en optimal utgangsposisjon og deretter lagre posisjonen), eller den er en standard fabrikkverdi.

Ifølge en annen eksempelutførelsesform av oppfinnelsen er kameraet konfigurert til å innfange hele rommet ved å undersøke et sett av initialorienteringer (14, 15) med en maksimalt synsfelt, og der feltenes synsfelt overlapper. I de fleste tilfeller er det tilstrekkelig med et sett av to orienteringer. Imidlertid vil antall retninger avhenge av kameraene maksimale synsfelt, og kan være 3, 4, 5, 6, osv. For hver orientering (14, 15) analyseres den ene eller de flere videorammer er analysert ved video detekteringsenheten 30 til å detektere ansikter og/eller hoder samt deres respektive lokasjoner. Etter at alle retninger er analysert, beregner bildeprosesseringsenheten 50 den pan- og tilt-orientering som innbefatter alle detekterte deltakere, og definerer nevnte beregnede orientering som initialorienteringen.

En videodetekteringsenhet 30 analyserer videosignalene 25 fra kameraet 6 til å detektere og lokalisere ansikter og/eller hoder (trinn 70) i en video ramme. Videodetekteringsenheten 30 måler offset for lokasjonen av de detekterte ansikter/hoder fra et forhåndsbestemt og statiske referansepunkt (for eksempel senter av videobildet).

Ulike algoritmer kan brukes for objektdeteksjon. Gitt en vilkårlig videoramme, er målet for ansiktsgjenkjenningsalgoritmer å fastslå hvorvidt det er noen ansikter i bildet eller ikke, og hvis slike finnes, å returnere bildelokasjon og areal (størrelse) av hvert enkelt bilde av et ansikt. Med henvisning til figur 5, ifølge en eksempelutførelsesform av foreliggende oppfinnelsen, flyttes eller scannes et analysevindu 33 over bildet. For hver posisjon av analysevinduet 33 blir bildeinformasjonen innenfor analysevinduet 33 analysert minst med hensyn til forekomst av typiske ansiktstrekk. Det skal imidlertid forstås at den foreliggende oppfinnelse ikke er begrenset til bruken av denne typen ansiktsdeteksjon. Videre kan også hodedetekteringsalgoritmer brukes til å detektere deltakere hvis hode ikke er orientert imot kameraet.

Når et bilde av et ansikt/hode er detektert, definerer videodetekteringsenheten 30 et rektangulært segment (eller boks) som omgir nevnte bildet av et ansikt/hode. Ifølge en utførelsesform av oppfinnelsen er nevnte rektangulære segment nevnte analysevindu 33. Lokasjonen av nevnte segment som inneholder et bilde av et ansikt/hode, måles relativt til et videokoordinatsystem som er basert på videorammen. Videokoordinatsystemet anvendes på hver ramme innfanget av kameraet 6. Videokoordinatsystemet har en horisontal akse eller x-akse, og en vertikal akse eller y-akse. Ved bestemmelse av en posisjon for en piksel eller et bilde, bestemmer videodetekteringsenheten 30 denne posisjonen relativt til x-aksen og y-aksen for denne pixel eller dette bildets videoramme. I en eksempelutførelsesform av oppfinnelsen er senterpunktet 31 for analysevinduet 33 (piksel i midten av vinduet) lokasjonsreferansepunkt, og analysevinduets lokasjon er definert av koordinatene x og y i nevnte video koordinatsystem. Når videodetekteringsenhet 30 har beregnet lokasjonen (x, y) og størrelsen (f.eks. dx=20, dy= 24 piksler) av alle ansikter/hoder i en ramme, bruker videodetekteringsenheten 30 kunnskap om videorammen, optikk og mekanikk til å beregne (trinn 80) den tilsvarende lokasjon (a, cp,) og størrelse (Aa, Acp) i asimut-og høydevinkler i kamerakoordinatsystemet for hvert bilde av et ansikt/hode. Kamerakoordinater for hvert ansikt/hode blir deretter sendt til en ansiktssporingsenhet 35.

Ansiktssporingsenheten 35 korrelerer de detekterte ansikter fra den gjeldende videorammen til de detekterte ansikter i de tidligere videorammer og sporer dermed det detekterte ansikt gjennom en serie av rammer. Bare hvis et ansikt/hode er oppdaget på i det vesentlige samme lokasjon gjennom en serie av rammer, valideres deteksjonen som en positiv deteksjon. Først og fremst forhindrer dette falske ansiktsdeteksjoner, med mindre den samme deteksjonen skjer i flere påfølgende videorammer. Også, hvis ansiktsdeteksjonsenheten ikke klarer å detektere et ansikt i ved de i det vesentlig samme koordinater som et ansikt har blitt detektert ved før, anser bildesporingsenheten ikke ansiktet som fraværende fra bildet, med mindre deteksjon har sviktet i flere påfølgende rammer. Dette gjøres for å unngå falske negative deteksjoner. Videre muliggjør sporingen å oppnå en riktig posisjon for en deltaker som kan flytte seg i en videoramme. For å utføre denne sporingen, oppretter og vedlikeholder ansiktssporingsenheten 35 en sporingsfil for hvert detekterte ansikt. Sporingsfilen kan for eksempel være lagret i et minneinnretning.

I trinn 90 definerer bildeprosesseringsenheten 50 et område av interesse 34 (beste visning). Området av interesse 34 er vist i figur 6, der nevnte område 34 i det minste omfatter alle de detekterte bilder av ansikter i denne rammen.

Ifølge en utførelsesform av oppfinnelsen, basert på lokasjonen (a, cp) av hvert ansikt og det korresponderende størrelse (A a, A cp), kan bildprosesseringsenheten 50 beregne et første område er begrenset av et sett av marginer (Ml , M2, M3 og M4), idet nevnte marginer er avledet fra venstre side av ansiktssegmentet helt til venstre (Ml), øvre side av de øverste ansiktssegmentet (M3), høyre side av ansiktssegmentet helt til høyre (M2), og nederste side av det nederste ansiktssegmentet (M4). Lokasjonen av senteret (ara, cpra) for det nevnte første området kan nå beregnes i kamerakoordinater basert på nevnte marginer. Lokasjonen av det nevnte første området er relativt til et referansepunkt (oto, <po)> vanligvis retningen av kameraet når asimut- og høydevinkelen er null. Videre er bredden og høyden for det første området transformert til en zoom-faktor (Zfa).

Det første området er svært nær deltakernes ansikter, og kan ikke representere den mest bekvemme visning (beste visning) av deltakerne, spesielt når det bare er to deltakere til stede, slik det er vist i denne eksempelutførelsesformen. Derfor, når nevnte marginer (Ml, M2, M3 og M4) er blitt beregnet, blir et annet område (beste visning-ramme 34) definert ved å utvide nevnte marginer av et sett av offsetverdier a, b, c og d. Disse offsetverdier kan være like, eller de kan være forskjellige, for eksempel for å innfange mer av bordet foran deltakerne enn det som er ovenfor en deltakers hode. Offsetverdiene kan være forhåndssatte og statiske, eller de kan være beregnet for å passe enhver situasjon.

Ifølge en annen eksempelutførelsesform defineres beste visning-rammen 34 ved bare å subtrahere en kompensasjonsverdi Zc fra den beregnede zoomfaktoren Zfa, hvilket fører til at kameraet zoomer ut en tilleggsdistanse. Kompensasjonsverdien Zc kan være statisk, eller variere lineært, avhengig av størrelsen på den første områdezoomfaktoren Zfa.

Figur 7 viser skjematisk en eksempelvideoramme tatt fra en første kameraorientering. Tre ansikter har blitt detektert i videorammen, og bildet prosesseringsenheten 50 har definert en best visning-ramme 34, og beregnet lokasjonen (ara, <q>)fa) for best visning-rammen.

De fleste bildeinnhentingsinnretninger 6 for videokonferansesystemer opererer med standard TV-bilde-aspektforhold, f.eks. 4:3 (1,33:1) eller 16:9 (1,78:1). Siden de fleste beregnede best visning-rammer 34 som beskrevet ovenfor har aspektforhold som avviker fra standarder, for eksempel 4:3 eller 16:9, må noen betraktninger gjøres ved bestemmelsen av zoom-koordinaten. Siden Acp er den korteste kant av området 34, vil, dersom kameraet zoomer inn for å innfange den nøyaktige høyden Acp, store deler av området bomme på det lyssensitive området (for eksempel bildesensoren) i kameraet, fordi aspektforholdet er annerledes enn det definerte området. Hvis kameraet zoomer inn for å innfange den nøyaktige bredden Aa for det definerte området 34, går ingen informasjon tapt.

Derfor, ifølge en eksempelutførelsesform av den foreliggende oppfinnelsen, sammenliknes de to sidene A<p og Aa for den beste visning-rammen. Hver av de to sidene definerer en zoomfaktor er nødvendig for å tilpasse området av interesse inn i bilderammen, i horisontal hhv. vertikal retning. Dermed vil zoom-graden være definert ved den minste av de to beregnede zoom-faktorer, noe som sikrer at området av interesse er ikke blir skåret bort ved zooming til området av interesse.

I trinn 100 forsyner bildeprosesseringsenheten 50 kamerakontrollenheten 12 med kameraposisjoneringsdirektiver (afa, <pfa, Z) utledet i trinn 90, via kontrollenheten 45. Så snart kameraposisjoneringsdirektivene er mottatt, kameraet beveger seg, og zoomer til instruert koordinater, for å få den beste utsikten over deltakere i konferanse. Figur 8 viser den beste måten å vise deltaker 1 og 2 fra møterommet 10a i figur 6.

Når kameraet har flyttet til den nye orienteringen, vil den forbli i denne orienteringen til en hendelse er detektert (trinn 110). Som nevnt tidligere, er kameraet bare instruert til å flytte kameraet til en initialorientering (trinn 60) ved visse forhåndsdefinerte hendelser. Slike forhåndsdefinerte hendelser kan innbefatte når videokonferanse systemet blir startet, når det vekkes fra en dvale-modus (eng.: sleep mode), når det mottar eller sender en konferansesamtaleinitieringsforespørsel, når initiert av en bruker via f.eks. fjernkontroll eller tastatur, osv. Når en optimal visning av deltakerne har blitt funnet, er det vanligvis lite behov for å endre orienteringen av kameraet. Men situasjoner kan oppstå under en videokonferanse som skaper et behov for å rekonfigurere orienteringen, f.eks. kan en av deltakerne forlate, en ny deltaker kan ankomme, en av deltakerne endrer sin plass, osv. Ved slike situasjoner kan en av brukerne selvsagt initiere reposisjonering (trinn 60) ved å trykke på en knapp på fjernkontrollen. Men en automatisk registrering av slike hendelser er å foretrekke.

Derfor, ifølge en utførelsesform av foreliggende oppfinnelsen, brukes lydkildelokalisering som en hendelsestrigger i trinn 110. Som nevnt ovenfor, viser figur 8 en optimal visning av 2 deltakere 1 og 2 i det store møterommet 10a. Slik det kan sees i figur 8, har kameraet i denne visningen zoomet inn i nokså stor utstrekning, og dersom en person ankom konferansen sent og satte seg ned i en av stolene 12, ville han hun ikke blitt innfanget av kameraet. Ved ankomst til et møte er det naturlig å unnskylde seg og/eller introdusere seg selv. Dette er et spørsmål om høflighet, og gjøres for å varsle de andre deltakerne (som kan være med bare på lyd) om at en ny deltaker har ankommet konferansen. Ved bruk av kjente lydkildelokaliseringsanordninger 7; 40, kan videokonferansesystemet oppdage at en audiokilde (deltaker) 200 er lokalisert utenfor det gjeldende feltet for av kameraets visning. Audiokildelokatoren 40 opererer i kamerakoordinater. Når en audiokilde har blitt detektert og lokalisert ved audiokildelokatoren 40, sender den audiokildekoordinatene til kontrollenheten 45. Ingenting gjøres dersom audiokildekoordinatene er innenfor gjeldende kamerasynsfelt. Men hvis audiokildekoordinatene er utenfor gjeldende kamerasynsfelt, indikerer dette at det foreliggende synsfelt ikke innfanger alle deltakerne, og detekteringsprosessen i henhold til trinnene 60-100 gjentas. Resultatet kan sees i figur 10. Derfor, ifølge en utførelsesform av oppfinnelsen, blir slik deteksjon av minst en audiokilde utenfor gjeldende kamerasynsvinkel er ansett som en hendelse i trinn 110, som utløser gjentakelse av trinnene 60-100.

Audiokildelokaliseringsanordninger er kjent, og vil ikke bli omtalt her i detalj. De omfatter generelt et flertall av romlig atskilte mikrofoner 7, og er ofte basert på bestemmelse av en forsinkelsesforskjell mellom signalene på utgangene av mikrofonene. Hvis posisjonene av mikrofoner og forsinkelsesforskjell mellom lydforplantningsveiene mellom kilde og de ulike mikrofonene er kjent, kan posisjonen til kilden beregnes. Et eksempel på en audikildelokator er vist i US-5,778,082.

Ifølge en annen utførelsesform av foreliggende oppfinnelse, er en annen forhåndsdefinert hendelse når en deltaker detekteres å forlate rommet (eller synsfeltet). Slik påvisning avhenger av sporingsfunksjon som er nevnt tidligere. Som vist i figur 1 IA, når en deltaker går ut av rommet, vil sporingsfilen eller sporingshistorien vise at posisjonen/lokasjonen (cp, a) for et detektert ansikt endres fra en posisjon (93, 0:3) til en posisjon (94, 0:4) nær kanten av rammen over en sekvens av rammer (figur 1 la-1 lb). Hvis den samme ansiktsdeteksjon plutselig forsvinner (ikke lenger detekterer et ansikt), og ikke kommer tilbake innen en viss tidsramme (figur lic), vil ansiktsdeteksjonen være å betrakte som at en deltaker forlater konferansen. Ved deteksjon av en slik hendelse, gjentas trinn 60-100 for å innstille kameraets synsvinkel til en ny optimal visning, som vist i figur lid.

Ifølge enda en utførelsesform av foreliggende oppfinnelsen, er en annen forhåndsdefinert hendelse når bevegelse detekteres nær kanten av videorammen. Ikke alle som ankommer et videokonferanserom vil begynner å snakke med det samme. Dette vil avhenge av situasjonen, deltakerens rang (eng.: seniority), osv. Derfor kan det ta litt tid før systemet oppdager den nye ankomsten og handler deretter. Med henvisning tilbake til figur 9, kan deler 38 av en deltaker kan være innfanget i videorammen, selv om mesteparten av personen er utenfor kameraets synsvinkel. Siden folk sjelden sitter helt stille, relativt til de statiske møbler, kan delene 38 lett bli oppdaget som bevegelse i bildet ved hjelp av videodetekteringsenheten 35. Ved deteksjon av en slik hendelse (bevegelsen er oppdaget i nærheten av bildet/rammekanten), gjentas trinn 60-100 for å justere kameraets synsfelt til en ny optimal visning.

Systemene i henhold til den foreliggende oppfinnelsen tilveiebringer en ny måte for automatisk å skaffe den beste visuelle presentasjon av alle deltakerne i et videokonferanserom. Videre vil systemet automatisk tilpasse seg nye situasjoner, for eksempel når deltakere forlater eller går inn i møterommet, og den visuell representasjon endres tilsvarende. Den foreliggende oppfinnelse gir en mer brukervennlig tilnærming til en overlegen visuell opplevelse.

Claims (22)

1. Fremgangsmåte for automatisk styring av orientering og zoom for en bildeinnhentingsinnretning assosiert med et videokonferansesystem, der fremgangsmåten omfatter trinnene: å generere, ved nevnte bildeinnhentingsinnretning, et bildesignal som er representativt for et bilde innrammet av nevnte bildeinnhentingsinnretning, og å prosessere bildesignalet for å identifisere objekter i nevnte bilde, og hvis forhåndsbestemte hendelser opptrer, å styre bildeinnhentingsinnretningen til en initialorientering, å bestemme lokasjonen for alle identifiserte objekter relativt til et referansepunkt, og å bestemme de respektive størrelser for de identifiserte objektene, å definere et område av interesse i nevnte bilde, der nevnte område av interesse minst omfatter alle de identifiserte objekter, og å styre bildeinnhentingsinnretningen til å innramme nevnte definerte område av interesse,karakterisert ved at et senter i en ramme som innrammer området av interesse i det vesentlige sammenfaller med et senter dannet av en gruppe av alle de identifiserte objektene.

2. Fremgangsmåte i henhold til krav 1, der nevnte trinn med å styre bildeinnhentingsinnretningen omfatter subtrinnene å variere asimutvinkelen og høydevinkelen for bildeinnhentingsinnretningen, og å variere zoom for bildeinnhentingsinnretningen.

3. Fremgangsmåte i henhold til krav 1, der nevnte trinn med å styre bildeinnhentingsinnretningen til en initialorientering videre omfatter subtrinnene: å zoome bildeinnhentingsinnretningen ut til et maksimalt synsfelt og å bevege bildeinnhentingsinnretningen i henhold til en forhåndsdefinert pan- og tilt-sekvens, hvilket innrammer så mye som mulig av et rom som bildeinnhentingsinnretningen befinner seg i.

4. Fremgangsmåte i henhold til krav 1, hvor bildesignalene representerer rammer av videobilder, og hvor trinnet med å identifisere objekter videre omfatter subtrinnene å oppdage bilder av ansikter og/eller hoder i nevnte rammer av videobilder, å spore de detekterte ansikter/hoder gjennom en serie av rammer, å identifisere en deteksjon som et ansikt/hode bare dersom nevnte deteksjon skjer i alle av et forhåndsdefinert antall påfølgende rammer.

5. Fremgangsmåte i henhold til krav 4, hvor trinnet med å definere et område av interesse ytterligere omfatter subtrinnene: å definere et sett av marginer for en første område, der nevnte første område er det minste definerbare område som omslutter alle nevnte detekterte bilder av ansikter og/eller hodet, og å definere nevnte område av interesse ved å utvide nevnte marginer med et sett off set-verdier.

6. Fremgangsmåte i henhold til krav 5, hvor området av interesse ytterligere utvides til å passe inn i et standard bilde-aspektforhold.

7. Fremgangsmåte i henhold til krav 1, der nevnte område av interesse representerer en nærbildevisning av et objekt eller en gruppe av objekter.

8. Fremgangsmåte i henhold til krav 1, der nevnte forhåndsdefinerte hendelser omfatter å igangsette videokonferansesystemet, å motta eller sende en konferansesamtale-initieringsforespørsel, og/eller å motta en kommando fra en bruker.

9. Fremgangsmåte i henhold til krav 1, der nevnte fremgangsmåten ytterligere omfatter å prosessere et audiosignal fra et sett av audioinnhentingsenheter, for å bestemme lokasjonen av en audiokilde relativt til et referansepunkt.

10. Fremgangsmåte i henhold til krav 8, hvor de nevnte forhåndsdefinerte hendelser omfatter å detektere tilstedeværelse av en audiokilde utenfor det innrammede området av interesse.

11. Fremgangsmåte i henhold til krav 1, hvor de nevnte forhåndsdefinerte hendelser omfatter å detektere bortfall av en eller flere av deltakerne fra det innrammede området av interesse.

12. Fremgangsmåte i samsvar med krav 1, hvor nevnte forhåndsdefinerte hendelse omfatter å detektere bevegelse nær kanten av det innrammede området av interesse.

13. System for automatisk styring av orientering og zoom for en bildeinnhentingsinnretning assosiert med et videokonferansesystem, der nevnte bildeinnhentingsinnretning genererer bildesignaler som er representative for et bilde innrammet av nevnte bildeinnhentingsinnretning, der systemet omfatter en videodetekteringsenhet konfigurert til å prosessere bildesignalet for å identifisere objekter i nevnte bildet, og å bestemme lokasjonen for alle identifiserte objekter relativt til et referansepunkt og deres respektive størrelser, karakterisert ved at systemet videre omfatter en bildeprosesseringsenhet konfigurert til å definere et område av interesse i nevnte bilde, der nevnte område minst omfatter alle de identifiserte objekter, og en styringsenhet konfigurert til, ved forhåndsdefinerte hendelser, å styre bildeinnhentingsinnretningen til en initialorientering, å motta kamerakoordinater fra nevnte bildeprosesseringsinnretning korresponderende med nevnte område av interesse, å styre bildeinnhentingsinnretningen til å innramme nevnte område av interesse, karakterisert ved at et senter i en ramme som innrammer området av interesse i det vesentlige sammenfaller med et senter dannet av en gruppe av alle de identifiserte objektene.

14. System i henhold til krav 13, der bildesignalene representerer rammer av videobilder, og der de identifiserte objektene er detekterte bilder av ansikter og/eller hoder i nevnte rammer av videobilder.

15. System i henhold til krav 14, videre omfattende en ansiktssporingsenhet konfigurert til å spore de detekterte ansikter/hoder gjennom en serie av rammer, og til å identifisere en deteksjon som et ansikt/hode bare hvis nevnte deteksjon skjer i alle av et forhåndsdefinert antall påfølgende rammer.

16. System i henhold til krav 14, hvor nevnte bildeprosesseringsenhet er videre konfigurert til å definere et sett av marginer for et første rektangulært område, der nevnte første område er det minste definerbare område som omslutter alle nevnte detekterte bilder av ansikter og/eller hoder, og å definere nevnte område av interesse ved å utvide nevnte marginer med et sett offset-verdier.

17. System i henhold til krav 16, hvor området av interesse ytterligere utvides til å passe inn i et standard bilde-aspektforhold.

18. System i henhold til et hvilket som helst av kravene 13-17, der systemet videre omfatter en audiokildelokator konfigurert til å prosessere et audiosignal fra et sett av audioinnhentingsenheter, for å bestemme lokasjonen av en audiokilde i kamerakoordinater.

19. System i henhold til et hvilket som helst av kravene 13-18, hvor nevnte kontrollenhet er videre konfigurert til å motta audiokildekoordinater fra nevnte audiokildelokator, og å sammenlikne nevnte audiokildekoordinater med det nåværende synsfelt.

20. System i henhold til et hvilket som helst av kravene 13-19, hvor nevnte bildeinnhentingsinnretning omfatter en kamerakontrollenhet for posisjonering av nevnte bildeinnhentingsinnretning, hvor kontrollenheten leverer kontrollsignaler til nevnte kamerakontrollenhet for orientering og zoom for bildeinnhentingsinnretningen, idet kontrollsignalet er generert basert på nevnte område av interesse.

21. System i henhold til et hvilket som helst av kravene 13-20, hvor nevnte forhåndsdefinerte hendelser omfatter å detektere tilstedeværelse av en audiokilde utenfor det innrammede området av interesse.

22. System i henhold til et hvilket som helst av kravene 13-21, hvor de nevnte forhåndsdefinerte hendelser omfatter å detektere bortfall av en eller flere av deltakerne fra det innrammede området av interesse.