NO332204B1 - Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt - Google Patents

Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt Download PDF

Info

Publication number
NO332204B1
NO332204B1 NO20093535A NO20093535A NO332204B1 NO 332204 B1 NO332204 B1 NO 332204B1 NO 20093535 A NO20093535 A NO 20093535A NO 20093535 A NO20093535 A NO 20093535A NO 332204 B1 NO332204 B1 NO 332204B1
Authority
NO
Norway
Prior art keywords
camera
target point
optical source
video conferencing
controller
Prior art date
Application number
NO20093535A
Other languages
English (en)
Other versions
NO20093535A1 (no
Inventor
Havard Hoelsaeter
Original Assignee
Cisco Systems Int Sarl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Systems Int Sarl filed Critical Cisco Systems Int Sarl
Priority to NO20093535A priority Critical patent/NO332204B1/no
Priority to PCT/NO2010/000445 priority patent/WO2011074974A1/en
Priority to CN201080063684.XA priority patent/CN102754434B/zh
Priority to EP10837940.5A priority patent/EP2514199A4/en
Priority to US12/968,418 priority patent/US8456503B2/en
Publication of NO20093535A1 publication Critical patent/NO20093535A1/no
Publication of NO332204B1 publication Critical patent/NO332204B1/no

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

Sammendrag Foreliggende oppfinnelse vedrører en innretning og fremgangsmåte for automatisk å innstille pan, tilt og zoom for ett eller flere kameraer assosiert med et lokalt videokonferanseendepunkt, for å innfange et nærbilde av et område/punkt av interesse. En bruker av et videokonferanseendepunkt tilveiebringer et målpunkt som er synlig for endepunktets kamera. Målpunktet kan være en optisk kilde, plassert av en bruker på eller nær et punkt av iteresse foran kameraet. Ved analysering av bildene innfanget av kameraet, kan foreliggende oppfinnelse lokalisere målpunktet i bildet eller bildene, og bestemme mengden av pan og tilt som er nødvendig for å flytte kameraet slik at kameraets betraktning sentreres på nevnte lokasjon definert av målpunktet.

Description

Område for oppfinnelsen
Oppfinnelsen vedrører en fremgangsmåte for automatisk å innstille et kamera assosiert med et videokonferanseendepunkt, og et korresponderende videokonferanseendepunkt.
Bakgrunn
Konvensjonelle videokonferansesystemer omfatter et antall endepunkter som kommuniserer sanntidsvideo-, audio- og/eller data- (ofte omtalt som duovideo) strømmer over og mellom ulike nettverk slik som WAN, LAN og linjesvitsjede nettverk.
I de fleste høykvalitetsvideokonferansesystemer benyttes høykvalitetskameraer med pan-, tilt- og zoom-kapabiliteter til å innfange en betraktning av møterommet og
deltakerne i konferansen. Kameraene har typisk et bredt betraktningsfelt (eng: field-of-view (FOV)), og høy mekanisk pan-, tilt- og zoom-kapabilitet. Dette tillater både godt overblikk over et møterom og muligheten for å innfange nærbilder av deltakere og objekter. Videostrømmen fra kameraet komprimeres og sendes til ett eller flere
mottakende steder (eng.: receiving sites) i videokonferansen. Alle stedene i konferansen mottar levende video og audio fra de andre stedene i konferansen, for derved å muliggjøre sanntidskommunikasjon med både visuell og akustisk informasjon.
Under en videokonferanse ønsker deltakere ved et lokalt sted (eng.: a local site) ofte å dele visse visuelle detaljer ved fysiske objekter med det fjerntliggende stedet. Et typisk eksempel på dette er: designer(e) av et produkt (f.eks. en sko) ønsker å diskutere produksjonsproblemer med produsenten som befinner seg på et annet kontinent. For å vise detaljer ved produksjonsdefekten/-utfordringene kan produsenten zoome inn på produktet (skoen) og peke på punkter/områder på produktet, mens produsenten diskuterer hvordan problemet skal løses med designeren. I andre situasjoner kan deltakere ønske å dele informasjon som bare er tilgjengelig på papir, slik som bilder, diagrammer, tegninger eller til og med tekst. Dagens høykvalitets videokonferansekameraer er faktisk i stand til å tilveiebringe nærbilder av slike objekter. Imidlertid må den lokale brukeren, for å vise slike detaljer ved objektene, manuelt innstille kameraets pan/tilt og zoom for å innhente det ønskede betraktningsområdet.
Innstillinger av kameraet gjøres typisk ved en standard inngangsinnretning, slik som et tastatur på en fjernkontroll eller en mus ved manuelt å kontrollere kameraets pan, tilt og zoom. Typisk benyttes en tradisjonell IR fjernkontroll med standardknapper til å innstille kameraet. Et standardoppsett er et sett av fire piltaster for å kontrollere pan og tilt, og en zoom-inn- og zoom-ut-knapp for å kontrollere zoom.
Manuell innstilling av kameraets pan/tilt/zoom for å innhente slike små detaljer, som beskrevet ovenfor, er en kjedelig og tidkrevende prosess. Først må en bruker aktivere kamerakontrollen ved å navigere gjennom et flertall menyer på skjermen tilveiebrakt av videokonferansesystemet. Deretter, når kamerakontrollen er aktivert, må brukeren manuelt innstille kameraet ved bruk av piltastene på fjernkontrollen. Dette er ofte en gjentagende prosess med vekselvis innstilling av zoom og pan/tilt.
Videre, selv om kameraets pan-tilt-mekanismer innbefatter små stepmotorer (som tillater "høyoppløselig" bevegelse), er videokonferansesystemet ofte konfigurert til å flytte kameraet i trinn for å spare brukeren fra vidtgående tastetrykking. Dette virker som tiltenkt når kameraet er i et bredt betraktningsområde (FOV), imidlertid kan det skape problemer når kameraet zoomes inn, siden trinnene da blir nokså store.
Å finne de optimale kamerainnstillinger ved kjente systemer krever derfor ofte flere iterasjoner av tastetrykk på en fjernkontroll og/eller et menysystem på skjermen, noe som gjør det tungvindt, distraherende og tidkrevende.
US-6239835 beskriver en fremgangsmåte og anordning for automatisk styring av et dokumentkamera i et videokonferansesystem, der instruksjoner til kameraet er basert på bilder mottatt fra kameraet.
Sammenfatning av oppfinnelsen
Det er en hensikt med den foreliggende oppfinnelsen å tilveiebringe en fremgangsmåte for automatisk å innstille et kamera assosiert med et videokonferanseendepunkt, og et videokonferanseendepunkt, som eliminerer eller reduserer i det minste noen av ulempene beskrevet ovenfor. Trekkene definert i de vedlagte selvstendige krav kjennetegner denne fremgangsmåten og videokonferanseendepunktet.
Kort beskrivelse av tegningene
Det ovenstående og andre hensikter, trekk og fordeler til oppfinnelsen vil fremstå fra den etterfølgende mer spesielle beskrivelsen av foretrukne utførelsesformer av oppfinnelsen, slik den er illustrert i de vedføyde tegninger, der like henvisningsbetegnelser viser til de samme deler på de ulike tegningene. Tegningene er ikke nødvendigvis i skala, i stedet er det lagt vekt på å illustrere prinsippene ved oppfinnelsen.
Fig. 1 er et skjematisk overblikk over et eksempelvideoendepunkt,
Fig. 2 er et blokkdiagram som illustrerer ytterligere prinsipper ved et videokonferanseendepunkt, Fig. 3 er et skjematisk overblikk over en målinnretning for bruk ved et videokonferanseendepunkt, Fig. 4 er et flytskjema som illustrerer prinsippene ved en fremgangsmåte for å innstille et kamera assosiert med et videokonferanseendepunkt, Fig. 5a og 5b er skjematiske riss som ytterligere illustrerer operasjonen av et automatisk kamerainnstillingstrekk.
Detaljert beskrivelse
I det følgende vil den foreliggende oppfinnelsen bli drøftet ved beskrivelse av ulike utførelsesformer, og med henvisning til de vedføyde tegninger. Imidlertid vil fagfolk innse andre anvendelser og modifikasjoner innenfor rekkevidden av oppfinnelsen slik den er definert i de vedføyde selvstendige krav.
Den foreliggende oppfinnelsen vedrører en fremgangsmåte for automatisk å innstille pan, tilt og zoom av ett eller flere kameraer assosiert med et lokalt videokonferanseendepunkt, for å innhente en nærbetraktning av et område/punkt av interesse. Oppfinnelsen vedrører også et korresponderende
videokonferanseendepunkt.
I samsvar med den foreliggende oppfinnelsen settes en bruker av et videokonferanseendepunkt i stand til å tilveiebringe et målpunkt synlig for et kamera assosiert med endepunktet, f.eks. innbefattet i endepunktet. Målpunktet kan være en optisk kilde, plassert av brukeren eller nær et punkt av interesse foran kameraet. Alternativt kan målpunktet være tilveiebrakt av en bruker som peker en laserstråle, eller en annen lignende optisk kilde, på et punkt av interesse (typisk på et objekt). Ved å analysere bildene innhentet av kameraet, lokaliserer fremgangsmåten og det korresponderende videokonferanseendepunktet målpunktet i bildet(ene), og bestemmer mengden av pan og tilt som er nødvendig for å flytte kameraet slik at kamerabetraktningen sentreres på nevnte lokasjon definert av målpunktet. Når mengden av pan og tilt er bestemt, iverksettes panning, tilting og zooming av kameraet. Kameraet fortsetter å zoome inntil den maksimale zoom av kameraet er nådd, eller alternativt, inntil brukeren angir at zoomingen skal stoppe. Bildeanalyseprosessen i samsvar med den foreliggende oppfinnelsen kan alternativt føres kontinuerlig for automatisk å detektere målpunkter. I en foretrukket utførelsesform av den foreliggende oppfinnelsen blir imidlertid bildeanalyseprosessen initiert av en bruker.
Fig. 1 er en illustrasjon av et videokonferanseendepunkt 1 i samsvar med en viss lære av den foreliggende beskrivelsen. Videokonferansesystemet 1 innbefatter i det minste en videokonferanseenhet 10, ett eller flere displayer 9, i det minste ett pan-/tilt-/zoom-utstyrt videokamera 6, og én eller flere inngangsinnretninger 7. Videokonferanseendepunktet 1 kan ytterligere innbefatte én eller flere periferinnretninger, slik som en datamaskin (enten portabel eller stasjonær), en DVD-spiller, osv. I én utførelsesform er videokonferanseenheten 1 en TANDBERG Codec C90, C60, MPX 6000 eller MPX 3000, og videokameraet 6 er et TANDBERG PrecisionHD 1080p-kamera eller et TANDBERG PrecisionHD 720p-kamera, alle produkter fra søkeren i den foreliggende patentsøknaden.
Videokonferanseenheten 10 anvendes til å etablere og gjennomføre en videokonferanse med fjerntliggende endepunkter (ikke vist) via et nettverk. Videokonferanseenheten 10 er forbundet til ett eller flere kameraer 6, ett eller flere displayer 9, én eller flere høyttalere 5 og én eller flere mikrofoner 4.1 avhengighet av implementasjonen kan videokonferanseenheten 1 ha andre vanlige komponenter, slik som en infrarød (IR) detektor for å motta IR-signaler fra en inngangsinnretning (standard fjernkontroll) 7. Kameraet kan omfatte maskinvare, slik som produseringsenheter og minne, som tillater kameraet å lagre datamaskinprogrammer og utføre logiske operasjoner uavhengig av eksterne datamaskiner. Den optiske sensoren i kameraet kan være en CCD-bildesensor eller en CMOS-sensor.
Med henvisning til fig. 2 er videokonferanseendepunktet 1 i samsvar med foreliggende oppfinnelse skjematisk illustrert i nærmere detalj. Videokonferanseenheten 10 har en kontroller 200, som kan innbefatte hvilke som helst konvensjonelle dekodere/kodere, prosessorer og andre elektroniske komponenter kjent i teknikken og anvendt for en videokonferanseenhet. Kontrolleren 200 er koblet til en utgang 215 for video, et I/O-grensesnitt 217 for brukergrensesnitt, og et minne 220 som lagrer funksjoner 222. Kontrolleren 200 er også koblet til en inngang 216 for å motta video fra et lokalt kamera 230 og et grensesnitt 231 for å kontrollere det lokale kameraet 230. Videoutgangen 215 er koblet til en videoinngang for displayet 9, og I/O-grensesnittet 217 mottar data fra en I/O-innretning 240, slik som en fjernkontroll eller annen innretning operert av en bruker. F.eks. omfatter I/O-grensesnittet 217 en IR-detektor som mottar IR-signaler fra en I/O-innretning 240 som omfatter en IR-transmitter, slik at I/O-innretningen 240 kan sende kontrolldata til kontrolleren 200 via nevnte I/O-grensesnitt. I andre utførelsesformer kan I/O-grensesnittet 217 omfatte andre trådbundne eller trådløse kommunikasjonsmidler, slik som Bluetooth, WiFi, kabelforbindelser, osv.
Kontrolleren 200 omfatter en videokodek 201 og en dataprosessor 202. Videokodeken 201 er ansvarlig for å prosessere videodata som skal fremvises av displayet 9 og sendes til fjerntliggende endepunkter i videokonferansen. Generelt kan videodataene innbefatte bilder innhentet av kameraet 230 for enheten 10, video fra fjerntliggende endepunkter i videokonferansen, innhold fra en periferinnretning (f.eks. VCR, DVD-spiller, datamaskin, dokumentkamera, osv.), og andre visuelle data. Operasjon av en slik videokodek 201 i videokonferansekontekst er velkjent i teknikken og beskrives ikke her. Dataprosessoren 202 er ansvarlig for å prosessere data for videokonferanseenheten 10. Disse data innbefatter data fra kameragrensesnittet 231, kommunikasjonsdata, kommandoer (f.eks. fra I/O-grensesnittet 217), data fra målpunktlokaliseringsfunksjonen 222, videokonferanseinformasjon, osv. Kontrolleren 200 er også koblet til et nettverksgrensesnitt 214, slik som i alminnelighet anvendes for en videokonferanseenhet, og nettverks grensesnittet 214 er koblet til et videokonferansenettverk som er kjent i teknikken.
Fig. 3 viser en I/O-innretning 240 i samsvar med en eksempelutførelsesform av den foreliggende oppfinnelsen. I/O-innretningen 240 omfatter i det minste en optisk kilde 304 og en kontroller 302 for å operere nevnte optiske kilde 304. Den optiske kilden 304 kan være en hvilken som helst optisk kilde som kan detekteres av en optisk sensor i kameraet, f.eks. en lysemitterende diode (LED), organisk lysemitterende diode (OLED), laserdiode, laser, osv. Den optiske kilden kan utsende optiske signaler som har bølgelengde som korresponderer med bølgelengde for synlig lys, eller utsende optiske signaler i det infrarøde bølgelengdeområdet.
I samsvar med én eksempelutførelsesform av den foreliggende oppfinnelsen omfatter I/O-innretningen videre et aktiveringsoperasjonselement slik som en aktiveringsknapp 301 for å aktivere den optiske kilden 304. I/O-innretningen omfatter videre en andre optisk kilde 308 som utsender optiske signaler til det infrarøde bølgelengdeområdet. Den andre optiske kilden benyttes til å transmittere kommandoer fra I/O-innretningen til kontrolleren 200 for videokonferanseenheten 10 via I/O-grensesnittet 217. Den andre optiske kilden er også operert av kontrolleren 302.
I samsvar med én eksempelutførelsesform av den foreliggende oppfinnelsen er I/O-innretningen innbefattet i standardfjernkontrollen for operasjon av videokonferanseendepunktet 1.
I samsvar med en eksempelutførelsesform av den foreliggende oppfinnelsen er I/O-innretningen en innretning separat fra standardfjernkontrollen for å operere videokonferanseendepunktet 1.
I samsvar med én eksempelutførelsesform, er de to optiske kildene 304, 308 én felles optisk kilde som opererer i det infrarøde bølgelengdeområdet. Kontrolleren 200 kontrollerer operasjon av i det minste noen trekk ved videokonferanseendepunktet 1 ved bruk av operasjonsfunksjonen 222 lagret i minnet 220. Denne operasjonsfunksjonen innbefatter en målpunktlokatorfunksjon 222. Denne operasjonsfunksjonen 222 er drøftet i nærmere detalj senere, men et generelt overblikk over funksjonene 222 fremgår her.
Målpunktlokatorfunksjonen 222 tillater videokonferanseenheten 10 å bestemme lokasjonen for et målpunkt tilveiebrakt av en bruker. Målpunktet er den optiske kilden 304, eller alternativt et punkt belyst av den optiske kilden 304. Målpunktlokatorfunksjonen 222 prosesserer ett bilde eller en serie av bilder (eller sekvens av bilder) innhentet av kameraet 230, og bestemmer lokasjonen for målpunktet innenfor nevnte bilde. Videre bestemmer målpunktlokatorfunksjonen 222 avviket for målpunktet relativt til et senterpunkt for nevnte bilde, eller alternativt, nevnte bilder. Målpunktlokatorfunksjonen 222 beregner mengden av pan og tilt som er nødvendig for å plassere senteret for kameraets betraktningsfelt i målpunktlokasjonen. I én utførelsesform er nærkameraet 230 et pan-tilt-zoomkamera som er i stand til, dvs. aktivert for, panning, tilting og zooming. En eller flere av kapabilitetene panning, tilting og zooming for det lokale kameraet 230 kan utføres av én eller flere mekaniske aktuatorer 402, 403, 405, slik som brukes i teknikken og operering av pan-tilt-zoom-kameraer for videokonferanseenheter. Grensesnittet 231 er koblet til aktuatorene 402, 403, 405 og kontrolleren 200 kontrollerer operasjon av pannings-, tiltings- og zoomingskapabilitetene for lokale kameraer 230 ved bruk av kontrollsignaler via grensesnittet 231. Aktuatorer 402, 403, 405 omfatter posisjonsmålingsmidler, som tillater aktuatorene å bestemme den gjeldende posisjon for kameraets pan, tilt og zoom, relativt til en referanseposisjon. Aktuatorene eller en kontroller lokalisert i basen 404 for kameraet 203 rapporterer den gjeldende posisjon for kameraets pan, tilt og zoom til kontrolleren 200 ved forhåndsdefinerte instanser, f.eks. ved forhåndsdefinerte tidsintervaller, når én av pan, tilt eller zoom utføres, osv. Kontrolleren 200 kan generere kontrollsignaler for å kontrollere panning, tilting og zooming av nærkameraet 230. Kontroll av et pan-og zoomkamera kan implementeres på ulike måter, og én spesifikk implementasjon for kontroll av aktuatorer og tilveiebringelse av posisjonstilbakekobling skal ikke være begrensende for den foreliggende oppfinnelsens rekkevidde.
Alternativt kan pannings-, tiltings- og zoomingskapabilitetene for nærkameraet 102 oppnås elektronisk. F.eks. kan nærkameraet 203 ha prosesseringskapabiliteter for panning, tilting og/eller zooming, og kontrolleren 200 kan kontrollere denne prosesseringen ved bruk av kontrollsignaler via kameragrensesnittet 231.
I samsvar med én eksempelutførelsesform av den foreliggende oppfinnelsen er kontrolleren 200, I/O-grensesnittet 217 og minnet 220 som omfatter målpunktlokatoren 222 lokalisert i basen 404 for kameraet 230.1 denne utførelsesformen kan kameraet utføre fremgangsmåten i samsvar med den foreliggende oppfinnelsen uten kommunikasjon med videokonferanseenheten 10.
Videokonferanseendepunktet kan være et endepunkt av H.323- eller SIP-type dersom det er forbundet til et IP-nettverk, eller et endepunkt av H.320-type dersom det er forbundet til et ISDN-nettverk. H.323 og H.320 er standarder definert av International Telecommunications Union (ITU). Når det henvises til standardene, kan det særlig henvises til H.323- og H.320-ITU-T-anbefalingene som for tiden er i kraft på prioritetsdatoen for den foreliggende patentsøknaden.
Fig. 4 er et flytskjema som illustrerer fremgangsmåten for å innstille et kamera i samsvar med én eksempelutførelsesform av den foreliggende oppfinnelsen. I samsvar med én utførelsesform av den foreliggende oppfinnelsen opereres en I/O-innretning 240 assosiert med et lokalt videokonferanseendepunkt av en bruker av det lokale videokonferanseendepunktet. Slik det er nevnt ovenfor, omfatter I/O-innretningen en optisk kilde. Dersom en bruker ønsker å zoome kameraet inn for å innfange et nærbilde av et objekt (f.eks. et lite objekt, papirstykke, bilde, osv.) eller en person, eller bare for å justere senter for kameraets betraktning mot et punkt av interesse, posisjonerer brukeren I/O-innretningen 240 nær eller på punktet av interesse, slik at den optiske kilden i det minste er delvis synlig for det lokale videokonferanseendepunktets kamera.
Prosedyren illustrert i fig. 4 er i samsvar med én utførelsesform implementert av kontrolleren 200. Et starttrinn Sl er vist, men det vil forstås at kontrolleren 200 utfører mange operasjoner og at et starttrinn derfor skal forstås å være et inngangspunkt inn i en subrutine, slik som en subrutine benyttet for å innstille kameraet. Ved beslutningen S2 gjøres en test om hvorvidt et initierende signal mottas fra en bruker, hvilket angir at et målpunkt har blitt tilveiebrakt. Initieringssignalet kan f.eks. identifiseres ved nedpressing av et aktiveringsoperasjonselement slik som aktiveringsknappen 301 på I/O-innretningen 240. Dersom intet initieringssignal (f.eks. nedpressing av initieringsknappen) er mottatt, returneres til beslutningen S2. Dersom et initieringssignal som angir at et målpunkt har blitt tilveiebrakt, mottas i S2, fortsetter kontrolleren 200 til trinn S3 for å bestemme lokasjonen for målpunktet. Trinnet S3 ved å bestemme lokasjonen for målpunktet omfatter å prosessere ett eller flere påfølgende bilder fra kameraet 230 for å bestemme lokasjonen for den optiske kilden (eller punktet belyst av den optiske kilden) innenfor bildet. Fremgangsmåter for å lokalisere målpunktet er drøftet i nærmere detalj senere.
I trinn S4, når lokasjonen for målpunktet har blitt bestemt, bestemmer kontrolleren pan og tilt nødvendig for å sentrere kameraets betraktningsfelt på målpunktet (eller lokasjonen for målpunktet). Dette bestemmes ved å måle posisjonen for målpunktet i forhold til senter av det prosesserte bildet eller de prosesserte bilder, og mengden av zoom som i øyeblikket anvendes. Dersom det ikke allerede er kjent, kan kontrolleren forespørre om den nåværende posisjonen for pan/tilt/zoom-mekanismen fra kameraet 230. den gjeldende zoom benyttet må tas i betraktning ved beregning av mengden pan og tilt som er nødvendig for å sentrere kameraets betraktning på målpunktet.
Når den nødvendige pan og tilt har blitt bestemt, instruerer kontrolleren kameraet til å starte panning og tilting med den bestemte størrelse i trinn S5. Kontrolleren instruerer også kameraet om å starte zooming i trinn S6.
Ved beslutningen S7 gjøres en test om hvorvidt kameraet har fullført panning og tilting (nådd punktet der senteret for kameraets forpakningsfelt sammenfaller med målpunktet). Dersom kameraet ikke har fullført panning og tilting, utføres i beslutningen S8 en test om hvorvidt en indikasjon er mottatt om at brukeren ønsker å stoppe innstillingen av kameraet (f.eks. aktiveringsknapp 301 utløst). Dersom ingen indikasjon er mottatt (f.eks. aktiveringsknapp 301 er ikke utløst), er to alternative videre hendelsesforløp mulig. I det første hendelsesforløp (ALT1 i fig. 4) returneres til beslutningen S7.1 det andre, alternative hendelsesforløp (ALT2 i fig. 4), gjentar kontrolleren trinnene S3-S7 for å korrigere den nødvendige pan og tilt dersom f.eks. brukeren har flyttet målpunktet eller for å verifisere/korrigere tidligere beregninger.
Dersom en indikasjon er mottatt (f.eks. aktiveringsknappen 301 er utløst), i trinn S9, kan kameraet enten stoppe zooming og fullføre panning og tilting nødvendig for å sentrere kameraets betraktningsfelt på målpunktet, eller kameraet kan alternativt returnere til sin initielle pan/tilt/zoom-posisjon slik som før starten av trinn Sl.
Dersom kameraet har fullført panning og tilting i beslutningen S7, gjøres en test i beslutningen S10 om hvorvidt kameraet har nådd sin maksimale zoom, som kan være begrenset av kameraets mekaniske (optiske) zoomingskapabiliteter. Dersom maksimal zoom er nådd, avsluttes prosessen med å innstille kameraet i trinn Sl2. Dersom maksimal zoom ikke er nådd, gjøres i beslutningen Sl 1 en test om hvorvidt en indikasjon er mottatt om at brukeren ønsker å stoppe innstillingen av kameraet (f.eks. aktiveringsknappen 301 er utløst). Dersom en indikasjon ikke er mottatt (f.eks. aktiveringsknappen 301 er ikke utløst), returneres til beslutningen Sil. Dersom en indikasjon er mottatt (f.eks. aktiveringsknappen 301 er utløst), instruerer kontrolleren kameraet om å stoppe zooming, og prosessen med å innstille kameraet avsluttes i trinn Sl2.
I samsvar med en annen eksempelutførelsesform av den foreliggende oppfinnelsen er beslutningene i trinn S2, S8 og Sil ikke basert på hvorvidt et operasjonselement (en knapp) er nedtrykket eller utløst, men i stedet en indikasjon fra brukeren om å starte prosessene ved å innstille kameraet eller avslutte prosessen med å innstille kameraet. En slik indikasjon fra brukeren kan f.eks. være at brukeren trykker på aktiveringsknappen 301 én gang for å starte prosessen, og deretter trykker knappen igjen for å avslutte prosessen. Brukeren kan også benytte hørbare eller visuelle indikasjoner for å starte og stoppe prosessen, f.eks. stemmekommando, finger-/armbevegelser detekterbare av kameraet, osv.
I samsvar med enda en annen utførelsesform av oppfinnelsen, dersom kameraet ikke er ferdig med panning og tilting i beslutningen S7, returneres til beslutningen S7 i stedet for å fortsette til beslutning S8.
I samsvar med én utførelsesform av den foreliggende oppfinnelsen utføres trinnet S3 ved å bestemme lokasjonen for målpunktet ved å analysere to eller flere påfølgende bilder innfanget av kameraet. Kameraet innfanger bilder med en rammerate (raten ved hvilken sekvensielle rammer innfanges) på N-rammer pr. sekund (eller N Hz), der N kan være i området 24-100.1 samsvar med denne utførelsesformen er kontrolleren 302 konfigurert til å forsyne den optiske kilden 304 med et pulstog, eller på annen passende måte, slik at den optiske kilden utsender korte pulser (f.eks. 0,1-5 ms) ved en frekvens M. Frekvensen M er halvparten av frekvensen for rammeraten for kameraet (M=N/2). Dette betyr at når kameraet innfanger bilder (rammer) av den optiske kilden, vil hver like nummererte ramme omfatte en belyst optisk kilde, og hver odde ramme vil ikke omfatte en belyst optisk kilde, eller vice versa. Ved å motta to påfølgende bilder (eller rammer) og benytte en bildeanalysemetode ved subtraksjon av én av de nevnte påfølgende rammer med den andre rammen, er resultatet at et bilde bare omfatter den optiske kilden. Derfor kan lokasjonen for målpunktet (den optiske kilden) bestemmes.
I samsvar med en annen eksempelutførelsesform kan andre bildeanalysemetoder for å detektere objekter i et bilde anvendes for å lokalisere målpunktet.
Fig. 5a og 5b er illustrasjoner av operasjonen av den automatiske kamerainnstillingsløsningen for den foreliggende oppfinnelsen. Fig. 5a er en illustrasjon av et bilde innfanget av kameraet 203, der bildet skal fremvises på en monitor 9 ved et fjerntliggende og/eller lokalt endepunkt 1. Bildet innfanget av kameraet viser en person som sitter ved et bord, og et antall dokumenter som ligger på bordet. Anta nå at brukeren ønsker å zoome inn på dokumentene for å vise innholdet av dokumentene til fjerntliggende deltakere. Ved bruk av et konvensjonelt system ville brukeren måtte manuelt innstille pan, tilt og zoom over flere iterasjoner ved bruk av en konvensjonell fjernkontroll. Ved bruk av den foreliggende oppfinnelsen kan brukeren imidlertid ganske enkelt holde I/O-innretningen 240 foran dokumentene og aktivere den automatiske kamerainnstillingsløsningen ved f.eks. å presse på aktiveringsknappen. Når brukeren f.eks. presser og holder aktiveringsknappen, kan den optiske kilden 304 starte å utsende lys som er detekterbart av kameraet 230. Kontrolleren 200 vil da bestemme lokasjonen for målpunktet (TP) tilveiebrakt av den optiske kilden, og bestemme den passende pan og tilt for kameraet, og forårsake at kameraet sentrerer sitt betraktningsfelt på målpunktet (TP). Kontrolleren forårsaker også at kameraet zoomer inn, og kontrolleren forårsaker at kameraet fortsetter å zoome inn inntil brukeren angir noe annet (f.eks. utløser aktiveringsknappen). (Slik det er nevnt ovenfor kan indikasjonen fra brukeren om å starte og stanse den automatiske kamerainnstillingsløsningen være forskjellig fra pressing og utløsning av knappen). Det resulterende bildet innfanget av kameraet ses i fig. 5b, som illustrerer at kameraet har blitt reposisjonert slik at målpunktet (TP) nå er i senter av bildet (CP). Derfor, ved den enkle oppgave å posisjonere I/O-innretningen 240 på eller nær et romlig punkt av interesse i en scene innfanget av kameraet, har brukeren forårsaket at kameraet zoomer inn på punktet av interesse med en zoom-faktor valgt av brukeren.

Claims (13)

1. Fremgangsmåte for automatisk innstilling av et kamera (6; 230) assosiert med et videokonferanseendepunkt (1), der kameraet (6; 230) er aktivert for panning, tilting og zooming, der kameraet (6; 230) har et betraktningsfelt, hvor feltet har et senter, idet fremgangsmåten omfatter trinnene: - å tilveiebringe en sekvens av bilder fra kameraet (6; 230); - å motta (S2) et initieringssignal, og ved mottak av initieringssignalet: - å bestemme (S3) en lokasjon av ett målpunkt innenfor ett av nevnte bilder; - panning og tilting (S5) av nevnte kamera (6; 230) slik at senteret for kameraets betraktningsvinkel sammenfaller med nevnte ene målpunkt; - å zoome (S6) nevnte kamera (6; 230) inntil en første indikasjon av brukeren til å stanse zooming mottas, eller inntil maksimalt zoom er oppnådd.
2. Fremgangsmåte i samsvar med krav 1, hvor det ene målpunktet omfatter en optisk kilde (304) posisjonert på eller nær et romlig punkt av interesse, slik at nevnte optiske kilde (304) er i det minste delvis synlig for nevnte kamera (6; 230), idet den optiske kilden aktiveres ved hjelp av et operasjonselement (301).
3. Fremgangsmåte i samsvar med krav 2, hvor fremgangsmåten videre omfatter trinnene: som respons på aktivering av nevnte optiske kilde (304), å sende en første indikasjon til en kontroller at ett målpunkt har blitt tilveiebrakt; å monitorere en utgang for nevnte kontroller for en andre indikasjon om at ett målpunkt har blitt tilveiebrakt; og å bestemme lokasjonen for det ene målpunktet som respons på nevnte andre indikasjon.
4. Fremgangsmåte i samsvar med krav 2, hvor det ene målpunktet er tilveiebrakt av en bruker som eliminerer et punkt på eller nær et objekt ved bruk av den optiske kilden (304), slik at nevnte punkt er i det minste delvis synlig for nevnte kamera; og hvor som respons på at operasjonselementet (301) er aktivert, å sende en indikasjon til en kontroller at et målpunkt har blitt tilveiebrakt.
5. Fremgangsmåte i samsvar med et av kravene 1-4, hvor nevnte optiske kilde (304) er én av: lysemitterende diode (LED), organisk lysemitterende diode (OLED), laserdiode,laser.
6. Fremgangsmåte i samsvar med krav 1, hvor nevnte trinn med panning og tilting av nevnte kamera (6; 230) videre omfatter trinnene: å beregne mengden av pan og tilt nødvendig for å flytte senteret av kameraets betraktningsfelt til å sammenfalle med lokasjonen av det ene målpunktet; og å instruere kameraet (6; 230) til å panne og tilte nevnte beregnede mengder.
7. Fremgangsmåte i samsvar med krav 1, hvor nevnte trinn med å zoome nevnte kamera (6; 230) videre omfatter trinnene: å instruere kameraet (6; 230) til å starte zooming, panning og tilting samtidig.
8. Fremgangsmåte i samsvar med krav 1, videre omfattende å bestemme om kameraet (6; 230) er ferdig med panning og tilting, og zooming fortsatt pågår, og i så fall, å gjenta trinnene med å bestemme lokasjonen for det ene målpunktet, og panning og tilting av kameraet (6; 230).
9. Videokonferanseendepunkt (1), omfattende en videokonferanseenhet (10) og et kamera (6; 230), idet kameraet er aktivert for panning, tilting og zooming, idet kameraet har et betraktningsfelt, hvor feltet har et senter, idet videokonferanseendepunktet (1) videre omfatter: en målinnretning (240) omfattende en optisk kilde (304) for å tilveiebringe ett målpunkt på eller nær et romlig punkt av interesse; og der videokonfetanseendepunktet (1) erkarakterisert vedå omfatte: en første kontroller (200), konfigurert til: å motta et initieringssignal, og som respons på mottaket av initieringssignalet: - å bestemme en lokasjon av det ene målpunktet innen én av en sekvens av bilder innfanget av kameraet (6; 230); - panning og tilting av kameraet (6; 230) slik at senteret for kameraets betraktningsfelt sammenfaller med det ene målpunktet; - zooming av kameraet (6; 230) inntil en første indikasjon fra en bruker om å stanse zooming mottas, eller inntil maksimal zoom er oppnådd.
10. Videokonferanseendepunkt i samsvar med krav 9, hvor målinnretningen (240) omfatter: - et aktiveringsoperasjonselement (301); og - en andre kontroller (302) konfigurert til å aktivere nevnte optiske kilde (304), og til å sende en indikasjon til nevnte første kontroller (200) om at ett målpunkt har blitt tilveiebrakt når operasjonselementet (301) er operert.
11. Et videokonferanseendepunkt i samsvar med et av kravene 9-10, hvor nevnte optiske kilde (304) er én av: lysemitterende diode (LED), organisk lysemitterende diode (OLED), laserdiode, laser.
12. Videokonferanseendepunkt i samsvar med et av kravene 9-11, hvor nevnte målinnretning (240) er innbefattet i en fjernkontroll benyttet til å operere nevnte videokonferanseendepunkt (1), og nevnte optiske kilde (304) er en IR-transmitter eller en dedikert LED innbefattet i fjernkontrollen.
13. Videokonferanseendepunkt i samsvar med krav 9, hvor nevnte kamera (6; 230) er konfigurert til å innfange bilder ved en første rate N; nevnte målinnretning (240) er konfigurert til å svitsje den optiske kilden (304) av og på ved den andre rate M=N/2, slik at hvert andre bilde vil omfatte en tent optisk kilde mens hvert mellomliggende bilde ikke omfatter en tent optisk kilde; og nevnte første kontroller (200) videre er konfigurert til å innhente to eller flere påfølgende bilder fra nevnte kamera (6; 230), og subtrahere ett av nevnte påfølgende bilder fra de andre for å finne nevnte målpunktlokasjon.
NO20093535A 2009-12-16 2009-12-16 Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt NO332204B1 (no)

Priority Applications (5)

Application Number Priority Date Filing Date Title
NO20093535A NO332204B1 (no) 2009-12-16 2009-12-16 Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt
PCT/NO2010/000445 WO2011074974A1 (en) 2009-12-16 2010-12-06 Method and device for automatic camera control in video conferencing endpoint
CN201080063684.XA CN102754434B (zh) 2009-12-16 2010-12-06 在视频会议端点中进行自动摄像头控制的方法和装置
EP10837940.5A EP2514199A4 (en) 2009-12-16 2010-12-06 METHOD AND DEVICE FOR AUTOMATICALLY CONTROLLING CAMERAS IN A VIDEOCONFERENCE END POINT
US12/968,418 US8456503B2 (en) 2009-12-16 2010-12-15 Method and device for automatic camera control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
NO20093535A NO332204B1 (no) 2009-12-16 2009-12-16 Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt

Publications (2)

Publication Number Publication Date
NO20093535A1 NO20093535A1 (no) 2011-06-17
NO332204B1 true NO332204B1 (no) 2012-07-30

Family

ID=42026373

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20093535A NO332204B1 (no) 2009-12-16 2009-12-16 Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt

Country Status (5)

Country Link
US (1) US8456503B2 (no)
EP (1) EP2514199A4 (no)
CN (1) CN102754434B (no)
NO (1) NO332204B1 (no)
WO (1) WO2011074974A1 (no)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612205B (zh) 2011-12-31 2014-12-31 华为技术有限公司 一种控制可视光源的方法、终端及视频会议系统
CN103197773A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种用于检测输入设备的三维位置信息的方法与系统
US8866874B2 (en) * 2012-04-20 2014-10-21 Logitech Europe S.A. Adjusting a camera whose video is not currently displayed in a videoconferencing system
US9218526B2 (en) 2012-05-24 2015-12-22 HJ Laboratories, LLC Apparatus and method to detect a paper document using one or more sensors
US9813255B2 (en) * 2012-07-30 2017-11-07 Microsoft Technology Licensing, Llc Collaboration environments and views
US9307191B2 (en) 2013-11-19 2016-04-05 Microsoft Technology Licensing, Llc Video transmission
CN104935866B (zh) * 2014-03-19 2018-07-20 华为技术有限公司 实现视频会议的方法、合成设备和系统
CN104980684B (zh) * 2014-04-11 2018-03-16 华为技术有限公司 一种远程指示方法及控制设备
CN105100580B (zh) * 2014-05-12 2020-10-02 索尼公司 监视系统以及用于监视系统的控制方法
US10691398B2 (en) * 2014-09-30 2020-06-23 Accenture Global Services Limited Connected classroom
EP3287947A1 (en) 2016-08-25 2018-02-28 Dolby Laboratories Licensing Corp. Automatic video framing of conference participants
CN108063909B (zh) * 2016-11-08 2021-02-09 阿里巴巴集团控股有限公司 视频会议系统、图像跟踪采集方法及装置
CN110178368B (zh) * 2017-01-31 2021-12-14 惠普发展公司,有限责任合伙企业 基于所接收的信息的视频变焦控制
TWI765398B (zh) 2020-11-04 2022-05-21 宏正自動科技股份有限公司 指示圖示共享方法、指示訊號控制方法以及指示訊號處理裝置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IE59553B1 (en) * 1986-10-30 1994-03-09 Inst For Ind Res & Standards Position sensing apparatus
US5179421A (en) * 1990-08-20 1993-01-12 Parkervision, Inc. Remote tracking system particularly for moving picture cameras and method
JP3491990B2 (ja) * 1994-10-26 2004-02-03 キヤノン株式会社 書画カメラ装置
US20030169339A1 (en) * 2001-10-01 2003-09-11 Digeo. Inc. System and method for tracking an object during video communication
US7969472B2 (en) * 2002-03-27 2011-06-28 Xerox Corporation Automatic camera steering control and video conferencing
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
JP2007128390A (ja) * 2005-11-07 2007-05-24 Nosu:Kk 監視システム
US8237769B2 (en) 2007-09-21 2012-08-07 Motorola Mobility Llc System and method of videotelephony with detection of a visual token in the videotelephony image for electronic control of the field of view
US8184175B2 (en) * 2008-08-26 2012-05-22 Fpsi, Inc. System and method for detecting a camera

Also Published As

Publication number Publication date
EP2514199A4 (en) 2016-12-21
CN102754434B (zh) 2016-01-13
US20110141222A1 (en) 2011-06-16
NO20093535A1 (no) 2011-06-17
EP2514199A1 (en) 2012-10-24
CN102754434A (zh) 2012-10-24
WO2011074974A1 (en) 2011-06-23
US8456503B2 (en) 2013-06-04

Similar Documents

Publication Publication Date Title
NO332204B1 (no) Fremgangsmate og anordning for automatisk kamerastyring i et videokonferanseendepunkt
US8094193B2 (en) Presentation video control system
US9473740B2 (en) Automatic positioning of videoconference camera to presenter at presentation device
WO2016098315A1 (ja) マイクアレイ、監視システム及び収音設定方法
NO327899B1 (no) Fremgangsmate og system for automatisk kamerakontroll
JP5315696B2 (ja) 撮像制御装置、撮像制御方法
JP2007053513A (ja) カメラ制御装置および電子会議システム
JP2006109404A (ja) アダプタ装置及びネットワークカメラシステム
JP2008259000A (ja) テレビ会議装置、制御方法、およびプログラム
EP3069503B1 (en) Image capturing apparatus, external device, image capturing system, method for controlling image capturing apparatus, method for controlling external device, method for controlling image capturing system, and program
JP2012029136A (ja) 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
US20160065828A1 (en) Method for controlling electronic device using ip camera having function of wireless remote controller
JP2016004215A (ja) 投影装置
JP4960270B2 (ja) インターホン装置
JP2009017330A (ja) テレビ会議システム、テレビ会議方法およびテレビ会議プログラム
WO2012008553A1 (ja) ロボットシステム
CN109151298B (zh) 基于屏幕的云台摄像机控制方法、设备及系统
JP5427114B2 (ja) プロジェクタ装置
JP4195844B2 (ja) 移動可能な移動体撮像装置
WO2023080099A1 (ja) 会議システムの処理方法および会議システムの制御装置
JP6570290B2 (ja) 映像表示システム及び映像表示方法
KR100642302B1 (ko) 원격제어 시스템의 원격 제어 방법
KR20110048778A (ko) 동영상 촬영 시스템 및 방법
JP2006148406A (ja) モニタリングシステム
JP2934518B2 (ja) ビデオカメラ制御装置

Legal Events

Date Code Title Description
MM1K Lapsed by not paying the annual fees