NO332161B1

NO332161B1 - Fremgangsmate og system for a bestemme retningen mellom et deteksjonspunkt og en akustisk kilde

Info

Publication number: NO332161B1
Application number: NO20093605A
Authority: NO
Inventors: Audun Solvang
Original assignee: Cisco Systems Int Sarl
Priority date: 2009-12-30
Filing date: 2009-12-30
Publication date: 2012-07-09
Also published as: WO2011081527A1; US20110157300A1; EP2519831A4; EP2519831A1; EP2519831B1; CN102834728B; US8848030B2; NO20093605A1; CN102834728A

Abstract

SAMMENDRAG En fremgangsmåte og system for å bestemme en retning mellom et deteksjonspunkt, f.eks. ved et kamera i et videokonferanseutstyr, og en akustisk kilde, f.eks. en aktiv taler som deltar i en videokonferanse. Fremgangsmåten omfatter å motta akustiske signaler som stammer fra den akustiske kilden ved et første og andre par av mikrofonelementer, anordnet symmetrisk om deteksjonspunktet, å beregne et første krysskorrelasjonssignal fra det første paret av mikrofonelementer, og å beregne en andre krysskorrelasjon av signaler fra det andre par av mikrofonelementer. Retningen beregnes så basert på både de første og andre krysskorrelasjonssignaler, f.eks. ved konvolusjon. Ytterligere symmetrisk anordnede par av mikrofonelementer kan også benyttes.

Description

Fremgangsmåte og system for å bestemme retningen mellom et deteksjonspunkt og en akustisk kilde

Teknisk område

Den foreliggende oppfinnelsen vedrører bestemmelse av retningen mellom et deteksjonspunkt og en akustisk kilde, og spesielt en fremgangsmåte og et system for å bestemme retningen mellom et deteksjonspunkt og en aktiv taler, slik som en talende deltaker i videokonferanse.

Bakgrunn

Videotelekonferansesystemer benyttes for å danne virtuelle møter mellom to eller flere personer, eller to eller flere grupper av personer, som befinner seg i separate lokasjoner.

Bestemmelse av retningen mellom deteksjonspunkt og en akustisk kilde er nyttig i videokonferanser. Slik bestemmelse kan f.eks. benyttes i automatisk kamerainnstilling i et videokonferansesystem. En typisk situasjon ved et videokonferanseendepunkt (terminalutstyret ved et videokonferansested) er et møterom med et antall konferansedeltakere som sitter foran eller rundt et bord og betrakter displayinnretningen for endepunktet, mens et kamera som er posisjonert nær displayinnretningen, innfanger en betraktning (eng.: a view) av møterommet. Hvis det er mange deltakere i rommet, kan det være vanskelig for dem som ser på betraktningen av møterommet ved en fjern endeside å bestemme hvem taleren er, eller å følge en diskusjon mellom flere talere. Det vil derfor være foretrukket å lokalisere den aktive taler i rommet, og automatisk peke og innrette kameraet mot denne deltakeren. I tillegg kan kameraet zoomes inn for å fremskaffe en passende betraktning av taleren.

Ett eksempel på audiokildelokalisering i bakgrunnsteknikken er vist i US patent nr. 5 778 082, som blant annet beskriver en fremgangsmåte og et system som benytter et par av to romlig atskilte mikrofoner for å fremskaffe retningen for en audiokilde. Ved å detektere begynnelsen av de respektive signaler for mikrofonene som representerer lyden av audiokilden, kan tidsforsinkelsen mellom de mottatte audiosignalene bestemmes, og retningen til audiokilden kan deretter beregnes.

Dette prinsippet har blitt illustrert i fig. 1. To mikrofoner A og B anordnet ved en distanse D mottar et akustisk signal fra den akustiske kilden C. Innfallsvinkelen 0 representerer retningen mellom et deteksjonspunkt (midtpunktet mellom mikrofonene A og B) og kilden C. En tidsforsinkelse x representerer differansen mellom ankomsttiden for det akustiske signalet ved mikrofonene A og B. Denne tidsforsinkelsen beregnes som maksimalpunktet for krysskorrelasjonen av signalene tilveiebrakt av henholdsvis mikrofonene A og B. Her henviser "maksimalpunktet" til argumentet, dvs. tiden, samsvarende med maksimalverdien for kry sskorrelasj onen for mikro fonsignalene.

CXT

Vinkelen 0 beregnes deretter som 0 = arcsin hvor c er lydhastigheten, rer den beregnede tidsforsinkelsen og D er distansen mellom mikrofonene.

Den ovenfor nevnte tilnærmingsmåten i bakgrunnsteknikken har visse ulemper. Særlig har det vist seg at støy generert av mikrofonene selv har uheldig virkning på den resulterende vinkelberegningen. Derfor har det vært nødvendig å benytte dyre, høykvalitets mikrofoner for å fremskaffe en tilstrekkelig nøyaktig og pålitelig bestemmelse av retningen mellom deteksjonspunktet og den aktive taler.

US-2002/0048376 vedrører en fremgangsmåte og et apparat som estimerer retningen for en tilstedeværende lydkilde. Et signal fra lydkilden mottas av et flertall mottaksapparater, og de mottatte signalene dekomponeres til signaler i ulike frekvensbånd med et flertall av båndpassfiltre. Deretter beregnes krysskorrelasjonsfunksjoner mellom de ulike frekvensbåndsignalene for individuelle grupper av mottaksapparater.

EP-0 430 138 vedrører en fremgangsmåte og en anordning for måling av avstander, som innbefatter anvendelse av konvolvering av reflekterte og estimerte lydsiganler.

Sammenfatning av oppfinnelsen

Det er en hensikt ved den foreliggende oppfinnelsen å overvinne i det minste noen ulemper ved løsningene i bakgrunnsteknikken.

Oppfinnelsen er definert ved de vedføyde krav.

Kort beskrivelse av tegningene

En mer fullstendig oppfattelse av oppfinnelsen og dens fordeler vil enkelt oppnås og forstås ved studie av den følgende detaljerte beskrivelsen og de tilhørende tegninger. Imidlertid skal den detaljerte beskrivelsen og de tilhørende tegninger ikke anses som begrensende for rekkevidden av oppfinnelsen. Fig. 1 er et skjematisk diagram som illustrerer et prinsipp ved retningsbestemmelse i bakgrunnsteknikken, Fig. 2 er et skjematisk diagram som illustrerer visse aspekter ved en fremgangsmåte og et system for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde, Fig. 3 er et skjematisk blokkdiagram som illustrerer prinsipper ved en første utførelsesform av et system for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde, Fig. 4 er et skjematisk blokkdiagram som illustrerer prinsipper ved en andre utførelsesform av et system for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde, Fig. 5 er et skjematisk blokkdiagram som illustrerer prinsipper ved en tredje utførelsesform av et system for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde, Fig. 6 er et skjematisk flytskjema som illustrerer prinsipper ved en første utførelsesform av en fremgangsmåte for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde, og Fig. 7 er et skjematisk flytskjema som illustrerer prinsipper ved en andre utførelsesform av en fremgangsmåte for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde.

Detaljert beskrivelse

I det følgende vil den foreliggende oppfinnelsen bli drøftet ved beskrivelse av foretrukne utførelsesformer med henvisning til de tilhørende tegninger. Imidlertid vil fagfolk innse at andre anvendelser og modifikasjoner finnes innenfor rekkevidden av oppfinnelsen slik den er definert ved kravene.

Fig. 1 har allerede blitt omtalt i bakgrunnsavsnittet ovenfor.

Fig. 2 er et skjematisk diagram som illustrerer visse aspekter ved en fremgangsmåte og et system for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde.

I fig. 2 er det antatt at en akustisk planbølge, som stammer fra den akustiske kilden, faller inn på en lineær mikrofongruppe som er symmetrisk om et sentralt deteksjonspunkt 190. Mikrofongruppen innbefatter således et antall mikrofonelementer som er anordnet på linje, og avstanden fra deteksjonspunktet til et hvilket som helst av mikrofonelementene på én flanke i gruppen er den samme som avstanden til et korresponderende mikrofonelement på den andre flanken. For forklaringsformål har fire mikrofonelementer blitt illustrert: et første par av mikrofonelementer 110, 120, og et andre par av mikrofonelementer 130, 140. Videre, for forklaringsformål, er et kartesisk koordinatsystem organisert slik at mikrofongruppen og posisjonen for planbølgekilden utspenner x-y-planet, og origo, korresponderende til deteksjonspunktet, er posisjonert i senter av mikrofongruppen.

I dette eksemplet, i mer generiske termer, finnes det Mpar av mikrofonelementer i mikrofongruppen, dvs. det totale antall mikrofonelementer er 2M.

Posisjonen for den i'te mikrofonen er x„

i e{- M; -( M- l), ... ( M- l), M}.

I eksempelillustrasjonen i fig. 2 er M=2, dvs. det finnes fire mikrofonelementer i mikrofongruppen. Videre, i fig. 1 er x, = iA og M = 2. Imidlertid kan M anta et hvilket som helst heltall 2, 3, 4, 5 eller høyere.

En matematisk deduksjon av ankomstvinkelen 9, som er et uttrykk for retningen mellom deteksjonspunktet 190 og den akustiske kilden, vil bli presentert i det følgende.

Lydtrykket ved den i'te mikrofonen, ved tiden t, er gitt ved

der s(t) er det tidsavhengige akustiske kildesignalet, c er lydhastigheten i mediet mellom kilden og mikrofonene, vanligvis luft, a,( t, 9) er den vinkelavhengige impulsresponsen for den i'te mikrofonen, n,( t) er den l'te mikrofonens egenstøy, og

<*>angir konvolusjonsoperatoren.

Anta nå at tiden betraktes som diskrete punkter i stedet for en kontinuerlig variabel, og at mikrofonsignalene har blitt diskretisert (og eventuelt kvantisert, dvs. analog-digital-konvertert) ved en samplingsfrekens 1/ TS.

Anta videre, for enkelhet av forklaringen, at impulsresponsen for hver mikrofon er lik dirac-deltafunksjonen, dvs. at a( t, 6) = 8( t), hvilket fører til det følgende uttrykk for lydtrykket ved den i'te mikrofonen:

Utførelse av fouriertransformen fører til det følgende uttrykk:

der co = 2rtfTsogkx = k sinØ = <S) Sm® , c er lydhastigheten.

c

Nå kan retningen mellom deteksjonspunktet og den akustiske kilden, dvs. ankomstvinkelen, estimeres, dvs. at 6 kan bestemmes.

Tar man den kompleks konjugerte av fourierdomenemikrofonsignalene i det negative x-planet (korresponderende på å utnytte de negative frekvenskomponenter dersom s er reell) og multipliserer signalene med de gjenværende fourierdomenemikrofonsignalene i det positive x-planet, fører dette til gruppekrysspekteret

gitt at mikrofonstøysignalene og lydkilden er ukorrelert (hvilket er en rimelig antagelse). En kan enkelt se at det vil være et økt signal- til støyforhold når antallet mikrofoner øker. Beregning av den inverse fouriertransformen fører til RS2Mer autokorrelasjonsfunksjonen for kilden konvolvert med seg selv M ganger. Ankomstvinkelen 9 kan finnes ved å lokalisere posisjonen for maksimum for Rx For gruppekonfigurasjonen der M=2, dvs. i tilfellet av to par av mikrofoner, kan maksimum finnes ved

Den ovenstående betraktning er i det grunnleggende relatert til konfigurasjonen av mikrofoner som skjematisk illustrert i fig. 2. Det skal imidlertid forstås at den ovenstående lære, prinsipper, deduksjoner og antagelser også kan anvendes, individuelt eller i kombinasjon slik det passer, når man leser den følgende beskrivelse av utførelsesformer av fremgangsmåten og systemet.

Fig. 3 er et skjematisk blokkdiagram som illustrerer prinsipper ved den første utførelsesform av et system 100, for å bestemme en retning 9 mellom et deteksjonspunkt 190 og en akustisk kilde.

Den akustiske kilden har ikke blitt illustrert. Imidlertid illustrerer innfallslinjen 184 retningen for de innkommende akustiske bølgene, som stammer fra kilden. Det antas at distansen mellom den akustiske kilden og deteksjonspunktet 190 er så mye større enn en hvilken som helst distanse mellom mikrofoner at det er rimelig å betrakte innfallsvinkelen 9 som å være den samme for alle mikrofonene.

Systemet omfatter et første par av mikrofonelementer 110, 120, anordnet symmetrisk om deteksjonspunktet 190, og som mottar akustiske signaler som stammer fra den akustiske kilden.

Systemet omfatter videre et andre par av mikrofonelementer 130, 140, anordnet symmetrisk om deteksjonspunktet 190, og som også mottar akustiske signaler som stammer fra den akustiske kilden.

I den illustrerte utførelsesformen er de første (110, 120) og andre (130, 140) par av mikrofonelementer anordnet i en lineær mikrofongruppe 180, lokalisert ved deteksjonspunktet 190. Mer spesifikt, slik det også vil forstås fra illustrasjonen i fig. 3, kan mikrofongruppen 180 være anordnet på en slik måte at mikrofonelementene er lokalisert parvis symmetrisk om innfallsloddet 182 som passerer gjennom deteksjonspunktet.

Slik det er illustrert, kan det første (110, 120) paret av mikrofonelementer være et indre par av mikrofonelementer, dvs. de er anordnet nærmest deteksjonspunktet 190. Videre kan det andre (130, 140) paret av mikrofonelementer være et ytre par av mikrofonelementer, dvs. de er anordnet ved en større avstand fra deteksjonspunktet 190.

Hvert mikrofonelement i det første paret av mikrofonelementer er kommunikativt forbundet til en respektiv inngang og en første krysskorrelator 210, som er konfigurert til å beregne en krysskorrelasjon av de to inngangsmikrofonsignalene. Som resultat avgir den første krysskorrelatoren 210 et første

krysskorrelasjonssignal.

Hvert mikrofonelement i det andre paret av mikrofonelementer er kommunikativt forbundet til en respektiv inngang av en andre krysskorrelator 220, som er konfigurert til å beregne en krysskorrelasjon av de to inngangsmikrofonsignalene. Som resultat avgir den andre krysskorrelatoren 220 et andre

krysskorrelasjonssignal.

Uttrykket "kommunikativt forbundet" har blitt benyttet for å fremheve at det kan, eller kan ikke, være anordnet mellomliggende kretser, prosesseringselementer, osv. mellom mikrofonene og de gjenværende kretser vist på fig. 3. Slike mellomliggende kretser kan f.eks. innbefatte et hvilket som helst antall elementer valgt fra forsterkere, filtre, diskretiseringsinnretninger, kvantiserere, samplere, A/D-konverterere, signalprosessorer, osv.

De første og andre krysskorrelasjonssignaler mates til respektive innganger for en konvolusjonsberegner (engelsk: convolver) 310, etterfulgt av en retningsberegner 410. Konvolusjonsberegneren 310 og retningsberegneren 410 er konfigurert til å beregne retningen mellom deteksjonspunktet og den akustiske kilden basert på det første krysskorrelasjonssignalet og det andre krysskorrelasjonssignalet.

Mer spesifikt er konvolusjonsberegneren 310 konfigurert til å konvolvere det første krysskorrelasjonssignalet med det andre krysskorrelasjonssignalet.

Ytterligere spesifikt, i en utførelsesform, er konvolusjonsberegneren 310 konfigurert til å utføre konvolusjonen av det første krysskorrelasjonssignalet med det andre krysskorrelasjonssignalet i et frekvensdomene. Alternativt kan konvolusjonsberegneren være konfigurert til å utføre konvolusjonen i et tidsdomene.

Retningsberegneren 410 er konfigurert til å beregne retningen mellom deteksjonspunktet og den akustiske kilden ved å identifisere et maksimalpunkt for resultatet av konvolusjonen.

Mer spesifikt kan retningskalkulatoren 410 være konfigurert til å beregne en innfallsvinkel, som representerer retningen mellom deteksjonspunktet og den akustiske kilden, basert på det identifiserte maksimalpunktet.

Elementene som er angitt som krysskorrelatorer, konvolusjonsberegnere og retningsberegnere har blitt beskrevet som separate funksjonsmoduler, i den hensikt å forklare prinsippene ved oppfinnelsen. Fagfolk vil innse at slike funksjonsmoduler kan implementeres som prosesseringsinstruksjoner i programvare. I dette tilfellet kan krysskorrelatorene, konvolusjonsberegneren og retningsberegneren være programvaremoduler, som kontrollerer en prosesseringsinnretning som innhenter inngangssignåler, prosesserer dem i samsvar med den foreliggende beskrivelse, og beregner en verdi som representerer den ønskede retning eller vinkel som et utgangssignal. Prosesseringsinstruksjonene kan holdes i et minne eller et lager. Spesielt kan funksjonsmodulene, og/eller andre deler av funksjonaliteten tilveiebrakt ved oppfinnelsen, implementeres ved hjelp av en digital signalprosessor. Andre alternativer kan finnes, f.eks. kan spesielle integrerte kretser, slik som FPGA'er, benyttes for den praktiske implementering av oppfinnelsen.

En særlig utførelsesform av oppfinnelsen har spesiell anvendelse i videokonferanser. I en slik utførelsesform kan den akustiske kilden være en aktiv deltaker i en videokonferanse, dvs. en aktiv taler i konferansen. Videre sammenfaller deteksjonspunktet helt eller vesentlig innenfor en lokasjon for et videokamera med variabel retning i et videokonferanseutstyr, slik som et videokonferanseendepunkt. Systemet omfatter videre en kamerakontroller, som er konfigurert blant annet til å kontrollere kameraet, spesielt dets rotasjon, f.eks. om en i det vesentlige vertikal og/eller horisontal akse, for å få det til å peke i retningen som er beregnet ved hjelp av fremgangsmåten og systemet som er beskrevet, dvs. i retningen mot den akustiske kilden, som i dette tilfellet er den aktive konferansedeltaker. Dette fører til at et bilde av den aktive deltaker kan innfanges av kameraet. For å forbedre innfangingen av den aktive deltakerens bilde, kan zooming benyttes til å velge det korrekte detaljnivå for bildet.

Fig. 4 er et skjematisk blokkdiagram illustrerer prinsippene ved den andre utførelsesform av et system 101 for å bestemme en retning mellom et deteksjonspunkt 190 og en akustisk kilde.

Systemet 101 illustrert i fig. 4 korresponderer til systemet 100 illustrert i fig. 3, og de samme henvisningstall har blitt benyttet for å illustrere identiske eller korresponderende elementer.

Imidlertid omfatter systemet 101 illustrert i fig. 4 et tredje par 150, 160 av mikrofonelementer, som er anordnet parvis symmetrisk om deteksjonspunktet 190, og som mottar akustiske signaler som stammer fra den akustiske kilden (ikke vist).

Videre innbefatter systemet 101 en tredje krysskorrelator 230, konfigurert til å beregne en krysskorrelasjon av signaler tilveiebrakt av det tredje paret 150, 160 av mikrofonelementer, hvilket resulterer i et tredje krysskorrelasjonssignal.

Videre i systemet 101, er konvolusjonsberegneren 310, i dette eksemplet omtalt som en første konvolusjonsberegner 310, en andre konvolusjonsberegner 320, og retningskalkulatoren 410 konfigurert til å beregne retningen mellom deteksjonspunktet og den akustiske kilden basert på det første, andre og tredje krysskorrelasjonssignalet.

Mer spesifikt er den første konvolusjonsberegneren 310 konfigurert til å beregne konvolusjonen av de første og andre krysskorrelasjonssignalene. Resultatet av denne konvolusjonen, omtalt som et første konvolvert signal, mates som en første inngang til den andre konvolusjonsberegneren 320. Det tredje krysskorrelasjonssignalet mates som en andre inngang til den andre konvolusjonsberegneren 230. Utgangen av den andre konvolusjonsberegneren 320 mates som inngang til retningsberegneren 410, som er konfigurert til å beregne retningen mellom deteksjonspunktet og den akustiske kilden ved å identifisere et maksimumspunkt for resultatet av utgangen av den andre konvolusjonsberegneren.

Det vil forstås at det er mulig, og innenfor rekkevidden av den foreliggende oppfinnelsen, å gjenbruke prinsippet med å tilføye ytterligere par av mikrofonelementer i den lineære mikrofongruppen, og å tilføye ytterligere krysskorrelatorer som beregner krysskorrelasjonen for tilføyde par av mikrofonelementer, og å modifisere arrangementet av konvolusjonsberegnere og retningsberegneren for å beregne retningsberegnerens utgangssignal, til å angi verdien for innfallsretningen eller -vinkelen, basert også på utgangen av de ytterligere krysskorrelatorene.

Således, i tilfelle av M par av mikrofonelementer, der M er et heltall større enn 2, er de M parene av mikrofonelementer anordnet parvis symmetrisk om deteksjonspunktet, og mottar akustiske signaler som stammer fra den akustiske kilden. Systemet innbefatter da også M krysskorrelatorer, omtalt som den første, andre,... og så videre, opptil den M'te krysskorrelatoren. Hver krysskorrelator er konfigurert til å beregne en krysskorrelasjon av signaler tilveiebrakt av det respektive par av mikrofonelementer, hvilket resulterer i M

krysskorrelasj onssignaler.

Videre er M-l konvolusjonsberegnere anordnet i systemet. Den første konvolusjonsberegneren er konfigurert til å beregne konvolusjonen av de første og andre krysskorrelasjonssignaler, hvilket resulterer i et første konvolvert signal. Den andre konvolusjonsberegneren er konfigurert til å beregne konvolusjonen av det første konvolverte signal og det tredje krysskorrelasjonssignalet, osv. Den (M-l)'te konvolusjonsberegneren er anordnet til å beregne konvolusjonen av det (M-2)'te krysskorrelasjonssignalet og det M'te krysskorrelasjonssignalet.

Videre, fortsatt i tilfelle av M par av mikrofonelementer, er retningsberegneren 410 beregnet til å beregne retningen mellom deteksjonspunktet og den akustiske kilden basert også på den M'te krysskorrelasjonen. Mer spesifikt er retningsberegneren konfigurert til å beregne retningen mellom deteksjonspunktet og den akustiske kilden, basert på utgangen av den (M-l)'te konvolusjonsberegneren, slik det er spesifisert ovenfor.

Fig. 5 er et skjematisk blokkdiagram som illustrerer prinsipper ved en tredje utførelsesform av et system 102 for å bestemme en retning mellom et deteksjonspunkt 190 og en akustisk kilde.

Systemet 102 korresponderer i det vesentlige til systemet 101 illustrert i fig. 4, og de samme henvisningstall er benyttet for identiske eller korresponderende elementer på figurene. Imidlertid har det i fig. 5 blitt angitt at distansen mellom tilstøtende mikrofoner nødvendigvis ikke er den samme, så lenge hvert par av mikrofonelementer er anordnet på linje og symmetrisk om deteksjonspunktet 190 (eller symmetrisk om innfallsloddet som krysser deteksjonspunktet 190). F.eks. kan avstanden mellom mikrofonelementene 110 og 130 (som er lik avstanden mellom mikrofonelementene 120 og 140) være mindre enn avstanden mellom mikrofonelementene 130 og 150 (som er lik avstanden mellom mikrofonelementene 140 og 160). Andre muligheter finnes også, slik det vil innses av fagfolk.

Fig. 6 er et skjematisk flytskjema som illustrerer prinsippene ved en første utførelsesform av en fremgangsmåte for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde.

Fremgangsmåten starter ved initialtrinnet 600.

I det første mottakstrinnet 610 mottas akustiske signaler som stammer fra den akustiske kilden med et første par av mikrofonelementer, som er anordnet symmetrisk om deteksjonspunktet.

De første og andre par av mikrofonelementer kan være anordnet på linje, i en lineær mikrofongruppe lokalisert ved deteksjonspunktet, på en slik måte at mikrofonelementene er lokalisert parvis symmetrisk om et innfallslodd som forløper gjennom deteksjonspunktet. Det første paret av mikrofonelementer kan være et indre par av mikrofonelementer, og det andre paret av mikrofonelementer kan være et ytre par av mikrofonelementer.

Videre, i det andre mottakstrinnet 620, mottas akustiske signaler som stammer fra den akustiske kilden ved et andre par av mikrofonelementer, som også er anordnet symmetrisk om deteksjonspunktet.

Videre, i det første krysskorrelasjonsberegningstrinnet 630, beregnes et første krysskorrelasjonssignal som krysskorrelasjonen av signalene tilveiebrakt av det første paret av mikrofonelementer.

Videre, i det andre krysskorrelasjonssignalberegningstrinnet 640, beregnes et andre krysskorrelasjonssignal som krysskorrelasjonen av signalene tilveiebrakt av det andre paret av mikrofonelementer.

Krysskorrelasjonssignalene kan på passende måte beregnes i frekvensdomene, ved først å beregne en fouriertransform av hvert mikrofonsignal, og ved å multiplisere fourierrepresentasjonen av et mikrofonsignal med den kompleks konjugerte fourierrepresentasjonen av det andre mikrofonsignalet i mikrofonparet. Beregning av den inverse fouriertransformen av dette produktet fører til krysskorrelasjonen av mikrofonsignalene i tidsdomenet.

Alternativt kan krysskorrelasjonssignalet beregnes i tidsdomenet, ved å konvolvere et mikrofonsignal med et tidsreversert signal tilveiebrakt av den andre mikrofonen i mikrofonparet.

Videre, i konvolusjonsberegningstrinnet 650, beregnes konvolusjonen av det første krysskorrelasjonssignalet og det andre krysskorrelasjonssignalet, hvilket resulterer i et første konvolvert signal.

En slik konvolusjon av det første krysskorrelasjonssignalet med det andre krysskorrelasjonssignalet kan utføres i et frekvensdomene. Mer spesifikt, dersom krysskorrelasjonssignalet har blitt tilveiebrakt av en fouriertransform, kan konvolusjonen på passende måte utføres i fourierdomenet (frekvensdomenet) ved multiplikasjon, etterfulgt av invers fouriertransformasjon av resultatet. Alternativt kan konvolusjonen utføres i et tidsdomene.

Videre, i retningsberegningstrinnet 660, beregnes retningen mellom deteksjonspunktet og den akustiske kilden, basert på det første krysskorrelasjonssignalet og det andre krysskorrelasjonssignalet. Mer spesifikt beregnes retningen basert på det første konvolverte signalet som resulterer fra trinn 650.

Regningsberegningstrinnet 660 kan i en utførelsesform innbefatte å identifisere et maksimalpunkt av et første konvolvert signal. Maksimalpunktet representerer argumentet, dvs. tiden, korresponderende med en maksimalverdi av det første konvolverte signal. Identifisering av maksimalpunktet kan utføres ved en søketilnærming.

Mer spesifikt, i retningsberegningstrinnet 660, kan en innfallsvinkel, som representerer retningen mellom deteksjonspunktet og den akustiske kilden, beregnes basert på det identifiserte maksimalpunktet.

Ytterligere detaljer om fremgangsmåten, spesielt ytterligere aspekter ved beregning av vinkelen, dvs. retningen til den akustiske kilden, har blitt beskrevet ovenfor med henvisning til fig. 2.

Det vil forstås at den illustrerte rekkefølge av trinn i fig. 6 har blitt presentert for forklaringsformål, og at det samme resultatet vil oppnås med en rekkefølge som avviker fra det som har blitt illustrert. F.eks. kan trinnene 610 og 620 ved å motta akustiske signaler utføres samtidig eller i parallell (eng: concurrently). Dersom mottakstrinnene utføres ved distinkte tidspunkter, bør tidsforskjellen mellom dem holdes liten sammenlignet med naturen for de aktuelle akustiske signaler. I dette tilfellet kan rekkefølgen av mottak av de første og andre mikrofonelementsignaler byttes om. Likeledes vil det forstås at beregningen av de første og andre krysskorrelasjonssignaler kan utføres i en hvilken som helst rekkefølge, eller samtidig eller parallelt (eng: concurrently), dersom dette er ønskelig.

Fig. 7 er et skjematisk flytskjema som illustrerer prinsipper ved en fremgangsmåte for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde, ved bruk av første, andre og tredje par av mikrofonelementer.

De første, andre og tredje par av mikrofonelementer kan være anordnet på linje, i en lineær mikrofongruppe lokalisert ved deteksjonspunktet, på en slik måte at mikrofonelementene er lokalisert parvis symmetrisk om et innfallslodd som passerer gjennom deteksjonspunktet, f.eks. på den måten som er beskrevet ovenfor med henvisning til fig. 4 eller 5.

Fremgangsmåten starter ved initialtrinnet 700.

I det første mottakstrinnet 710 mottas akustiske signaler som stammer fra den akustiske kilden ved det første paret av mikrofonelementer.

Videre, i det andre mottakstrinnet 720, mottas akustiske signaler som stammer fra den akustiske kilden ved det andre paret av mikrofonelementer.

Videre, i det tredje mottakstrinnet 730, mottas akustiske signaler som stammer fra den akustiske kilden ved det tredje paret av mikrofonelementer.

Videre, i det første krysskorrelasjonssignalberegningstrinnet 740, beregnes et første krysskorrelasjonssignal som krysskorrelasjonen av signalene tilveiebrakt av det første paret av mikrofonelementer.

Videre, i det andre krysskorrelasjonssignalberegningstrinnet 750, beregnes et andre krysskorrelasjonssignal som krysskorrelasjonen av signalene tilveiebrakt av det andre paret av mikrofonelementer.

Videre, i det tredje krysskorrelasjonsberegningstrinnet 760, beregnes et tredje krysskorrelasjonssignal som krysskorrelasjonen av signalene tilveiebrakt av det tredje paret av mikrofonelementer.

Krysskorrelasjonssignaler kan på passende måte beregnes i frekvensdomenet eller i tidsdomenet, f.eks. som beskrevet ovenfor med henvisning til fig. 3, 4, 5 eller 6.

Videre, i det første konvolusjonsberegningstrinnet 770, beregnes konvolusjonen av det første krysskorrelasjonssignalet og det andre krysskorrelasjonssignalet, hvilket resulterer i et første konvolvert signal.

Videre, i det andre konvolusjonsberegningstrinnet 780, beregnes konvolusjonen av det første konvolverte signal og det tredje krysskorrelasjonssignalet, hvilket resulterer i et andre konvolvert signal.

Beregningen av konvolverte signaler kan utføres i frekvensdomenet eller i tidsdomenet, f.eks. som beskrevet ovenfor med henvisning til fig. 3, 4, 5 eller 6.

Videre, i retningsberegningstrinnet 790, beregnes retningen mellom deteksjonspunktet og den akustiske kilden, basert på det første kry sskorrelasj onssigalet, det andre krysskorrelasjonssignalet og det tredje krysskorrelasjonssignalet. Mer spesifikt beregnes retningen basert på det andre konvolverte signalet som resulterer fra trinn 780.

Retningsberegningstrinnet 790 kan, på en måte som tilsvarer det som er beskrevet med henvisning til fig. 6, innbefatte identifisering av et maksimalpunkt av det andre konvolverte signalet.

I enda en annen utførelsesform av fremgangsmåten, mottas akustiske signaler som stammer fra den akustiske kilden ved M par av mikrofonelementer som er anordnet parvis symmetrisk om deteksjonspunktet, der M er et heltall større enn 2. Heltallet M kan f.eks. være 3, 4 eller 5. Alternativt kan M være et annet heltall, større enn 5. Krysskorrelasjonen av signaler tilveiebrakt av hvert par av mikrofonelementer beregnes, hvilket resulterer i M krysskorrelasjonssignaler. Videre er trinnet med å beregne retningen mellom deteksjonspunktet og den akustiske kilden basert på de M krysskorrelasjonssignalene.

I et slikt tilfelle innbefatter fremgangsmåten M trinn med beregning av krysskorrelasjonssignaler, idet hvert trinn samsvarer med et respektivt par av mikrofoner. Slike trinn kan omtales som det første, andre, ...., osv., opptil det M'te trinn med beregning av krysskorrelasjonssignaler. De M trinnene med å beregne korrelasjonssignaler fører til M krysskorrelasjonssignaler.

Videre er M-l trinn med å beregne konvolusjoner innbefattet i fremgangsmåten. Det første trinnet med å beregne konvolusjon beregner konvolusjonen av de første og andre krysskorrelasjonssignaler, hvilket resulterer i et første konvolvert signal. Det andre trinnet med å beregne konvolusjon beregner konvolusjonen av det første konvolverte signal og det tredje krysskorrelasjonssignal, osv. Endelig beregner det (M-l)'te trinnet med beregning av konvolusjon, konvolusjonen av det (M-2)'te konvolverte signal og det M'te krysskorrelasjonssignalet.

Videre, fortsatt i tilfelle av M par av mikrofonelementer, vil et trinn med beregning av en retning beregne retningen mellom deteksjonspunktet og den akustiske kilden basert også på de M krysskorrelasjonssignalene. Mer spesifikt kan retningen beregnes basert på utgangen av det (M-l)'te konvolusjonstrinnet, slik det er spesifisert ovenfor.

Således kan konvolusjonsprosedyren benyttes for det neste ytre mikrofonelementparet, rekursivt, i kombinasjon med allerede beregnede konvolverte krysskorrelasjonssignaler av signalene tilveiebrakt av de indre mikrofonelementparene i den lineære, symmetriske mikrofongruppen.

I en særlig nyttig anvendelse av fremgangsmåten er den akustiske kilden en aktiv deltaker i en videokonferanse, og deteksjonspunktet sammenfaller med en lokasjon for et videokamera med variabel retning i et videokonferanseutstyr. I dette tilfellet omfatter fremgangsmåten videre å kontrollere kameraet til å peke i den beregnede retning for å innfange den aktive deltaker av kameraet.

Slik det er beskrevet ovenfoT, er fremgangsmåten og systemet for å bestemme retningen mellom et deteksjonspunkt og en akustisk kilde særlig nyttig ved videokonferanser, f.eks. for automatisk kamerapeking mot en aktiv deltaker (en taler) i et videokonferansesystem. Imidlertid kan bestemmelsen av retning mellom et deteksjonspunkt og en akustisk kilde benyttes i flere andre anvendelser også, f.eks. ved produksjon av TV-programmer eller filmer, i scenesituasjoner i teateroppføringer eller under musikkutøvelse, og ved overvåkning, monitorering eller i sikkerhetsteknologi.

Den foreliggende oppfinnelsen resulterer i et høyere signal til støyforhold, sammenlignet med den konvensjonelle tidsforsinkelsesteknikken for ankomstvinkelestimering som er omtalt i bakgrunnsavsnittet. Således tillater oppfinnelsen bruk av rimeligere mikrofoner med høyere støynivåer, uten at dette går på bekostning av total ytelse og nøyaktighet. Alternativt vil bruken av høykvalitetsmikrofoner sammen med prinsippene ved den foreliggende oppfinnelsen tillate bedre ytelse og nøyaktighet ved bestemmelse av ankomstretning, også i tilfeller de kilden har et svakt utgangssignal, eller dersom kilden er lokalisert ved en vesentlig avstand fra deteksjonspunktet.

Tallrike modifikasjoner og variasjoner av den foreliggende oppfinnelsen er mulig i lys av den ovenstående lære. Det skal derfor forstås at innenfor rekkevidden av de vedføyde krav, kan oppfinnelsen praktiseres på annen måte enn det som spesifikt er beskrevet her.

Claims

1. Fremgangsmåte for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde, omfattende - å motta (610) akustiske signaler som stammer fra den akustiske kilden ved et første par (110, 120) av mikrofonelementer, anordnet symmetrisk om deteksjonspunktet (190), - å motta (620) akustiske signaler som stammer fra den akustiske kilden ved et andre par (130, 140) av mikrofonelementer, anordnet symmetrisk om deteksjonspunktet (190), - å beregne (630) en krysskorrelasjon av signaler tilveiebrakt av det første paret (110, 120) av mikrofonelementer, hvilket resulterer i et første krysskorrelasjonssignal, å beregne (640) en krysskorrelasjon av signaler tilveiebrakt av det andre paret (130, 140) av mikrofonelementer, hvilket resulterer i et andre krysskorrelasjonssignal, og - å beregne (660) retningen mellom deteksjonspunktet og den akustiske kilden basert på det første krysskorrelasjonssignalet og det andre krysskorrelasjonssignalet, karakterisert vedat trinnet med å beregne (660) retningen mellom deteksjonspunktet (190) og den akustiske kilden omfatter konvolusjon (650) av det første krysskorrelasjonssignalet med det andre krysskorrelasjonssignalet.

2. Fremgangsmåte i samsvar med krav 1, hvor trinnet med konvolusjon (650) av det første krysskorrelasjonssignalet med det andre krysskorrelasjonssignalet utføres i et frekvensdomene.

3. Fremgangsmåte i samsvar med krav 1 eller 2, hvor trinnet med å beregne (660) retningen mellom deteksjonspunktet og den akustiske kilden omfatter å identifisere et maksimumpunkt for resultatet av konvolusjonstrinnet.

4. Fremgangsmåte i samsvar med krav 3, videre omfattende å beregne en innfallsvinkel, som representerer retningen mellom deteksjonspunktet (190) og den akustiske kilden, basert på det identifiserte maksimumspunktet.

5. Fremgangsmåte i samsvar med et av kravene 1-3, hvor de første og andre par av mikrofonelementer er anordnet i en lineær mikrofongruppe (180) lokalisert ved deteksjonspunktet, på en slik måte at mikrofonelementene er lokalisert symmetrisk om et innfallslodd (182) som passerer gjennom deteksjonspunktet.

6. Fremgangsmåte i samsvar med krav 5, hvor det første paret (110, 120) av mikrofonelementer er et indre par av mikrofonelementer, og det andre paret (130, 140) av mikrofonelementer er et ytre par av mikrofonelementer.

7. Fremgangsmåte i samsvar med et av trinnene 1-5, videre omfattende trinnene - å motta akustiske signaler som stammer fra den akustiske kilden ved et M'te par av mikrofonelementer, anordnet symmetrisk om deteksjonspunktet, - å beregne en krysskorrelasjon av signaler tilveiebrakt av det M'te paret av mikrofonelementer, hvilket resulterer i et M'te krysskorrelasjonssignal, og hvor trinnet med å beregne (660) retningen mellom deteksjonspunktet og den akustiske kilden også er basert på det M'te krysskorrelasjonssignalet, der M er et heltall større enn 2.

8. Fremgangsmåte i samsvar med et av kravene 1-7, hvor den akustiske kilden er en aktiv deltaker i en videokonferanse, og deteksjonspunktet sammenfaller med en lokasjon for et videokamera med variabel retning i et videokonferanseutstyr, hvor fremgangsmåten videre omfatter å kontrollere kameraet til å peke i den beregnede retning for innfanging av den aktive deltaker av kameraet.

9. System for å bestemme en retning mellom et deteksjonspunkt og en akustisk kilde, omfattende - et første par (110, 120) av mikrofonelementer, anordnet symmetrisk om deteksjonspunktet, som mottar akustiske signaler som stammer fra den akustiske kilden, - et andre par (130, 140) av mikrofonelementer, anordnet symmetrisk om deteksjonspunktet, som mottar akustiske signaler som stammer fra den akustiske kilden, - en første krysskorrelator (210), konfigurert til å beregne en krysskorrelasjon av signaler tilveiebrakt av det første paret (110, 120) av mikrofonelementer, hvilket resulterer i et første krysskorrelasjonssignal, - en andre krysskorrelator (220), konfigurert til å beregne en krysskorrelasjon av signaler tilveiebrakt av det andre paret (130, 140) av mikrofonelementer, hvilket resulterer i et andre krysskorrelasjonssignal, og - en retningsberegner (410), konfigurert til å beregne retningen mellom deteksjonspunktet og den akustiske kilden basert på det første krysskorrelasjonssignalet og det andre krysskorrelasjonssignalet,karakterisert vedat systemet videre omfatter en konvolusjonsberegner (310), konfigurert til å konvolvere det første krysskorrelasjonssignalet med det andre krysskorrelasjonssignalet, idet utgangen av konvolusjonsberegneren mates til retningsberegneren (410).

10. System i samsvar med krav 9, hvor konvolusjonsberegneren er konfigurert til å utføre konvolusjon av det første krysskorrelasjonssignalet med det andre krysskorrelasjonssignalet i et frekvensdomene.

11. System i samsvar med krav 9 eller 10, hvor retningsberegneren (410) er konfigurert til å beregne retningen mellom deteksjonspunktet og den akustiske kilden ved å identifisere et maksimumspunkt for resultatet av konvolusjonen.

12. System i samsvar med krav 11, hvor retningsberegneren er konfigurert til å beregne en innfallsvinkel, som representerer retningen (184) mellom deteksjonspunktet (190) og den akustiske kilden, basert på det identifiserte maksimumspunktet.

13. System i samsvar med et av kravene 9-12, hvor de første og andre par av mikrofonelementer er anordnet i en lineær mikrofongruppe (180) lokalisert ved deteksjonspunktet (190), på en slik måte at mikrofonelementene er lokalisert symmetrisk om et innfallslodd (182) som passerer gjennom deteksjonspunktet (190).

14. System i samsvar med krav 13, hvor det første par (110, 120) av mikrofonelementer er et indre par av mikrofonelementer, og det andre par (130, 140) av mikrofonelementer er et ytre par av mikrofonelementer.

15. System i samsvar med et av kravene 9-14, videre omfattende - et M'te par av mikrofonelementer, anordnet symmetrisk om deteksjonspunktet, som mottar akustiske signaler som stammer fra den akustiske kilden, - en M'te krysskorrelator, konfigurert til å beregne en krysskorrelasjon av signaler tilveiebrakt av det M'te paret av mikrofonelementer, hvilket resulterer i et M'te krysskorrelasjonssignal, og - et arrangement av konvolusjonsberegnere, hvor retningsberegneren og arrangementet av konvolusjonsberegneren er konfigurert til å beregne retningen mellom deteksjonspunktet og den akustiske kilden basert også på den M'te krysskorrelasjonen, der M er et heltall større enn 2.

16. System i samsvar med et av kravene 9-15, hvor den akustiske kilden er en aktiv deltaker i en videokonferanse, og deteksjonspunktet sammenfaller med en lokasjon for et videokamera med variabel retning i et videokonferanseutstyr, hvor systemet videre omfatter en kamerakontroller konfigurert til å kontrollere kameraet til å peke i den beregnede retning for innfanging av den aktive deltaker av kameraet.