SE517765C2 - Registrering av rörliga bilder medelst en portabel kommunikationsenhet samt en tillbehörsanordning vilken är samlokaliserad med objektet - Google Patents

Description

30 nu nu; ou: .u 2 med hjälp av ett röststyrt mirkofon-högtalararrangemang eller med hjälp av ett headset, vilket innefattar en mikrofon (befintlig i anslutning till användarens mun) för upptagning av audioin- formation och åtminstone en öronsnäcka (befintlig i anslutning till användarens öra/öron) för överföring av audioinformation till användaren. Ett headset medger en högre grad av avskildhet än mirkofon-högtalararrangemanget. l de flesta fall, innebär även headsetet en högre audiokvalitet. Headsetet kan naturligtvis visa sig vara opraktiskt vid vissa applikationer. Ett trådlöst headset (ex. vis. kommunicerande via ett Bluetooth-interface) övervinner emellertid de merparten av de begränsningar som förknippas med kabelanslutna headset.

Följaktligen finns det tillfredsställande lösningar för att kommunicera röstsignaler också via mobila videotelefoner.

Olyckligtvis finns det ännu inga tillräckligt bra lösningar för att registrera rörliga bilder av videotelefonanvändaren.

Det är i allmänhet önskvärt att ett objekt som anses relevant för videosamtalet (det vill säga i de flesta fall ansiktet hos användaren) registreras på ett sådant sätt att det täcker en väsentlig del av den tillgängliga bildytan.

Under ett samtal kan videotelefonanvändaren antingen hålla videotelefonen i sin hand och peka telefonens kamera i den allmänna riktningen mot sitt ansikte eller alternativt placera telefonen på ett stationärt objekt framför sig på ett sådant sätt att telefonens kamera kan registrera bilder av användarens ansikte. I det första fallet kan rörelser hos användarens hand och/eller överkropp förorsaka att användarens huvud under stundom (åtminstone delvis) hamnar utanför bild (det vill säga utanför videokamerans vinkelmässiga registreringsomfång). l alla händelser kommer bilden av användaren att bli mer eller mindre skakig. l det andra fallet är bilden mera benägen att vara stabil, dock är risken att användaren rör sig ur bild minst lika stor som i det förra fallet, speciellt eftersom kameran har ett förhållandevis smalt vinkelmässigt registreringsomfång i syfte 10 15 20 25 30 of n n u ø ~ n ø n n o .o n ao n. p n ~ I IQ: I o n I fl 0 0 U . o o s u o o Z . . a ...- 517 765 3 att uppfylla kravet att det relevanta objektet ska täcka en relativt stor del av den totala bildytan. De tidigare kända åtgärderna för att mildra dessa problem inbegriper följande tre tekniker.

Ett första alternativ är att digitalt analysera en bild vilken har registrerats av en videokamera och alstra en stabiliserad bild genom behandling av en serie konsekutivt registrerade bildrutor, extrahering av bildkännetecken som uppskattas representera relevant information och generering av förbättrade rörliga bilder i vilka exempelvis effekterna av skakningar har reducerats.

Denna lösning baseras på komplexa beräkningar och kräver således hög beräkningskapacitet. Detta, i sin tur, innebär höga kostnader och/eller hög energiförbrukning. Dessutom är det inte säkert att bildbehandlingsalgoritmerna detekterar korrekt relevant information och således förbättrar de rörliga bilderna på önskat sätt.

Ett andra alternativ att minska effekterna av skakningar är att stabilisera kameran i videotelefonen mekaniskt. Detta kräver emellertid antingen ett skrymmande arrangemang, vilket innefattar att ett flertal motorer och komplexa hävstänger eller att opraktiskt stora vikter måste inkluderas l videotelefonen.

Därför är denna lösning inte intressant ur ett praktiskt perspek- tiv.

Ett tredje alternativ att minska effekterna av skakningar är att fästa videokameran på en stäng, vilken är fäst vid en hjälm som bärs av användaren. Detta är tveklöst ett effektivt sätt att åstadkomma en stabil bild av användarens ansikte. Det är emellertid inte troligt att lösningen får någon större acceptans hos kunderna, eftersom lösningen sannolikt kommer att uppfattas som opraktisk och föga diskret.

Patentlitteraturen innefattar ett flertal exempel på applikationer utanför videokommunikationsområdet vid vilka headset används för att adaptivt överföra information till en användare. Dessa exempel är inte direkt relaterade till området för den aktuella 10 15 20 25 30 u \ u - nu 4 uppfinningen. De berör emellertid problem och lösningar som är besläktade med vissa aspekter av föreliggande uppfinning.

Exempelvis, US-patentet 4,866,229 skildrar en apparat för att överföra optisk information från en väsentligen stationär sändare till en betraktares rörliga headset. Lösningen inbegriper typiskt att kartinformation överlagras information som är direkt observerbar i en pilots omgivning. Sändaren följer headsetet och riktar sin optiska informationsstråle mot headsetet genom utnyttjande av en följesensor i sändaren respektive en följere- flektor i headsetet.

Patentdokumentet JP, A, 8102702 beskriver ett system för överföring av radiosignaler i vilket ett headset innefattar två radiosändare för generering av radiosignaler med en horisontell respektive vertikal vågformsriktning. En detekteringsanordning, vilken mottar radiosignalerna avgör headsetets orientering på basis av de olika styrkorna hos respektive radiosignaler.

US-patentet 5,619,582 skildrar ett system för förbättring av audioinformation i en konsertmiljö vilket inbegriper ett trådlöst hörlurssystem. Ett flertal radiokanaler sänds ut till publiken varvid alla kanaler innehåller samma akustiska signal, men där signalen fördröjs med en viss tidsperiod för varje kanal. An- komsttiderna för åtminstone två radiofrekvenspulser jämförs i syfte att lokalisera en given hörlurs position i förhållande till sändaren. På basis av denna position väljer hörlursmottagaren en lämpligt fördröjd radiokanal, så att den avkodade audiosig- nalen approximativt hamnar i fas med ljudet som anländer via huvudhögtalarna vid scenen.

Torts att teknologin för videotelefonkommunikation och mobila kommunikationslösningar har varit kända i decennier finns det ännu inget exempel på en mobil videotelefonlösning, vilken är kapabel att producera och bibehålla en stabil bild av ett relevant objekt och som samtidigt är attraktiv för en användare ur ett praktiskt perspektiv. 10 15 20 25 30 n un; .o 511 v65 5 SAMMANFATTNING AV UPPFINNINGEN Syftet med föreliggande uppfinning är därför att mildra de problem som diskuteras ovan genom att tillhandahålla en metod och ett förhållandevis enkelt arrangemang som möjliggör generering av en förbättrad bild av ett relevant objekt utan att förorsaka en försämring vad gäller ett enkelt användande av utrustningen.

Enligt en första aspekt av uppfinningen uppnås syftet genom en metod för att producera en förbättrad bild av ett relevant objekt registretat av en videokamera så som beskrivits inledningsvis, vilken förutsätter att åtminstone en följepunkt är lokaliserad antingen på huvudanordningen, tillbehörsanordningen eller båda. Dessutom förutsätts det att en automatisk följesensor vilken är pàverkbar av den åtminstone en följepunkten är placerad åtminstone på den anordning av huvudanordningen och tillbehörsanordningen där det inte finns någon följepunkt. Av redundansskäl kan emellertid även en automatisk följesensor placeras på den anordningen. Metoden kännetecknas ytterligare av att följedata genereras, vilka representerar en målriktning mellan huvudanordningen och tillbehörsanordningen på basis av de signaler som mottas av den åtminstone en automatiska följesensorn. En stabiliserad bild av det relevanta objektet alstras sedan genom bearbetning av en ursprunglig bild registrerad av videokameran baserat på målriktningen.

Enligt en annan aspekt av uppfinningen uppnås syftet med hjälp av ett datorprogram, vilket är direkt laddbart till internminnet i en dator och vilket innefattar mjukvara för att styra metoden, som beskrivs i det ovanstående stycket då programmet körs i en dator.

Enligt ännu en annan aspekt av uppfinningen uppnås syftet genom ett datorläsbart medium på vilket ett program finns lagrat, som är ägnat att förmå en dator att utföra den i det näst närmast ovanstående stycket beskrivna metoden. 10 15 20 25 30 . . ~ . o n - n n .o 6 Enligt ytterligare en aspekt av uppfinningen uppnås syftet genom ett inledningsvis beskrivet kommunikationsarrangemang, vilket kännetecknas av att åtminstone en följepunkt är placerad på antingen huvudanordningen, tillbehörsanordningen eller båda. Åtminstone en automatisk följesensor vilken är påverkbar av den åtminstone en följepunkten är placerad på åtminstone den anordning av huvudanordningen och tillbehörsanordningen där det inte finns någon följepunkt. Av redundansskäl kan emellertid även en automatisk följesensor placeras på den anordningen. Huvudanordningen innefattar en följedatagene- rator, vilken mottar åtminstone en signal från den åtminstone en automatiska följesensorn och genererar på basis därav följedata som representerar en målriktning mellan huvudanordningen och tillbehörsanordningen. Huvudanordningen innefattar även en bildstyrningsenhet, som alstrar en stabiliserad bild av det relevanta objektet baserat på målriktningen och en ursprunglig bild registrerad av videokameran.

Den föreslagna lösningen säkerställer en stabil följning av ett relevant objekt, såsom en användares ansikte, från en portabel huvudanordning utan att erfordra några extraanordningar, vilka skulle kunna upplevas som obekväma av användaren.

Detta gör naturligtvis uppfinningen attraktiv för mobila videotele- fontillämpningar, såväl ur ett tekniskt hänseende som från en kommersiell synpunkt.

KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer nu att förklaras närmare med hänvisning till föredragna utföringsformer, vilka beskrivs som exempel, och med referens till de bifogade ritningarna. visar ett kommunikationsarrangemang enligt en första aspekt av uppfinningen, Figur 1 Figur2 illustrerar hur en stabiliserad bild av ett relevant 10 15 20 25 30 n ø~u .u 7 objekt alstras enligt en första utföringsform av uppfinningen, Figur 3 illustrerar hur en stabiliserad bild av ett relevant objekt alstras enligt en andra utföringsform av uppfinningen, Figur4 demonstrerar en första aspekt av utföringsfor- men som visas i figur 3, Figur5 demonstrerar en andra aspekt av utföringsfor- men som visas i figur 3, Figur6 visar ett kommunikationsarrangemang enligt en andra aspekt av uppfinningen, och Figur? illustrerar den allmänna metoden enligt uppfin- ningen med hjälp av ett flödesschema.

DETALJERAD BESKRIVNING AV FÖREDRAGNA UTFÖRINGSFORMER AV UPPFINNINGEN Figur 1 visar ett kommunikationsarrangemang enligt en första aspekt av uppfinningen. Kommunikationsarrangemanget inne- fattar en huvudanordning 101 och en tillbehörsanordning 102, vilken är associerad till huvudanordningen antingen fysiskt med hjälp av en kabel eller logiskt via en trådlös förbindelse. En sådan förbindelse kan åstadkommas medelst radioresurser (ex. vis. ett Bluetooth-interface), en optisk länk eller med hjälp av en magnetiskt-induktiv länk.

En videokamera 105 ingår i huvudanordningen 101 för att registrera en ursprunglig bild av ett relevant objekt 103, vilket typiskt är ansiktet hos den användare som kommunicerar via kommunikationsarrangemanget. Videokameran 105 har ett vin- kelmässigt registreringsomfång 106 som är relativt vitt. Detta ökar nämligen sannolikheten att finna det relevanta objektet (någonstans) inom kamerans 105 registreringsräckvidd 106. Till- 10 15 20 25 30 35 . . u | u o ~ o a .v 517 765 ; ': z: 8 behörsanordningen 102 är samlokaliserad med det relevanta objektet 103. Figuren 1 visar en tillbehörsanordning 102 i form av ett headset buret av användaren vars ansikte här repre- senterar det relevanta objektet 103. Teoretiskt sett skulle det relevanta objektet kunna vara vilket annat slags objekt som helst, vilket åtminstone tillfålligtvis, anses som viktigt under videotelefonsamtalet. Åtminstone en följepunkt 107a är placerad på tillbehörsanord- ningen 102. Följepunkten 107a utgör ett referensmål, vilket kameran 105 i huvudanordningen 101 ska följa så väl som möjligt under samtalets gång. Det är därför fördelaktigt att placera följepunkten 107a så nära det relevanta objektet 103 som möjligt. I det här exemplet är följepunkten 107a placerad på en mikrofon i anslutning till användarens mun. Vilken annan position som helst på tillbehörsanordningen 102 är emellertid tänkbar, såsom på en kabel som ansluter tillbehörsanordningen 102 till huvudanordningen 101. Likaså kan ett flertal följepunkter sättas på tillbehörsanordningen 102 i syfte att introducera ett mått av redundans, så att en eller flera av följepunkterna kan skymmas utan att följeprestandan försämras avsevärt. Om signaler från flera följepunkter registreras samtidigt antas en resulterande virtuell följepunkt befinna sig i en medelriktning mellan de detekterade följepunkterna. Åtminstone en automatisk följesensor 108a, 108b respektive 108c vilken är påverkbar av följepunkten 107a, finns på huvud- anordningen 101. Varje följesensor 108a - 108c mottar en signal från följepunkten 107a. Det är sålunda möjligt att härleda en riktning från huvudanordningen 101 mot tillbehörsanord- ningen 102 genom att studera respektive signaler mottagna av olika följesensorer 108a - 108c. Givet att huvudanordningen 101 innefattar tre eller flera följesensorer 108a - 108c är det möjligt att bestämma en tredimensionell riktningsvektor mot tillbehörs- anordningen 102 genom en trianguleringsberäkning. En sådan riktningsvektor anses representera en målriktning från huvud- anordningen 101 mot tillbehörsanordningen 102. Om två eller 10 15 20 25 30 35 - . - . - ø o o ø .u 517 765 9 färre följesensorer ingår i huvudanordningen 101 är det inte möjligt att definiera målriktningen 104 i tre dimensioner.

Beroende på vilken typ av sensor och följepunkt som används kan emellertid målriktningen 104 ändå anses ha en tillräcklig noggrannhet. När väl målriktningen 104 har bestämts är det möjligt att välja en del av en ursprunglig bild registrerad av videokameran 105, vilken praktiskt taget endast inkluderar det relevanta objektet 103. Enligt uppfinningen görs detta val med tillräckligt korta intervall för att en bild av det relevanta objektet 103 ska kunna alstras, som upplevs vara acceptabelt stabil av en mänsklig betraktare.

Följepunkten 107a respektive de automatiska följesensorerna 108a - 108c kan konstrueras med hjälp av många alternativa eller kompletterande teknologier. Enligt en föredragen utförings- form av uppfinningen utgörs följepunkten av en ljuskälla, såsom en lysdiod (LED) och de automatiska följesensorerna 108a - 108c innefattar ljussensorer som är känsliga för ljus inom ett våglängdsområde, som är relevant med hänsyn till det ljus som sänds ut från följepunktsljuskällan.

En mycket effektiv implementering av denna utföringsform erhålls om videokameran 105 även fungerar som följesensor.

Videokameran 105 registrerar således ljussignalerna från följepunkten 107a. Det är dessutom fördelaktigt om ljuskällan i följepunkten 107a sänder ut ett blinkande I pulserande ljus enligt en bestämd känd sekvens. En bildbehandlingsalgoritm kan då finna följepunkten 107a i den ursprungliga bilden, som registreras av videokameran 105 genom att korrelera det ursprungliga bilddatat med den kända sekvensen. Det är föredraget att blinknings- / pulseringstakten är relativt hög, eftersom detta både resulterar i en låg följefördröjning och med större sannolikhet upplevs som ett konstant ljus av det mänsk- liga synsinnet. Exempelvis, givet att videokameran arbetar med en frekvens på 60 Hz, skulle det vara lämpligt att välja en sådan blinknings- / pulseringstakt att ljuskällan är ”påslagen” varannan bildruta och ”avslagen” varannan bildruta. 10 15 20 25 30 o ø a I - | « n o .o 517 765 '1 10 Det är också möjligt att utforma en passiv följepunkt 107a, det vill säga som endast är en reflektor för ljus som sänds ut från en ljuskälla lokaliserad på ett annat ställe, med fördel på huvud- anordningen 101. Denna ljuskälla kan antingen sända ut synligt ljus eller producera ljus utanför det synliga spektret. I alla händelser måste den automatiska följesensorn (vilken åter kan vara videokameran 105) ha ett känslighetsomräde som är anpassat för den våglängd med vilken ljus sänds ut från Uuskäflan.

En speciell markering på tillbehörsanordningen 102 med ett känt och väldefinierat utseende utgör ett viktigt exempel på en passiv följepunkt 107a. Naturligtvis kan således godtycklig logotyp eller annan karaktäristisk design även fungera som markering. Det reflekterade ljuset behöver inte sändas ut från huvudanord- ningen 101, utan kan mycket väl vara det omgivande ljuset som belyser det relevanta objektet 103.

Enligt en annan föredragen utföringsform av uppfinningen utgörs följepunkten 107a av en magnetisk komponent och de automa- tiska följesensorerna 108a - 108c inkluderar magnetiska fält- sensorer.

Enligt ännu en annan föredragen utföringsform av uppfinningen utgörs följepunkten 107a av en ultraljudsgenerator och var och en av de automatiska följesensorerna 108a - 108c inkluderar en mikrofon för upptagning av ultraljud.

Enligt ytterligare en föredragen utföringsform av uppfinningen utgörs följepunkten 107a av en radiosändare och de auto- matiska följesensorerna 108a - 108c inkluderar en respektive radiomottagare.

I fall flera följepunkter används bör signalerna utsända från de olika följepunkterna moduleras på olika sätt i syfte att underlätta utvinning av orienteringsinformation från de signaler som mottas av de automatiska följesensorerna. Moduleringen kan givetvis varieras oavsett vilken slags signal som sänds ut från 10 15 20 25 30 a a u . | n u c ø .o 517 765 11 följepunkterna. Dessutom, om antalet följepunkter ökas, kan antalet automatiska följesensorer minskas i motsvarande omfatt- ning för en given följupplösningsgrad.

Om, då ett videosamtal initieras, kameran i huvudanordningen riktas mot det relevanta objektet så att det relevanta objektet befinner sig inom en väldefinierad area av den registrerade bilden, är det inte nödvändigt att följa det relevanta objektet direkt. Istället kan det relevanta objektet följas indirekt genom registrering av signaler från accelerometrar (eller tröghetssen- sorer) i huvudanordningen respektive tillbehörsanordningen, vilka indikerar relativa rörelser från den kända initiala positions- riktningsförhållandet mellan huvudanordningen och tillbehörsan- ordningen.

Således, enligt ännu en föredragen utföringsform av uppfin- ningen, inkluderar åtminstone en följepunkt i tillbehörsanord- ningen en accelerometer och åtminstone en automatisk följe- sensor i huvudanordningen en accelerometer. Ett uppdaterat positions-riktningsförhållande kan härledas regelbundet genom jämförelse av signalerna genererade av den åtminstone en följepunktsaccelerometern med signaler genererade av den åtminstone en automatiska följesensoraccelerometern Även om följepunkte/n/rna och de/n automatisk/a följesensor/n/ erna innefattar accelerometrar är det önskvärt att använda en eller flera av de andra typerna av följepunkts- / sensorkombina- tioner vilka beskrivs ovan, som ett huvudsakligt medel för att åstadkomma följning, och använda accelerometrarna som ett komplement till detta.

Figur 2 illustrerar i ytterligare detalj hur en stabiliserad bild av ett relevant objekt 103 kan alstras enligt uppfinningen.

Videokameran 105 i huvudanordningen 101 har en relativt vitt vinkelmässigt registreringsomfång 106 för att registrera rörliga bilder. Detta illustreras genom en ursprunglig bild 201 som täcker en förhållandevis stor yta. En följedatagenerator 203 i 10 15 20 25 30 35 w 165 o u n u a o ø ø o u 12 huvudanordningen 101 behandlar signalerna som mottas av följesensorerna och härleder en målriktning mellan huvudanord- ningen 101 och tillbehörsanordningen 102. En bildstyrnings- enhet 204 i huvudanordningen 101 väljer sedan adaptivt ett speciellt avsnitt ur den ursprungliga bilden 201 som registrerats av videokameran 105 på basis av målriktningen. Det utvalda avsnittet väljs naturligtvis så att det innefattar det relevanta objektet 103 och inte så mycket där utöver. Det utvalda avsnittet 202 väljs adaptivt så till vida att den utvalda bildytan varierar då huvudanordningen 101 och/eller tillbehörsanordningen rör sig och målriktningen uppdateras på motsvarande sätt. Bildstyr- ningsenheten 204 uppdaterar det utvalda avsnittet 202 med tillräckligt korta intervall för att alstra en bild av det relevanta objektet 103, som upplevs vara stabil av en mänsklig betraktare.

Figur 3 illustrerar hur en stabiliserad bild av ett relevant objekt kan alstras enligt en andra föredragen utföringsform av uppfinningen. Denna utföringsform innebär att åtminstone ett bildformande element 303 i kameran 105 är lutbart i förhållande till huvudanordningen 101 kring åtminstone en första axel 301.

Detta gör det möjligt för kameran 105 att följa det relevanta objektets 103 rörelser längs en linje vinkelrät mot den första axeln 301. Kamerans 105 effektiva vinkelmässiga omfång för registrering av bilder kan sålunda breddas. Alternativt kan en kamera med mindre vitt vinkelmässigt omfång utnyttjas för att täcka en bildyta som annars skulle ha fordrat ett vidare vinkelmässigt omfång. Ett resultat av detta är att en förbättrad upplösning och därmed bildkvalitet kan uppnås. Det bildfor- mande elementet 303 innefattar en eller flera strålbrytande enheter (såsom linser eller hologram) via vilka ljusstrålar reflekterade av objekt utanför kameran 105 riktas mot ett bild- upptagande element (ex. vis. en CCD-bildsensor (CCD = Charge Coupled Device)) inuti kameran 105. Det bildformande elementet 303 är med fördel även lutbart kring en andra axel 302, så att kameran 105 kan följa rörelser i två dimensioner.

Denna utföringsform av uppfinningen kan betraktas antingen 10 15 20 25 30 517 765 13 som ett alternativ till den första utföringsformen, beskriven med hänvisning till figur 2 ovan, det vill säga att följa det relevanta objektet 103 inom den ursprungliga bildytan 201, eller som ett komplement till den första utföringsformen, det vill säga att ytterligare utsträcka den ursprungliga bildytan 201, som täcks av ett stationärt bildformande element 303.

Figur 4 illustrerar en första aspekt av den utföringsform som visas i figur 3 där, förutom ett lutbart bildformande element 303, ett bildupptagningselement 401 också är lutbart i motsvarande grad. Effekten av en sådan lutning är att en förstorad bildupp- tagningsyta kan åstadkommas utan att någon ytterligare distorsion introduceras. En möjlig nackdel är emellertid att antalet rörliga delar i kameran 105 blir något högre än vad som är absolut nödvändigt.

Figur 5 illustrerar en andra aspekt av utföringsformen som visas i figur 3 där endast det bildformande elementet 303 lutas och det bildupptagande elementet 501 är stationärt. Bildupptagnings ytan måste därmed göras något större än om det bildformande elementet 303 inte varit lutbart. Enligt denna aspekt av uppfinningen kommer en del av det bildupptagande elementet 501 att vara outnyttjat. Dessutom kommer bilden att distorderas i en utsträckning motsvarande lutningsvinkeln hos det bildformande elementet 303. Bildstyrningsenheten kommer därför att behöva allokera en del av sina bearbetningsresurser för att kompensera för denna distorsion. Antalet rörliga delar i kameran hålls dock minimalt, vilket givetvis är fördelaktigt ur tillverknings- och tillförlitlighetshänseende.

Oavsett vilken av metoderna som beskrivits med hänvisning till figurerna 2 -5 ovan, som används för att följa det relevanta objektet 103 kan bildstyrningsenheten 204 dessutom innefatta en bildprocessor för att ytterligare förbättra kvaliteten hos den stabiliserade bilden. Bildprocessorn kombinerar data från två eller flera konsekutivt registrerade bilder och genererar därifrån en resulterande bild med en förbättrad kvalitet. 10 15 20 25 30 35 51 7 7 5 5 'S ° f-'f 14 Den ovan föreslagna lutningen av åtminstone ett bildformande element kan kompensera för rörelser och riktningsvariationer hos huvudanordningen 101 från en ideal riktning upp till en viss storlek på avvikelsen. Om emellertid huvudanordningen 101 placeras på ett sådant sätt eller om det relevanta objektet rör sig så att det faller utanför en vidast möjliga ursprunglig bild 201 är kommunikationsarrangemanget oförmöget att skapa en bild av det relevanta objektet 103. l syfte att försäkra sig mot denna situation kan huvudanordningen 101 även innefatta en larm- enhet, som genererar en akustisk och/eller mekanisk larmsignal, som upplyser om att videokameran 105 inte kan registrera den ursprungliga bilden 201 av det relevanta objektet 103. Denna larmsignal aktiveras närhelst det relevanta objektet 103 bedöms, åtminstone delvis, befinna sig utanför registreringsomfånget hos videokameran 105.

Figur 6 illustrerar ett kommunikationsarrangemang enligt en andra aspekt av uppfinningen. Här har följepunkterna och de automatiska följesensorerna bytt plats. Detta innebär att huvud- anordningen 101 förutom kameran 105 även innefattar åtminstone en följepunkt 107b. Tillbehörsanordningen 102 inkluderar ett antal automatiska följesensorer 108d, 108e och 108f som kan placeras till exempel på ett headsets öronsnäckor respektive huvudband. Godtyckligt antal och placering av de automatiska följesensorerna 108d - 108f är naturligtvis tänkbar.

Tre eller flera automatiska följesensorer 108d - 108f är föredraget, eftersom detta möjliggör triangulering. Analogt med den aspekt av uppfinningen som beskrivits med hänvisning till figur 1 mottar varje följesensor 108d - 108f en signal från följepunkte/n/rna 107b. I syfte att minimera vikten hos tillbehörs- anordningen 102 placeras emellertid medlet för att härleda målriktningen från de mottagna signalerna med fördel i huvud- anordningen. Därför måste följesensorsignalerna vidareförmed- las till huvudanordningen 101 för bearbetning i en följedatagene- rator. Signalerna från de automatiska följesensorerna 108d - 108f bör skickas till huvudanordningen 101 via den mest 10 15 20 25 30 51 7 75 5 " 15 effektiva tillgängliga kanalen. Om huvudanordningen 101 och tillbehörsanordningen 102 är förbundna via en kabel bör, om möjligt, denna kabel användas. Annars kan signalerna överföras via ett trådlöst gränssnitt, såsom en radioresurs, en optisk länk eller via en modulerad magnetisk-induktiv signal.

En målriktning 104 mellan huvudanordningen 101 och tillbehörs- anordningen 102 härleds sedan på basis av följesensorsigna- lerna och en stabiliserad bild av det relevanta objektet 103 produceras enligt vad som beskrivits tidigare.

I syfte att ytterligare förbättra noggrannheten och tillförlitlig- heten den föreslagna lösningen kan följepunkter och automa- tiska följesensorer placeras både i huvudanordningen och i tillbehörsanordningen, så att en första målriktning kan tas fram baserat på mätningar i huvudanordningen och en andra målriktning kan tas fram baserat på mätningar i tillbehörsanord- ningen. En resulterande målriktning bestäms sedan med fördel som ett medelvärde mellan den första och den andra màlriktningen. En sådan dubblering av följepunkterna och de automatiska följesensorerna introducerar ett mått av redundans, som medger att vissa sensorer skyms utan att följeprestanda försämras. l syfte att summera kommer nu den allmänna metoden enligt uppfinningen att beskrivas med hänvisning till flödesschemat i figur 7.

En ursprunglig bild registrerad av en kamera i huvud- anordningen mottas i ett första steg 701. Ett följande steg 702 mottar åtminstone en följesignal från en eller flera automatiska följesensorer, befintliga antingen på huvudanordningen, tillbe- hörsanordningen eller båda. Ett följande steg 703 genererar följedata representerande en målriktning mellan huvudanord- ningen och tillbehörsanordningen på basis av den åtminstone en signalen från de automatiska följesensorerna. Slutligen alstrar ett steg 704 en stabiliserad bild av ett relevant objekt baserat på 10 15 517 765 16 målriktningen. Proceduren loopar sedan tillbaka till steget 701 för mottagande av en ny ursprunglig bild.

Alla de ovan beskrivna metodstegen kan givetvis styras av ett datorprogram vilket är direkt laddbart till internminnet i en dator, vilken innefattar lämplig mjukvara för att styra de nödvändiga stegen då programmet körs på en dator. Datorprogrammet kan likaledes lagras på godtyckligt slags datorläsbart medium.

Termen "innehåller/innehållande" anger, då den används i denna ansökan, närvaron av angivna kännetecken, heltal, steg eller komponenter. Termen utesluter emellertid inte närvaron av eller tillägg av ett eller flera ytterligare kännetecken, heltal, steg eller komponenter eller grupper därav.

Uppfinningen är inte begränsad till de utföringsformer, som beskrivits med hänvisning till figurerna utan kan varieras fritt inom omfånget hos de påföljande patentkraven.

Claims (43)

10 15 20 25 30 u n u o - I | o o o u u. 517 765 17 Patentkrav

1. En metod för att producera en förbättrad bild av ett relevant objekt (103) registrerat av en videokamera (150) i en huvudanordning (101), där en tiilbehörsanordning (102) år asso- cierad till huvudanordningen (101) och samiokaliserad med det relevanta objektet (103), kännetecknad av åtminstone en följepunkt (107a; 107b) vilken år lokaliserad på åtminstone en första anordning av huvudanordningen (101) och tillbehörsanordningen (102), där den åtminstone en följe- punkten (107a; 107b) har minst en artificiell och väldefinierad karakteristika, åtminstone en automatisk följesensor (108a - 108c; 108d - 108f) vilken är påverkbar av den åtminstone en följepunkten (107a; 107b) och lokaliserad på åtminstone en andra anordning av huvudanordningen (101) och tillbehörsanordningen (102), metoden innefattande stegen: generering av följedata representerande en målrlktning (104) mellan huvudanordningen (101) och tillbehörsandord- ningen (102) på basis av signaler mottagna av den åtminstone en automatiska följesensorn (108a - 108c; 108d - 108f), och alstring av en stabiliserad bild av det relevanta objektet (103) genom bearbetning av en ursprunglig bild (201) regi- strerad av videokameran (105) på basis av målriktningen (104).

2. En metod enligt krav 1, kännetecknad av att genreringen av följedata inbegriper triangulering av signaler mottagna från åtminstone tre automatiska följesensorer (108a - 108c; 108d - 1080.

3. En metod enligt något av kraven 1 eller 2, kännetecknad av att alstringen av den stabiliserade bilden inbegriper ett adaptivt val av ett speciellt avsnitt (202) ur den av videokameran (105) ursprungliga registrerade bilden (201). 10 15 20 25 , o u . | o o n n Q | nu 18

4. En metod enligt något av föregående krav, kännetecknad av att alstringen av den stabiliserade bilden inbegriper lutning av åtminstone ett biidformande element (303, 401) i video- kameran kring åtminstone en axel (301; 302) relativt huvudan- ordningen (101). »

5. En metod enligt något av kraven 3 eller 4, kännetecknad av ett bildbehandlingssteg genom vilket den stabiliserade bilden produceras genom utnyttjande av data från åtminstone två konsekutivt registrerade bilder.

6. En metod enligt något av kraven 3 - 5, kännetecknad av genrering av en larmsignal indikerande att videokameran (105) är oförmögen att registrera den ursprungliga bilden av det relevanta objektet (103) då åtminstone en del av det relevanta objektet (103) bedöms befinna sig utanför ett registrerings- omfång (106) hos videokameran (105).

7. En metod enligt krav 6, kännetecknad av att larmsignalen är en akustisk signal.

8. En metod enligt något av kraven 6 eller 7, kännetecknad av att larmsignalen är en mekanisk signal.

9. En metod enligt något av föregående krav, kännetecknad av att den åtminstone en följepunkten (107a) är lokaliserad i till- behörsanordningen (102).

10. En metod enligt något av föregående krav, kännetecknad av att den åtminstone en automatiska följesensorn (108a - 108c) är lokaliserad i huvudanordningen (101). 10 15 20 25 517 765 19

11. En metod enligt något av föregående krav, kännetecknad av att den åtminstone en följepunkten (107a) är lokaliserad i huvudanordningen (101).

12. En metod enligt något av föregående krav, kännetecknad av att den åtminstone en automatiska följesensorn (108a - 108c) är lokaliserad i tillbehörsanordningen (102), och metoden inbegriper överföring av följesignaler från tillbehörsanordningen (102) till huvudanordningen (101).

13. En metod enligt något av föregående krav, kännetecknad av att huvudanordningen (101) är en mobil videotelefon.

14. En metod enligt något av föregående krav, kännetecknad av att tillbehörsanordningen (102) är ett headset för duplexöverföring av audioinformation med huvudanordningen (101).

15. Ett datorprogram, direkt laddbart till internminnet i en dator, innefattande mjukvara för att styra stegen i metoden, enligt något av kraven 1 - 14 då programmet körs på en dator.

16. Ett datorläsbart medium på vilket ett program finns lagrat, som är ägnat att förmå en dator att utföra metoden enligt något av kraven 1 - 14.

17. Ett kommunikationsarrangemang innefattande en huvud- anordning (101) och en där till associerad tillbehörsanordning (102), där huvudanordningen (101) innefattar en videokamera (105) för att registrera en ursprunglig bild (201) av ett relevant objekt (103), där tillbehörsanordningen (102) är samlokaliserad med det relevanta objektet, kännetecknat av att 10 15 20 25 30 n :nu nu 517 765 20 åtminstone en följepunkt (107a; 107b) är lokaliserad på minst en av en första anordning av huvudanordningen (101) och tillbehörsanordningen (102), där den åtminstone en följepunkten (107a; 107b) har minst en artificiell och väldefinierad karakteristika, åtminstone en automatisk följesensor (108a - 108c; 108d - 108f) vilken är pàverkbar av den åtminstone en följepunkten (107a; 107b) är lokaliserad på åtminstone en andra anordning av huvudanordningen (101) och tillbehörsanordningen (102), huvudanordningen (101) innefattar en följedatagenerator (203) vilken mottar åtminstone en signal från den åtminstone en automatiska följesensorn (108a - 108c; 108d - 108f) och gene- rerar på basis därav följedata representerande en målriktning (104) mellan huvudanordningen (101) och tillbehörsanordningen (102), och huvudanordningen (101) innefattar en bildstyrningsenhet (204) vilken alstrar en stabiliserad bild av det relevanta objektet (103) på basis av målriktningen (104) och en ursprunglig bild (201) registrerad av videokameran (105).

18. Ett kommunikationsarrangemang enligt krav 17, kännetecknat av att den andra anordningen innefattar åtminstone tre automa- tiska följesensorer (108a - 108c; 108d - 108f) vilka vardera genererar en följesignal, och följedatageneratorn (203) triangulering av följesignalerna. alstrar följedata genom

19. Ett kommunikationsarrangemang enligt något av kraven 17 eller 18, ktännetecknat av att bildstyrningsenheten (204) alstrar den stabiliserade bilden av det relevanta objektet (103) genom att adaptivt välja ut ett speciellt avsnitt (202) ur den av videokameran (105) ursprungliga registrerade bilden (201). 10 15 20 25 517 765 21

20. Ett kommunikationsarrangemang enligt något av kraven 17 - 19, kännetecknat av att åtminstone ett bildformande element (303, 401) i videokameran (105) är lutbart kring åtminstone en första axel (301; 302) relativt huvudanordningen (101) så att bildstyrningsenheten (204) kan alstra den stabiliserade den stabiliserade bilden av det relevanta objektet (103) genom behandling av en bild vilken registrerats av det bildformande elementet (303) då detta placerats i en lutad position.

21. Ett kommunikationsarrangemang enligt något av kraven 19 eller 20, kännetecknat av att bildstyrningsenheten (204) innefattar en bildbehandlare för att alstra den stabiliserade bilden från data registrerad i åtminstone två konsekutivt registrerade bilder.

22. Ett kommunikationsarrangemang enligt något av kraven 19 - 21, kännetecknat av att huvudanordningen (101) innefattar en larmenhet för att generera en Iarmsignal som indikerar att video- kameran (105) är oförmögen att registrera den ursprungliga bilden av det relevanta objektet (103) då åtminstone en del av det relevanta objektet (103) bedöms befinna sig utanför en registretringsräckvidd (106) hos videokameran (105).

23. Ett kommunikationsarrangemang enligt krav 22, kännetecknat av att larmenheten genererar en akustisk signal.

24.. Ett kommunikationsarrangemang enligt något av kraven 22 eller 23, kännetecknat av att larmenheten genererar en mekanisk signal.

25. Ett kommunikationsarrangemang enligt krav 17, känne- tecknat av att den åtminstone en automatiska följesensorn utgörs av videokameran (105). 10 15 20 25 517 765 ZLEÉ-ífiëilší- 22

26. Ett kommunikationsarrangemang enligt krav 25, känne- tecknat av att den åtminstone en följepunkten (107a; 107b) utgörs av en markering med ett känt och väldefinierat utseende.

27. Ett kommunikationsarrangemang enligt krav 26, känne- tecknat av att markeringen är lokaliserad på tillbehörs- anordningen (102).

28. Ett kommunikationsarrangemang enligt krav 27, känne- tecknat av att markeringen är anpassad att reflektera ljus vilket sänds ut från en ljuskälla i huvudanordningen (101).

29. Ett kommunikationsarrangemang enligt krav 28, känne- tecknat av att ljuskällan sänder ut ett blinkande ljus enligt en bestämd sekvens, vilken är ägnad att reflekteras av följepunkten (107c).

30. Ett kommunikatlonsarrangemang enligt något av kraven 17 - 29, kännetecknat av att åtminstone en följepunkt (107a; 107b) är en ljuskälla, och åtminstone automatisk följesensor (108a - 1080; 108d - 108f) innefattar en ljussensor.

31. Ett kommunikationsarrangemang enligt krav 25 känne- tecknat av att åtminstone en följepunkt (107a; 107b) utgörs av en pulserande ljuskälla vilken sänder ut ett blinkande ljus enligt en bestämd sekvens, vilken är ägnad att registreras av videokameran (105).

32. Ett kommunikationsarrangemang enligt krav 31, känne- tecknat av att ljuskäll/an/orna/ är lysdioder. » 10 15 20 25 517 765 23 | | . v n v v ~ nu

33. Ett kommunikationsarrangemang enligt något av kraven 31 eller 32, kännetecknat av att åtminstone en följepunkt (107a) är inkluderad i tillbehörsanordningen (102).

34. Ett kommunikationsarrangemang enligt något av kraven 17 - 33, kännetecknat av att åtminstone en följepunkt (107a; 107b) är en magnetisk komponent, och åtminstone en automatisk följesensor (108a - 108c; 108d - 108f) innefattar en sensor för avkänning av magnetiska fält.

35. Ett kommunikationsarrangemang enligt något av kraven 17 - 34, kännetecknat av att åtminstone en följepunkt ultraljudsgenerator, och åtminstone en automatisk följesensor (108a - 108c; 108d - 108f) innefattar en mikrofon för mottagning av ultraljud. (107a; 107b) är en

36. Ett kommunikationsarrangemang enligt något av kraven 17 - 35, kännetecknat av att åtminstone en följepunkt (107a; 107b) är en radiosändare, och ' åtminstone en automatisk följesensor (108a - 108c; 108d - 108f) innefattar en radiomottagare.

37. Ett kommunikationsarrangemang enligt något av kraven 17 - 36, kännetecknat av att åtminstone en följepunkt accelerometer, åtminstone en automatisk följesensor (108a - 108c; 108d - 108f) innefattar en accelerometer, och följedata genereras genom ett uppskattat positions- riktningsförhållande mellan huvudanordningen (101) och (107a; 107b) innefattar en 10 15 20 517 765 ä; 24 tillbehörsanordningen (102), där positions-riktningsförhållandet härleds genom en jämförelse mellan signaler genererade av den åtminstone en följepunktsaccelerometern och den åtminstone en följesensoraccelerometern.

38. Ett kommunikationsarrangemang enligt något av kraven 17 - 37, kännetecknat av att åtminstone en följepunkt (107a) är lokaliserad i tillbehörsanordningen (102).

39. Ett kommunikationsarrangemang enligt något av kraven 17 - 38, kännetecknat av att åtminstone en automatisk följesensor (108a - 108c) är lokaliserad i huvudanordningen (101).

40. Ett kommunikationsarrangemang enligt något av kraven 17 - 39, kännetecknat av att åtminstone en följepunkt (107b) är lokaliserad i huvudanordningen (101).

41. Ett kommunikationsarrangemang enligt något av kraven 17 - 40, kännetecknat av att åtminstone en automatisk följesensor (108d - 108f) är lokaliserad i tillbehörsanordningen (102), och tillbehörsanordningen (102) innefattar en sändare för att överföra följedatasignaler till huvudanordningen (101).

42. Ett kommunikationsarrangemang enligt något av kraven 17 - 40, kännetecknat av att huvudanordningen (101) är en mobil videotelefon.

43. Ett kommunikationsarrangemang enligt något av kraven 17 - 42, kännetecknat av att är ett headset för duplexöverföring av audioinformation med huvudanordningen (101).