SE536902C2 - Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt - Google Patents

Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt Download PDF

Info

Publication number
SE536902C2
SE536902C2 SE1350066A SE1350066A SE536902C2 SE 536902 C2 SE536902 C2 SE 536902C2 SE 1350066 A SE1350066 A SE 1350066A SE 1350066 A SE1350066 A SE 1350066A SE 536902 C2 SE536902 C2 SE 536902C2
Authority
SE
Sweden
Prior art keywords
movement
scale
computing device
detect
camera
Prior art date
Application number
SE1350066A
Other languages
English (en)
Other versions
SE1350066A1 (sv
Inventor
Martin Henriz
Original Assignee
Crunchfish Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crunchfish Ab filed Critical Crunchfish Ab
Priority to SE1350066A priority Critical patent/SE536902C2/sv
Priority to CN201480005334.6A priority patent/CN105027032A/zh
Priority to PCT/SE2014/050069 priority patent/WO2014116166A1/en
Priority to US14/761,663 priority patent/US20150363003A1/en
Priority to EP14742976.5A priority patent/EP2948832A4/en
Publication of SE1350066A1 publication Critical patent/SE1350066A1/sv
Publication of SE536902C2 publication Critical patent/SE536902C2/sv

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/20Comparing separate sets of record carriers arranged in the same sequence to determine whether at least some of the data in one set is identical with that in the other set or sets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/91Remote control based on location and proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

En beräkningsenhet (100, 200) innefattande en skärm (120) och enstyrenhet (210), varvid nämnda styrenheten (210) är anordnad att detektera och spåra ettobjekt (H) via en videoström (265) tillhandahällen av en kamera (160, 260), detekteraen rörelse (G1, G2) för objektet (H), omvandla nänmda rörelse (G1, G2) för objektet tillen resulterande rörelse (M1, M2) för en markör (136) baserat på en skala, detektera en ändring i avstånd till objektet (H), och anpassa nämnda skala därefter. Att publiceras med figurerna 4A och 4B.

Description

30 536 902 detektera en rörelse för objektet, omvandla nämnda rörelse för objektet till en resulterande rörelse för en markör baserat på en skala, detektera en ändring i avstånd till objektet, och anpassa nämnda skala därefter.
En sådan beräkningsenhet tillhandahåller en mer precis inmatning.
I en utföringsfonn är styrenheten vidare anordnad att visa förstorad del av ett objekt invid markören eller av ett allmänt område invid eller omkring markören.
Det är också en aspekt av läroma enligt föreliggande ansökan att lösa de problem som listats ovan genom att tillhandahålla en metod för användning i en datoranordning innefattande en skärm, varvid metoden innefattar detektering och spårning av ett objekt via en videoström tillhandahållen av en kamera, detektering av en rörelse av objektet, omvandling av nämnda rörelse av objektet till en resulterande rörelse för en markör baserat på en skala, detektering av en ändring i avstånd till objektet, och anpassning av nämnda skala därefter.
Det är vidare en aspekt av läroma enligt föreliggande ansökan att lösa de problem som listats ovan genom att tillhandahålla datorläsbart medium innefattande instruktioner som när de laddas i och exekveras av en styrenhet, såsom en processor, i en beräkningsenhet medför exekvering av en metod i enlighet med läroma häri.
Uppfinnarna till föreliggande uppfinning har, efter kreativt/sinnrikt och insiktsfullt resonemang, insett att genom anpassning av en skalning i enlighet med en avståndsändring är en användare kapabel till att på ett enkelt och intuitivt sätt tillhanda- hålla (styr-) inmatning med en högre noggrannhet på ett icke-linjärt sätt och därigenom tillhandahålla den högre noggrannheten utan att begära att användaren flyttar objektet som ska spåras stora avstånd, vilket kan vara besvärligt eller omöjligt.
Läroma häri finner användning i styrsystem för enheter med användar- gränssnitt såsom mobiltelefoner, smarttelefoner, pekplattor, datorer (bärbara och sta- tionära), spelkonsoler och media- och andra inforrnationsanordningar.
Andra särdrag och fördelar hos de beskrivna utföringsformerna kommer att framgå av den följande detaljerade beskrivningen, av de bifogade osjälvständiga patentkraven liksom av ritningama. Generellt skall alla termer som används i patent- kraven tolkas i enlighet med deras vanliga betydelse inom det tekniska området, om inte annat uttryckligen anges häri. 10 15 20 25 30 536 902 Alla hänvisningar till ”ett/en/det/den [elementet, anordningen, komponent- en, organet, steget, etc.]” skall tolkas öppet som hänvisningar till åtminstone ett exempel av elementet, anordningen, komponenten, organet eller steget etc., om inget annat uttryckligen anges. Stegen i de olika metoderna som beskrivs häri behöver inte uttryckligen utföras i exakt den ordning som beskrivs, såvida detta inte uttryckligen anges.
KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer att beskrivas mer i detalj under hänvisning till de bifogade ritningama, där: F igurema IA, IB och IC vardera visar en schematisk vy av en dator- anordning i enlighet med läroma häri; Figur 2 visar en schematisk vy av komponentema hos en datoranordning enligt läroma häri; Figur 3 visar en schematisk vy av ett datorläsbart minne i enlighet med läroma häri; Figurema 4A, 4B och 4C visar vardera en exempelutföringsforrn enligt läroma häri; Figurer 5A och SB visar vardera en schematisk vy över förhållandet mellan en detekterad rörelse för ett spårat objekt och en resulterande rörelse för en markör i enlighet med en exempelutföringsforrn i enlighet med läroma häri; and Figur 6 visar ett flödesschema som illustrerar en allmän metod i enlighet med en utföringsonn av läroma häri.
DETALJERAD BESKRIVNING De beskrivna utföringsformerna kommer nu att beskrivas mer ingående med hänvisning till de bifogade ritningama, på vilka vissa utföringsforrner av uppfinn- ingen visas. Denna uppfinning kan emellertid utföras i många olika förmer och bör inte tokas såsom begränsad till utföringsformerna som anges häri, utan dessa utförings- former tillhandahålls som exempel för att denna beskrivning skall vara noggrann och 10 15 20 25 30 536 902 fullständig och till fullo förmedla ramen för uppfinningen för fackrnärmen inom tekniken. Samma nummer hänvisar genomgående samma element.
Figur 1 visar allmänt en datoranordning 100 i enlighet med en utför- ingsforrn häri. I en utföringsforrn är datoranordningen 100 konfigurerad för nätverks- kommunikation, antingen trådlös eller trådbunden. Exempel på en datoranordning 100 är: en persondator, bordsdator eller bärbar dator, en surfplatta, en mobil kommunika- tionsterrninal såsom en mobiltelefon, en smarttelefon, en personlig digital assistent och en spelkonsol. Tre utföringsforrner kommer att exemplifieras och beskrivas såsom varande en smarttelefon i figur 1A, en bärbar dator i figur IB och en mediaenhet 100 i figur IC. En mediaenhet anses vara en datoranordning inom ramen för denna ansökan med avseende på att den är konfigurerad att ta emot digitalt innehåll, behandla eller beräkna innehållet och presentera det resulterande eller beräknade medierna, såsom bild(er) och eller ljud.
Med hänvisning till figur 1A innefattar en smarttelefon 100 ett hölje 110, i vilket en skärm 120 är anordnad. I en utföringsform är skärmen 120 en pekskärm. I andra utföringsformer är skärmen 120 en icke-pekskärm. Smarttelefonen 100 innefattar vidare två knappar l30a, l30b. I denna utföringsform finns två knappar 130, men valfritt antal knappar är möjligt och beror på utfornmingen av smarttelefonen 100. I en utföringsform är smarttelefonen 100 konfigurerad att visa och driva en virtuell knapp 135 på pekskärmen 120. Det skall noteras att antalet virtuella knappar 135 beror på utfommingen av smarttelefonen 100 och en applikation som exekveras på smart- telefonen 100. Smarttelefonen 100 är också utrustad med en kamera 160. Kameran 160 är en digitalkamera som är anordnad att ta video- eller stillbilder genom att spela i bilder på en elektronisk bildsensor (ej visad). I en utföringsforrn är kameran 160 en extem kamera. I en utföringsfonn är kameran som en möjlighet ersatt av en källa som tillhandahåller en bildström.
Med hänvisning till figur IB innefattar en bärbar dator 100 en skärm 120 och ett hölje 110. Höljet innefattar en styrenhet CPU (ej visad) och en eller flera datorläsbara lagringsmedier (ej visade), såsom en lagringsenhet och internt minne.
Exempel på lagringsenheter är skivenheter eller hårddiskar. Den bärbara datorn 100 innefattar vidare åtminstone en dataport. Dataportar kan vara trådbundna och/eller 10 15 20 25 30 536 902 trådlösa. Exempel på dataportar är USB- (Universal Serial Bus) portar, Ethemet-portar eller WiFi- (enligt IEEE-standard 802.11) portar. Dataportar är konfigurerade för att göra det möjligt för en bärbar dator 100 att anslutas till andra datoranordningar eller en server.
Den bärbara datorn 100 innefattar vidare åtminstone en inmatningsenhet såsom ett tangentbord 130. Andra exempel på inmatningsenheter är datormöss, pekplattor, pekskärmar eller joysticks för att nämna några.
Den bärbara datorn 100 är vidare utrustad med en kamera 160. Kameran 160 är en digitalkamera som är anordnad att ta video- eller stillbilder genom att spela i bilder på en elektronisk bildsensor (ej visad). I en utíöringsform är kameran 160 en extern kamera. I en utföringsforrn är kameran som en möjlighet ersatt av en källa som tillhandahåller en bildström.
Med hänvisning till figur IC innefattar en mediaenhet, såsom en TV- apparat, TV, 100 en skärm 120 och ett hölje 110. Höljet innefattar en styrenhet eller CPU (ej visad) och en eller flera datorläsbara lagringsmedier (ej visade), såsom lagringsenheter och internt minne, för lagring av användarinställningar och styr- mjukvara. Datoranordningen 100 kan vidare innefatta åtminstone en dataport (ej visad).
Dataportar kan vara trådbundna och/eller trådlösa. Exempel på dataportar är USB- (Universal Serial Bus) portar, Ethemet-portar eller WiFi- (enligt IEEE-standard 802.11) portar. Sådana dataportar är konfigurerade för att göra det möjligt för TV:n 100 att anslutas till ett externt lagringsmedium, såsom en UBS-sticka, eller att anslutas till andra datoranordningar eller en server.
TV:n 100 kan vidare innefatta en inmatningsenhet såsom åtminstone en knapp 130 eller en fjärrkontroll 130b för manövrering av TV:n 100.
TV:n är vidare utrustad med en kamera 160. Kameran 160 är en digitalkamera som är anordnad att ta video- eller stillbilder genom att spela i bilder på en elektronisk sensor (ej visad). I en utföringsform är kameran 160 en extem kamera. I en utföringsform är kameran som en möjlighet ersatt av en källa som tillhandahåller en bildström.
Figur 2 visar en schematisk vy av den allmänna strukturen av en anordning i enlighet med figur 1. Anordningen 100 innefattar en styrenhet 210 som är 10 15 20 25 30 536 902 ansvarig fór den totala driften av datoranordningen 200 och som företrädesvis är implementerad av valfri kommersiellt tillgänglig CPU (”Central Processing Unit” eller centralprocessor), DSP (”Digital Signal Processor” eller signalprocessor) eller valfri annan elektronisk programmerbar logisk anordning. Styrenheten 210 är konfigurerad att läsa instruktioner från minnet 240 och exekvera dessa instruktioner att styra driften av datoranordningen 100. Minnet 240 kan implementeras under användande av valfri allmänt känd teknik fór datorläsbara minnen såsom ROM, RAM, SRAM, DRAM, CMOS, FLASH, DDR, SDRAM eller någon annan minnesteknik. Minnet 240 används fór olika ändamål av styrenheten 210, varav ett av dem är fór att lagra applikationsdata och programinstruktioner 250 fór olika mjukvarumoduler i datoranordningen 200.
Mjukvarumodulema omfattar ett realtidsoperativsystem, drivrutiner för ett användar- gränssnitt 220, en applikationshanterare liksom olika applikationer 250.
Datoranordningen 200 innefattar vidare ett användargränssnitt 220, vilket i datoranordningen i figurerna lA, lB och 1C består av skärmen 120 och knapparna 130, 1 3 5.
Datoranordningen 200 kan vidare innefatta ett radiofrekvensgränssnitt 230, vilket är anpassat att tillåta datoranordningen att kommunicera med andra anord- ningar via ett radiofrekvensband genom användningen av olika radiofrekvensteknologi- er. Exempel på sådana teknologier är IEEE 802.11, IEEE 802.15, ZígBee, Wireless- HART, WIFI, Bluetooth®, W-CDMA/HSPA, GSM, UTRAN och LTE för att nämna några.
Datoranordningen 200 i vidare utrustad med en kamera 260. Kameran 260 är en digitalkamera som är anordnad att ta video- och stillbilder genom att spela i bilder på en elektronisk bildsensor (ej visad).
Kameran 260 är operativt ansluten till styrenheten 210 fór att fórse styr- enheten med en videoström 265, dvs. serien av fångade/tagna bilder, om möjligt fór vidare behandling för användning i och/eller i enlighet med en eller flera applikationer 250.
I en uttóringsfonn är kameran 260 en extem kamera eller källa till/fór en bildström. 10 15 20 25 30 536 902 Hänvisningar till 'datorläsbara lagringsmedium°, 'datorprogramproduktfl ”reellt/påtagligt/konkret utförmat datorprogram' etc. eller ”styrenhetfi ”datorfl ”process- or” etc. skall förstås omfatta inte enbart datorer med olika arkitekturer såsom enkel- /multiprocessorarkitekturer och sekventiella (Von Neumann)/parallella arkitekturer utan också specialiserade kretsar såsom fältprogrammerbara grindmatriser (FPGA), applikationsspecifika kretsar (ASIC), signalbehandlingsanordningar och andra anord- ningar. Hänvisningar till datorprogram, instruktioner, kod etc. skall förstås omfatta mjukvara för en prograrnmerbar processor eller hård mjukvara/inbyggt program såsom, exempelvis, det programmerbara innehållet hos en hårdvamanordning, huruvida instruktioner för en processor, eller konfigurationsinställningar för en fast-funktions- anordning, grindmatris eller programmerbar logikanordning etc.
Figur 3 visar en schematisk vy av ett datorläsbart medium såsom beskrivits ovan. Det datorläsbara mediet 30 är en magnetisk datalagringsskiva.
Dataskivan 30 är konfigurerad att bära instruktioner 31 som när laddade i en styrenhet, såsom en processor, exekverar en metod eller procedur/förfarande i enlighet med utföringsfonnen som beskrivs ovan. Dataskivan 30 är anordnad att anslutas till eller inom och läsas av en läsanordning/utläsningsanordning 32, för inmatning av instruk- tionema i styrenheten. Ett exempel på en läsanordning 32 i kombination med en (eller flera) dataskiva (dataskivor) 30 är en hårddisk. Det skall noteras att det datorläsbara mediet även kan vara andra medier såsom kompaktdiskar, digitala videodiskar, flashminnen eller andra, ofta använda minnesteknologier.
Instruktionema 31 kan också laddas ner till en anordning som läser datoruppgifter 34, såsom en bärbar dator eller annan anordning i stånd att läsa datorkodad data på ett datorläsbart medium genom att innefatta instruktionerna 31 i en datorläsbar signal 33 som överförs via ett trådlöst (eller trådbundet) gränssnitt (exempelvis via intemet) till anordningen som läser datauppgifter 34 för inmatning av instruktionema 31 i en styrenhet. I en dylik utföringsforrn är den datorläsbara signalen 33 en typ av ett datorläsbart medium 30.
Instruktionema kan lagras i ett minne (ej explicit visat i figur 3, men betecknat 240 i figur 2) hos den bärbara datom 34. 10 15 20 25 30 536 902 Hänvisningar till datorprogram, instruktioner, kod etc. skall förstås att omfatta mjukvara för en programmerbar processor eller hård mjukvara/inbyggt program såsom exempelvis det programmerbara innehållet hos en hårdvaruanordning, huruvida instruktioner för en processor, eller konfigurationsinställningar för en fast-funktions- anordning, grindmatris eller programrnerbar logikanordning etc.
Ett förbättrat sätt för att motta inmatningar genom en skalning av inmatningen kommer att beskrivas nedan med hänvisning till bifogade figurer.
Exemplet kommer att illustreras med fokus på de spårade gestema och den resulterande rörelsen som visas på skärmen, men det skall stå klart att behandlingen utförs delvis eller helt och hållet i en datoranordning innefattande en styrenhet som beskrivs häri med hänvisning till figurema 1 och 2 eller förrnås utföras genom att exekvera instruktionema lagrade på ett datorläsbart medium såsom det beskrivs med hänvisning till figur 3.
Figur 4A visar ett exempel av en beräkningsenhet, i detta exempel en bärbar dator 100 såsom den i figur lB, som är anordnad att detektera och spåra ett objekt, i detta exempel en hand H, i en videoström tillhandahållen via en kamera (160).
Hur ett sådant objekt H detekteras och spåras beskrivs i svensk patentansökan SE 1250910-5 och kommer inte att diskuteras i detalj i föreliggande ansökan. För fler detaljer avseende detta hänvisas till nänmda svenska patentansökan. Det skall emellertid noteras att läroma i föreliggande ansökan kan implementeras genom användning av andra spårningssätt än som beskrivs i svensk patentansökan SE 1250910-5.
Den bärbara datom 100 också has en skärm 120 på vilken objekt 135 visas såväl som en markör 136. Det ska noteras att beskrivningen kommer att fokusera på styming av en markör 136, men det ska noteras att läroma häri också kan användas för styrning av ett ritverktyg, ett textinmatningsverktyg eller annat verktyg lämpligt för användning i ett grafiskt användargränssnitt.
I en utföringsforrn är den bärbara datom 100 anordnad att detektera en rörelse av den spårade handen H och omvandla den detekterade rörelsen till en resulterande rörelse för markören 136. Den bärbara datom 100 är anordnad att skala den detekterade rörelsen till en skala lämplig för den resulterande rörelsen. I system enligt känd teknik motsvarar den resulterande rörelsen den detekterade rörelsen och skalan i sådana systems kan sägas vara l:l. 10 15 20 25 30 536 902 Särskilt i beröringsfria användargränssnitt är objektet som ska spåras stort i jämfört med skärmstorlek och särskilt jämfört med objekt som visas på en skärm. Det kan därför vara svårt för en användare att ha exakt styming såsom vid inmatning av detaljerad eller komplicerad grafisk data eller vid manipulering av objekt som visas nära varandra. För att möjliggöra för en mer kontrollerad inmatning är den bärbara datom 100 anordnad att skala inmatningen i enlighet med en skala baserad på avståndet eller avståndsändring mellan ett objekt och skärmen 120 (eller kamera 160). I denna ansökan kommer det inte att göras någon skillnad mellan avståndet mellan skärmen 120 och objektet H och avståndet mellan kameran 160 och objektet H.
In figur 4A handen H is at a första avstånd D1 från skärmen 120 och den bärbara datorn 100 är anordnad att skala imnatningen som tagits emotgenom den spårade handen H vid en första skala. Den första skalan kan vara 1:1. Den första skalan kan vara en startskala som används oavsett av vilket avstånd objektet H detekteras på.
I figur 4B har handen H flyttats och är nu på ett andra avstånd D2 från skärmen 120 och den bärbara datom 100 är anordnad att detektera ändringen i avstånd (D2-Dl) och anpassa skalningen därefter och därigenom skala inmatningen som tas emot från den spårade handen H enligt en skala. Denna första skala kan vara 1:2.
Figurerna 4A och 4B illustrerar skalningen schematiskt. Handen H utför en gest G1 i figur 4A vilken resulterar i en markörrörelse M1. I figur 4B utför handen H en större gest G2 (större vinkelavstånd än G1) som resulterar i en mindre markörrörelse M2. Den detekterade rörelsen har därigenom skalats till att öka noggrannheten av styrinmatningen.
Den bärbara datom 100 kan vara anordnad att detektera en avståndsändring genom att bestämma att ett objekt H hör ökat/minskat sin storlek. Altemativt kan den bärbara datom 100 vara anordnad att detektera en avståndsändring genom detektering av en rörelse av den spårade handen H i en riktning vinkelrät mot kamerans160 plan eller skärrnens 120 plan. Detalj er om hur sådan rörelse kan detekteras är visade i den svenska patentansökan SE 1250910-5 och kommer inte att diskuteras i vidare detalj i denna ansökan. För ytterligare detaljer om detta, vänligen vänd er till den närrmda svenska patentansökan. Det ska dock påpekas att läroma häri också kan implementeras 10 15 20 25 30 536 902 genom andra sätt att detektera avståndsändringar än de sätt som beskrivs i den svenska patentansökan SE 1250910-5.
Såsom kommer att visas med hänvisning till figurema 5A och SB kan de detekterade rörelserna inte mätas i absoluta avstånd, utan snarare i vinkelavstånd.
Den bärbara datorn 100 kommer därigenom att dividera en detekterad rörelse med en faktor två när den detekterade rörelsen omvandlas till den resulterande rörelsen.
Detta kräver att en användare flyttar sin hand (eller annat objekt att spåras) H det dubbla avståndet för att åstadkomma samma resulterande rörelse för markören 136. Detta kompenserar för den jämförelsevis stora storleken hos objektet som ska spåras H och möjliggör för en mer precis inmatning i det att det är lättare att utföra komplicerade gester i stor skala.
Figur 5A visar en schematisk vy enligt känd teknik av ett objekt att spåras, såsom en hand H och en resulterande markör 536 som visas i ett skärmplan 510. Det ska noteras att skärmplanet 510 inte är planet för skärmen 120, utan ett virtuellt plan inom planet i skärmen vari objekt visas. Skärmplanet används till att bestämma perspektiv och liknande visuella effekter. Ett kameraplan 520 visas också schematiskt i figur 5A.
Kameraplanet 520 är inte planet för kameran, utan ett virtuellt plan som motsvarar positionen för en bildsensorenhet mad hänseende på objektet att spåras och den resulterande markören som ska visas för att illustrera avhängigheten mellan ett spårat obj ekts rörelse och den resulterande rörelsen för markören 136. Utbredningen av rörelserna visas med streckade linjer. Som kan ses, är rörelsema som krävs av det spårade objektet för en resulterande rörelse proportionell mot avståndet från karneraplanet 520. Ju längre bort från karneraplanet 520 handen H är, desto längre behöver den flyttas för att resultera i samma resulterande rörelse för markören 510.
Detta på grund av att handen H spåras genom vinkelavstånd, inte absoluta avstånd.
Figur SB visar en schematisk vy i enlighet med en utföringsforrn av lärorna häri för hur ett objekt att spåras, såsom en hand H, och en resulterande markör 536 som visas i ett skärmplan 510. Som kan ses ökar rörelsen som krävs av handen H för en specifik resulterande rörelse för markören 136 beroende på avståndet icke-linjärt. Detta visar skalbarheten av inmatningen i det att en store vinkelrörelsekrävs för att resultera i 10 10 15 20 25 30 536 902 samma inmatning. I exemplet i figur SB är skalbarheten stegvis, men kan också vara kontinuerlig.
Det ska noteras att beskrivningen är fokuserad på vinkelavstånds, men läroma häri kan också appliceras på ett spårsystem anordnat att detektera ett absolut avstånd.
Med hänvisning till figur 4C, den bärbara datorn 100 kan också eller altemativt vara anordnad att visa en förstorad del av ett objekt 135 intill markören 136 eller i det allmärma området invid eller omkring markören 136. I figur 4C visas ett så kallat popup-fönster 137 som visar förstorad version av texten i det underliggande fönstret 1 3 5.
Genom att tillhandahålla en förstorad version av det underliggande innehållet möjliggörs det att en användare kan utföre en noggrannare styrinrnatning.
I en utföringsform är tillhandahållandet av en förstorad vy 137 kombinerat med skalningen av den detekterade rörelsen och ingår sålunda i skalningen.
I en utföringsform utgör tillhandahållandet av en förstorad vy 137 skalningen och zoom-faktom för den förstorade vyn motsvarar skalningsfaktom.
Tillhandahållandet av den förstorade vyn är inte bara en zoomåtgärd eftersom den också ändrar skalan för omvandling från detekterad rörelse till resulterande rörelse.
Det ska noteras att även om skalningen har visats såsom att vara stegvis och beroende på en avståndsändring ska det noteras att läroma häri inte ska läsas som att vara begränsade till detektering av tröskelavstånd, utan kan användas i kombination med detektering av godtycklig avståndsändring.
Också skalningen kan vara åstadkommen så att en avståndsändring resulterar i en förbestämd ökning av skalningen. i I en utföringsform är avståndsändringen särskiljd från avståndsändringar resulterande från normala användarrörelser (de flesta användare kommer omedvetet variera avståndet till skärmen 120 när en gest utförs) genom att kräva att avstånds- ändringen är avsevärd till exempel med avseende på till exempel storleksändring för det spårade objektet, tiden för rörelsen i en riktning från skärm 120 för att nämna ett fåtal möjligheter.
I en utföringsform beror skalningen dessutom på användaren. Detta möjliggör för en användare att ha en specifik skala, som kanske kräver mycket precisa rörelser, 11 10 15 20 25 30 536 902 emedan en annan användare kan ha en arman skala, som kanske tillåter oprecisa, men större, rörelser. Detta möjliggör för systemet att anpassas efter erfarenheten hos och förmågan hos användare.
I en utföringsform beror skalningen på verktyget eller markören 136 som används eller vilken applikation som för tillfället används. Till exempel: ett pennverk- tyg i ett ritprogram kan ha en skalinställning, emedan ett sprejburksverktyg ej behöver vara inställd för en mer precis och noggrarm inmatning såsom lärs ut här. Detta imple- menterar den skillnad som föreligger i den riktiga världen mellan dessa två verktyg i det att en penna är mer precis än en prejburk.
I en utföringsform är styrenheten dessutom anordnad att detektera och spåra ett andra objekt. Detta andra objekt kan också vara en hand. I en utföringsform är styr- enheten anordnad att motta inmatning från den första handen och basera en inmatnings- skala på inmatningen från den forsta handen, och till att motta inmatning från den andra handen som styrinmatning, möjligtvis begränsad till ett plane parallellt med skärmplan- et. Detta möjliggör íör en användare att, till exempel, styra en markör med en hand (X,Y) och till att styra skalan (Z) med den andra handen.
Den bärbara datom 100 sålunda anordnad att, utöver att detektera och spåra det första objektet H via en videoström 265 so tillhandahålls genom en kamera 160, 260, också detektera och spåra ett andra objekt, detektera en rörelse G1, G2 av objektet H och detektera en rörelse av det andra objekt, omvandla nämnda rörelse av andra objektet till en resulterande rörelse M1, M2 av en markör 136 baserat på en skala, detektera en ändring i avstånd till det första objektet H baserat på den detekterade rörelsen G1, G2 av den första handen H och anpassa nämnda skala därefter.
Figur 6 visar ett flödesschema för en allmän metod i enlighet med läroma häri.
En beräkningsenhet detekterar och spårar 610 ett objekt, såsom en hand. En rörelse av handen detekteras 520 och omvandlas 530 till en resulterande rörelse för en markör baserat på en skala. Beräkningsenheten detekterar en ändring i avstånd 540 och som svar därtill anpassas skalan 550 till att möjliggöra för en mer precis inrnatning.
Läroma häri ger fördelen att en mer noggrann och söker inmatning åstad- kommes. 12 10 536 902 En annan fördel ligger i det att en användare förses med ett intuitivt sätt att justera precisionen för sin inmatning baserat på hans rörelser och beräkningsenhetens känslighet.
En ytterligare fördel ligger i det att en användare möjliggörs att använda en användarrymd som är större än rymden framför skärmen, vilket ökar enheternas användbarhet.
Uppfinningen har i huvudsak beskrivits ovan med hänvisning till ett fåtal utíöringsformer. Det är emellertid lätt för en fackman inom området att inse att andra uttöringsformer och de som beskrivits ovan likaså är möjliga inom ramen för uppfinningen såsom den definieras och de bifogade patentkraven. 13

Claims (11)

10 15 20 25 30 536 902 PATENTKRAV
1. En beräkningsenhet (100, 200) innefattande en skärm (120) och en styrenhet (210), varvid nämnda styrenheten (210) är anordnad att: detektera och spåra ett objekt (H) via en videoström (265) tillhandahållen av en kamera (160, 260); detektera en rörelse (G1, G2) för objektet (H), omvandla nämnda rörelse (Gl , G2) för objektet till en resulterande rörelse (M1, M2) för en markör (136) baserat på en skala, varvid nämnda beräkningsenhet (100, 200) kännetecknas av att nämnda skala indikerar ett rörelseländsberoende, såsom en kvot, mellan den resulterande rörelsen och den detekterade rörelsen, detektera en ändring i avstånd till objektet (H), och anpassa nämnda skala därefter för att öka noggrannheten för markörrörelsen.
2. Beräkningsenheten (100, 200) i enlighet med krav 1, varvid nämnda styrenhet (210) dessutom är anordnad att anpassa nämnda skala från en första skala till en andra skala, varvid den första skalan är en startskala.
3. Beräkningsenheten (100, 200) i enlighet med krav 1 eller 2, varvid nämnda styrenhet (210) dessutom är anordnad att visa en förstorad del av ett objekt (135) invid markören (136) eller av ett allmänt område invid eller omkring markören (136).
4. Beräkningsenheten (100, 200) i enlighet med krav 3, varvid nämnda visning av nämnda íörstorade vy (137) ingår i skalningen av den detekterade rörelsen.
5. Beräkningsenheten (100, 200) i enlighet med krav 3, varvid nämnda visning av nämnda lörstorade vy (137) utgör skalningen och zoom-faktom för den förstorade vyn motsvarar skalningsfaktom. 14 10 15 20 25 30 536 902
6. Beräkningsenheten (100, 200) i enlighet med något föregående krav, varvid nämnda styrenhet (210) dessutom är anordnad att anpassa nämnda skala kontinuerligt.
7. Beräkningsenheten (100, 200) i enlighet med något av kraven 1 till 5, varvid nämnda styrenhet (210) dessutom är anordnad att anpassa nämnda skala stegvis.
8. Beräkningsenheten (100, 200) i enlighet med något föregående krav, varvid nämnda styrenhet (210) dessutom är anordnad att detektera en avståndsändring genom detektering av en rörelse i en riktning vinkelrät mot skärmens (120) plan.
9. Beräkningsenheten (100, 200) i enlighet med något föregående krav, varvid närrmda styrenhet (210) dessutom är anordnad att: utöver att detektera och spåra det första objektet (H) via en videoström (265) som tillhandahålles av en karnera (160, 260), också detektera och spåra ett andra objekt; detektera en rörelse (Gl , G2) av objektet (H) och detektera av rörelse av det andra objektet; omvandla nämnda rörelse av andra objektet till en resulterande rörelse (M1, M2) av en markör (136) baserat på en skala; detektera en ändring i avstånd till det första objektet (H) baserat på den detekterade rörelsen (G1, G2) av den första handen (H); och anpassa nämnda skala därefter.
10. En metod för användning i en beräkningsenhet (100, 200) innefattande en skärm (120), nämnda metod innefattar: detektering och spårning av ett objekt (H) via en videoström (265) tillhanda- hållen av en kamera (160, 260); detektering av en rörelse (G1, G2) av objektet (H); omvandling av nämnda rörelse (G1, G2) av objektet (H) till en resulterande rörelse (M1, M2) för en markör (136) baserat på en skala, van/id metoden kännetecknas av att 15 10 536 902 nämnda skala indikerar ett rörelseländsberoende, såsom en kvot, mellan den resulterande rörelsen och den detekterade rörelsen; detektering av en ändring i avstånd till objektet (H); och anpassning av nämnda skala därefter för att öka noggrannheten för markörrörelsen.
11. ll. Datorläsbart lagringsmedium (40) kodat med instruktioner (41) som, när laddade och exekverade på en processor, föranleder metoden enligt krav 10 att utföras. 16
SE1350066A 2013-01-22 2013-01-22 Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt SE536902C2 (sv)

Priority Applications (5)

Application Number Priority Date Filing Date Title
SE1350066A SE536902C2 (sv) 2013-01-22 2013-01-22 Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt
CN201480005334.6A CN105027032A (zh) 2013-01-22 2014-01-22 来自受追踪对象的可伸缩输入
PCT/SE2014/050069 WO2014116166A1 (en) 2013-01-22 2014-01-22 Scalable input from tracked object
US14/761,663 US20150363003A1 (en) 2013-01-22 2014-01-22 Scalable input from tracked object
EP14742976.5A EP2948832A4 (en) 2013-01-22 2014-01-22 ADVANCED INPUT FROM AN OBJECT FOLLOWED

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE1350066A SE536902C2 (sv) 2013-01-22 2013-01-22 Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt

Publications (2)

Publication Number Publication Date
SE1350066A1 SE1350066A1 (sv) 2014-07-23
SE536902C2 true SE536902C2 (sv) 2014-10-21

Family

ID=51227855

Family Applications (1)

Application Number Title Priority Date Filing Date
SE1350066A SE536902C2 (sv) 2013-01-22 2013-01-22 Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt

Country Status (5)

Country Link
US (1) US20150363003A1 (sv)
EP (1) EP2948832A4 (sv)
CN (1) CN105027032A (sv)
SE (1) SE536902C2 (sv)
WO (1) WO2014116166A1 (sv)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE537579C2 (sv) * 2013-04-11 2015-06-30 Crunchfish Ab Bärbar enhet nyttjandes en passiv sensor för initiering av beröringsfri geststyrning
WO2015022498A1 (en) * 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
US10083356B2 (en) 2014-05-21 2018-09-25 Tangible Play, Inc. Virtualization of tangible interface objects
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
CN105744158B (zh) * 2016-02-03 2019-01-08 广东欧珀移动通信有限公司 视频图像显示的方法、装置及移动终端
US10854001B2 (en) 2017-12-26 2020-12-01 Tangible Play, Inc. Tangible object virtualization station
JP2020140373A (ja) * 2019-02-27 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 電子機器
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
CN112672093A (zh) * 2020-12-23 2021-04-16 北京市商汤科技开发有限公司 视频显示方法、装置、电子设备及计算机存储介质
CN113138663A (zh) * 2021-03-29 2021-07-20 北京小米移动软件有限公司 设备调节方法、设备调节装置、电子设备及存储介质
CN116132640A (zh) * 2021-11-12 2023-05-16 成都极米科技股份有限公司 投影画面调整方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
KR20120119440A (ko) * 2011-04-21 2012-10-31 삼성전자주식회사 전자기기에서 사용자의 제스처를 인식하는 방법
US20120326966A1 (en) * 2011-06-21 2012-12-27 Qualcomm Incorporated Gesture-controlled technique to expand interaction radius in computer vision applications
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof

Also Published As

Publication number Publication date
SE1350066A1 (sv) 2014-07-23
EP2948832A4 (en) 2016-12-28
US20150363003A1 (en) 2015-12-17
CN105027032A (zh) 2015-11-04
WO2014116166A1 (en) 2014-07-31
EP2948832A1 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
SE536902C2 (sv) Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt
JP6547039B2 (ja) 着用可能電子機器のための竜頭入力
KR102230630B1 (ko) 빠른 제스처 재접속
US8941587B2 (en) Method and device for gesture recognition diagnostics for device orientation
US20160004373A1 (en) Method for providing auxiliary information and touch control display apparatus using the same
US9201500B2 (en) Multi-modal touch screen emulator
US20150186004A1 (en) Multimode gesture processing
US8830192B2 (en) Computing device for performing functions of multi-touch finger gesture and method of the same
JP2014075053A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
US20130249950A1 (en) Hand gestures with the non-dominant hand
US20140267049A1 (en) Layered and split keyboard for full 3d interaction on mobile devices
KR20160132994A (ko) 디스플레이 센서 및 베젤 센서에 대한 도전성 트레이스 라우팅
CN103412720A (zh) 处理触控式输入信号的方法及其装置
SE1450769A1 (sv) Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
KR102039688B1 (ko) 사용자 기기 및 그 동작 방법
US9891713B2 (en) User input processing method and apparatus using vision sensor
SE536989C2 (sv) Förbättrad återkoppling i ett beröringsfritt användargränssnitt
US20130249807A1 (en) Method and apparatus for three-dimensional image rotation on a touch screen
US20150324025A1 (en) User input device and method thereof
US20190018503A1 (en) Cursor control method and cursor control system
US20150205360A1 (en) Table top gestures for mimicking mouse control
WO2015009276A1 (en) Hands-free assistance
US10552022B2 (en) Display control method, apparatus, and non-transitory computer-readable recording medium
US11481110B2 (en) Gesture buttons
US20150042621A1 (en) Method and apparatus for controlling 3d object