SE520762C2 - Metod och anordning för registrering av elektronisk handskrift - Google Patents

Description

25 30 35 520762 2 punkter längs penndraget. För att ange varje koordinatpar med tillfredsställande upplösning krävs det nominellt ett 16-bitars heltal för X- respektive y-koordinaten. Känd teknik, bl a genom US-A-6 101 280, anvisar emellertid en serie av åtgärder som kan vidtas för att minska det er- forderliga lagringsutrymmet för penndragen.

Genom att inte lagra punkternas koordinater som absolutvärden utan i stället som differens- eller delta- värden relativt närmast föregående punkt, uppnås en av- sevärd datareducering. Härvid räcker det normalt med 8 bitar per relativkoordinat, jämfört med den dubbla stor- leken för absoluta koordinater. Ännu bättre datareducer- ing erhålls genom att tillgripa någon form av prediktion eller extrapolation, exempelvis polynomanpassning, av det förväntade läget för en given punkt baserat på ett antal föregående punkter i följden. Varje punkt kommer härvid att representeras av felet eller avvikelsen mellan dess förväntade läge och dess faktiska läge.

Inför den avslutande lagringen av de registrerade punkternas koordinater är det känt att tillämpa data- komprimerande källkodning - ofta statistisk kodning såsom Huffman-kodning eller aritmetisk kodning - på de enligt ovan relativkodade koordinaterna.

Redan före relativkodningen och den datakomprime- rande källkodningen anvisar emellertid US-A-6 101 280 att många av de registrerade punkterna kan elimineras utan att nämnvärt försämra den visuella kvaliteten då den elektroniska handskriften senare skall återskapas, t ex presenteras på en bildskärm. För detta ändamål vidtas s k omsampling av den registrerade punktföljden. Douglas- Peuckers algoritm används ofta vid omsampling av en dis- kret kurva, exempelvis bestående av en följd av punkter längs ett registrerat penndrag, och går till på följande vis. Ett kurvsegment mellan en första och en andra punkt, vilken år belägen på avstånd från den första punkten, kompletteras försöksvis med en rät linje mellan den för- sta och andra punkten. Om det maximala avståndet mellan l0 l5 20 25 30 35 520762 3 denna linje och någon punkt på kurvsegmentet understiger ett gränsvärde, ersätts kurvsegmentet med den räta lin- jen. En rät linje kan representeras med betydligt mindre data än ett kurvsegment, varigenom besparingen i lag- ringsutrymme är uppenbar. Om det maximala avståndet å andra sidan överskrider gränsvärdet, bildas en första kortare linje mellan den första punkten och en mittpunkt på kurvsegmentet samt en andra kortare linje mellan denna mittpunkt och den andra punkten, varvid ovanstående för- farande upprepas rekursivt på dessa kortare linjer. Efter avslutad omsampling sparas bara de punkter som inte har ersatts av en linje. Kurvsegmentet representeras således av dessa efter omsampling kvarvarande punkter. Även om omsamplingsförfarandet i US-A-6 101 280 är fullt kapabelt till påtaglig datareducering, är det allt- jämt förknippat med vissa nackdelar. Eftersom omsamp- lingen sker först när ett helt penndrag, från s k pen- down till s k pen-up, har matats in av användaren, kan det ofta vara fråga om långa punktföljder och alltså stora koordinatdatamängder, som ska behandlas i ett och samma moment under omsamplingen. Att lagra och bearbeta stora koordinatdatamängder kräver givetvis att det till- gängliga arbetsminnet är tillräckligt stort. Det år dock långt ifrån alltid så att en elektronisk penna eller en liknande bärbar, miniatyriserad handskriftanordning har ett stort arbetsminne; tvärtom innebär de ständiga mark- nadskraven på låg kostnad/liten storlek/låg strömförbruk- (eller dylikt) gränsad lagringskapacitet. För att kunna utföra omsamp- ning att pennans arbetsminne ofta har be- ling också för långa punktföljder (vidsträckta penndrag) krävs således antingen att pennan förses med ett för "worst-case" (över-)dimensionerat arbetsminne, eller att omsampling inte utförs vid alltför långa punktföljder.

Bägge alternativen har uppenbara nackdelar.

En annan mindre bra egenskap hos omsamplingen enligt ovan är att tidsfördröjningar för omsamplingen, den efterföljande punktkoordinatkodningen samt lagringen lO 15 20 25 30 35 520762 4 kan komma att uppstå, exempelvis ifall användaren gör ett uppehåll under ett pågående penndrag utan att göra pen- up. Först när penndraget senare slutförts och pennan lyfts från skrivunderlaget, kan omsamplingen och efter- följande moment komma igång.

Sammanfattning av uppfinningen Uppfinningen har därför som ett övergripande syfte att avhjälpa eller åtminstone lindra ovanstående problem som är förknippade med omsampling av ett digitaliserat penndrag eller en liknande skrivkurva.

Uppfinningen syftar särskilt till att möjliggöra omsampling för långa punktföljder trots begränsat till- gängligt arbetsminne, vilken omsampling dessutom ska ini- tieras och verkställas snabbt, även om uppehåll görs under penndraget.

Dessa syften uppnås närmare bestämt genom en metod, en anordning och en datorprogramprodukt för registrering av elektronisk handskrift enligt bifogade självständiga patentkrav.

En första aspekt av uppfinningen är således en metod vid registrering av elektronisk handskrift, där en handskriftrörelse digitaliseras till en följd av punkter längs en skrivkurva som motsvarar handskriftrörelsen.

Följden av punkter omsamplas genom att eliminera sådana punkter, vilka inte bedöms vara nödvändiga för att senare kunna rekonstruera skrivkurvan med önskad visuell kvali- tet. En omsamplad representation av skrivkurvan bildas av de efter omsamplingen kvarvarande - dvs ej eliminerade - punkterna. Omsamplingen görs på successiva och delvis överlappande delföljder av punkterna, och den omsamplade representationen av skrivkurvan utökas successivt efter omsampling av en respektive delföljd.

Omsamplingen utförs enligt en föredragen utförings- form medelst en algoritm, närmare bestämt Douglas-Peuck- ers algoritm, för polygonapproximation av skrivkurvan, 10 15 20 25 30 35 520762 §ffff¿yï“ 5 varvid kurvsegment mellan tvà pà varandra följande kvar- varande punkter representeras av en rät linje.

Enligt en föredragen utföringsform, där en delföljd omfattar n punkter, överlappningen mellan tvä pà varandra följande delföljder är w punkter samt 1 < w <= n/2, lag- ras en individuell delföljd under omsamplingen av den- samma i en minnesbuffert med plats för n punkter, var- efter de w sista av punkterna i denna individuella del- följd kvarlämnas i minnesbufferten och omfattas av om- samplingen av en närmast efterföljande delföljd. Efter omsamplingen av nämnda individuella delföljd bifogas kvarvarande - dvs ej eliminerade - punkter i minnes- bufferten till den omsamplade representationen av skriv- kurvan, med undantag av kvarvarande punkter bland en del- mängd av nämnda w sista punkter i nämnda individuella delföljd, varvid delmängden består av x punkter, vilka i stället omfattas av omsamplingen av en närmast efter- följande delföljd vad gäller bifogande till den om- samplade representationen av skrivkurvan.

Närmare bestämt innefattar den föredragna ut- föringsformen stegen att: a) fylla minnesbufferten med punkter; b) applicera Douglas-Peuckers algoritm pà punkterna i minnesbufferten, varvid de kvarvarande punkter marke- ras, som inte elimineras av algoritmen; c) làta de markerade punkterna bland punkterna 1 till n-X i minnesbufferten införlivas med den omsamplade representationen av skrivkurvan; d) radera de n-w första punkterna i minnesbuffer- ten; e) placera de återstående w punkterna i början av minnesbufferten; f) så länge punkter finns tillgängliga för omsamp- ling: fl) fylla upp minnesbufferten med n-w nya punkter; 10 l5 20 25 30 35 520762 6 f2) applicera Douglas-Peuckers algoritm på punkterna i minnesbufferten i enlighet med steg b); f3) låta de markerade punkterna bland punkterna w-x till n-x i minnesbufferten införlivas med den omsamplade representationen av skrivkurvan; f4) radera de n-w första punkterna i minnes- bufferten; och f5) placera de återstående w punkterna i början av minnesbufferten; samt g) låta de markerade punkterna bland de resterande punkterna n-x+l till n i minnesbufferten införlivas med den omsamplade representationen av skrivkurvan.

Utgående från den omsamplade representationen av skrivkurvan kan med fördel de kvarvarande punkterna relativkodas samt komprimeras medelst statistisk kodning.

Detta sker med fördel så snart handskriftrörelsen har digitaliserats till ett förutbeståmt antal punkter.

Alternativt kan den omsamplade representationen av skriv- kurvan lagras som en datamängd i ett minne.

Genom att omsamplingen enligt uppfinningen arbetar stegvis med delvis överlappande punktföljder, och genom att resultaten från de individuella omsamplingarna sam- manställs som en gemensam datarepresentation av den regi- strerade och omsamplade följden av punkter, möjliggör man att omsamplingen utnyttjas även i elektroniska pennor (och liknande) med begränsat arbetsminne.

Uppfinningen har vidare en fördel i fråga om snabb- het, eftersom omsamplingen initieras så snart en punkt- koordinatbuffert i arbetsminnet i tillräcklig grad har fyllts med registrerade punkter. Ännu en fördel med uppfinningen är dess förmåga att på ett automatiskt sätt undvika eller minimera artefakter vid s k "knot points" - punkter som representerar en stark krökning av eller hastig riktningsförändring i handskriften, t ex i form av en skarp spets eller en liten ögla med tvär krökning. Sådana punkter är nämligen lO l5 20 25 30 35 520762 7 ofta särskilt viktiga för läsligheten, varför det är önskvärt att undvika att de oavsiktligt elimineras under omsamplingen. "Knot points" hanteras visserligen även i ovan nämnda US-A-6 101 280, men där pà ett resurskrävande vis - man söker explicit fram "knot points" i den registrerade punktföljden redan före omsamplingen och baserar sedan denna pà identifierade "knot points".

Uppfinningen kan slutligen kort sammanfattas som ett nytt och innovativt tillvägagångssätt för att med ett glidande och delvis överlappande fönster omsampla en registrerad punktföljd "on the fly" eller i realtid, dvs i omedelbar anslutning till pågående digitalisering av en handskriftrörelse.

En andra aspekt av uppfinningen är en anordning för registrering av elektronisk handskrift, innefattande digitaliseringsorgan, omsamplingsorgan samt ett minne, varvid nämnda digitaliseringsorgan är anordnat att digi- talisera en handskriftrörelse till en följd av punkter längs en mot handskriftrörelsen svarande skrivkurva samt varvid nämnda omsamplingsorgan är anordnat att i följden av punkter eliminera sådana punkter, vilka inte bedöms vara nödvändiga för att senare kunna rekonstruera skriv- kurvan med önskad visuell kvalitet, och bilda en omsamp- lad representation av skrivkurvan av de efter omsamp- lingen kvarvarande - dvs ej eliminerade - punkterna.

Nämnda omsamplingsorgan är anordnat att utföra elimi- neringen av punkter för successiva och delvis över- lappande delföljder av punkterna, samt att efter omsamp- ling av en respektive delföljd successivt utöka den om- samplade representationen av skrivkurvan.

Anordningens styrenhet kan med fördel vara anordnad att utföra metoden enligt den första aspekten av upp- finningen. Den kan vidare med fördel vara utförd som en elektronisk penna.

En tredje aspekt av uppfinningen är en dator- programprodukt som direkt kan läsas in till ett minne lO l5 20 25 30 35 520762 8 tillhörigt en processor, innefattande programkod för att utföra stegen enligt den första aspekten av uppfinningen.

De andra och tredje aspekterna av uppfinningen har väsentligen samma fördelar som den första aspekten.

Andra syften och fördelar med samt särdrag hos upp- finningen framgår av efterföljande detaljerade redo- görelse för uppfinningen, av bifogade patentkrav samt av ritningarna.

Kort beskrivning av ritningarna Uppfinningen kommer nu att beskrivas närmare med hänvisning till medföljande ritningar.

FIG l är en schematisk översiktsbild av ett system för elektronisk registrering av handskrift enligt en ut- föringsform, innefattande bl a en elektronisk penna samt en server för mottagning av inmatad information fràn pen- nan.

FIG la illustrerar ett exempel pà information - i form av ett handskrivet textstycke pà svenska språket - som kan registreras medelst en elektronisk penna enligt FIG l.

FIG 2 är en schematisk bild av den elektroniska pennan i FIG 1.

FIG 3 är en schematisk bild av ett positions- kodningsmönster, som är applicerat pà skrivunderlagen till den elektroniska pennan i FIG 1.

FIG 4 visar ett blockschema över de i sammanhanget viktigaste komponenterna i den elektroniska pennan enligt FIG l.

FIG 5 visar ett övergripande flödesschema för han- tering av elektronisk handskrift, där föreliggande upp- finning omfattar en omsamplingsfas i denna hantering.

FIG 6 är ett flödesschema över omsamplingen enligt uppfinningen.

FIG 7 och 8 illustrerar schematiskt principen för omsampling av registrerade punkter längs kurvan för en skrivrörelse enligt Douglas-Peuckers algoritm. lO 15 20 25 30 35 520762 9 FIG 9 illustrerar en del av en skrivkurva som inne- håller en "knot point" - dvs en punkt som representerar en stark krökning av eller hastig riktningsförändring i handskriften.

FIG 10 illustrerar hur omsampling enligt den före- dragna utföringsformen utförs på två successiva och del- vis överlappande delföljder av punkter (dvs två delvis överlappande kurvsegment av en skrivkurva).

Detaljerad redogörelse för uppfinningen Inledningsvis ges en övergripande orientering av uppfinningens olika beståndsdelar. Senare följer en in- gående skildring av de för uppfinningen centrala aspek- terna.

* * * Ett system för elektronisk registrering av hand- skrift visas i FIG 1. I systemet utnyttjas en elektronisk penna 10, vilken kommer att beskrivas närmare med hänvis- ning till FIG 2. Då användaren för pennan lO i önskade pennrörelser l över ett skrivunderlag 2, registreras pennrörelserna som ett flertal digitala penndrag, vilka kan lagras lokalt i pennan i väntan på senare överföring till en server 3 via en trådlös kommunikationslänk 4. För att möjliggöra denna registrering är skrivunderlaget 2 försett med ett positionskodningsmönster 20, vilket kommer att beskrivas närmare med hänvisning till FIG 3.

En möjlig tillämpning, bland ett otal andra, är att den genom pennrörelserna 1 inmatade handskriften i form av ett bildobjekt av någon förekommande typ (t ex JPEG, GIF, SVG, PNG eller TIFF) infogas i eller bifogas ett e-post- meddelande, som via ett globalt nätverk (WAN - "Wide Area Network", t ex Internet) överförs till en av pennans an- vändare angiven mottagare. En annan tillämpning kan vara att den inmatade handskriften blir föremål för datorise- rad texttolkning (ICR - "Intelligent Character Recogni- tion"), i servern 3 eller i någon annan dator. En enklare lO l5 20 25 30 35 520762 10 tillämpning är att handskriften helt enkelt skall presen- teras på serverns 3 bildskärm.

Oavsett tillämpning mellanlagras som regel den av pennan 10 registrerade handskriften i pennan, innan den vid ett givet tillfälle överförs till servern 3.

Med hänvisning till FIG 2 ges i det följande en kort beskrivning av de allmänna beståndsdelarna i den elektroniska pennan 10. En fullständigare beskrivning av pennan 10 ges i WO Ol/16691, WO Ol/26032 och WO Ol/26033, vilka i sin helhet införlivas häri genom hänvisning.

Den elektroniska pennan 10 har ett hölje eller en pennkropp ll, som har ungefär samma utformning som höljet på en konventionell markeringspenna. Den ena kortsidan på höljet har ett fönster 12, genom vilket bilder registre- ras. I huvudsak innefattar höljet 11 en optikdel, en elektronikdel och en strömkälla.

Optikdelen innefattar åtminstone en belysande ljus- källa 13, ett linssystem (ej visat i figuren) och en op» tisk bildläsare 14. Ljuskällan 13, lämpligen en lysdiod, har till uppgift att medelst företrädesvis infrarött ljus eller alternativt ljus av annan våglängd belysa en del av underlaget 2, som ligger inom synhåll från fönstret 12.

Underlaget 2 är försett med positionskodningsmönstret 20.

Genom linssystemet kommer en bild av underlaget 2 att projiceras på bildläsaren 14.

Strömkällan till sensoranordningen 10 är med fördel ett batteri 15, vilket alternativt kan ersättas med eller kompletteras av nätström (ej visat).

Elektronikdelen 16 innefattar en styrenhet 16a med ett därmed förbundet lagringsorgan 16b. Styrenheten l6a är ansvarig för de olika funktionerna i den elektroniska pennan 10 och kan med fördel implementeras av en kommer- siellt tillgänglig mikroprocessor såsom en CPU ("Central Processing Unit" - centralprocessor), av en DSP ("Digital Signal Processor" - digital signalprocessor) eller av en annan programmerbar logisk anordning såsom en FPGA, eller alternativt som en ASIC ("Application-Specific Integrated lO 15 20 25 30 35 520762 ll Circuit" - tillämpningsspecifik integrerad krets), som diskreta analoga och digitala komponenter, eller som någon kombination av ovanstående.

En konventionell pennspets 17 är anordnad på höljet ll. Medelst pennspetsen 17 kan användaren skriva eller skissa fysiskt på underlaget 2 genom att en vanlig pig- mentbaserad markeringsvätska avsätts på ytan. Markerings- vätskan i pennspetsen 17 är lämpligen transparent för infrarött ljus för att undvika interferens med den opto- elektroniska detektionen i den elektroniska pennan 10.

Elektronikdelen innefattar därutöver en kombinerad sändare och mottagare 18 för att sända information till eller från en fjärrbelägen apparat, såsom en dator eller mobiltelefon, men framförallt för informationsöverföring till servern 3. Den kombinerade sändaren och mottagaren 18 är med fördel anpassad för radiokommunikation på kort- distans i enlighet med Bluetooth-standarden vid 2,4 GHz i ISM-frekvensbandet cal”).

(”Industrial, Scientific and Medi- Den kombinerade sändaren och mottagaren kan emel- lertid alternativt vara anpassad för infraröd kommunika- tion, såsom IrDA (”Infrared Data Association”), eller för kabelbaserad kommunikation (såsom USB eller RS232), eller väsentligen för vilken annan tillgänglig standard som helst för kommunikation över korta avstånd mellan en handburen anordning och en fjärrbelägen anordning. Även om informationsöverföringen i den föredragna utföringsformen sker direkt mellan pennan 10 och servern 3, skall det noteras att detta lika gärna kan ske via en mellanliggande anordning, t ex en mobiltelefon, en hand- dator eller en bärbar persondator. I sådant fall förses den mellanliggande anordningen med en kombinerad sändar- e/mottagare motsvarande sändaren/mottagaren 18 i pennan 10, varvid information kan överföras från pennan till den mellanliggande anordningen. Den sistnämnda förses vidare med lämpligt gränssnitt för kommunikation med servern 3 - t ex ett nätverkskort (för kommunikation via ett lokalt eller globalt nätverk), alternativt ett analogt eller lO l5 20 25 30 35 520762 §*§§;¿§§¿3 12 digitalt modem (för kommunikation via ett trädbundet fast telenät, ett mobiltelenät eller ett satellittelenät). Pà sä vis kan informationen frán pennan vidareförmedlas till servern 3 av denna mellanliggande anordning.

Därutöver kan elektronikdelen innefatta knappar l9a, medelst vilka användaren kan styra funktionerna i den elektroniska pennan 10. Den elektroniska pennan 10 kan också innefatta en skärm l9b, såsom en flytande kris- talldisplay, och en lampa för statusangivelse l9c.

Den elektroniska pennan 10 illustreras vidare i FIG 4. Pennans lagringsorgan l6b består som synes av två delar, ett arbetsminne 5 och ett permanentminne 7. En del av arbetsminnet 5 upptas av en koordinatbuffert 6 för temporär lagring av en delföljd av digitaliserade punkter vid omsampling. Arbetsminnet 5 används även pà konventio- nellt vis av styrenheten l6a för inläsning av program- instruktioner inför exekvering samt lagring av till- hörande programvariabler, datastrukturer och temporära resultat.

Permanentminnet 7 innehäller à sin sida dels den uppsättning programinstruktioner som tillsammans, vid exekvering av styrenheten l6a, är kapabla att utföra om- samplingsmetoden enligt den föredragna utföringsformen, dels en representation av en omsamplad skrivkurva, vilken successivt utökas med resultaten frán omsamplingarna av de individuella delföljderna av punkter. Den fullständiga representation av en omsamplad och, i det föredragna ut- förandet, komprimerad skrivkurva kan senare överföras till servern 3 pà ovan beskrivet vis, alternativt succes- sivt strömmas över till servern 3, sä snart en respektive delföljd av punkter har omsamplats och komprimerats.

Lagringsorganet l6b kan vidare innefatta även andra (ROM). De olika minnestyperna kan antingen realiseras som fysiskt olika minnen såsom RAM, SRAM, DRAM, EEPROM, flashminne etc, typer av minnen, t ex ett rent läsminne eller kan olika minnestyperna eller -funktionerna imple- menteras av ett gemensamt fysiskt minne. lO 15 20 25 30 35 |» .-- f n ~ 'l " * , _ 1 .J . ,. i > . »i 1 , p «0 » i , l3 Med hänvisning till FIG 3 innefattar positions- kodningsmönstret ett virtuellt rastermönster 21, runt vilket ett flertal märken 22 är placerade. Varje märke representerar en av fyra möjliga värden från 1 till 4.

Värdet av varje märke representeras av dess faktiska position 22 i relation till dess nominella position 23, varvid den senare är vid korsningen mellan en horisontell respektive en vertikal linje i rastermönstret 21. Således kan varje märke 22 vara beläget i en av fyra olika posi- tioner som är separerade fràn varandra i ortogonala rikt- ningar från den nominella positionen 23. Avståndet är lämpligen inte mindre än 1/8 och inte mer än 1/4, före- trädesvis 1/6, av avståndet mellan två motstàende raster- linjer.

Avståndet mellan rasterlinjerna kan till exempel vara 300 mikrometer eller 254 mikrometer. Det senare av- ståndet är särskilt lämpligt för skrivare och bildläsare, vilka ofta har en upplösning som är en multipel av 100 dpi (punkter per tum).

Varje märke 22 utgörs av en väsentligen cirkulär punkt med en radie som företrädesvis uppgår till mellan 25% och 120% av avståndet mellan punkterna och den nomi- nella positionen 23. Alternativt kan märkena 22 ha formen av andra geometriska mönster än cirkulära, såsom rektang- ulära, triangulära, ellipsformiga och därutöver vara fyllda eller ihåliga.

Positionskodningsmönstret 20 kan konstrueras så att det kodar ett mycket stort antal absoluta positioner.

Till exempel kan 6x6 angränsande markeringar i kombina- tion koda en position med x- och y-koordinater. Genom att förse ytan på underlaget 2 med positionskodningsmönstret 20 kan en elektronisk representation av informationen som skrivs eller skissas på underlaget erhållas medelst den elektroniska pennan 10 genom att upprepat producera bil- der av ytan, när pennan 10 flyttas över ytan. I dessa bilder kommer märkena 22 att framträda som förgrundsföre- lO l5 20 25 30 35 .Mn »- -«.-v. -flfij f j,',',I .., m. -3 ' t à ,'_ _ , ß : 4- v. n; v s n = -' ="' '“ l4 mål, medan rasterna 21 endast är virtuella och inte kom mer att framträda i bilderna.

Positionskodningsmönster av ovan skildrade typ be- skrivs närmare i WO 01/16691, WO 01/26032 och WO 01/26033. Ett alternativt positionskodningsmönster visas i WO 00/73983. Samtliga dessa dokument införlivas hàri i sin helhet genom hänvisning. **~k Med hänvisning till FIG 5 kommer nu att beskrivas ett arbetssätt 50 för hantering av elektronisk handskrift medelst den elektroniska pennan 10 och servern 3 enligt en föredragen utföringsform av uppfinningen. Stegen 51-54 utförs i pennan 10, men stegen 56-58 utförs däremot i servern 3.

I ett första steg 51 registrerar pennan 10 fort- löpande bilder av underlaget 2 (se FIG 1), då användaren för pennan i åtminstone en skrivrörelse 1. I praktiken kommer användaren att utföra ett stort antal skrivrörel- ser, vardera helt eller delvis representerande exempelvis en bokstav, en siffra eller ett tecken ingående i en text enligt exempelvis FIG la. För att underlätta förståelsen beskrivs dock återstoden av arbetssättet 50 under det förenklade antagandet att endast en skrivrörelse 1 utförs av användaren. Med hjälp av positionskodningsmönstret 20 bestämmer pennans elektronikdel 16 en följd av digitala (Se FIG 7) skrivrörelsen 1 representeras med andra ord elektroniskt punkter 70 längs skrivrörelsen 1. Den fysiska av den digitala punktföljden 70, som kan sägas bilda en skrivkurva 71 motsvarande skrivrörelsen 1.

I ett andra steg 52 sker en omsampling av den digi- tala punktföljden 70 genom att vissa individuella punkter elimineras, som inte är nödvändiga för att ge en till- räckligt god kvalitet vid senare rekonstruktion av skriv- kurvan. Omsamplingen enligt uppfinningen illustreras när- mare i FIG 6-10 och kommer att beskrivas vidare senare.

Därefter utförs ytterligare komprimering av den om- samplade punktföljden i ett steg 53, som egentligen be- lO l5 20 25 30 35 520762 15 står av två moment - differenskodning följt av statistisk källkodning. Inget av dessa moment utgör någon central del av uppfinningen men ges för fullständighetens skull ändå en sammanfattning i det följande.

Differenskodningen enligt den föredragna utförings- formen gàr till på följande vis för en punktföljd. Inled- ningsvis erhålls x- och y-koordinaterna för en aktuell punkt p(n) som ska differenskodas, uttryckta i absoluta 16-bitars värden. Därefter anpassas ett polynom G(n) av grad N till de N+l föregående punkterna p(n-1), p(n-2), nu p(n-N-1) i punktföljden. Polynomanpassning är ett helt igenom välkänt begrepp inom matematiken och beskrivs, ex- empelvis, i avsnitt 7.2 i "Scientific Computing - An In- troductory Survey", Michael T Heath, McGraw-Hill, ISBN O- O7-1l5336-5. Tester har visat att polynom av graden 1 eller 2 är optimala för de aktuella digitaliserings- hastigheterna (som ofta ligger i intervallet 70-IOO Hz).

Vidare har det visat sig att polynom av grad 1 är att föredra ifall punktföljden har varit föremål för omsamp- ling. Eftersom så är fallet i den föredragna utförings- formen, är denna baserad på polynomanpassning med första- gradspolynom; med andra ord är N=l och anpassas en rät linje till de N+l = l+l = 2 närmast föregående punkterna p(n-1) och p(n-2) i punktföljden.

Eftersom punkterna i punktföljden har kända tids- mässiga avstånd, som bestäms av digitaliseringsfrekvensen och som vidare indikeras i samband med omsamplingen, kan man bestämma en predikterad punkt ppmd(n) genom att extrapolera grafen (i detta fall den räta linjen) för mellan polynomet G(n). Vidare bestäms en avvikelse D(n) den faktiska punkten p(n) och den predikterade punkten Pprea (n) - Sedan kodas den fastställda avvikelsen D(n) genom en datakomprimerande metod för statistisk källkodning såsom Huffman-kodning eller aritmetisk kodning, vilka bägge är välkända principer inom området för informa- tionsteori. Närmare bestämt kodas avvikelsens X- respek- lO 15 20 25 30 35 520762 16 tive y-koordinat Dx(n) respektive Dy(n) var för sig med statistisk källkodning. I den föredragna utföringsformen utnyttjas Huffman-kodning, men annan statistisk källkod- ning såsom aritmetisk kodning kan alternativt användas.

Huffman-kodning beskrivs i detalj i exempelvis "Introduc- tion to Data Compression", andra utgåvan, kapitel 3, Khalid Sayood, Morgan Kaufmann Publishers, 2000. Arit- metisk kodning beskrivs i kapitel 4 i samma bok.

Slutligen lagras så den komprimerade avvikelsen Dwmmd(n) i lagringsorganet l6b för efterföljande över- föring, vid ett givet tillfälle, via den trådlösa kommu- (FIG 1) till ett sekundärminne i ser- vern 3 - i FIG 5 symboliskt betecknat med 55. nikationslänken 4 När den sålunda registrerade och till servern 3 överförda elektroniska handskriften senare skall reprodu- ceras, sker först inläsning av lagrade, komprimerade, differenskodade data i ett steg 56. Därefter sker en av- kodning av dessa data i ett steg 57, som väsentligen ut- görs av motsvarigheten till momenten i komprimerings- steget 53. När den elektroniska handskriften väl har av- kodats, följer aktuell tillämpning av handskriften i ett steg 58, exempelvis i form av texttolkning av hand- skriften, visuell presentation av densamma på en bild- skärm eller överföring av handskriften som ett bildobjekt i ett e-postmeddelande.

* * * I den föredragna utföringsformen tillämpas omsamp- ling enligt den tidigare beskrivna Douglas-Peuckers algo- ritm. Denna algoritm är som redan nämnts i sig välkänd - en tillämpning visas exempelvis i US-A-6 101 280 - dock appliceras den här enligt uppfinningen på ett nytt och innovativt sätt. Grundläggande uppgifter om Douglas- Peuckers algoritm kan fås i "Algorithms for the reduction of the number of points required to represent a digitized line or its caricature", D. Douglas and T.K. Peucker, 1973, The Canadian Cartographer, volym 10, nr 2, sidorna 112-122. Grundprincipen för Douglas-Peuckers algoritm kan 10 15 20 25 30 35 520762 17 kortfattat beskrivas pà följande vis med hänvisning till FIG 7 och 8: Ett kurvsegment (skrivkurvan 71), bestående av en följd av punkter 70 längs ett registrerat penndrag 1, har en första punkt 72 som utgör början på kurvsegmentet samt en andra punkt 73 som utgör slutet på kurvsegmentet. För- söksvis appliceras en rät linje 74 mellan den första och andra punkten. Om det maximala avståndet 76 mellan denna linje 74 och någon punkt 75 på kurvsegmentet 71 under- stiger ett gränsvärde Dhmü, anses kurvsegmentet kunna er- sättas med den räta linjen. En rät linje kan represente- ras med betydligt mindre data än ett kurvsegment, varige- nom besparingen i lagringsutrymme är uppenbar. Om det maximala avståndet 76 å andra sidan överskrider gräns- värdet Dnmü, vilket är fallet i FIG 7, bildas en första kortare linje 87 (se FIG 8) mellan startpunkten 72 och en mellanliggande punkt på kurvsegmentet (i detta fall nämnda punkt 75) samt en andra kortare linje 88 mellan denna mellanliggande punkt 75 och slutpunkten 73, varvid ovanstående förfarande upprepas rekursivt på dessa kor- tare linjer.

Som synes i FIG 8 är nu det maximala avståndet 86 mellan den första kortare linjen 87 och någon mellan- liggande punkt 89 mindre än gränsvärdet Dnmü, varför samtliga mellanliggande punkter 89 ersätts av den första kortare linjen 87. På motsvarande vis ersätter den andra kortare linjen 88 motsvarande punkter 89 mellan punkten 75 och slutpunkten 73.

Efter avslutad omsampling sparas eller markeras en- dast de punkter 72, 73, 75 som inte har ersatts av en linje. Övriga punkter 89 elimineras eller lämnas omarke- rade. Kurvsegmentet 71 representeras således av dessa ef- ter omsampling kvarvarande punkter 72, 73, 75.

Omsamplingen enligt den föredragna utföringsformen förklaras nu närmare med hjälp av FIG 6 och 10. Omsamp- lingsproceduren 60 inleds med ett steg 61, där en del- följd 100 (se FIG 10) av punkter i ett inledande segment lO 15 20 25 30 35 520762 18 av den totala skrivkurvan läses in i koordinatbufferten 6 (se FIG 4).

Douglas~Peucker görs sedan i ett steg 62 för samtliga i i pennans lO arbetsminne 5 Omsampling enligt delföljden 100 ingående punkter med start i en punkt 101 och slut i en punkt 102. Efter omsamplingen har samtliga punkter som skall behållas markerats i koordinatbufferten 6 pà ovan beskrivet vis.

I ett steg 63 bildas nu en ännu ej komplett repre- sentation av den omsamplade skrivkurvan pä basis av de n- X första punkterna från koordinatbufferten 6, där n är längden pà koordinatbufferten 6 och X är ett betydligt mindre värde än n, exempelvis en tjugondel därav. Närmare bestämt kommer representationen att bestà av de punkter, bland de totalt n-X punkterna, som markerats i omsamp- lingssteget 62. Betydelsen av parametern x kommer att förklaras vidare senare med hänvisning till FIG 9 och 10.

Representationen av den omsamplade skrivkurvan kan antingen lagras i permanentminnet 7 i väntan på att hela skrivkurvan ska ha omsamplats, eller - som är föredraget - tillfälligt mellanlagras i arbetsminnet 5 för att förmedlas som indata till efterföljande differenskodning och statistisk kodning (jfr steg 53 i FIG 5). Det sist- nämnda alternativet har fördelen av att den totala hante- ringen av den elektroniska handskriften tar kortare tid, eftersom bearbetning av en del av skrivkurvan kan genom- föras så snart ett tillräckligt antal digitaliserade punkter finns tillgängliga, även om användaren gör ett uppehàll i skrivrörelsen 1.

Steget 63 avslutas med att de n-w första punkterna i koordinatbufferten 6 raderas, där w är större än X men betydligt mindre än n. Samtidigt flyttas de w kvarvarande punkterna till början av koordinatbufferten 6 - antingen genom fysisk kopiering/förflyttning av data eller genom att utnyttja koordinatbufferten 6 cykliskt och làta en pekare ange var bufferten startar.

I steg 64 inleds sä en iterativ slinga, som fortgàr sä länge det fortfarande finns inkommande (dvs nydigita- lO l5 20 25 30 35 520762 19 liserade) punkter kvar att bearbeta. I ett steg 65 bildas en ny delföljd av punkter genom att koordinatbufferten 6 fylls pà tills den är full. Pga de w kvarvarande punk- terna fràn förra delföljden kommer den nya delföljden - som utgörs av samtliga punkter i koordinatbufferten 6 - att delvis överlappa den förra, närmare bestämt med en överlappning om w punkter. Den nya delföljden (under den första iterationen av slingan 65-67) betecknas med 103 i FIG 10 och sträcker sig som synes mellan en startpunkt 104 (belägen w punkter före slutpunkten 102 för den för- sta delföljden 100) och en slutpunkt 105.

I ett steg 66 görs sedan omsampling enligt Douglas- Peucker för den nya delföljden, dvs punkterna i koordi- natbufferten 6. steg 62.

Kvarvarande punkter markeras i likhet med I ett steg 67 utökas nu den i steg 63 skapade re- presentationen av den omsamplade skrivkurvan genom att i slutet av representationen bifoga de kvarvarande/marke- rade punkterna bland punkterna frän koordinatbufferten 6, med undantag av markerade punkter bland de w-X första och de X sista punkterna. Detta innebär att övergången mellan den nya delföljden 103 och den gamla delföljden 100, vad gäller hur resultaten fràn omsamplingarna av dessa del- följder successivt tillförs representationen av den om- samplade skrivkurvan, kommer att ligga vid 106 i FIG 10.

Vidare raderas de n-w första punkterna i koordinat- bufferten 6 samt förflyttas de resterande w punkterna till buffertens början i analogi med steget 63. Exekve- ringen àtergàr därefter till steg 64 för en ny iteration av slingan 65-67.

I ett avslutande och i FIG 6 ej illustrerat steg kompletteras representationen av den omsamplade skriv- kurvan genom att i slutet av representationen bifoga mar- kerade punkter bland de X sista punkterna från koordinat- bufferten 6. Härigenom har en komplett, omsamplad repre- sentation av skrivkurvan erhàllits. lO 15 20 25 30 35 40 520762 20 Det skall noteras att samtliga Douglas-Peucker- omsamplingar sker pä "färska" punkter, dvs de w punkterna frän föregående omsampling behåller inte eventuella mar- keringar.

Den ovan beskrivna omsamplingsproceduren 60 kan im- plementeras genom följande pseudokod: Fyll buffert med punkter; // (längd n) Douglas-Peucker(); // Markera alla punkter i bufferten som skall bevaras StorePoints (1, n~x); // Spara undan markerade punkter bland de n-x första i bufferten RemovePoints (n-w); // Radera n-w första punkter i bufferten och flytta àterstàende punkter till början pà bufferten While (Punkter kvar) Fyll buffert med punkter; Douglas-Peucker(); // Markera alla punkter i bufferten som skall bevaras StorePoints (w-x, n-x); // Spara undan markerade punkter RemovePoints (n-w); End While StorePoints (n-x+l, n); // Spara undan resterande markerade punkter Värdena pà w och x kan väljas efter aktuell tillämpning, dock så att x < w, W > l, w <= n/2. n sätts i den föredragna utföringsformen till 128.

X väljs till w/2. 10 15 20 25 30 35 520762 ,, J» 21 För samplingsfrekvens vid 80 Hz bör w ~ n/10.

Erfarenheten visar att ett relativt större w behövs vid högre samplingsfrekvenser. *ki-*k FIG 9 illustrerar ett exemplifierande scenario, där en skrivkurva av något skäl (t ex otillräcklig storlek pà koordinatbufferten) delas in i en första delföljd 91 av punkter 90 (startpunkt 92, slutpunkt 93) delföljd 91' (startpunkt 92', slutpunkt 93'), utan överlappning vid 95. Den andra delföljden 91' samt en andra med skarv inne- håller en "knot point" 94, som är placerad omedelbart i början av delföljden. Tillämpas Douglas-Peuckers algoritm 91', artefakt vid "knot point" 94, pà dessa delföljder 91, är risken överhängade för dvs att denna punkt oav- siktligt elimineras under omsampling och att värdefull läslighetsinformation gär förlorad.

Tack vare att omsamplingsoperationerna enligt upp- finningen utförs pà de delvis överlappande delföljderna 100, 103, utvidgas den sekvens av punkter som tas hänsyn till vid omsamplingen. I synnerhet utvidgas sekvensen sà att den även innefattar de sista w punkterna från före- gående delföljd, varvid en "knot point" 94 får en "rätt- visare" bedömning och identifieras som den markerings- värda punkt den faktiskt är. Genom att man vid bildandet av den omsamplade representationen av en viss delföljd undantar markerade punkter som ligger bland de w-x första (jfr steg 67 i FIG 6) och sà att säga överlåter àt föregående res- respektive X sista i koordinat- bufferten, pektive efterföljande omsamplingssteg att ta hand om dessa punkter, tas det hänsyn till eventuella "knot points" både före och efter övergången 106 mellan pà var- andra följande delföljder 100, 103.

Av detta skäl väljs x med fördel "symmetriskt" i förhållande till fönstret w, dvs X = w/2, så att lika stor hänsyn tas till punkter i den direkta inledningen av en delföljd som i det direkta slutet. lO 15 20 25 30 35 520762 . 4.' 22 Omsamplingsmetoden enligt uppfinningen minskar säledes, pà ett automatiskt sätt, risken för en artefakt vid en "knot point", oavsett om den är belägen i den direkta inledningen av en delföljd (som punkten 94) eller i slutet av en delföljd (dvs omedelbart vid slutpunkten 93 i FIG 9). Uppfinningen har härvid en påtaglig fördel jämfört med US-A-6 101 280, där "knot points" mäste loka- liseras explicit före omsamplingen. *kk-k Den ovan beskrivna omsamplingsproceduren 60 tillämpar överlappande omsampling medelst Douglas-Peucker (steg 62 respektive 66, överlappning = w punkter) men icke-överlappande successiv lagring av resultaten fràn omsamplingarna (steg 63 respektive 67), där parametern x anger 106 "skarven" mellan successiva lagringar (se 106 i FIG 10). till O, vilket fär till följd att bàde omsampling och I en alternativ utföringsform sätts parametern x lagring sker med samma överlappning om w punkter mellan tvà delföljder. Inför lagring sker en OR-operation för detta överlappande område, så att en individuell punkt tas med vid lagringen om den markerats vid omsamplingen av åtminstone en av delföljderna.

Uppfinningen har beskrivits ovan i form av ett par exemplifierande utföringsformer. Dock är uppfinningen inte på något vis begränsad till dessa utan inrymmer många andra varianter, enligt vad som definieras av skyddsomfànget hos de bifogade patentkraven och vidare enkelt inses av fackmannen. Exempelvis kan andra linje~ generaliseringstekniker än Douglas-Peucker användas vid omsamplingen enligt uppfinningen. Icke-uttömmande exempel på sàdana möjliga tekniker är Jenks algoritm, Reumann- Witkams algoritm, s k "Coordinate-Averaging" eller frak- tala tekniker sàsom "Walking-Divider".

Claims (17)

10 l5 20 25 30 35 520762 23 PATENTKRAV

1. Metod vid registrering av elektronisk hand- skrift, där: en handskriftrörelse (1) (70) svarar handskriftrörelsen; digitaliseras till en följd av punkter längs en skrivkurva (71) som mot- följden av punkter omsamplas genom att eliminera sådana punkter (89), vilka inte bedöms vara nödvändiga för att senare kunna rekonstruera skrivkurvan med önskad visuell kvalitet; samt en omsamplad representation av skrivkurvan (71) bildas av de efter omsamplingen kvarvarande - dvs ej eliminerade - punkterna (72, 73, 75), kännetecknad av att omsamplingen görs pä successiva och delvis över- (100, 103) (70) den omsamplade representationen av skrivkurvan (71) lappande delföljder av punkterna samt att utökas successivt efter omsampling av en respektive delföljd.

2. Metod enligt krav 1, där omsamplingen görs en- ligt en algoritm för polygonapproximation av skrivkurvan (71), varvid kurvsegment mellan tvà på varandra följande kvarvarande punkter (72, 75) (87). representeras av en rät linje

3. Metod enligt krav 2, där nämnda omsamplings- algoritm är Douglas-Peuckers algoritm.

4. Metod enligt något ovanstående krav, där en del- följd (100, 103) lan tvà pà varandra följande delföljder är w punkter samt omfattar n punkter, överlappningen mel- 1 < w <= n/2, varvid en individuell delföljd (100) under omsamplingen lagras i en minnesbuffert (6) med plats för n punkter samt varvid de w sista av punkterna i denna individuella delföljd kvarlämnas i minnesbufferten och lO l5 20 25 30 35 2520762 « . . . - - 24 omfattas av omsamplingen av en närmast efterföljande del- följd (103).

5. Metod enligt krav 4, (72, 73, 75) omsamplingen av nämnda individuella delföljd (100) till- där kvarvarande - ej elimi- nerade - punkter i minnesbufferten (6) efter fogas den omsamplade representationen av skrivkurvan (71), med undantag av kvarvarande punkter bland en del- mängd av nämnda w sista punkter i nämnda individuella delföljd, varvid delmängden består av x punkter, vilka i stället omfattas av omsamplingen av en närmast efter- följande delföljd vad gäller tillfogande till den omsamp- lade representationen av skrivkurvan.

6. Metod enligt krav 5, innefattande stegen att: a) fylla minnesbufferten (6) med punkter; b) applicera Douglas~Peuckers algoritm pä punkterna i minnesbufferten, varvid de kvarvarande punkter (72, 73, 75) markeras, som inte elimineras av algoritmen; c) lata de markerade punkterna bland punkterna l till n-x i minnesbufferten införlivas med den omsamplade (71): d) radera de n-w första punkterna i minnes- representationen av skrivkurvan bufferten; e) placera de återstående w punkterna i början av minnesbufferten; f) sà länge punkter finns tillgängliga för omsamp- ling: fl) fylla upp minnesbufferten (6) med n-w nya punkter; f2) applicera Douglas-Peuckers algoritm pà punkterna i minnesbufferten i enlighet med steg b); f3) låta de markerade punkterna bland punkterna w-x till n-X i minnesbufferten införlivas med den omsamplade representationen av skrivkurvan; f4) radera de n-w första punkterna i minnes- bufferten; och 10 15 20 25 30 35 520762 25 f5) placera de återstående w punkterna i början av minnesbufferten; samt g) låta de markerade punkterna bland de resterande punkterna n-x+l till n i minnesbufferten införlivas med den omsamplade representationen av skrivkurvan.

7. Metod enligt krav 5 eller 6, där x = w/2.

8. Metod enligt något av krav 5-7, där n = 128 och w = n/10.

9. Metod enligt något ovanstående krav, inne- fattande de avslutande stegen, efter omsampling, att: utgående från den omsamplade representationen av (71) ingående kvarvarande punkterna (72, 73, 75); samt skrivkurvan relativkoda koordinaterna för de däri komprimera de relativkodade koordinaterna medelst statistisk kodning. där koordinaterna för en (73) anpassa ett polynom av grad N till de N+l föregående

10. Metod enligt krav 9, individuell kvarvarande punkt relativkodas genom att kvarvarande punkterna 72, 75); bestämma en prediktion av nämnda individuella punkt med hjälp av nämnda polynom; fastställa en avvikelse mellan nämnda individuella punkt och dess prediktion; samt använda denna avvikelse som re- lativkodning för nämnda individuella punkt.

11. Metod enligt något av kraven l-10, där den om- samplade representationen av skrivkurvan (71) lagras som en datamängd i ett minne (5, 7, l6b).

12. Metod enligt något av ovanstående krav, där om- sampling vidtas så snart handskriftrörelsen (1) har digi- taliserats till ett förutbestämt antal punkter (n). 10 15 20 25 30 35 »a .-~ , . V. =~ v. , ~, x .- ß . _ v, u v r . -. 1 1 1 > , . . - 1 «« ~ , , ._ « f ,. - ~ = . s f. .. , , . - w e ; :w =, .-_. 26

13. Metod enligt krav 4, där kvarvarande - ej eliminerade - punkter (72, 73, 75) i minnesbufferten (6) efter omsamplingen av nämnda individuella delföljd (100) tillfogas den omsamplade representationen av skrivkurvan (71), specifikt sà att kvarvarande punkter bland de över- lappande w punkterna mellan tvà pà varandra följande del- följder (100, 103) tillfogas den omsamplade represen- tationen av skrivkurvan, om de undgått eliminering vid omsamplingen av åtminstone någon av dessa tvà pà varandra följande delföljder.

14. Anordning för registrering av elektronisk hand- skrift, innefattande digitaliseringsorgan (14, l6a), om- (l6a) digitaliseringsorgan (14, samt ett minne (16b), varvid nämnda 16a) sera en handskriftrörelse (1) (70) (71) samt varvid nämnda omsamplingsorgan är anordnat att samplingsorgan är anordnat att digitali- till en följd av punkter längs en mot handskriftrörelsen svarande skrivkurva i följden av punkter eliminera sàdana punkter (89), vilka inte bedöms vara nödvändiga för att senare kunna rekon- struera skrivkurvan med önskad visuell kvalitet, och bilda en omsamplad representation av skrivkurvan av de efter omsamplingen kvarvarande - dvs ej eliminerade - (72, 73, 75), nämnda omsamplingsorgan (l6a) är anordnat att ut- punkterna kännetecknad av att föra elimineringen av punkter för successiva och delvis 103) (70) att efter omsampling av en respektive delföljd successivt överlappande delföljder (100, av punkterna samt utöka den omsamplade representationen av skrivkurvan (71).

15. Anordning enligt krav 14, varvid omsamplings- organet (16a) är anordnat att utföra metoden enligt något av kraven 1-13.

16. Anordning enligt krav 14 eller 15, i form av en elektronisk penna (10). 520762 27

17. Datorprogramprodukt som direkt kan läsas in till ett minne (l6b) tillhörigt en processor (l6a), inne- fattande programkod för att utföra stegen enligt något av 5 kraven 1-13.