SE520022C2 - Procedure and apparatus for segmentation of handwritten objects - Google Patents
Procedure and apparatus for segmentation of handwritten objectsInfo
- Publication number
- SE520022C2 SE520022C2 SE0103179A SE0103179A SE520022C2 SE 520022 C2 SE520022 C2 SE 520022C2 SE 0103179 A SE0103179 A SE 0103179A SE 0103179 A SE0103179 A SE 0103179A SE 520022 C2 SE520022 C2 SE 520022C2
- Authority
- SE
- Sweden
- Prior art keywords
- handwritten
- time
- image area
- message
- objects
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 title 1
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 238000009877 rendering Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
Abstract
Description
l5 20 25 30 35 orden och figurerna genom automatisk bildbehandling me- delst känd teknik. l5 20 25 30 35 the words and figures by automatic image processing by means of known technology.
Ett alternativ till uppdelning av en bild för vis- ning pà en skärm som är mindre än bilden är att bilden förminskas. För handskriven information gäller dock att den vid förminskning blir svär att tyda.An alternative to splitting an image for display on a screen that is smaller than the image is to reduce the image. For handwritten information, however, it applies that in the event of a reduction, it becomes difficult to interpret.
Sammanfattning av uppfinningen Ett syfte med uppfinningen är att helt eller delvis undanröja ovannämnda problem med den kända tekniken och att därmed underlätta presentation av en grafisk repre- sentation av ett handskrivet meddelande pá en grafisk skärm.Summary of the invention An object of the invention is to completely or partially eliminate the above-mentioned problems with the prior art and thereby to facilitate the presentation of a graphic representation of a handwritten message on a graphic screen.
Uppfinningen bygger bland annat pà iden att det finns ett samband mellan tillkomsten av olika partier av ett handskrivet meddelande och relevansen av dessa olika partier och förhållandet mellan dessa olika partier och att detta samband kan utnyttjas för identifiering av ett relevant parti av ett handskrivet meddelande exempelvis för visning pà en skärm som är mindre än det handskrivna meddelandet.The invention is based, among other things, on the idea that there is a connection between the creation of different parts of a handwritten message and the relevance of these different parts and the relationship between these different parties and that this connection can be used to identify a relevant part of a handwritten message. display on a screen smaller than the handwritten message.
Enligt en första aspekt av uppfinningen ästadkoms ovannämnda syfte genom ett förfarande för underlättande av presentation av en grafisk representation av ett handskrivet meddelande pä en grafisk skärm. Enligt förfa- randet registreras positionsdata som indikerar positioner för det handskrivna meddelandet och registreras tidsdata som för varje position för det handskrivna meddelandet indikerar tidpunkten för tillkomsten av det handskrivna meddelandet i denna position. Nämnda positionsdata och nämnda tidsdata utnyttjas sedan för att identifiera ett bildomràde i den grafiska representationen av det hand- skrivna meddelandet, vilket bildomràdes storlek är mindre än den grafiska representationen av det handskrivna med- delandet. Slutligen tillhandahålls visningsdata som inne- fattar en grafisk representation av partier av det hand- 10 15 20 25 30 35 520 022 - . , ~ v 1 skrivna meddelandet i det identifierade bildområdet till en skärm.According to a first aspect of the invention, the above-mentioned object is achieved by a method for facilitating the presentation of a graphic representation of a handwritten message on a graphic screen. According to the procedure, position data indicating positions of the handwritten message is recorded and time data is recorded which for each position of the handwritten message indicates the time of creation of the handwritten message in this position. Said position data and said time data are then used to identify an image area in the graphic representation of the handwritten message, which image area size is smaller than the graphic representation of the handwritten message. Finally, display data is provided which includes a graphical representation of portions of the handwriting. , ~ v 1 written message in the identified image area of a screen.
I de fall då partier av det handskrivna meddelandet överlappar varandra i rummet, d v s olika partier av det handskrivna meddelandet har en gemensam position ger ut- nyttjande endast av positionsdata problem vid identifie- ring av ett bildomràde som innefattar ett relevant parti av det handskrivna meddelandet för exempelvis visning på en skärm. Genom registreringen av tidsdata erhålls ytter- ligare information utöver positionsdata vilket möjliggör att ett bildområde som innefattar ett relevant parti av det handskrivna meddelandet eller olika partier av det handskrivna meddelandet som har ett nära inbördes förhål- lande kan identifieras. Detta görs genom att partier som utöver ett inbördes förhållande mellan sina positionsdata även har ett inbördes förhållande mellan sina tidsdata identifieras. Exempelvis kan ett bildområde identifieras som innefattar partier av det handskrivna meddelandet som har positionsdata inom ett givet intervall och som samti- digt har tidsdata inom ett givet intervall.In cases where portions of the handwritten message overlap in space, i.e. different portions of the handwritten message have a common position, the use of position data only presents problems in identifying an image area that includes a relevant portion of the handwritten message for for example, display on a screen. By registering time data, additional information is obtained in addition to position data, which enables an image area that includes a relevant portion of the handwritten message or different portions of the handwritten message that have a close interrelationship to be identified. This is done by identifying parties that, in addition to a mutual relationship between their position data, also have a mutual relationship between their time data. For example, an image area may be identified which includes portions of the handwritten message which have position data within a given range and which at the same time have time data within a given range.
Enligt en första utföringsform av uppfinningen där det handskrivna meddelandet innefattar handskrivna objekt fastställs mellanrum mellan de handskrivna objekten i rummet och i tiden utifrån nämnda positionsdata respekti- ve nämnda tidsdata. Ett bildområde som innefattar ett el- ler flera av de handskrivna objekten identifieras sedan utifrån mellanrummen i rummet respektive i tiden mellan Slutligen tillhanda- hålls visningsdata som innefattar en grafisk representa- dessa och övriga handskrivna objekt. tion av nämnda ett eller flera av de handskrivna objekten i bildomràdet till en skärm.According to a first embodiment of the invention where the handwritten message comprises handwritten objects, spaces are determined between the handwritten objects in the room and in time based on said position data and said time data, respectively. An image area that includes one or more of the handwritten objects is then identified based on the spaces in the room and in the time between Finally, display data is provided which includes a graphical representation of these and other handwritten objects. tion of said one or more of the handwritten objects in the image area to a screen.
De handskrivna objekten utgör enheter som är rele- vanta för visning ett och ett eller flera samtidigt bero- ende på storleken på det bildområde som identifieras. En- ligt den första utföringsformen isoleras ett eller flera handskrivna objekt och ett bildområde som innefattar des- sa ett eller flera handskrivna objekt identifieras. Här- lO 15 20 25 30 35 520 022 4 vidlag utnyttjas att de handskrivna objekten är anordnade så att partier inom objektet normalt har markant mindre mellanrum i rummet mellan varandra än mellanrummet i rum- met mellan olika handskrivna objekt. Vidare utnyttjas att de handskrivna objekten i de fall dä de överlappar var- andra i rummet har ett markant mellanrum mellan de tid- punkter vid vilka de tillkom.The handwritten objects are units that are relevant for displaying one and one or more at the same time, depending on the size of the image area that is identified. According to the first embodiment, one or more handwritten objects are isolated and an image area comprising these one or more handwritten objects is identified. Here, it is utilized that the handwritten objects are arranged so that portions within the object normally have significantly smaller spaces in the space between each other than the space in the space between different handwritten objects. Furthermore, it is utilized that the handwritten objects in the cases where they overlap each other in the room have a marked space between the times at which they were added.
I ett fall där de handskrivna objekten är anordnade i följd och väsentligen parallellt med en axel i den gra- fiska representationen av det handskrivna meddelandet fastställs i förfarande enligt den första utföringsformen företrädesvis ett mellanrum längs nämnda axel och i tiden mellan de handskrivna objekten. Dessa mellanrum fast- ställs utifrån nämnda positionsdata respektive nämnda tidsdata. Detta fall uppkommer exempelvis dá de hand- skrivna objekten är ord som är anordnade i rader. Mellan- rum mellan handskrivna objekt är i detta fall viktigast längs en rad vilket motsvarar mellanrum mellan ord pà samma rad vilka vanligtvis indikeras tydligt i handskri- ven text. Mellanrum mellan de handskrivna objekten vin- kelrätt mot en rad, vilket motsvarar ord som stàr pà oli- ka rader, kan ibland utebli dä ett ord pà en rad överlap- par ett ord pà en angränsande rad. Istället för identifi- ering av mellanrum mellan de handskrivna objekten vinkel- rätt mot en rad identifieras mellanrum i tiden mellan de handskrivna objekten för urskiljande mellan ord pà olika rader. Härigenom utnyttjas att ord pà olika rader van- ligtvis tillkommit vid markant olika tidpunkter. Ett bildomráde som innefattar ett eller flera handskrivna ob- jekt identifieras sedan utifrån det fastställda mellan- rummet längs raden och i tiden fràn övriga handskrivna objekt.In a case where the handwritten objects are arranged in succession and substantially parallel to an axis in the graphic representation of the handwritten message, in the method according to the first embodiment a gap is preferably determined along said axis and in the time between the handwritten objects. These intervals are determined on the basis of said position data and said time data, respectively. This case occurs, for example, when the handwritten objects are words arranged in rows. Spaces between handwritten objects are in this case most important along a line, which corresponds to spaces between words on the same line which are usually clearly indicated in handwritten text. Spaces between the handwritten objects perpendicular to a row, which correspond to words that stand on different rows, can sometimes be absent when a word on a row overlaps a word on an adjacent row. Instead of identifying spaces between the handwritten objects perpendicular to a line, spaces in time are identified between the handwritten objects for distinguishing between words on different lines. In this way, it is utilized that words in different lines are usually added at markedly different times. An image area that includes one or more handwritten objects is then identified based on the determined space along the line and in time from other handwritten objects.
Enligt en andra utföringsform av förfarandet enligt uppfinningen identifieras ett bildomráde i den grafiska representationen av det handskrivna meddelandet som hän- för sig till en tidpunkt för tillkomsten av det hand- skrivna meddelandet i en position. Bildomràdet innefattar 10 15 20 25 30 denna position och är mindre än den grafiska representa- Slutligen tillhan- dahålls visningsdata till en skärm vilka representerar det identifierade bildområdet. tionen av det handskrivna meddelandet.According to a second embodiment of the method according to the invention, an image area is identified in the graphical representation of the handwritten message which relates to a time of the creation of the handwritten message in a position. The image area includes this position and is smaller than the graphical representation. Finally, display data is provided to a screen which represents the identified image area. the handwritten message.
Enligt denna andra utföringsform utnyttjas nämnda registrerade tidsdata genom att det för en viss tidpunkt identifieras ett bildomràde som innefattar en position som är associerad med tidpunkten. Vidare innehåller nämn- da visningsdata företrädesvis endast den andel av de par- tier av det handskrivna meddelandet i det identifierade Så- ledes ges en ögonblicksbild av det handskrivna meddelan- bildområdet som tillkommit fram till nämnda tidpunkt. det vid denna tidpunkt. Denna utföringsform upprepas fö- reträdesvis ett antal gånger för olika på varandra föl- jande tidpunkter som motsvarar tillkomsten av olika par- tier av det handskrivna meddelandet. Således kan ett an- tal bildområden tillhandahållas till en skärm för visning en serie bildområden som tillsammans ger en animering av tillkomsten av det handskrivna meddelande i ett bildområ- de som är mindre än det handskrivna meddelandet och som innefattar positionen där det handskrivna meddelandet tillkom vid en aktuell tidpunkt.According to this second embodiment, said recorded time data is utilized by identifying for a certain time an image area which comprises a position associated with the time. Furthermore, said display data preferably contains only the proportion of the parties of the handwritten message in the identified Thus, a snapshot of the handwritten message image area that has been added up to the said time is given. it at this time. This embodiment is preferably repeated a number of times for different consecutive times corresponding to the creation of different batches of the handwritten message. Thus, a plurality of image areas may be provided to a screen for displaying a series of image areas which together provide an animation of the occurrence of the handwritten message in an image area smaller than the handwritten message and which includes the position where the handwritten message was added at a current time.
Den grafiska representationen av ett handskrivet meddelande tillhandahålls i utföringsformerna ovan exem- pelvis genom förflyttning av en optisk sensor i förhål- lande till ett positionskodningsmönster. Vidare tillhan- dahålls nämnda positionsdata och nämnda tidsdata sedan av den optiska sensorn genom detektering absoluta positioner i nämnda mönster respektive tidpunkter associerade med nämnda positioner.The graphical representation of a handwritten message is provided in the above embodiments, for example, by moving an optical sensor relative to a position coding pattern. Furthermore, said position data and said time data are then provided by the optical sensor by detecting absolute positions in said pattern and times associated with said positions, respectively.
Enligt en andra aspekt av uppfinningen tillhanda- hålls en motsvarande anordning för utförande av förfaran- det enligt den första aspekten. 10 15 20 25 30 35 5120 022 -fu 1; 6 Kort beskrivning av ritningarna Uppfinningen kommer att beskrivas i det följande ge- nom utföringsexempel med hänvisning till åtföljande rit- ningar pà vilka: fig. 1 schematiskt visar ett system i vilket uppfinningen kan användas; fig. 2A-D visar ett handskrivet meddelande och olika skeden i en första utföringsform av ett förfarande enligt uppfinningen; och fig. 3A-C visar ett handskrivet meddelande och olika skeden i en andra utföringsform av ett förfarande enligt uppfinningen.According to a second aspect of the invention, there is provided a corresponding device for carrying out the method according to the first aspect. 10 15 20 25 30 35 5120 022 -fu 1; Brief Description of the Drawings The invention will be described in the following by way of exemplary embodiments with reference to the accompanying drawings, in which: Fig. 1 schematically shows a system in which the invention can be used; Figs. 2A-D show a handwritten message and various stages in a first embodiment of a method according to the invention; and Figs. 3A-C show a handwritten message and various stages in a second embodiment of a method according to the invention.
Detaljerad beskriving av föredragna utföringsformer Fig. 1 visar schematiskt ett system 100 i vilket uppfinningen kan användas. Systemet innefattar en ritan- ordning 101 för skapande av handskrivna meddelanden. Rit- anordningen innefattar en optisk sensor som vid förflytt- ning över en yta 102 pà vilken ett positionskodningsmöns- ter har tryckts detekterar absoluta positioner pà ytan genom användning av positionskodningsmönstret. Detta re- gistreras som en följd av positioner vilket motsvarar det handskrivna meddelandet. Ritanordningen innehåller före- trädesvis en inbyggd sändare och är kopplad till exempel- vis en mobiltelefon 103 via exempelvis ett infrarött gränssnitt eller ett gränssnitt för korthàllskommunika- tion via radio. Mobiltelefonen är sedan ansluten till ett mobiltelefoninät 104, såsom ett GSM-nät med GPRS- funktionalitet eller ett 3G-nät. Vidare innefattar syste- met 100 en server 105 för hantering av överföringen av handskrivna meddelanden. Det handskrivna meddelandet överförs fràn den sändande mobiltelefonen 103 i en fil som innehåller en digital representation av det hand- skrivna meddelandet till en mottagande mobiltelefon 106.Detailed Description of Preferred Embodiments Fig. 1 schematically shows a system 100 in which the invention may be used. The system includes a drawing device 101 for creating handwritten messages. The drawing device comprises an optical sensor which, when moving over a surface 102 on which a position coding pattern has been printed, detects absolute positions on the surface by using the position coding pattern. This is registered as a result of positions, which corresponds to the handwritten message. The drawing device preferably contains a built-in transmitter and is connected to, for example, a mobile telephone 103 via, for example, an infrared interface or an interface for short-range communication via radio. The mobile telephone is then connected to a mobile telephone network 104, such as a GSM network with GPRS functionality or a 3G network. Further, the system 100 includes a server 105 for handling the transmission of handwritten messages. The handwritten message is transmitted from the sending mobile telephone 103 in a file containing a digital representation of the handwritten message to a receiving mobile telephone 106.
Notera att sändaren även kan vara annan elektronisk ut- rustning, säsom en persondator eller en PDA 107. lO 15 20 25 30 35 Ett förfarande enligt uppfinningen kan utföras på flera olika platser i systemet som visas i fig. l, såsom i ritanordningen 101, i den sändande mobiltelefonen 103, i den mottagande mobiltelefonen 106, i den sändande per- sondatorn 107 eller i servern 105 som är kopplad till sy- stemet 100.Note that the transmitter can also be other electronic equipment, such as a personal computer or a PDA 107. A method according to the invention can be performed at several different places in the system shown in Fig. 1, as in the drawing device 101, in the transmitting mobile telephone 103, in the receiving mobile telephone 106, in the transmitting personal computer 107 or in the server 105 which is connected to the system 100.
En första utföringsform av ett förfarande enligt uppfinningen kommer nu att beskrivas med hänvisning till 2A-D. Pig. fig. 2A visar en grafisk representation av ett handskrivet meddelande. Fig. 2B-D visar olika skeden i den första utföringsformen.A first embodiment of a method according to the invention will now be described with reference to 2A-D. Pig. Fig. 2A shows a graphical representation of a handwritten message. Figs. 2B-D show different stages in the first embodiment.
Meddelandet som visas i fig. 2A lyder "detta är ett meddelande CW. Den grafiska representationen lagras före- trädesvis i en fil i vektorformat. Den grafiska represen- tationen har skapats med hjälp av en optisk sensor som förflyttas över en yta på vilken ett positionskodnings- mönster har tryckts. Den optiska sensorn är sedan anord- nad att detektera positioner på ytan med hjälp av posi- tionskodningsmönstret. En förflyttning av den optiska sensorn i förhållande till en sådan yta registreras sedan som en följd av positioner som motsvarar förflyttningen.The message shown in Fig. 2A reads "this is a message CW. The graphic representation is preferably stored in a file in vector format. The graphic representation has been created by means of an optical sensor which is moved over a surface on which a position coding The optical sensor is then arranged to detect positions on the surface by means of the position coding pattern.
Vidare registreras även en tidpunkt vid vilken den optis- ka sensorn förflyttas över respektive position på ytan.Furthermore, a time is also registered at which the optical sensor is moved over the respective position on the surface.
En sådan optisk sensor är företrädesvis inrymd i en rit- anordning, som vidarebefordrar positionsdata och tidsdata till ett datorsystem exempelvis i en mobilenhet eller en persondator. Ritanordningen kan vara försedd med en rit- penna varigenom förflyttningen även resulterar i en regi- strering på ytan i form av ett bläckspàr. Datorsystemet är företrädesvis anordnat i en mobil, pennformad enhet som innefattar den optiska sensorn, en processor, ett såsom en korthålls- (IR-länk).Such an optical sensor is preferably housed in a drawing device, which transmits position data and time data to a computer system, for example in a mobile unit or a personal computer. The drawing device can be provided with a drawing pen, whereby the movement also results in a registration on the surface in the form of an ink trail. The computer system is preferably arranged in a mobile, pen-shaped unit which comprises the optical sensor, a processor, one such as a short-range (IR link).
Ett positionskodningsmönster beskrivs i WO 00/73983 minne och en kommunikationsanordning, radiolänk eller en infraröd länk och i WO 01/26032, vilka ansökningars innehåll inkluderas i denna beskrivning genom hänvisning. Ett antecknings- block i vilket ett meddelande såsom det som beskrivs ovan 10 l5 20 25 30 35 520 G22 1.. N 8 kan alstras beskrivs i WO/Ol/16691, vars innehåll inklu- deras i denna beskrivning genom hänvisning.A position coding pattern is described in WO 00/73983 memory and a communication device, radio link or an infrared link and in WO 01/26032, the contents of which applications are included in this description by reference. A notepad in which a message such as that described above can be generated is described in WO / Ol / 16691, the contents of which are included in this description by reference.
Naturligtvis kan en godtycklig anordning och metod för skapande av handskrivna meddelanden användas så länge som både positionsdata och tidsdata kan registreras, sä- som accelerationssensorer, pekskärmar, triangulering av signaler, interferensanalys etc.Of course, any device and method for creating handwritten messages can be used as long as both position data and time data can be recorded, such as acceleration sensors, touch screens, triangulation of signals, interference analysis, etc.
Nämnda positionsdata och tidsdata för det handskriv- na meddelandet överförs till mobiltelefon via kommunika- tionsanordningen och sedan vidare till en server som är kopplad till systemet (se fig. 1) i vilken server bildom- ráden identifieras enligt följande.Said position data and time data for the handwritten message are transmitted to the mobile telephone via the communication device and then on to a server which is connected to the system (see Fig. 1) in which server the image areas are identified as follows.
I fig. 2A framgår att det handskrivna meddelandet har skrivits pä ett sädant sätt att en av bokstäverna i ett ord på en rad överlappar en bokstav i ett ord på en annan rad. Närmare bestämt överlappar den första boksta- ven "d" i ordet "meddelande" på den undre raden den andra bokstaven "t" i ordet "detta" på den övre raden. Vid upp- delning av meddelandet i mindre delar, såsom uppdelning i ord för visning et och ett på en skärm som är mindre än storleken på det handskrivna meddelandet, räcker det så- ledes inte med att identifiera mellanrum som är större än det normala mellanrummet mellan bokstäver inom ett ord.Fig. 2A shows that the handwritten message has been written in such a way that one of the letters in a word on one line overlaps a letter in a word on another line. More specifically, the first letter "d" in the word "message" on the lower line overlaps the second letter "t" in the word "this" on the upper line. Thus, when dividing the message into smaller parts, such as dividing words for display one by one on a screen smaller than the size of the handwritten message, it is not sufficient to identify spaces that are larger than the normal space between letters within a word.
Detta skulle leda till att orden "detta" "meddelande" skulle uppfattas som en enhet. Enligt utföringsformen ut- och nyttjas istället det faktum att även de tidpunkter vid vilka olika positioner av det handskrivna meddelandet tillkom har registrerats. Detta gör att det visade hand- skrivna meddelandet ges en tredimensionell representation där två dimensioner motsvarar det handskrivna meddelan- dets utbredning i förhållande till ytan med positionskod- ningsmönstret längs tvà vinkelräta axlar x och y, där x- axeln är parallell med raderna, och en tredje dimension motsvarar det handskrivna meddelandets utsträckning i ti- den längs en t-axel som är vinkelrät mot de övriga två 2B visas det handskrivna meddelandet ur axlarna. I fig. ett annat perspektiv där meddelandet har vridits så att 10 15 20 25 30 35 det nästan ses längs med y-axeln. Ur detta perspektiv syns det att orden trots överlappning i y-led är tydligt åtskilda i både X- och t-led vilket gör att orden kan åt- skiljas, vilket åskàdliggörs i fig. 2C. Givet detta kan bildområden som endast innehåller var sitt ord identifie- ras vilket åskådliggörs i fig. 2D. Åtskillnaden av orden görs exempelvis genom frekvensanalys av avstånd mellan partier av det handskrivna meddelandet längs en rymddia- gonal i x-t-led. Avstånd som motsvarar mellanrum mellan ord kommer att vara tydligt åtskilda från avstånd som motsvarar mellanrum mellan bokstäver. Visningsdata för de identifierade bildområden kan sedan tillhandhållas till exempelvis en mobiltelefon för visning ett och ett på en skärm.This would lead to the words "this" "message" being perceived as a unit. According to the embodiment, the fact that the times at which different positions of the handwritten message were added has also been registered and used instead. This causes the displayed handwritten message to be given a three-dimensional representation where two dimensions correspond to the propagation of the handwritten message relative to the area with the position coding pattern along two perpendicular axes x and y, where the x-axis is parallel to the rows, and a third dimension corresponds to the extent of the handwritten message in time along a t-axis perpendicular to the other two 2B, the handwritten message is displayed from the axes. In Fig. Another perspective where the message has been rotated so that it is almost seen along the y-axis. From this perspective, it can be seen that the words, despite the overlap in the y-direction, are clearly separated in both the X- and t-direction, which means that the words can be separated, which is illustrated in Fig. 2C. Given this, image areas that only contain each word can be identified, as illustrated in Fig. 2D. The distinction of the words is made, for example, by frequency analysis of distances between portions of the handwritten message along a space diagonal in the x-t direction. Spaces that correspond to spaces between words will be clearly separated from distances that correspond to spaces between letters. Display data for the identified image areas can then be provided to, for example, a mobile phone for display one by one on a screen.
Identifieringen av bildområden görs företrädesvis genom att nämnda positionsdata och nämnda tidsdata analy- seras medelst en processor som är belägen i nämnda ritan- ordning, nämnda mobiltelefon eller nämnda server. Överföringen av nämnda visningsdata görs medelst lämpliga överföringsorgan som varierar i beroende av var den skärm på vilken bildområdet skall visas är belägen. I fallet då skärmen är belägen på en mobiltelefon överförs nämnda visningsdata via en radiosändare eller infraröd sändare.The identification of image areas is preferably done by analyzing said position data and said time data by means of a processor located in said drawing device, said mobile phone or said server. The transmission of said display data is done by means of suitable transmission means which vary depending on where the screen on which the image area is to be displayed is located. In the case where the screen is located on a mobile telephone, said display data is transmitted via a radio transmitter or infrared transmitter.
En andra utföringsform av ett förfarande enligt upp- finningen kommer nu att beskrivas med hänvisning till fig. 3A-C. Fig. 3A visar en grafisk representation av ett handskrivet meddelande. Fig. 3B-C visar olika skeden i den andra utföringsformen.A second embodiment of a method according to the invention will now be described with reference to Figs. 3A-C. Fig. 3A shows a graphical representation of a handwritten message. Figs. 3B-C show different stages in the second embodiment.
Meddelandet som visas i fig. 3A lyder även i detta fall "detta är ett meddelande CW. Positionsdata och tids- data för det handskrivna meddelandet registreras på samma sätt som beskrivits för den första utföringsformen och överförs till en mottagande mobiltelefon (se fig. 1). I den mottagande mobiltelefonen identifieras sedan bildom- råden enligt följande. 10 15 20 25 30 35 5120 022 lO Genom att positionsdata och tidsdata erhàlls till den mottagande mobiltelefonen kan denna skapa en anime- ring av tillkomsten av det handskrivna meddelandet pà en skärm genom att i tur och ordning för en tidpunkt i taget av följden av tidpunkter rita ut det handskrivna medde- landet i den position som motsvarar respektive tidpunkt.The message shown in Fig. 3A also reads in this case "this is a message CW. Position data and time data of the handwritten message are recorded in the same way as described for the first embodiment and transmitted to a receiving mobile telephone (see Fig. 1). In the receiving mobile telephone, image areas are then identified as follows: 10 15 20 25 30 35 5120 022 10 in turn for a time at a time of the sequence of times draw the handwritten message in the position corresponding to each time.
För varje tidpunkt för tillkomsten av det handskrivna meddelandet i en position identifieras ett bildomràde i den grafiska representationen av det handskrivna medde- landet. Bildomràdet innefattar positionen och dess stor- lek är företrädesvis anpassad till den skärm som det skall visas pà. De visningsdata som tillhandhàlls till skärmen innehåller endast de partier av det handskrivna meddelandet i det identifierade bildomrädet som tillkom- mit fram till den aktuella tidpunkten.For each time the creation of the handwritten message in a position, an image area is identified in the graphic representation of the handwritten message. The image area includes the position and its size is preferably adapted to the screen on which it is to be displayed. The display data provided to the screen contains only those portions of the handwritten message in the identified image area that have been added up to the current time.
I fig. 3B visas ett parti av det handskrivna medde- landet som tillkommit före en första tidpunkt. Vidare vi- sas en fönster 301 som ramar in ett bildomràde som skall visas för denna första tidpunkt. Bildomràdet innefattar den position som är associerad med den första tidpunkten samt en andel av det parti av det handskrivna meddelandet som tillkommit före denna tidpunkt. Fönstret 301 flyttas sedan för de olika tidpunkter som registrerats för det handskrivna meddelande och följer den positionen som är associerad med den aktuella tidpunkten. I fig. 3C visas läget för detta fönster 301 vid en andra tidpunkt.Fig. 3B shows a portion of the handwritten message that was added before a first time. Furthermore, a window 301 is displayed which frames an image area to be displayed for this first time. The image area includes the position associated with the first time and a portion of the portion of the handwritten message that was added before that time. The window 301 is then moved for the various times recorded for the handwritten message and follows the position associated with the current time. Fig. 3C shows the position of this window 301 at a second time.
Programvara som utför förfarandet som beskrivs ovan skrivs i enlighet med beskrivningen och det antas att fackmannen inom området kommer att välja lämpliga verktyg för utförande av sädan programmering. Programvaran kan förekomma eller lagras pà alla kända sätt inom området, såsom flyktiga eller icke-flyktiga minnen som kan kopplas till processorn och kan läsas av processorn, sàsom en diskett eller en CD-ROM, och även som fortplantade signa- ler, sàsom bitströmmen som förekommer i Internet-sändning av paket eller bärvàgor som sänds till satelliter.Software performing the procedure described above is written in accordance with the description and it is believed that those skilled in the art will select appropriate tools for performing such programming. The software may be present or stored in any manner known in the art, such as volatile or non-volatile memories which may be connected to the processor and may be read by the processor, such as a floppy disk or CD-ROM, and also as propagated signals, such as bitstream occurs in Internet transmission of packets or carriers transmitted to satellites.
Claims (16)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE0103179A SE520022C2 (en) | 2001-09-21 | 2001-09-21 | Procedure and apparatus for segmentation of handwritten objects |
| AU2002339789A AU2002339789A1 (en) | 2001-09-21 | 2002-09-20 | Method and arrangement for segmentation of handwritten objects |
| PCT/SE2002/001714 WO2003025829A2 (en) | 2001-09-21 | 2002-09-20 | Method and arrangement for segmentation of handwritten objects |
| US10/251,804 US7120320B2 (en) | 2001-09-21 | 2002-09-23 | Method and apparatus for displaying a handwritten message based on position and time data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE0103179A SE520022C2 (en) | 2001-09-21 | 2001-09-21 | Procedure and apparatus for segmentation of handwritten objects |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| SE0103179D0 SE0103179D0 (en) | 2001-09-21 |
| SE0103179L SE0103179L (en) | 2003-03-22 |
| SE520022C2 true SE520022C2 (en) | 2003-05-06 |
Family
ID=20285431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| SE0103179A SE520022C2 (en) | 2001-09-21 | 2001-09-21 | Procedure and apparatus for segmentation of handwritten objects |
Country Status (3)
| Country | Link |
|---|---|
| AU (1) | AU2002339789A1 (en) |
| SE (1) | SE520022C2 (en) |
| WO (1) | WO2003025829A2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7925088B2 (en) | 2005-02-23 | 2011-04-12 | Hewlett-Packard Development Company, L.P. | System, method and apparatus for automatic segmentation and analysis of ink stream |
| WO2006090404A1 (en) * | 2005-02-23 | 2006-08-31 | Hewlett-Packard Development Company, L.P. | System, method, and apparatus for accomodating variability in chunking the sub-word units of online handwriting |
| EP3989108B1 (en) * | 2020-10-26 | 2024-09-25 | Invoxia | System and method for recognizing online handwriting |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5592608A (en) * | 1993-10-15 | 1997-01-07 | Xerox Corporation | Interactively producing indices into image and gesture-based data using unrecognized graphical objects |
| US5687254A (en) * | 1994-06-06 | 1997-11-11 | Xerox Corporation | Searching and Matching unrecognized handwriting |
| JP3535624B2 (en) * | 1995-09-21 | 2004-06-07 | キヤノン株式会社 | Search device and method |
| US6279014B1 (en) * | 1997-09-15 | 2001-08-21 | Xerox Corporation | Method and system for organizing documents based upon annotations in context |
-
2001
- 2001-09-21 SE SE0103179A patent/SE520022C2/en not_active IP Right Cessation
-
2002
- 2002-09-20 AU AU2002339789A patent/AU2002339789A1/en not_active Abandoned
- 2002-09-20 WO PCT/SE2002/001714 patent/WO2003025829A2/en not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003025829A2 (en) | 2003-03-27 |
| AU2002339789A1 (en) | 2003-04-01 |
| SE0103179L (en) | 2003-03-22 |
| WO2003025829A3 (en) | 2003-12-11 |
| SE0103179D0 (en) | 2001-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7120320B2 (en) | Method and apparatus for displaying a handwritten message based on position and time data | |
| CN102067164B (en) | Mobile imaging device as navigator | |
| CN1173247C (en) | Hand written information processing system with user's interface for cutting characters | |
| CN101587422B (en) | Mobile device and area-specific processing executing method | |
| US7614035B2 (en) | Cartographic software maps | |
| US7756364B2 (en) | Digital pen and paper system | |
| US11127222B2 (en) | Augmented reality environment for technical data | |
| EP3146420B1 (en) | Guides on a content generation system | |
| CN102208102A (en) | Image processing apparatus and image processing method | |
| US10668621B1 (en) | Fast motion planning collision detection | |
| CN101685497B (en) | Method and device for processing hand-written information | |
| US6995776B2 (en) | Terminal device, information display method, and program for said information display method | |
| US8467963B2 (en) | Map building system, building method and computer readable media thereof | |
| CN112881052B (en) | Method and device for constructing working scene of mobile robot | |
| SE520022C2 (en) | Procedure and apparatus for segmentation of handwritten objects | |
| CN112487897B (en) | Handwriting content evaluation method and device and electronic equipment | |
| JP2017091328A (en) | Information processing apparatus and information processing program | |
| CN1864123B (en) | Method, device and system for forming menus | |
| CN111695372B (en) | Click-to-read method and click-to-read data processing method | |
| US9659338B2 (en) | Method and system for adaptive content protection | |
| JPH06111073A (en) | Handwritten information recognizing device | |
| CN109164962B (en) | Method for pushing outline information of image | |
| CN103547982A (en) | Identifying contacts and contact attributes in touch sensor data using spatial and temporal features | |
| CN105739832A (en) | Information processing method and electronic equipment | |
| JP4050677B2 (en) | Image processing apparatus, image processing method, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NUG | Patent has lapsed |