SE1250639A1

SE1250639A1 - Paper and app for digital cameras

Info

Publication number: SE1250639A1
Application number: SE1250639A
Authority: SE
Inventors: Olof Hansson
Original assignee: Whitelines Ab
Priority date: 2012-06-15
Filing date: 2012-06-15
Publication date: 2013-12-16

Abstract

Ett pappersark har markörer med låg kontrast för hjlp vid bildtagning och bildbehandling. Företrädesvis är markörerna ljusare än bakgrunden. En bildtagningsmetod för att ta en bild av papperet automatiskt och en bildbehandlingsmetod för att behandla bilden beskrivs också.(Fig. 3)A sheet of paper has low-contrast markers for image capture and image processing assistance. Preferably, the markers are lighter than the background. An imaging method for taking a picture of the paper automatically and an image processing method for processing the image are also described (Fig. 3).

Description

15 20 25 30 omöjligt att bestämma korrekt korrigering. Det kan också hända att delar av texten som har en mycket låg kontrast mot bakgrunden kan gå förlorade vid bildtagningen utan att användaren kan utläsa av bilden att något saknas. 15 20 25 30 impossible to determine correct correction. It can also happen that parts of the text that have a very low contrast to the background can be lost during the shooting without the user being able to read from the image that something is missing.

Sammanfattning av uppfinningen Det är därför ett syfte med uppfinningen att möjliggöra mer omfattande och mer korrekt behandling av kvaliteten hos en bild av ett pappersark.SUMMARY OF THE INVENTION It is therefore an object of the invention to enable more comprehensive and more accurate processing of the quality of an image of a sheet of paper.

Detta syfte uppnås enligt uppfinningen genom ett pappersark som har åtminstone en optisk markör anordnad därpå, för att fungera som stöd vid bildbehandling för att förbättra visningen av en bild av pappersarket, kännetecknat av att det har en färgskillnad AE mellan pappersarket och den optiska markören som ligger mellan AE =2 och AE=l8.This object is achieved according to the invention by a sheet of paper having at least one optical marker arranged thereon, to act as an aid in image processing to improve the display of an image of the sheet of paper, characterized in that it has a color difference AE between the sheet of paper and the optical marker lying between AE = 2 and AE = 18.

För att underlätta identifieringen placeras den optiska markören eller markörerna företrädesvis på ett icke-repetitivt sätt på arket.For ease of identification, the optical marker or markers are preferably placed on the sheet in a non-repetitive manner.

Färgskillnaden AE mellan pappersarket och den optiska markören AE är företrädesvis mellan 3 och lO. I synnerhet har värden för AE mellan 5 och 8 visat sig ge en lämplig kompromiss mellan behovet av bra kontrast och önskan att hålla bakgrunden relativt ljus.The color difference AE between the sheet of paper and the optical marker AE is preferably between 3 and 10. In particular, values for AE between 5 and 8 have been found to provide an appropriate compromise between the need for good contrast and the desire to keep the background relatively light.

Den kodade informationen som visas på pappersarken möjliggör ﬂera behandlingsfunktioner som möjliggör en mer användarvänlig presentation av de scannade eller avbildade bildema av pappersarken.The encoded information displayed on the sheets of paper enables ﬂ your processing features that enable a more user-friendly presentation of the scanned or imaged images of the sheets of paper.

I en föredragen utföringsform har pappersarken en bakgrundsfärg som skiljer sig från vitt och de optiska markörerna har en högre grad av vitt än arkets bakgrundsfärg. Detta innebär att de optiskt läsbara kodade områdena, eller markörerna, är ljusare än arkets bakgrundsnyans. I detta fall kommer de kodade områdena inte att störa anteckningar etc som lagts till av användaren av arket, eftersom sådana anteckningar kommer att 10 15 20 25 30 vara i en nyans som är mörkare än arkets bakgrundsnyans. Många scannrar och kopiatorer har funktioner för att justera arkens bakgrundsfärg till vit i bilderna. De ﬂesta digitala kameror idag har också funktioner för att justera bakgrundsfärgen.In a preferred embodiment, the sheets of paper have a background color different from white and the optical markers have a higher degree of white than the background color of the sheet. This means that the optically readable coded areas, or markers, are lighter than the background hue of the sheet. In this case, the coded areas will not interfere with notes etc. added by the user of the sheet, since such notes will be in a shade darker than the background shade of the sheet. Many scanners and copiers have functions for adjusting the background color of the sheets to white in the images. Most digital cameras today also have background color adjustment features.

Markörer på arken som är ljusare än bakgrunden kommer då att bli osynliga så att endast informationen som lagts till på arket blir kvar. Därför kommer anteckningarna som gjorts av användaren att synas tydligare, eftersom de kommer att vara mörkare än bakgrunden. Resultatet blir att bilden som tas kommer att vara en bild av anteckningarna eller informationen på arket snarare än en bild av arket.Markers on the sheet that are lighter than the background will then be invisible so that only the information added to the sheet remains. Therefore, the notes made by the user will be more visible, as they will be darker than the background. The result is that the image taken will be an image of the notes or information on the sheet rather than an image of the sheet.

I denna utföringsform kan därför kodade områden eller markörer anordnas var som helst på arket, som referenspunkter för att möjliggöra mer exakta beräkningar, i motsats till konventionella mörka kodade områden, som skulle göra anteckningar oläsbara. I den kända tekniken kan därför endast en liten del av arket användas för kodmarkörer, nämligen delama där anteckningar vanligtvis inte görs, typiskt sett i marginalerna.In this embodiment, therefore, coded areas or markers can be arranged anywhere on the sheet, as reference points to enable more accurate calculations, as opposed to conventional dark coded areas, which would make notes unreadable. In the prior art, therefore, only a small part of the sheet can be used for code markers, namely the parts where notes are not usually made, typically in the margins.

I motsats till detta kan enligt uppfinningen bildbehandling användas för att göra de kodade områdena osynliga i bilden. De kodade områdena kan användas både för att justera bildens orientering, för att kompensera för veckade eller böjda delar av bilden och för att kompensera för att pappersarket inte ligger vinkelrätt mot kamerans optiska axel. Det skulle också vara möjligt att använda linjer eller rutor som tillhandahålls som skrivstöd, som tilläggsmarkörer för att ge information om hela arket.In contrast, according to the invention, image processing can be used to make the coded areas invisible in the image. The coded areas can be used both to adjust the orientation of the image, to compensate for folded or curved parts of the image, and to compensate for the sheet of paper not being perpendicular to the optical axis of the camera. It would also be possible to use lines or boxes provided as writing aids, as additional markers to provide information about the entire sheet.

Användandet av bara linjer eller rutor skulle inte fungera för uppfinningen eftersom en viss asymmetri krävs för att bestämma rätt orientering för papperet.The use of only lines or squares would not work for the invention as a certain asymmetry is required to determine the correct orientation of the paper.

Eftersom anteckningarna vanligtvis är mörkare än den grå bakgrunden kommer användandet av vita markörer även att bidra till att säkerställa en hög kvalitet i det avbildade arket i de fall då appen är anordnad att kontrollera kontrasten mellan de vita markörerna och den grå bakgrunden innan en bild tas. Det faktum att kontrasten mellan den grå bakgrunden och de vita markörerna vanligtvis är lägre än kontrasten 10 15 20 25 30 mellan den grå bakgrunden och det tillagda innehållet bidrar också till denna effekt.Since the notes are usually darker than the gray background, the use of white markers will also help to ensure a high quality of the imaged sheet in cases where the app is arranged to check the contrast between the white markers and the gray background before taking a picture. The fact that the contrast between the gray background and the white markers is usually lower than the contrast between the gray background and the added content also contributes to this effect.

Detta på grund av att i de fall då kontrasten mellan vitt och grått bedöms vara tillräckligt bra för att ta bilden kommer även kontrasten mellan den grå bakgrunden och det mörkare innehållet att vara bra.This is because in cases where the contrast between white and gray is judged to be good enough to take the picture, the contrast between the gray background and the darker content will also be good.

I synnerhet kan mönstret av kodade markörer tillhandahålla information för att bestämma arkets storlek och orientering. Det kan också ge information för att bestämma hur ljust papperet är i olika områden av arket och för att justera för eventuella variationer i ljushet över arket. Det ytterligare mönstret av markörer som utgörs av linjer eller rutor kan också användas för att bestämma hur ljust papperet är, tillsammans med kodade markörer eller på egen hand.In particular, the pattern of coded markers can provide information to determine the size and orientation of the sheet. It can also provide information to determine how bright the paper is in different areas of the sheet and to adjust for any variations in brightness across the sheet. The additional pattern of markers consisting of lines or squares can also be used to determine how bright the paper is, together with coded markers or on its own.

Vidare kan mönstret av kodade markörer ge information om typen av oskrivet papper som används, såsom formatet (A4, A5, letter) och huruvida papperet är linjerat, rutat och/eller försett med marginaler eller andra mönster för at hjälpa till att strukturera de handskrivna anteckningarna på arket.Furthermore, the pattern of coded markers can provide information about the type of unwritten paper used, such as the format (A4, A5, letter) and whether the paper is lined, squared, and / or provided with margins or other patterns to help structure the handwritten notes. on the sheet.

Mönstret av kodade markörer kan också vara utformat för att ange att pappersarket tillhör ett visst företag, organisation eller projekt. Detta kan hjälpa till vid indexering av de avbildade papperen, till exempel för att säkerställa att de sparas i en viss filkatalog som tillhör företaget, organisationen eller projektet. Baserat på dess plats i ﬁlsystemet kan ett elektroniskt lagrat pappersark som markörerna har avlägsnats från automatiskt förses med nya markörer i en elektronisk version eller i tryck. Formatet kan också ändras, t ex för att ge alla ark i en samling anteckningar samma storlek. Det skulle också vara möjligt att tillhandahålla ett antal märken som är ljusare än bakgrunden för att låta en användare ange en viss mapp eller liknande i vilken det avbildade arket skall lagras, beroende på exempelvis projektet, avdelningen etc som informationen på arket tillhör. Användaren kan då placera en mörk markör inuti den ljusa markeringen som motsvarar mappen där bilden skall sparas. Till exempel kan användaren fylla i hela markeringen eller bara bocka av den. Denna mörkare markör som tillförs av användaren i den förhandsgivna markeringen kan lätt upptäckas och 10 15 20 25 30 tolkas av bildtagningsprogrammet. Markeringarna kan också användas som markörer men inte nödvändigtvis.The pattern of coded markers can also be designed to indicate that the sheet of paper belongs to a specific company, organization or project. This can help in indexing the mapped papers, for example to ensure that they are saved in a specific file directory belonging to the company, organization or project. Based on its location in the system, an electronically stored sheet of paper from which the markers have been removed can be automatically provided with new markers in an electronic version or in print. The format can also be changed, for example to give all sheets in a collection of notes the same size. It would also be possible to provide a number of tags that are lighter than the background to allow a user to specify a specific folder or the like in which the imaged sheet is to be stored, depending on, for example, the project, department, etc. to which the information on the sheet belongs. The user can then place a dark marker inside the light marking corresponding to the folder where the image is to be saved. For example, the user can fill in the entire selection or just uncheck it. This darker marker supplied by the user in the predefined mark can be easily detected and interpreted by the imaging program. The markings can also be used as markers but not necessarily.

I detta dokument ska anteckningar som tillförs papperet inte tolkas som enbart handskriven text. Det kan vara vilket som helst mönster som tillförs arket. Det kan tillföras för hand, såsom text, skisser, stenograﬁ eller vilken som helst kombination av sådana mönster. Alternativt eller i tillägg kan det stämplas, tryckas, maskinskrivas etc på arket.In this document, notes added to the paper should not be construed as merely handwritten text. It can be any pattern that is added to the sheet. It can be added by hand, such as text, sketches, stenographs or any combination of such patterns. Alternatively or in addition, it can be stamped, printed, typed etc on the sheet.

I synnerhet är modifierade versioner av papperet som tillhandahålls av Whitelines®, såsom beskrivet i EPl868820, väl lämpade för denna tillämpning. Det har visat sig att de ljusare linjerna som finns på dessa ark är mindre distraherande för en användare som gör anteckningar på papperet. Eftersom linjerna kan fås att försvinna i den inlästa bilden möjliggör de digital lagring av ark med bara den avsedda informationen. Detta underlättar digital behandling innefattande modifiering, borttagning och tilllägg till anteckningarna i bilden.In particular, modified versions of the paper provided by Whitelines®, as described in EP18868820, are well suited for this application. It has been found that the lighter lines on these sheets are less distracting to a user taking notes on the paper. Because the lines can be made to disappear in the loaded image, they enable digital storage of sheets with only the intended information. This facilitates digital processing including modification, deletion and additions to the notes in the image.

Uppfinningen avser också ett bildtagningsprogram för användning i en liten elektronisk enhet innefattande en digital kameraenhet, en processorenhet och en minnesenhet, innefattande datorläsbar kod som, när den körs i processorenheten, får den digitala kameraenheten att utföra följ ande steg: - Analysera en bild som registrerats av en kameralins, - Identifiera i bilden ett fördefinierat pappersark som har därpå åtminstone en kodad informationsmarkör, - När bilden uppfyller vissa villkor, ta en stillbild med användning av kameran och spara den i minnesenheten, företrädesvis utan användarens medverkan.The invention also relates to an imaging program for use in a small electronic unit comprising a digital camera unit, a processor unit and a memory unit, comprising computer readable code which, when run in the processor unit, causes the digital camera unit to perform the following steps: - Analyze an image recorded of a camera lens, - Identify in the image a predefined sheet of paper that has at least one coded information marker on it, - When the image meets certain conditions, take a still image using the camera and save it in the memory device, preferably without the user's involvement.

Detta bildtagningsprogram, som typiskt sett men inte nödvändigtvis har formen av en app, kan användas för att avbilda och behandla ett ark såsom angivet ovan.This imaging program, which typically but not necessarily takes the form of an app, can be used to image and process a sheet as indicated above.

Företrädesvis är programmet anordnat att detektera den åtminstone ena markören i formen av åtmistnone en ljusare markör på en något mörkare bakgrund, såsom 10 15 20 25 30 specificerat ovan. För att förbättra bildens kvalitet är det föredraget att detektera mer än en markör. För att bestämma positionen av papperet i 3D-rymden är det föredraget att ha åtminstone fyra markörer.Preferably, the program is arranged to detect the at least one marker in the form of at least one lighter marker on a slightly darker background, as specified above. To improve the image quality, it is preferable to detect more than one marker. To determine the position of the paper in the 3D space, it is preferable to have at least four markers.

I en föredragen utföringsform utförs analyssteget på en bild från en registrerad videoström.In a preferred embodiment, the analysis step is performed on an image from a recorded video stream.

Villkoren omfattar typiskt sett ett eller ﬂera av följande: 0 Bildtagningsenheten avgör att det avbildade föremålet är ett ark 0 Bildtagningsenheten klarar att identifiera ett visst antal kodade informationsmarkörer på det avbildade arket 0 Bildkontrasten mellan de kodade informationsmarkörerna och bakgrunden överstiger tröskelvärdet för ett förbestämt antal kodade informationsmarkörer.The conditions typically include one or more of the following: 0 The imaging unit determines that the imaged object is a sheet 0 The imaging unit is able to identify a certain number of coded information markers on the imaged sheet 0 The image contrast between the coded information markers and the background exceeds .

Applikationsprogrammet är företrädesvis även anordnat att få den digitala kameraenheten att överföra bildﬁlen till en fristående lagringsenhet automatiskt utan någon instruktion från användaren. I detta fall kan det vara anordnat att få den digitala kameraenheten att överföra bildﬁlen till en viss plats i den fristående lagringsenheten i beroende av information som inhämtats från arket, till exempel från de optiska markörema.The application program is preferably also arranged to cause the digital camera unit to transfer the image to a stand-alone storage unit automatically without any instruction from the user. In this case, it may be arranged to cause the digital camera unit to transfer the image to a certain location in the stand-alone storage unit depending on information obtained from the sheet, for example from the optical markers.

Med applikationsprogrammet enligt den föredragna utföringsformen kan bilden tas automatiskt när kvaliteten är tillräckligt bra. Detta innebär att det inte behöver ske någon användaraktivitet när bilden tas. Sådan användaraktivitet påverkar vanligtvis kameraenhetens stabilitet, vilket gör att bilden blir lite suddig. Den uppfinningsenliga bildtagningsmetoden förbättrar därför bildkvaliteten, vilket gör den mer lämplig för att avbilda färgområden med låg kontrast, eftersom det inte sker någon fysisk påverkan när bilden tas.With the application program according to the preferred embodiment, the image can be taken automatically when the quality is good enough. This means that there is no user activity when the picture is taken. Such user activity usually affects the stability of the camera unit, causing the image to become slightly blurred. The imaging method according to the invention therefore improves the image quality, which makes it more suitable for imaging color areas with low contrast, since there is no physical effect when the image is taken.

Aspekt av uppfinningen avser också ett bildbehandlingsprogram för användning i en processoranordning innefattande en minnesenhet och en processorenhet, anordnad att 10 15 20 25 30 behandla bilder som tagits med användning av det ovan beskrivna bildtagningsprogrammet, Detta bildbehandlingsprogram innefattar datorläsbar kod som, när den körs i processoranordningen får processoranordningen att behandla en bild enligt följ ande: 0 Detektera position och/eller storlek av åtminstone en optisk markör på arket 0 Utföra bildkorrigering baserat på den detekterade positionen eller storleken, varvid bildkorrigeringen omfattar åtminstone en av följande: o Justera arkets storlek i bilden o Korrigera arkets orientering i bilden i ett plan huvudsakligen vinkelrätt på kamerans optiska axel o Justera arkets bakgrundsfärg o Kompensera för veck och/eller böjda delar av arket o Kompensera för att arket är vippat relativt kamerans optiska axel o Reagera på eventuellt innehåll som lagts till på arket.Aspect of the invention also relates to an image processing program for use in a processor device comprising a memory unit and a processor unit, arranged to process images taken using the imaging program described above. This image processing program comprises computer readable code which, when run in the processor device causes the processor device to process an image as follows: 0 Detecting the position and / or size of at least one optical marker on the sheet 0 Performing image correction based on the detected position or size, the image correction comprising at least one of the following: o Adjusting the sheet size in the image o Correct the orientation of the sheet in a plane mainly perpendicular to the optical axis of the camera o Adjust the background color of the sheet o Compensate for creases and / or curved parts of the sheet o Compensate for the sheet being tilted relative to the camera's optical axis o React to any content added to the sheet .

Steget att reagera på eventuellt innehåll som lagts till på arket innefattar typiskt sett att detektera en markering som lagts till av en användare i ett fördeﬁnierat område av arket, tolka markeringens form och/eller position och behandla bilden i beroende av markeringen, exempelvis genom att sända den till en viss plats för lagring.The step of responding to any content added to the sheet typically involves detecting a mark added by a user in a defined area of the sheet, interpreting the shape and / or position of the mark and processing the image depending on the mark, for example by sending it to a certain place for storage.

Detta bildbehandlingsprogram, som typiskt sett men inte nödvändigtvis är i form av en app, kan användas för att justera bilden enligt ett eller flera av följande: 0 För att inrikta och rätta till arket i bilden och/eller för att få arket att fylla väsentligen hela bilden, 0 För att ge en jämn bakgrund 0 För att ta bort eventuella markörer från bilden så att endast den tillagda informationen visas i bilden 0 För att avgöra om arket ska sparas på någon speciell plats.This image processing program, which is typically but not necessarily in the form of an app, can be used to adjust the image according to one or more of the following: 0 To align and correct the sheet in the image and / or to make the sheet fill substantially the entire image, 0 To provide a smooth background 0 To remove any markers from the image so that only the added information is displayed in the image 0 To determine whether the sheet should be saved in a specific location.

Mönstret av kodade markörer på papperet kan också omfatta en versionsindikator som anger en version av papperet, motsvarande en viss version av bildtagningsprogrammet, 10 15 20 25 30 bildbehandlingsprogrammet eller båda. Om versionen som anges av versionsindikatorn på papperet motsvarar versionen av det relevanta programmet kan detta användas som en indikation till programmet. Typiskt sett, om pappersarket har en nyare version än programmet, kan detta användas för att få anordningen som innefattar programmet att uppdatera sig till den korrekta versionen av programmet. Om pappersarket har en äldre version än programmet kan detta ange för programmet att inte alla funktioner i programmet kan användas med det aktuella arket.The pattern of coded markers on the paper may also include a version indicator indicating a version of the paper, corresponding to a particular version of the imaging program, the imaging program, or both. If the version indicated by the version indicator on the paper corresponds to the version of the relevant program, this can be used as an indication of the program. Typically, if the sheet of paper has a newer version than the program, this can be used to cause the device comprising the program to update itself to the correct version of the program. If the sheet of paper is older than the software program, this may indicate to the software program that not all features of the software program can be used with the current paper.

Om en kombination av markörer som är ljusare än bakgrunden och markörer som är mörkare än bakgrunden används kan bildtagningsprogrammet eller bildbehandlingsprogrammet eller båda vara anordnade att skilja mellan ljusare och mörkare markörer, som då kan användas för olika funktioner. Till exempel kan de ljusare markörerna användas för inriktning och de mörkare markörerna kan användas för information om var papperet ska sparas.If a combination of markers that are lighter than the background and markers that are darker than the background is used, the imaging program or the image processing program or both can be arranged to distinguish between lighter and darker markers, which can then be used for different functions. For example, the lighter markers can be used for alignment and the darker markers can be used for information on where to save the paper.

Uppﬁnningen avser också en bildtagningsanordning omfattande en bildtagningsenhet, en processorenhet och kommunikationsmedel för att kommunicera med en dator, varvid bildtagningsanordningen omfattar ett applikationsprogram enligt en digital kameraanordning omfattande ett bildtagningsprogram och/eller ett bildbehandlingsprogram som beskrivet ovan.The invention also relates to an imaging device comprising an imaging unit, a processing unit and communication means for communicating with a computer, the imaging device comprising an application program according to a digital camera device comprising an imaging program and / or an image processing program as described above.

Bildtagningsanordningen kan användas i vilken som helst typ av digital anordning som har en kamera, såsom en terminal för mobiltelefoni, eller en liten dator såsom en laptop, en notebook eller en datorplatta. Bildbehandlingsprogrammet kan givetvis också användas i en digital anordning som inte har någon kamera, om bildfilerna överförs till en sådan digital anordning.The imaging device can be used in any type of digital device having a camera, such as a mobile telephony terminal, or a small computer such as a laptop, notebook or tablet. The image processing program can of course also be used in a digital device that does not have a camera, if the image files are transferred to such a digital device.

Kortfattad beskrivning av ritningarna Figur la, lb och lc är exempel på pappersark med markörer enligt utföringsformer av uppfinningen medan ﬁgur ld visar en bild som tagits av ett pappersark.Brief Description of the Drawings Figures 1a, 1b and 1c are examples of sheets of paper with markers according to embodiments of the invention, while Figure 1d shows a picture taken of a sheet of paper.

Figur 2 är en elektronisk anordning enligt en utföringsform av uppfinningen. 10 15 20 25 30 Figur 3 är ett ﬂödesschema över funktionerna som utförs av bildtagningsapplikationsprogrammet enligt en utföringsform av uppfinningen Figur 4 är ett ﬂödesschema över funktionerna som utförs av bildbehandlingsapplikationsprogrammet enligt en utföringsform av uppﬁnningen.Figure 2 is an electronic device according to an embodiment of the invention. Figure 3 is a fate diagram of the functions performed by the imaging application program according to an embodiment of the invention. Figure 4 is a fate diagram of the functions performed by the imaging application program according to an embodiment of the invention.

Figur 5 är ett histogram som visar färgdistributionen i ett exempelark.Figure 5 is a histogram showing the color distribution in a sample sheet.

Detaljerad beskrivning av utföríngsformer Figur la visar ett första exempel på ett pappersark ll med fyrkantiga markörer 13 och 15 enligt en utföringsform av uppfinningen. Markörerna 13, 15 är något mörkare än bakgrunden, som är vit eller nästan vit. Detta visas som en skuggning av markörerna.Detailed Description of Embodiments Figure 1a shows a first example of a sheet of paper 11 with square markers 13 and 15 according to an embodiment of the invention. The markers 13, 15 are slightly darker than the background, which is white or almost white. This appears as a shading of the markers.

Såsom visas finns i detta exempel en markör i närheten av vardera av de två övre hörnen på arket. Givetvis skulle alla eller vissa av markörerna kunna vara runda, trekantiga eller molnformade eller ha vilken som helst annan regelbunden eller oregelbunden form i stället. Olika former skulle kunna användas, t ex för att ange de olika positionerna på arket för att underlätta bildanalys. Olika former skulle också kunna användas för att ange typen av papper eller den avsedda användningen av papperet.As shown in this example, there is a marker near each of the two upper corners of the sheet. Of course, all or some of the markers could be round, triangular or cloud-shaped or have any other regular or irregular shape instead. Different shapes could be used, for example to indicate the different positions on the sheet to facilitate image analysis. Different shapes could also be used to indicate the type of paper or the intended use of the paper.

Figur lb visar ett liknande exempel på ett pappersark 21 som figur la, men i stället för markörer som är något mörkare än bakgrunden, är bakgrunden lätt färgad, till exempel i grått, såsom anges av skuggningen, och markörerna 23, 25, 27, 29 är vita eller nästan vita. Markörerna har alltså en ljusare färg än bakgrunden.Figure 1b shows a similar example of a sheet of paper 21 as Figure 1a, but instead of markers which are slightly darker than the background, the background is lightly colored, for example in gray, as indicated by the shading, and the markers 23, 25, 27, 29 are white or almost white. The markers thus have a lighter color than the background.

Figur lc visar ett andra exempel på ett pappersark 31 med vita eller nästan vita markörer på en lite mörkare bakgrund, enligt en utföringsform av uppfinningen. Som synes omfattar markörerna i detta exempel en första och en andra trekantig markör 33, 35 i de övre hörnen, och en fyrkantig markör 37 i det undre högra hörnet. I mitten av arket finns ytterligare en markör 39, som har en oregelbunden form.Figure 1c shows a second example of a sheet of paper 31 with white or almost white markers on a slightly darker background, according to an embodiment of the invention. As can be seen, the markers in this example comprise a first and a second triangular marker 33, 35 in the upper corners, and a square marker 37 in the lower right corner. In the middle of the sheet there is another marker 39, which has an irregular shape.

Figur ld visar en bild som tagits av ett pappersark. Såsom ses innefattar bilden hela arket 41 med markörer och området omkring arket. Pappersarket fyller en del av 10 15 20 25 30 10 bilden beroende på arkets storlek och avståndet till kameran, som inte kan vara känd eller styras exakt. Enligt utföringsformer av uppﬁnningen kan detta kompenseras, så som kommer att diskuteras nedan.Figure 1d shows an image taken from a sheet of paper. As can be seen, the image includes the entire sheet 41 with markers and the area around the sheet. The sheet of paper fills part of the image depending on the size of the sheet and the distance to the camera, which may not be known or controlled precisely. According to embodiments of the invention, this can be compensated, as will be discussed below.

I utföringsformerna som visas i figur lb och lc är markörerna införda såsom ljusare fält på ett något färgat papper. Bakgrundsfärgen måste vara ganska ljus men kan ha vilken färg som helst, dvs inte nödvändigtvis grått. En grad av färgskillnad mellan markörerna och bakgrunden definieras vanligtvis som delta E i (CIE)-LAB-rymden.In the embodiments shown in Figures 1b and 1c, the markers are inserted as lighter fields on a slightly colored paper. The background color must be quite light but can have any color, ie not necessarily gray. A degree of color difference between the markers and the background is usually defined as delta E in the (CIE) LAB space.

Ett värde av AE i intervallet 6 - 7 har visat sig vara lämpligt.A value of AE in the range 6 - 7 has been found to be appropriate.

Företrädesvis bör bakgrunden vara precis så mörk att de ljusare markörerna kan upptäckas både av ett mänskligt öga och av de respektive programmen som kan användas tillsammans med papperet. Markörerna bör vara vita eller nästan vita. Såsom nämnt ovan är färgskillnaden företrädesvis mellan 2 och 18, mer föredraget mellan 3 och lO.Preferably, the background should be just so dark that the lighter markers can be detected both by a human eye and by the respective programs that can be used with the paper. The markers should be white or almost white. As mentioned above, the color difference is preferably between 2 and 18, more preferably between 3 and 10.

Papper med stödlinjer eller rutor i en ljusare nyans än bakgrunden som stöd för att skriva säljs idag under varumärket Whitelines®. Sådant papper visat sig ha ett antal fördelar över traditionellt papper med mörkare linjer eller rutor, och användning av ljusare markörer för att inrikta och justera papper har också ett antal fördelar. I synnerhet blir det möjligt att ta bort markörerna från det avbildade arket så att det avbildade arket endast har mörkt innehåll på en ljus bakgrund. Det skulle dock även vara möjligt att använda markörer som var mörkare än bakgrunden, och en kombination av ljusare och mörkare markörer.Paper with guides or squares in a lighter shade than the background to support writing is sold today under the Whitelines® brand. Such paper has been shown to have a number of advantages over traditional paper with darker lines or squares, and the use of lighter markers to align and adjust paper also has a number of advantages. In particular, it becomes possible to remove the markers from the imaged sheet so that the imaged sheet has only dark content on a light background. However, it would also be possible to use markers that were darker than the background, and a combination of lighter and darker markers.

Ett mönster av markörer kan variera med avseende på antalet markörer som används, fördelningen av markörer på arket och/eller markörernas form. Antalet markörer och deras fördelning väljs företrädesvis så att de möjliggör för applikationsprogrammet enligt uppfinningen att avgöra lämplig position, format och skala för arket och att justera dessa i bilden, och att korrigera i bilden väsentligen vartenda veck och varenda 10 15 20 25 30 11 skrynklighet på arket. Markörernas form kan ha vilken som helst lämplig form, som kan vara regelbunden eller oregelbunden.A pattern of markers may vary with respect to the number of markers used, the distribution of markers on the sheet and / or the shape of the markers. The number of markers and their distribution are preferably selected so as to enable the application program according to the invention to determine the appropriate position, format and scale for the sheet and to adjust these in the image, and to correct in the image substantially every crease and every wrinkle on the sheet. The shape of the markers may have any suitable shape, which may be regular or irregular.

Antalet markörer, deras form och deras fördelning kan alla användas för att identifiera en viss typ av papper. Till exempel kan pappersformatet A4 ha ett annat mönster än A5, och linj erat papper kan ha ett annat mönster än rutat eller blankt papper. Antalet, formen och fördelningen av markörer kan också användas för att identifiera en användare, eller en viss användning av papperet. En speciell kombination av geometrisk form och fördelning skulle kunna användas för att visa att papperet tillhör en viss organisation eller ett visst företag eller projekt. Ett enkelt sätt att uppnå detta skulle vara att lägga till en markering med en viss form och en viss position till ett standardmönster som redan används för en viss typ av ark. Kombinationen skulle då kunna användas av applikationsprogrammet för att sortera in bildema i mappar på det sätt som diskuteras nedan.The number of markers, their shape and their distribution can all be used to identify a particular type of paper. For example, the paper size A4 may have a different pattern than A5, and lined paper may have a different pattern than squared or glossy paper. The number, shape and distribution of markers can also be used to identify a user, or a particular use of the paper. A special combination of geometric shape and distribution could be used to show that the paper belongs to a certain organization or a certain company or project. An easy way to achieve this would be to add a selection with a certain shape and a certain position to a standard pattern already used for a certain type of sheet. The combination could then be used by the application program to sort the images into folders in the manner discussed below.

Markörerna kan också användas för att ange en version av papperet, eller en önskad version av ett av programmen som finns för bildtagning av papperet och för behandling av bilden. Denna versionsindikator kan användas för att starta en automatisk uppdatering av ett av programmen, om en nyare version finns tillgänglig.The markers can also be used to indicate a version of the paper, or a desired version of one of the software available for image capture and image processing. This version indicator can be used to start an automatic update of one of the programs, if a newer version is available.

Den kan också användas för att ange för respektive program vilka funktioner som finns tillgängliga för ett visst pappersark, beroende på markörema som finns på arket.It can also be used to specify for each program which functions are available for a particular sheet of paper, depending on the markers on the sheet.

Figur 2 visar en utföringsform av en elektronisk anordning 101 enligt uppfinningen.Figure 2 shows an embodiment of an electronic device 101 according to the invention.

Den elektroniska anordningen i denna utföringsform är en mobiltelefon som har en kamera 103. Anordningen 101 innefattar också en bildprocessor 105 och ett programminne 107 anslutet till processorn 105 som har funktionerna för att hantera kamerafunktionen och möjligtvis andra funktioner för anordningen. Ett bildminne 109 finns företrädesvis anordnat för att spara tagna bilder. Alternativt kan bilder överföras direkt till en lagringsenhet i en annan anordning. 10 15 20 25 30 12 Programminnet innefattar ett första program 121 för den inledande behandlingen av bilder från videoströmmen och ett andra program 123 för den mer avancerade behandlingen av de tagna stillbilderna. Funktionerna hos dessa program kommer att diskuteras i mer detalj i samband med figur 3 resp 4. I denna utföringsform kan båda programmen köras i bildprocessorn 105. Såsom kommer att framgå av följande beskrivning kan det vara lämpligt att istället ha en första bildprocessor för den inledande behandlingen av bilder från videoströmmen och en andra bildprocessor för de tagna stillbilderna.The electronic device in this embodiment is a mobile telephone having a camera 103. The device 101 also includes an image processor 105 and a program memory 107 connected to the processor 105 which has the functions of managing the camera function and possibly other functions of the device. An image memory 109 is preferably provided to store captured images. Alternatively, images can be transferred directly to a storage device in another device. The program memory includes a first program 121 for the initial processing of images from the video stream and a second program 123 for the more advanced processing of the captured still images. The functions of these programs will be discussed in more detail in connection with Figures 3 and 4, respectively. In this embodiment, both programs can be run in the image processor 105. As will be apparent from the following description, it may be appropriate to have a first image processor for the initial processing instead. of images from the video stream and a second image processor for the captured still images.

Telefonen 101 som visas i ﬁgur 2 är en standard mobiltelefon, som är välkänd för fackmannen, och dess funktioner kommer därför endast att beskrivas mycket kortfattat. Telefonen 101 omfattar också kommunikationsenheter såsom en antenn lll och en signalbehandlingsenhet 113 anordnad att behandla signaler som sänds och mottas genom antennen 111. Ett användargränssnitt 115 är anslutet till signalprocessorn 113 och till bildprocessorn 105. Användargränssnittet 115 omfattar vanligtvis flera in- och utmatningsfunktioner, såsom en skärm, som kan vara en touch- skärm, ett tangentbord och/eller en knappsats, och möjligtvis andra in- /utmatningsfunktioner såsom röststyrningsfunktioner. Dessa är alla välkända och kommer inte att beskrivas i detalj.The telephone 101 shown in Figure 2 is a standard mobile telephone, well known to those skilled in the art, and its functions will therefore only be described very briefly. The telephone 101 also comprises communication units such as an antenna III and a signal processing unit 113 arranged to process signals transmitted and received through the antenna 111. A user interface 115 is connected to the signal processor 113 and to the image processor 105. The user interface 115 usually comprises several input and output functions, such as a screen, which can be a touch screen, a keyboard and / or a keypad, and possibly other input / output functions such as voice control functions. These are all well known and will not be described in detail.

Såsom är vanligt inom teknikområdet har telefonen 101 också en eller flera kommunikationsenheter 1 17 för kommunikation genom IR, Bluetooth eller någon annan typ av kommunikation. Sådana kommunikationsenheter är välkända och kommer inte att beskrivas i detalj. Dessa kommunikationsenheter kan givetvis användas för att överföra bildfrler som tagits med anordningens kamera till en annan anordning. Sådan överföring kan ske automatiskt eller på användarens kommando.As is common in the art, the telephone 101 also has one or more communication devices 17 for communication via IR, Bluetooth or some other type of communication. Such communication devices are well known and will not be described in detail. These communication devices can of course be used to transfer image files taken with the device's camera to another device. Such transfer can take place automatically or at the user's command.

I figur 2 är anordningen en mobiltelefon som innefattar en kamera, men enligt uppfinningen kan vilken som helst typ av elektronisk anordning innefattande en kamera användas. Exempelvis skulle anordningen kunna vara en handdator, en dator såsom en laptop eller en minidator, en läsplatta, en datorplatta eller dylikt. 10 15 20 25 30 13 När ett pappersark avbildas med användning av en handhållen kamera kan kvaliteten försämras på ﬂera olika sätt.In Figure 2, the device is a mobile telephone comprising a camera, but according to the invention any type of electronic device comprising a camera can be used. For example, the device could be a PDA, a computer such as a laptop or a mini-computer, a tablet, a computer or the like. 10 15 20 25 30 13 When a sheet of paper is imaged using a handheld camera, the quality may deteriorate in olika your various ways.

Hela arket kan vara vridet eller tippat relativt kameran.The entire sheet may be twisted or tilted relative to the camera.

Arket kan vara böjt, veckat eller skrynklat vilket gör att några områden finns på längre avstånd från kameran än andra.The sheet may be curled, creased, or wrinkled, which means that some areas are farther away from the camera than others.

Veck eller böjda områden kan också få vissa områden av arket att se mörkare eller ljusare ut än resten.Folded or curved areas can also make some areas of the sheet look darker or lighter than the rest.

Avståndet mellan kameran och arket kan variera så att bilden får med något av arkets omgivning, eller lite mindre än hela arket.The distance between the camera and the sheet may vary so that the image is with some of the surrounding area of the sheet, or slightly smaller than the entire sheet.

Själva kameran 103 kan vara en standardkamera såsom finns i många mobiltelefoner och andra elektroniska anordningar. Vissa av funktionerna 107 för att hantera bilderna är å andra sidan specifika för uppfinningen. Dessa funktioner omfattar Att välja och analysera bilder från en videoström för att avgöra om en bild med tillfredsställande kvalitet kan tas, Att detektera markörer på ett pappersark såsom kommer att beskrivas i samband med figur 3.The camera 103 itself may be a standard camera as found in many mobile phones and other electronic devices. Some of the functions 107 for handling the images, on the other hand, are specific to the invention. These functions include selecting and analyzing images from a video stream to determine if an image of satisfactory quality can be taken, detecting markers on a sheet of paper as will be described in connection with Figure 3.

De olika typerna av justering kommer att diskuteras i samband med figur 4.The different types of adjustment will be discussed in connection with Figure 4.

Kamerafunktionerna 107 innefattar ett bildtagningsapplikationsprogram 121 för att styra kamerans bildtagningsfunktion. Bildtagningsapplikationsprogrammet är företrädesvis anordnat att styra bildtagningsfunktionen så att en bild endast tas när förhållandena är tillräckligt bra. När förhållandena bedöms vara tillräckligt bra kan bildtagningsapplikationsprogrammet vara anordnat att ta bilden automatiskt. Villkoren kan vara mer eller mindra stränga, från att ett pappersark kan detekteras till strängare villkor för antalet markörer som kan detekteras eller den detekterade kontrasten mellan markörema och bakgrunden. I detta fall registrerar anordningen en bildström, och bildtagningsapplikationspro grammet 121 har funktioner för att bestämma 10 15 20 25 30 14 bildkvaliteten för en bild i videoströmmen som registreras av kameran och att styra kameran att ta en stillbild om kvaliteten anses tillräckligt bra. Dessa funktioner illustreras av ﬂödesschemat i figur 3. Det kan vara lämpligt att ta med andra bildhanteringsfunktioner också, såsom antiskak-funktioner för att förbättra bilder som tagits med en kamera som inte hölls helt stilla.The camera functions 107 include an imaging application program 121 for controlling the imaging function of the camera. The imaging application program is preferably arranged to control the imaging function so that an image is taken only when the conditions are good enough. When the conditions are judged to be good enough, the imaging application program can be arranged to take the image automatically. The conditions can be more or less strict, from a sheet of paper can be detected to stricter conditions for the number of markers that can be detected or the detected contrast between the markers and the background. In this case, the device registers an image stream, and the imaging application program 121 has functions for determining the image quality of an image in the video stream recorded by the camera and for controlling the camera to take a still image if the quality is considered good enough. These functions are illustrated by the ﬂ fate diagram in Figure 3. It may be appropriate to include other image management functions as well, such as anti-shake functions to enhance images taken with a camera that was not held completely still.

Alternativt kan bildtagningsprogrammet vara anordnat att signalera till användaren att förhållandena är bra och ta bilden endast efter instruktion från användaren.Alternatively, the imaging program may be arranged to signal to the user that the conditions are good and to take the image only after instruction from the user.

Användaren kan också tillåtas att tvinga fram bildtagning även om kameran avgör att förhållandena inte är tillräckligt bra.The user can also be allowed to force shooting even if the camera determines that the conditions are not good enough.

Ett tillämpningsprogram 123 för bildbehandling av stillbilden kan finnas i den elektroniska anordningen l0l som är anordnad att ta bilderna. Ett likadant applikationsprogram kan också finnas i en annan processorenhet, såsom en dator, för att behandla bilder som tagits av en anordning och överförts till den andra processorenheten. Detta applikationsprogram innefattar funktioner för att behandla informationen om de detekterade markörerna, innefattande en eller ﬂera av följ ande funktioner: 0 Justera pappersarkets orientering så att arkets hörn kommer att ﬁnnas i eller nära bildens hörn 0 Justera pappersarkets storlek i bilden för att kompensera för variabelt avstånd mellan kameran och pappersarket.An application program 123 for image processing of the still image can be found in the electronic device l0l which is arranged to take the images. A similar application program may also be present in another processor unit, such as a computer, to process images taken by one device and transferred to the other processor unit. This application program includes functions for processing the information about the detected markers, including one or more of the following functions: 0 Adjust the orientation of the sheet of paper so that the corners of the sheet will be in or near the corners of the image 0 Adjust the size of the sheet of paper to compensate for variable spacing between the camera and the sheet of paper.

Företrädesvis justeras pappersarkets storlek så att det fyller väsentligen hela den lagrade bilden. Detta gör att information från utanför pappersarket slängs bort. 0 Rikta in pappersarket i den lagrade bilden. Detta innefattar att bilden behandlas så att den visar pappersarket som om arket hade varit väsentligen plant även om det kan vara böjt eller veckat. Det omfattar också att kompensera för fallet då arket är vippat relativt kameralinsens optiska axel.Preferably, the size of the sheet of paper is adjusted so that it fills substantially the entire stored image. This discards information from outside the sheet of paper. Align the sheet of paper in the stored image. This involves treating the image so that it shows the sheet of paper as if the sheet had been substantially flat even though it may be bent or creased. It also includes compensating for the case where the sheet is tilted relative to the optical axis of the camera lens.

Var och en av dessa funktioner kommer att diskuteras i mer detalj i samband med figur 4 nedan. 10 15 20 25 30 15 Figur 3 är ett ﬂödesschema over funktionerna som utförs av bildtagningsapplikationsprogrammet enligt en föredragen utföringsform av uppfinningen.Each of these features will be discussed in more detail in connection with Figure 4 below. Figure 3 is a flow chart of the functions performed by the imaging application program according to a preferred embodiment of the invention.

I steg S31 registrerar anordningens kamera 103 en videoström av objektet som ska avbildas. Denna registrering startas företrädesvis av användaren av anordningen som har kameran.In step S31, the device camera 103 registers a video stream of the object to be imaged. This registration is preferably started by the user of the device having the camera.

I steg S32 används bildtagningsfunktionen 121 för att analysera en bild från videoströmmen och avgöra om objektet är ett pappersark enligt uppfinningen, dvs ett pappersark med kodade informationsmarkörer. Bilden kommer att se ut väsentligen såsom visas i figur ld. Om ja, gå till nästa steg; om nej, åter till steg S31.In step S32, the imaging function 121 is used to analyze an image from the video stream and determine if the object is a sheet of paper according to the invention, i.e. a sheet of paper with coded information markers. The image will look essentially as shown in Figure 1d. If so, go to the next step; if not, return to step S31.

I steg S33 avgör bildtagningsfunktionen huruvida bilden som valts ut från videoströmmen har visat sig innefatta ett pappersark. Om ja, gå till nästa steg; om nej, åter till steg S31.In step S33, the image capture function determines whether the image selected from the video stream has been found to include a sheet of paper. If so, go to the next step; if not, return to step S31.

I steg S34 kontrolleras om bilden uppfyller vissa villkor. När funktionerna 121 avgör att bilden uppfyller vissa villkor instrueras kameran 103 att ta en stillbild och spara den i minnesenheten 109. Villkoren kan vara helt enkelt att ett pappersark detekteras, till exempel baserat på kantdetektion, men är företrädesvis beroende av kontrasten mellan de kodade informationsmarkörerna och bakgrunden, dvs bildtagningsapplikationsprogrammet är anordnad att i steg S35 ta en stillbild av arket endast om konstrasten mellan markörerna och bakgrunden anses vara tillräckligt bra.In step S34, it is checked whether the image meets certain conditions. When the functions 121 determine that the image meets certain conditions, the camera 103 is instructed to take a still image and save it in the memory unit 109. The conditions may be simply that a sheet of paper is detected, for example based on edge detection, but is preferably dependent on the contrast between the coded information markers and the background, ie the imaging application program is arranged to take a still image of the sheet in step S35 only if the contrast between the markers and the background is considered to be good enough.

Kontrollen i steg S34 innefattar därför implicit en kvalitetskontroll.The control in step S34 therefore implicitly includes a quality control.

Kameran tar sedan, i steg S35, stillbilden, och sparar den.The camera then takes, in step S35, the still image, and saves it.

Om stillbilden ska justeras på en gång fortsätter proceduren med justeringarna som beskrivs i ﬁgur 4, med början i steg S42, eller det första relevanta steget, om inte avslutas proceduren.If the still image is to be adjusted at once, the procedure continues with the adjustments described in Figure 4, starting with step S42, or the first relevant step, unless the procedure is completed.

Istället för en videoström kan kameran helt enkelt registrera bilden, och en stillbild kan tas när bilden uppfyller vilkoret. Det skulle också vara möjligt för en användare att få kameran att ta en bild, exempelvis om kameran avgör att villkoren inte är uppfyllda.Instead of a video stream, the camera can simply record the image, and a still image can be taken when the image meets the condition. It would also be possible for a user to have the camera take a picture, for example if the camera determines that the conditions are not met.

Denna bild skulle kunna analyseras vid ett senare tillfälle i samband med bildbehandlingsprogrammet som beskrivs i samband med figur 4 nedan, för att se om 10 15 20 25 30 16 det är möjligt att göra en meningsfull bildbehandling. Bilden skulle också kunna förbättras genom kända bildbehandlingstekniker såsom tröskelvärdesbehandling för att förbättra kvaliteten så mycket att bildbehandling blir möjlig.This image could be analyzed at a later time in connection with the image processing program described in connection with Figure 4 below, to see if it is possible to make a meaningful image processing. The image could also be improved by known image processing techniques such as threshold processing to improve the quality so much that image processing becomes possible.

Stegen S33 och S34 kan kombineras till ett steg i vissa utföringsformer.Steps S33 and S34 can be combined into one step in certain embodiments.

Steg S32 kan innefatta att identifiera en form i bilden som har en rektangulär form och ser ut som ett pappersark. Detta kan göras genom kantdetektion, som generellt sett är enklare än att genkänna markörerna. I tillägg, eller alternativt, kan det innefatta att identifiera en eller ﬂera av markörerna som bör finnas på ett pappersark, vilket säkerställer att det är rätt typ av papper.Step S32 may include identifying a shape in the image that has a rectangular shape and looks like a sheet of paper. This can be done through edge detection, which is generally easier than recognizing the markers. Additionally, or alternatively, it may involve identifying one or more of the markers that should be on a sheet of paper, ensuring that it is the correct type of paper.

Steg S33 kan innefatta att analysera hela pappersarket eller bara en eller ﬂera delar av arket, som innefattar alla eller en delmängd av markörerna. Som ett alternativ till att leta i speciella delar av arket kan följ ande steg utföras: 0 Minska bildens upplösning för att alstra en lågupplöst bild 0 Identifiera områden i den lågupplösta bilden som ser ut att innehålla markörer 0 Utföra en detaljerad sökning i de identiferade områdena för att bekräfta förekomsten av markörer.Step S33 may involve analyzing the entire sheet of paper or only one or two parts of the sheet, which includes all or a subset of the markers. As an alternative to searching in special parts of the sheet, the following steps can be performed: 0 Decrease the image resolution to generate a low-resolution image 0 Identify areas in the low-resolution image that appear to contain markers 0 Perform a detailed search in the identified areas for to confirm the presence of markers.

I steg S35 kommer kameran att ta en stillbild, vilken normalt kommer att ha en mycket högre kvalitet än bilderna i videoströmmen. Detta säkerställer att den tagna bilden kommer att ha tillräckligt bra kvalitet, eftersom videoströmbilden redan har ansetts uppfylla några kvalitetskriterier.In step S35, the camera will take a still image, which will normally have a much higher quality than the images in the video stream. This ensures that the captured image will be of sufficient quality, as the video stream image has already been considered to meet some quality criteria.

I steg S35 skulle det vara möjligt att ta ett antal bilder på samma gång eller med korta mellanrum och välja den bästa efteråt. Företrädesvis behövs någon form av användarinmatning efter att en sida har avbildats för att instruera kameran att återgå till steg S31 för att försöka att ta en ny bild. Detta är för att förhindra oönskade upprepade bilder av samma ark. 10 15 20 25 30 17 Om processorkapaciteten är tillräckligt hög kan teoretiskt sett varenda bild i videoströmmen analyseras på detta sätt. I praktiken kommer dock en andel av bilderna, typiskt sett var n'te bild, där n är ett heltal, att analyseras, typiskt sett beroende på bildtagningsfrekvensen och processorkapaciteten. Till exempel kan var femte, tionde eller tjugonde bild analyseras.In step S35, it would be possible to take a number of pictures at the same time or at short intervals and choose the best one afterwards. Preferably, some form of user input is required after a page has been imaged to instruct the camera to return to step S31 to attempt to take a new image. This is to prevent unwanted repetitive images of the same sheet. 10 15 20 25 30 17 If the processor capacity is high enough, theoretically every single image in the video stream can be analyzed in this way. In practice, however, a proportion of the images, typically every nth image, where n is an integer, will be analyzed, typically depending on the imaging frequency and the processor capacity. For example, every fifth, tenth or twentieth image can be analyzed.

Proceduren i ﬁgur 3 kan också omfatta ett steg som låter användaren överföra den tagna bildﬁlen till en annan processorenhet. Detta uppnås företrädesvis med användning av kommunikationsfunktioner som redan finns i anordningen. Detta kan också göras automatiskt till en förvald enhet eller programmet kan ha en funktion för att bestämma vilken enhet bilden ska överföras till baserat på egenskaper hos det avbildade arket. Filen kan också automatiskt sorteras in i en viss mapp eller liknande i beroende av det avbildade arkets egenskaper. Till exempel kan mönstret som markörema på arket formar identifera det som tillhörande ett visst projekt, så att det ska sorteras automatiskt in i en mapp för filer som tillhör det projektet.The procedure in Figure 3 may also include a step that allows the user to transfer the captured image to another processor unit. This is preferably achieved using communication functions already present in the device. This can also be done automatically to a preset device or the program may have a function to determine which device the image should be transferred to based on the properties of the imaged sheet. The file can also be automatically sorted into a specific folder or the like depending on the characteristics of the image sheet. For example, the pattern that the markers on the sheet form can identify it as belonging to a specific project, so that it will be automatically sorted into a folder for files belonging to that project.

Figur 4 är ett ﬂödesschema över funktionerna som utförs av bildbehandlingsapplikationsprogrammet enligt en utföringsform av uppfinningen.Figure 4 is a flow chart of the functions performed by the image processing application program according to an embodiment of the invention.

Dessa funktioner kan utföras parallellt med steg S35, eller en tidigare bild kan behandlas medan kameran utför metodstegen i S31 - S35 på ett nytt ark. Alternativt kan behandlingen utföras efter att ett önskat antal bilder har tagits.These functions can be performed in parallel with step S35, or a previous image can be processed while the camera performs the method steps in S31 - S35 on a new sheet. Alternatively, the treatment can be performed after a desired number of images have been taken.

Applikationsprogrammet har information om de olika typerna av ark som finns och om de optiska markörema som används för varje typ av ark, dvs antalet optiska markörer, deras storlekar och former, och deras positioner på arket. Såsom kommer att förstås är de flesta stegen valfria, så att bilden kan korrigeras på endast några av de möjliga sätten. Ordningsföljden av stegen S44 - S53 är inte heller viktig.The application program has information about the different types of sheets available and about the optical markers used for each type of sheet, ie the number of optical markers, their sizes and shapes, and their positions on the sheet. As will be appreciated, most of the steps are optional, so the image can be corrected in only some of the possible ways. The order of steps S44 - S53 is also not important.

Steg S4l: välj bildfil att behandla.Step S4l: select image file to process.

Steg S42: bestäm typen av ark som avbildas, om arket innefattar sådan information.Step S42: determine the type of sheet being imaged, if the sheet includes such information.

Steg S43: detektera förekomsten av optiska markörer på arket.Step S43: detect the presence of optical markers on the sheet.

Steg S44: detektera arkets storlek i bilden, dvs andelen av bilden som upptas av arket.Step S44: detect the size of the sheet in the image, ie the proportion of the image occupied by the sheet.

Detta kan göras genom att detektera papperets kanter och/eller de optiska markörernas 10 15 20 25 30 18 position eller storlek. Till exempel kan förhållandet mellan avståndet mellan två kända markörer i bilden och på sj älva arket användas för att bestämma hur mycket bilden ska förstöras. Förhållandet mellan storleken på en markör i bilden och den kända storleken av sj älva markören kan användas på ett liknande sätt, liksom förhållandet mellan storleken på markören och storleken på arket. Information som finns i en streckkod eller en QR-kod eller liknande kan också användas för att bestämma papperets storlek.This can be done by detecting the edges of the paper and / or the position or size of the optical markers 10 15 20 25 30 18. For example, the ratio of the distance between two known markers in the image and on the sheet itself can be used to determine how much the image should be destroyed. The relationship between the size of a marker in the image and the known size of the marker itself can be used in a similar manner, as can the relationship between the size of the marker and the size of the sheet. Information contained in a barcode or a QR code or the like can also be used to determine the size of the paper.

Steg S45: justera pappersarkets storlek i bilden, baserat på storleken som detekterats i steg S44.Step S45: adjust the size of the sheet of paper in the image, based on the size detected in step S44.

Steg S46: detektera arkets vinkel relativt kamerans optiska axel, dvs Z-axeln. Detta kan göras genom att detektera avståndet till markörer i olika delar av arket och de relativa positionema för markörer på arket och/eller i beroende av arkets kanter.Step S46: detect the angle of the sheet relative to the camera's optical axis, ie the Z axis. This can be done by detecting the distance to markers in different parts of the sheet and the relative positions of markers on the sheet and / or depending on the edges of the sheet.

Steg S47: justera arkets orientering baserat på vinkeln som detekterats i steg S46, genom att vippa det avbildade arket i bilden.Step S47: adjust the orientation of the sheet based on the angle detected in step S46, by tilting the imaged sheet in the image.

Steg S48: detektera arkets orientering i planet som ligger vinkelrätt mot den optiska axeln, dvs XY-planet. Detta kan göras genom att detektera den relativa positionen för markörer på arket och/eller i beroende av arkets kanter.Step S48: detect the orientation of the sheet in the plane perpendicular to the optical axis, ie the XY plane. This can be done by detecting the relative position of markers on the sheet and / or depending on the edges of the sheet.

Steg S49: justera arkets orientering baserat på orienteringen som detekterats i steg S46, genom att rotera det avbildade arket i bilden.Step S49: adjust the orientation of the sheet based on the orientation detected in step S46, by rotating the imaged sheet in the image.

Steg S50: I beroende av de optiska markörerna, detektera eventuella veck, skrynklor eller böjda områden på arket. Detta kan göras i beroende av markörernas positioner, till exempel avståndet mellan två eller flera optiska markörer som avviker från det kända avståndet. För effektiv korrigering bör ett antal avstånd eller storlekar täckas in, som representerar områden som täcker hela arket.Step S50: Depending on the optical markers, detect any creases, wrinkles, or curved areas on the sheet. This can be done depending on the positions of the markers, for example the distance between two or more optical markers that deviates from the known distance. For effective correction, a number of distances or sizes should be covered, representing areas that cover the entire sheet.

Steg S51: justera det avbildade arket för eventuella veck eller skrynklor som upptäckts i steg S48.Step S51: Adjust the imaged sheet for any creases or wrinkles detected in step S48.

Steg S52: justera arkets bakgrundsfärg. 10 15 20 25 30 19 Detta kan göras genom en enkel tröskelvärdesfunktion i vilken alla pixlar eller områden som är vita eller ljusgrå korrigeras till vita. Samtidigt behålls alla pixlar eller områden som är mörkare än tröskelvärdet såsom de är, eller korrigeras för att öka kontrasten. Det skulle också var möjligt att förbättra färgen i varje område eller pixel för att uppnå en förbättrad färgbild.Step S52: adjust the background color of the sheet. 10 15 20 25 30 19 This can be done by a simple threshold function in which all pixels or areas that are white or light gray are corrected to white. At the same time, any pixels or areas that are darker than the threshold value are retained as they are, or corrected to increase the contrast. It would also be possible to enhance the color in each area or pixel to achieve an improved color image.

I steg S53 kan en analys av signifikant tillagt innehåll utföras. Detta kan vara till exempel tillagda markörer i speciﬁka positioner på arket som anger typen av ark eller var bilden ska lagras. Såsom förklarat ovan kan arket ha en eller två ljusa markörer, i vilka användaren kan placera mörkare markeringar för att ange att arket tillhör ett visst projekt eller dylikt, vilket kan användas för att bestämma automatiskt en lagringsplats för bilden och att sända bilden till denna lagringsplats.In step S53, an analysis of significantly added content can be performed. This can be, for example, added markers in specific positions on the sheet that indicate the type of sheet or where the image is to be stored. As explained above, the sheet may have one or two light markers, in which the user may place darker markings to indicate that the sheet belongs to a particular project or the like, which may be used to automatically determine a storage location for the image and to send the image to that storage location.

Efter denna behandling lagras bilden i anordningen och/eller överförs till en annan enhet för att lagras i denna.After this processing, the image is stored in the device and / or transferred to another unit for storage in it.

Ett exempel på hur bakgrundsfärgen kan analyseras visas i figur 5. Denna figur visar ett exempel på ett histogram som illustrerar en möjlig fördelning av färgintensitet, eller mörkhetsgrad, på ett ark. Färgintensiteten avtar utmed X-axeln och andelen av arket som har en viss färgintensitet visas på Y-axeln. Såsom visas i figur 5 finns typiskt sett en topp som anger arkets bakgrundsfärg. Om ett papper från Whitelines® används finns en top vid en ljusgrå färg, såsom anges med ordet grå i figuren. Det finns också en lägre topp som anger vitt, visat med ordet vit i figuren. Mellan dessa två toppar är nivån låg eftersom vanligtvis ingen del av arket kommer att ha en nyans mellan bakgrundsfärgen och den vita nyansen. Typiskt sett kommer några områden att ha mörkare färgnyanser där anteckningar har gjorts på papperet.An example of how the background color can be analyzed is shown in Figure 5. This figure shows an example of a histogram that illustrates a possible distribution of color intensity, or degree of darkness, on a sheet. The color intensity decreases along the X-axis and the proportion of the sheet that has a certain color intensity is displayed on the Y-axis. As shown in Figure 5, there is typically a top indicating the background color of the sheet. If a Whitelines® paper is used, there is a top at a light gray color, as indicated by the word gray in the figure. There is also a lower top that indicates white, shown with the word white in the figure. Between these two peaks, the level is low because usually no part of the sheet will have a shade between the background color and the white shade. Typically, some areas will have darker shades of color where notes have been made on the paper.

Brusundertryckningsmetoder såsom adaptiva tröskelvärden kan användas för att minska brus i bilden, både i bildtagningsprogrammet och i bildbehandlingsprogrammet. 20 Enligt uppﬁnningen är det också möjligt att skapa histogram för ett eller ﬂera områden på arket. På grund av olika ljusförhållanden på olika delar av arket kan bakgrundsfärgen Variera över bilden. Därför kan positionen av toppen för den grå färgen i histogrammet variera. Genom att bestämma bakgrundsfärgen separat för olika områden av arket kan dessa skillnader i bildens bakgrundsfärg kompenseras.Noise suppression methods such as adaptive thresholds can be used to reduce noise in the image, both in the imaging program and in the image processing program. According to the invention, it is also possible to create histograms for one or more of your areas on the sheet. Due to different lighting conditions on different parts of the sheet, the background color may vary across the image. Therefore, the position of the top of the gray color in the histogram may vary. By determining the background color separately for different areas of the sheet, these differences in the background color of the image can be compensated.

Claims

A sheet of paper (1 1; 21; 31) having at least one optical marker (13, 15; 23, 25, 27, 29; 33, 35, 37, 39) thereon, for act as an aid in image processing to improve the appearance of an image of the sheet of paper, the optical marker or markers being placed on the sheet in a non-repetitive manner, characterized in that the sheet of paper has a background color different from white and the optical markers has the shape of a field with a lighter color than the background of the sheet and that the color difference AE between the sheet of paper and the optical marker is between AE = 2 and AE = 18. A sheet of paper according to any one of the preceding claims, wherein the optical markers are arranged to provide information on the type of sheet of paper, possibly by means of a mark made by the user. A sheet of paper according to any one of the preceding claims, wherein the optical markers are arranged to provide information about a place where the image is to be saved, possibly by means of a mark made by the user. A sheet of paper according to any one of the preceding claims, further comprising a pattern for facilitating writing or drawing on the sheet, which pattern has a higher degree of white than the background of the sheet. A paper sheet according to any one of the preceding claims, wherein the color difference AE between the sheet and the optical marker is between 3 and 10, preferably between 5 and 8. Image processing program (123) for running in a processor device (105) of an electronic device (101) which program (123) includes computer readable code which, when executed in the processor device (105), causes the processor device to image an image of a sheet where the background color of the sheet differs from white, as follows: 10 Detecting the position and / or size of at least one optical marker on the sheet, the marker being in the form of a field with a greater degree of white than the background color of the sheet. Performing image correction based on the detected position or size, the image correction comprising at least one of the following: Adjusting the size of the sheet in the image, Correction of the orientation of the sheet in the image in a plane mainly perpendicular to the optical axis of the camera, Adjusting the background color of the sheet Come compensation for creases and / or curved areas on the sheet, Compensation for the sheet being tilted relative to the camera's optical axis, Remedy due to any added content on the sheet. The image processing program of claim 6, wherein the step of adjusting the background color of the sheet comprises correcting all pixels or areas that are white or light gray to white while keeping any pixels or areas darker than a threshold value as is, or corrected to increase the contrast. The image processing program of claim 6 or 7, wherein the step of performing an action due to any added content on the sheet comprises detecting a mark added by a user in a predefined area of the sheet and saving the image depending on the mark. Digital camera device comprising an application program according to any one of claims 6 to 7. Digital camera device according to claim 9, which is a terminal for mobile telephony, or a small computer such as a laptop, a notebook or a computer tablet.