NL1033158C2

NL1033158C2 - Device is for determination of position of mouse on visual display unit functioning normally in conjunction with a processor

Info

Publication number: NL1033158C2
Application number: NL1033158A
Authority: NL
Inventors: Sjoerd Anton Verhagen; Jacob De Kroes; Jan Louis De Kroes
Original assignee: Sjoerd Anton Verhagen; Jacob De Kroes
Priority date: 2007-01-02
Filing date: 2007-01-02
Publication date: 2007-10-16
Also published as: NL1033158A1

Abstract

The device is for the determination of the position of a mouse on a visual display unit functionally normally in conjunction with a processor. It is possible to determine where the cursor locates as the mouse via icons gives the processor instructions. With the device, several simultaneous functional contacts on the screens are possible and several mice can be simultaneously active. Thus, several persons can operate simultaneously on the screen. In this device, the processor locates above the screen component where the mouse is positioned. Interactivity is thus directly coupled to the screen components and no use is made of a separate interactive layer. The screen components or pixels are grouped in grids of lines, which run parallel to the sides of the screen. A typical screen has 1920 x 1080 lines, which results in 2073600 pixels with dimensions of 0.56 x 0.76 mm, individually electronically controlled. Each pixel has an individual digital address and can be controlled for its color or brightness to be altered. All pixels can be altered as to color and brightness approximately 60 times per second, so that the screen can be used for color television.

Description

55

OctrooibeschrijvingPatent description

Titd: Inrichting voor de plaatsbepaling van het aanwijselement op een beeldscherm.Titd: Device for locating the display element on a screen.

Inleiding.Preface.

De uitvinding heeft betrekking op een inrichting voor de plaatsbepaling van de punt van een aanwijselement, in de conclusie genoemd aanwijselement, op een beeldscherm. Het beeldscherm functioneert als een normaal beeldscherm van een computer, in de conclusie genoemd processor, 10 en het aanwijselement fungeert als muis en bepaalt waar de cursor staat en kan net als de muis via iconen de computer opdrachten geven. In deze inrichting is meerdere tegelijkertijd functionele aanraking op het scherm mogelijk en kunnen meerdere aan wijselementen tegelijkertijd actief zijn en individueel herkend worden. Er kan dus met meerdere mensen tegelijkertijd op het scherm gewerkt worden. In deze inrichting lokaliseert de computer boven 15 welke schermelement de aanwijselement staat. De interactiviteit is dus direct gekoppeld aan de schermelementen en er wordt geen gebruik gemaakt van een aparte interactieve laag.The invention relates to a device for locating the tip of an indicator element, referred to in the claim, on a display screen. The display functions as a normal display of a computer, the processor mentioned in the claim, and the pointer element acts as a mouse and determines where the cursor is located and, like the mouse, can command the computer via icons. In this device, a plurality of simultaneously functional touch on the screen is possible and a plurality of pointing elements can be active and recognized individually at the same time. So it is possible to work with several people on the screen at the same time. In this device, the computer locates above which screen element the pointing element is located. The interactivity is therefore directly linked to the screen elements and no separate interactive layer is used.

Huidige interactieve inrichtingenCurrent interactive devices

Bij interactieve systemen, die nu op de markt verkrijgbaar zijn, wordt er een interactieve laag op 20 het scherm bevestigd. Dit kan een doorzichtige plastic laag zijn waarin allerlei elektrische of elektromagnetische elementen zijn ingebouwd. Onderbreking van het elektrische of elektromagnetische veld geeft een locatie aan, die wordt doorgegeven aan de computer. De interactieve laag kan ook een laag van golven (infra rood, ultra sound, etc.) zijn, waarbij de plaats van vinger of pen gelokaliseerd kan worden door de ontvangers van deze golven. Door de 25 kalibratie kan het gelokaliseerde punt op de interactieve laag gekoppeld worden aan een positie op het scherm. De meeste van deze systemen worden in eerste instantie ontwikkeld in een licht projectie op een oppervlakte en de interactiviteit zit daardoor in een laag die op een willekeurig oppervlak gezet kan worden. Deze interactieve inrichtingen worden pas in tweede instantie gebruikt op een beeldscherm. Hierdoor is de interactiviteit beschikbaar voor een grotere variatie 30 aan toepassingsmogelijkheden.With interactive systems, which are now available on the market, an interactive layer is confirmed on the screen. This can be a transparent plastic layer in which all kinds of electrical or electromagnetic elements are built-in. Interruption of the electric or electromagnetic field indicates a location that is passed on to the computer. The interactive layer can also be a layer of waves (infra red, ultra sound, etc.), where the location of the finger or pen can be located by the receivers of these waves. Due to the calibration, the localized point on the interactive layer can be linked to a position on the screen. Most of these systems are initially developed in a light projection on a surface and the interactivity is therefore in a layer that can be placed on any surface. These interactive devices are only used on a screen in the second instance. This makes the interactivity available for a greater variety of application options.

Nadelen van huidige inrichtingenDisadvantages of current establishments

Doordat er twee lagen zijn, de interactieve laag en het computerscherm, zit er vaak speling in de kalibratie en het punt aangegeven in de interactieve laag komt qua locatie niet precies overeen 1 0 33 1 5 8 2 met de locatie op het scherm. Zolang van de inrichting geen grote nauwkeurigheid wordt verwacht is dit echter geen probleem. Wanneer er op schermelement grootte gewerkt (0,6 x 0,7 mm) moet worden geeft dit grote problemen.Because there are two layers, the interactive layer and the computer screen, there is often play in the calibration and the point indicated in the interactive layer does not exactly match the location on the screen 1 0 33 1 5 8 2. However, as long as the device is not expected to have great accuracy, this is not a problem. When working on screen element size (0.6 x 0.7 mm), this causes major problems.

De huidige systemen, vooral degene met een laag gemaakt door een aantal zenders en ontvangers 5 van golven is er veel last van storing door andere bronnen, die dezelfde golven uitzenden. Vooral wordt dan gedacht aan storingen veroorzaakt door beveiligsystemen en plasmaschermen.Current systems, especially those with a layer made by a number of waves transmitters and receivers, suffer from interference from other sources that emit the same waves. This mainly refers to malfunctions caused by security systems and plasma screens.

De meeste inrichtingen kunnen slechts door één pen of vinger bediend worden. Alleen een aantal infrarood inrichtingen hebben de mogelijkheid dat meerdere bediening tegelijkertijd mogelijk is, maar dit zijn ook meteen de inrichtingen, die het meest storingsgevoelig zijn.Most devices can only be operated by one pen or finger. Only a number of infrared devices have the possibility that multiple operation is possible at the same time, but these are also the devices that are most susceptible to interference.

1010

Digitaal adres van elk schermelementDigital address of each screen element

De schermelementen zijn gegroepeerd in een raster van lijnen, die parallel lopen aan de zijden van het beeldscherm. De aanvragers hebben ervaring met een beeldscherm met 1920 x 1080 lijnen. Dit resulteert in 2.073.600 schermelementen met afmetingen van 0,56 bij 0,76 mm. Deze 15 schermelementen, ook wel pixels genoemd, worden met elektronische middelen individueel aangestuurd. Elk schermelement heeft een individueel digitaal adres, waarmee de inrichting dat schermelement kan aansturen om zijn kleur en helderheid te veranderen. Deze kleur en helderheid worden bepaald door de drie basiskleuren, meestal rood, groen en blauw, waarvan helderheden onafhankelijk van elkaar kunnen worden ingesteld. De helderheid van het 20 schermelement is een vectoriele optelling van de helderheden van de basiskleuren. Er zijn vrijwel alle kleuren mogelijk en, lager dan de maximale helderheid, alle helderheden. Ongeveer 60 maal per seconde kunnen alle schermelementen van kleur en helderheid veranderen, zodat het scherm voor kleurentelevisie gebruikt kan worden. Het wijzigen van kleur en helderheid geschied op verandertijdstippen met onderlinge afstanden van 1/60 seconde. In de rest van het 25 verhaal wordt deze frequentie van 60 hertz aangehouden maar deze frequentie kan ook 70, 75, 80 of 85 hertz zijn. Dit hangt af van de instelling van het scherm.The screen elements are grouped in a grid of lines that run parallel to the sides of the screen. The applicants have experience with a screen with 1920 x 1080 lines. This results in 2,073,600 screen elements with dimensions of 0.56 by 0.76 mm. These screen elements, also called pixels, are individually controlled by electronic means. Each screen element has an individual digital address, with which the device can control that screen element to change its color and brightness. This color and brightness are determined by the three basic colors, usually red, green and blue, whose brightness can be adjusted independently of each other. The brightness of the screen element is a vectorial sum of the brightness of the basic colors. Almost all colors are possible and, below the maximum brightness, all brightnesses. Approximately 60 times per second, all screen elements can change color and brightness, so that the screen can be used for color television. Color and brightness changes take place at change times with 1/60 second spacing. In the remainder of the story this frequency of 60 hertz is used, but this frequency can also be 70, 75, 80 or 85 hertz. This depends on the setting of the screen.

AanwijselementIndicator

Het aanwijselement omvat o.a. uit een fotocel, in de conclusie genoemd sensor, die de kleur en 30 helderheid van het schermelement kan meten waar hij boven staat. De fotocel begint pas te meten als de punt van de stift op het scherm komt en ingedrukt wordt. De fotocel behoeft niet in de punt van de stift geplaatst te worden, maar wordt met een glasvezel verbonden met de punt van de stift. In de stift zit een zender die aan de computer meldt welke signaal sterkte de fotocel meet. Deze zender geeft dus elke 1/60 seconde een waarde door aan de computer. Door de 35 zender zal er een batterij in de aanwijselement moeten zitten. Er zijn nu drie soorten 3 aanwijselement mogelijk. Een aanwijselement met één fotocel die maar één basiskleur en één helderheid kan meten. Een aanwijselement met één fotocel die 256 varianten van één basiskleur kan meten. Een aanwijselement met drie fotocellen die de 256 varianten van de basiskleuren kunnen meten.The display element comprises, inter alia, a photocell, a sensor mentioned in the claim, which can measure the color and brightness of the screen element above it. The photocell does not start to measure until the tip of the stylus appears on the screen and is pressed. The photocell does not have to be placed in the tip of the pin, but is connected to the tip of the pin with a glass fiber. There is a transmitter in the stylus that tells the computer which signal strength the photocell measures. This transmitter therefore transmits a value to the computer every 1/60 second. Because of the transmitter there must be a battery in the indicator element. Three types of 3 display elements are now possible. A pointer element with one photocell that can only measure one basic color and one brightness. A display element with one photocell that can measure 256 variants of one basic color. A display element with three photocells that can measure the 256 variants of the basic colors.

55

Koppeling aanwijselement aan digitaal adres schermelementLink pointer element to digital address screen element

Het idee van de koppeling is dat de computer een aantal kleurpatronen geeft waarmee hij met de reactie van de fotocel kan bepalen op welke schermelement of groep schermelementen de aanwijselement staat. Dit betekent dus dat voor een korte tijd (1/60 seconde) het beeld waarnaar 10 de gebruiker kijkt verdwijnt en het door de computer gemaakte kleurpatroon getoond wordt. Het oog is zo traag dat dit nauwelijks opvalt.The idea of the coupling is that the computer provides a number of color patterns with which the reaction of the photocell can determine which screen element or group of screen elements the indicator element is on. This means that for a short time (1/60 second) the image the user is looking at disappears and the color pattern created by the computer is displayed. The eye is so slow that it is hardly noticeable.

Voor de aanwijselement met één fotocel voor één basiskleur en één helderheid zijn er maar twee mogelijkheden kleur of kleurloos. De computer zoekt nu naar de locatie van de aanwijselement 15 door elke 1/60 seconde een beeld te geven waar de aanwijselement kan doorgeven of hij de kleur ziet of niet. Dus door het beeld heen waar de gebruiker naar kijkt geeft de computer voor een zeer korte periode het zoekbeeld naar de plaats van de aanwijselement. Het eerste beeld van 1/60 seconde is dat de helft van het scherm kleur heeft en de andere helft niet (fig. 1). Als het aanwijselement aangeeft geen kleur, zit de stift dus in dat gedeelte van het scherm. Nu wordt die 20 helft weer in twee stukken verdeeld en naar aanleiding van de reactie van het aanwijselement wordt vervolgens de helft waar het aanwijselement staat weer in twee stukken verdeeld (fig.For the indication element with one photocell for one basic color and one brightness, there are only two options color or colorless. The computer now searches for the location of the display element 15 by giving an image every 1/60 second where the display element can tell whether it sees the color or not. So through the image that the user is looking at, the computer gives the search image to the location of the pointer for a very short period of time. The first image of 1/60 of a second is that half of the screen has color and the other half is not (Fig. 1). If the pointer element indicates no color, the stylus is in that part of the screen. Now that half is again divided into two pieces and, as a result of the reaction of the indicator element, then half where the indicator element stands is again divided into two pieces (fig.

2)net zo lang totdat het schermelement gevonden is, waar het aanwijselement boven staat. (fig. 3 t/m fig. 7) 25 Het aanwijselement met één fotocel voor één basiskleur met 256 verschillende signaalsterkte werkt op hetzelfde principe. Ook hier geeft de computer elke 1/60ste seconde een zoekbeeld aan de aanwijselement, en op basis van de reactie van de stift wordt er op dezelfde wijze verder gezocht in het vak van de helderheidwaarde die de stift aangeeft. Het scherm wordt verdeeld in 256 vakken, elk vak heeft zun-specifiekesignaalsterktéTlSestift geeft door welke signaalsterkte 30 hij waarneemt en vervolgens-wordt-dat_vak weer onderverdeeld in 256jvakken en wordt dezelfde handelingen verricht totdat het schermelement is gevonden waar de stift boven staat.2) until the screen element is found, above which the pointer element is located. (Fig. 3 to Fig. 7) The display element with one photocell for one basic color with 256 different signal strengths operates on the same principle. Here, too, the computer gives a search image to the indicator element every 1 / 60th of a second, and based on the response of the stylus, further searches are made in the brightness value box that the stylus indicates. The screen is divided into 256 compartments, each compartment has its specific signal strength, TlSestift indicates which signal strength it detects, and then that section is subdivided into 256 sections again and the same operations are performed until the screen element above which the stylus is found.

De aanwijselement met drie fotocellen die elk 256 varianten van signaalsterkte van de drie basiskleuren kunnen meten, werkt in principe op dezelfde manier. Alleen hier kan volstaan 35 worden met een 1 testbeeld aangezien er meer dan 16 miljoen kleurcombinaties mogelijk zijn en 4 er maar ruim 2 miljoen schermelementen zijn.The indicator element with three photocells that can each measure 256 variants of signal strength of the three basic colors works in principle in the same way. Only here one can suffice with a 1 test image since more than 16 million color combinations are possible and 4 there are only more than 2 million screen elements.

Een laatste mogelijkheid is dat het scherm niet opgebouwd wordt met schermelementen van 3 kleuren, maar met schermelementen van 4 kleuren. 3 Kleuren worden dan gebruikt voor het 5 maken van het beeld en de vierde, voor het menselijke oog een onzichtbare kleur, zorgt voor de plaatsbepaling van de punt van de aanwijselement.A final possibility is that the screen is not constructed with screen elements of 3 colors, but with screen elements of 4 colors. 3 Colors are then used to make the image and the fourth, an invisible color for the human eye, ensures the location of the tip of the indicator element.

ValidatieValidation

De computer visualiseert een cursor op de locatie waar de computer heeft geregistreerd waar de 10 pen staat. De dikte van de lijn of het punt dat getekend moet worden, heeft niets te maken met de dikte van het aanwijselement. Het kleinste oppervlak voor een kleur dat de computer kan geven is één schermelement.The computer visualizes a cursor at the location where the computer has registered where the pen is. The thickness of the line or the point to be drawn has nothing to do with the thickness of the indicator element. The smallest area for a color that the computer can give is one screen element.

Als uit de zoekactie blijkt dat de stift op één schermelement staat wordt het centrum van de cursor in het midden van het schermelement geplaatst. De maximale fout die dan gemaakt kan 15 worden is 0,38 mm(0,5 x 0,78 mm), de helft van de langste zijde van het schermelement..If the search shows that the stylus is on one screen element, the center of the cursor is placed in the center of the screen element. The maximum error that can then be made is 0.38 mm (0.5 x 0.78 mm), half the longest side of the screen element.

Het kan echter ook zijn dat de stift staat op twee schermelementen. De computer moet dan kiezen uit twee. De maximale fout is dan 0,78 mm.It may, however, also be that the stylus stands on two screen elements. The computer must then choose from two. The maximum error is then 0.78 mm.

Als het aanwijselement staat op drie schermelementen zal de computer weer moeten kiezen voor een schermelement. De maximale fout blijft 0,78 mm. Hetzelfde geldt als de aanwijselement 20 staat op 4 elementen.If the pointer element is on three screen elements, the computer will have to choose a screen element again. The maximum error remains 0.78 mm. The same applies if the indicator element 20 is on 4 elements.

Volgen van de beweging van de aanwijsstifpuntFollow the movement of the pointer point

Het moment dat de computer de locatie van de aanwijselement heeft geregistreerd, legt hij er een cordon omheen (fig.8). Dit betekent voor de situatie met één kleur en één helderheid, dat de 25 computer rondom het gekozen schermelement blokken legt van 2 bij 3 schermelementen. Dit zijn 4 blokken. Samen met het blok waar het schermelement zit, zijn er vijf blokken. De computer geeft elke 1/60 seconde één van deze blokken en kleur en de andere blokken geen kleur. Op deze wijze weet de computer of het aanwijselement op locatie blijft(fig. 9 t/m fïg.12. Wanneer het aanwijselement van plaats verandert, zal het cordon mee verplaatsen. Stel dat het 30 aanwijselement verplaatst van vak 5 naar vak 2 (fïg. 14). In de voorgaande procedure (fig. 8 t/m fig. 12) heeft de inrichting dat ontdekt. Door de vlakken eerst naar boven (fig. 15) en daarna naar rechts (fig. 16) te verplaatsen, lukt het de inrichting om het aanwijselement in vak 5 te lokaliseren wat het vak is waar het aanwijselement in de rust positie bevindt.The moment the computer has registered the location of the display element, it places a cordon around it (Fig. 8). For the situation with one color and one brightness, this means that the computer places blocks of 2 by 3 screen elements around the selected screen element. These are 4 blocks. Along with the block where the screen element is, there are five blocks. The computer gives one of these blocks and color every 1/60 second and the other blocks no color. In this way the computer knows whether the display element remains on location (Figs. 9 to Fig. 12. When the display element changes location, the cordon will move with it. Suppose that the display element moves from section 5 to section 2 (Fig. The device has discovered this in the previous procedure (Figs. 8 to Fig. 12) By moving the surfaces first upwards (Fig. 15) and then to the right (Fig. 16). the device for locating the indicating element in section 5, which is the section where the indicating element is in the rest position.

35 In de situatie met één kleur en 256 helderheden wordt er een cordon rondom de uitgekozen 5 schermelementen gelegd van 256 schermelementen. Dit is een blok van 16x16 schermelementen. De logische vorm is een cirkel en geen vierkant. De helderheden in dit volgscherm zullen zo gekozen worden, dat het niet hinderlijk is als de stift op 2, 3 of 4 elementen staat.35 In the situation with one color and 256 brightnesses, a cordon is laid around the selected 5 screen elements of 256 screen elements. This is a block of 16x16 screen elements. The logical form is a circle and not a square. The brightness in this tracking screen will be chosen so that it is not a nuisance if the stylus is set to 2, 3 or 4 elements.

55

In de situatie van 3 kleuren en 256 helderheden zal elke 1/60 seconde het hele scherm afgezocht worden. Het volgscherm is anders dan het zoekscherm. In het volgscherm zullen de helderheden cyclisch rond het punt, waar de stift verwacht wordt te staan, gegroepeerd worden. Hierdoor is het niet moeilijk om de stift te identificeren als hij op 2, 3 of 4 schermelementen staat.In the situation of 3 colors and 256 brightnesses, the entire screen will be searched every 1/60 second. The following screen is different from the search screen. In the following screen, the brightness will be grouped cyclically around the point where the stylus is expected to be. As a result, it is not difficult to identify the stylus if it is on 2, 3 or 4 screen elements.

1010

Aanwijselement als muisgebruikPointer element as mouse use

Doordat het aanwijselement de plaats bepaalt van de cursor, kan de stift gebruikt worden als de muis. Met het indrukken van de stiftpunt wordt meteen dezelfde functie als de linkermuisknop actief. Op de stift zitten twee knopjes, hiermee kan de functionaliteit van de aanwijselement 15 veranderd worden in rechtermuisknop of een andere functie.Because the pointer element determines the location of the cursor, the marker can be used as the mouse. Pressing the stylus point immediately activates the same function as the left mouse button. There are two buttons on the stylus, with which the functionality of the indicator element 15 can be changed to a right mouse button or another function.

ToepassingsmogelijkheidApplication option

De beschreven inrichting kan gebruikt worden op een willekeurig beeldscherm. De uitvinding is in eerste instantie gedaan om op grote beeldschermen een betrouwbare inrichting te hebben, 20 waarbij het mogelijk is om direct op het scherm te schrijven. Het hierboven beschreven inrichting heeft een veel grotere nauwkeurigheid dan de bestaande inrichtingen voor grote schermen. Voor schermen tot 21’’zijn er wel betrouwbare en nauwkeurige systemen, maar bij schermen met een grotere diagonaal werkt deze techniek niet.The described device can be used on any screen. The invention is primarily made to have a reliable device on large screens, whereby it is possible to write directly on the screen. The device described above has a much greater accuracy than the existing devices for large screens. For screens up to 21 '' there are reliable and accurate systems, but for screens with a larger diagonal this technology does not work.

25 Daarnaast is het mogelijk om met deze inrichting niet alleen de locatie van de aanwijselement te weten, maar ook de pen een identiteit te geven, waardoor het mogelijk is om te weten waar welke pen staat. Hiermee is het mogelijk om allerlei spelen te spelen, die nu niet op een beeldscherm te spelen zijn.In addition, it is possible with this device not only to know the location of the indicating element, but also to give the pen an identity, as a result of which it is possible to know where which pen is located. This makes it possible to play all kinds of games that cannot now be played on a screen.

-,0 33 1 58-, 0 33 1 58

Claims

What is claimed is: 1. An image display system, comprising a display provided with a matrix of pixels for generating an optical image in a display mode, further comprising a display element for designating a pixel or a set of neighboring pixels of the display screen, the display element comprising a display element. sensor comprises for detecting a signal emerging from the pixel or the set of adjacent pixels of the display screen and wherein the image display system comprises a processor for connection to the sensor of the display element and for positioning it via a pixel or the set adjacent to it in a positioning mode pixels of the screen emit a signal to be detected by the sensor.

The image display system of claim 1, wherein the sensor is adapted to detect an optical signal above a predetermined threshold value or an optical signal with a predetermined number of signal strengths.

An image display system according to claim 1 or 2, wherein the sensor is adapted to detect an optical signal of a selected standard pixel color and / or a signal invisible to the human eye, such as ultraviolet.

4. Image display system as claimed in any of the foregoing claims, wherein the sensor is positioned at an end of the display element, or wherein a light path leads from an end of the display element via a light guide to the sensor.

An image display system as claimed in any one of the preceding claims, wherein the display element comprises a plurality of sensors for detecting a signal emerging from a pixel or a set of neighboring pixels of the display screen.

6. An image display system according to any one of the preceding claims, further comprising a plurality of pointing elements for designating a pixel or a set of neighboring pixels of the display.

An image display system according to any one of the preceding claims, wherein the indicating element is provided with operating elements for assigning digital functions to a designated pixel or set of neighboring pixels of the display.

An image display system as claimed in any one of the preceding claims, wherein the system is adapted to switch from the display mode to the positioning mode and vice versa for positioning and / or following an indication element.

9. Method for positioning and / or following a display element on a screen, comprising the steps of transmitting via a pixel or a set of neighboring 35 pixels of the screen a signal to be transmitted by a sensor of the display element. detecting signal and assigning an area to the indicating element in dependence on a signal whether or not detected by the sensor.

The method of claim 9, wherein the work steps are repeatedly applied to an area assigned to the designator in the preceding step.

A method according to claim 9 or 10, wherein a cursor position is assigned to an area assigned to the pointer element.

12. Method as claimed in any of the claims 9-11, wherein after positioning of a pointer element the method steps of claim 9 are applied to the assigned area and surrounding areas which together form a cordon, so that with moving pointer element cursor position and cordon are moved along and on this way the indicator element is followed.

13. Computer program product comprising instructions for causing a processor to perform the positioning and / or following of a pointing element on a screen, comprising the steps of transmitting from a screen by a pixel or a set of neighboring pixels of the screen a sensor of the indicator element to be detected and the assignment of an area to the indicator element in dependence on a signal whether or not it is detected by the sensor. 1033158.