WO2010030077A2 - 터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법 - Google Patents

터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법 Download PDF

Info

Publication number
WO2010030077A2
WO2010030077A2 PCT/KR2009/004459 KR2009004459W WO2010030077A2 WO 2010030077 A2 WO2010030077 A2 WO 2010030077A2 KR 2009004459 W KR2009004459 W KR 2009004459W WO 2010030077 A2 WO2010030077 A2 WO 2010030077A2
Authority
WO
WIPO (PCT)
Prior art keywords
light
light emitting
user
screen
emitting unit
Prior art date
Application number
PCT/KR2009/004459
Other languages
English (en)
French (fr)
Other versions
WO2010030077A3 (ko
Inventor
김현규
Original Assignee
Kim Hyun Kyu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Hyun Kyu filed Critical Kim Hyun Kyu
Priority to US13/063,197 priority Critical patent/US20110199338A1/en
Publication of WO2010030077A2 publication Critical patent/WO2010030077A2/ko
Publication of WO2010030077A3 publication Critical patent/WO2010030077A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Definitions

  • the present invention relates to a touch screen device and a method of inputting user information through contextual recognition on a screen. Recognition allows you to enter user information more accurately and easily, and the touch coordinates entered on the screen are ignored when the finger is not your finger.
  • the present invention relates to a method of inputting user information through contextual awareness.
  • Touch screen displays are display screens that can be affected by physical contact and allow a user to interact with the computer by touching icons, images, words or other visual objects on the computer screen.
  • the establishment of physical contact with the screen at the input location usually consists of an object (such as a finger), a pen to keep the screen dirty and unstained, or some other suitable stylus.
  • Japanese Patent Application No. 11-273293, Korean Patent Publication No. 2006-83420, US Patent Publication No. US2008 / 0029691 and the like disclose a touch panel, a display device having a touch panel, and an electric device having a display device.
  • the light guide plate is illuminated by means of lighting. Light is incident on both sides of the light guide plate by the lighting means and the light of the incident lighting means impinges on the optical sensor located on the opposite side or the bottom of the light guide plate in relation to the lighting means.
  • a malfunction may occur due to contact by a palm, an elbow, or other object rather than a finger during use.
  • Virtual reality allows you to experience the same experience as the actual situation at a low cost, and can be efficiently and safely taught and trained. It is already used in various fields such as underwater exploration, flight training and locomotive driving.
  • virtual reality has various applications such as architecture, medical engineering, automobiles, various designs, cultural contents restoration and development, biotechnology, and global environment simulation.
  • virtual reality can make an environment virtually inaccessible to people in real environment, and it is effective in constructing educational environment that complements real natural environment by adjusting complex real environment to the level of people. to be.
  • the interface used in the virtual reality that is, the 3D application has been presented with various devices. It is important for such interface devices to obtain positional information in three-dimensional space, usually using sensors attached to the human body or attached tools.
  • these conventional interface devices do not guarantee a natural movement to a person, and there is a problem that learning is required before use.
  • an object of the present invention is to provide a touch screen device that can be recognized even when the object is not touched.
  • Another object of the present invention is to increase the sensitivity at the time of touch by providing a touch screen device capable of sensing both touch and non-touch time.
  • Still another object of the present invention is to provide a touch screen device capable of multi-touch.
  • Still another object of the present invention is to input user information more accurately and simply through various situational recognition of the user on the screen, and due to the palm contact, etc.
  • a method of inputting user information through contextual recognition on a screen is provided.
  • a first aspect of the present invention provides a touch screen device, comprising: a first light emitting unit for emitting an optical signal to perform non-touch sensing; A second light emitting unit to emit an optical signal to perform touch sensing together with the non-touch sensing; An optical guide part for guiding light emitted from the second light emitting part; And a light receiver configured to receive light emitted from the first light emitter and the second light emitter by being changed by an object.
  • the first light emitting unit and the second light emitting unit may be implemented by emitting light by different modulations, or may be implemented by emitting light having different wavelengths. Both of the light receiving units are arranged in a matrix so as to grasp the X and Y coordinates, and other types of light receiving elements may be disposed, or the same type of light receiving elements may be disposed.
  • the photoreceptors for sensing the light emitted from the first light emitter and the photoreceptors for detecting the light emitted from the second light emitter may be separately disposed in a matrix form.
  • non-touch refers to a state in which an object is approaching the touch screen device while not touching the touch screen device, and is used to distinguish it from touch.
  • Object means an object that can be used for touch, such as a human hand.
  • the light emitted from the first light emitter and the light emitted from the second light emitter are preferably not multiples of their respective modulation frequencies, and the difference in frequency is preferably as large as possible.
  • the ratio of modulation frequencies is a multiple of each other, it may not be easy to recognize each modulation signal by the light receiver.
  • the difference in frequency is large, for example, 10 kHz or more, the light receiving unit has a convenient advantage when separately detecting signals modulated by the first light emitting unit and the second light emitting unit.
  • the light receiving unit may be manufactured in an integrated form in the image panel, may be integrated in the backlight of the LCD, or may be manufactured in a separate light receiving panel form, or may be manufactured separately in the form of a camera such as a CCD and a CMOS image sensor. It is also possible. That is, as long as the light emitted through the first light emitting part and the second light emitting part senses a signal changed by the object, it can be employed in various ways that are not particularly limited.
  • the light emitting unit has a structure for transmitting light through the light guide, but is not necessarily limited thereto. If the light signal is deformed by non-touch or touch and the modified signal is received through the light receiving unit, various methods are possible.
  • the light emitting unit may be formed of a first light emitting unit and a second light emitting unit together at an upper edge of the touch screen device, the first light emitting unit may be transmitted through an optical guide, and the second light emitting unit may be formed at an upper edge of the touch screen device.
  • the first light emitting part and the second light emitting part may be formed under the touch screen device. In this case, it is also possible to transmit light uniformly to the top separately from the backlight or by using the same light guide plate.
  • a touch screen device comprising: a first light emitting part and a second light emitting part for emitting an optical signal in order to perform both non-touch sensing and touch sensing; And a light receiving unit in which light emitted from the first light emitting unit and the second light emitting unit is changed and received by an object, wherein the light receiving unit separates and detects light emitted from the first light emitting unit and the second light emitting unit, respectively.
  • a third aspect of the invention comprising the steps of: (a) detecting a user approaching the screen to recognize the location of the user; (b) recognizing a position of a user's hand by detecting an access state of a user located on the screen; (c) recognizing the user's left and right hands using angles and distances according to the user's position and the user's hand position recognized in steps (a) and (b); (d) recognizing the movement of the user located on the screen and recognizing the shape and specific movement of the user's hand; (e) recognizing a shape of a user's finger located on the screen using a real-time image processing scheme; And (f) detecting the object touched on the screen and recognizing the coordinates of the object, and then the shape and specific movement of the user's left and right hands, the user's hand as recognized in steps (c) to (e), or
  • the present invention provides a method of inputting user information through situational recognition on a screen, the method including assigning a specific command to the recognized contact coordinate
  • the user approaching the screen is preferably detected using at least one camera or line sensor installed on all sides of the screen.
  • the user approaching the screen can be detected using RFID communication or fingerprint recognition.
  • the access state of the user located on the screen can be detected using any one of at least one camera, infrared sensor or capacitive method.
  • a specific command may be assigned and executed based on the recognized shape of the user's hand and a specific movement.
  • step (d) the shape and the specific movement of the user's hand located on the screen can be recognized in real time using three-dimensional (X, Y, Z) coordinates.
  • the real-time image processing method may acquire the image of the user's hand located on the screen, and then recognize it by contrasting the pre-stored various shape images of the hand.
  • the object touched on the screen can be detected using any one of a camera, an infrared sensor or a capacitive method.
  • a fourth aspect of the invention (a ') detecting the movement of the user located on the screen to recognize the shape and specific movements of the user's hand; And (b ') allocating a specific command based on the recognized shape and specific movement of the user's hand.
  • step (a ') it is preferable to recognize the shape and the specific movement of the user's hand located on the screen in real time using three-dimensional (X, Y, Z) coordinates.
  • a fifth aspect of the present invention provides a recording medium on which a program for executing a user information input method through contextual recognition on a screen is recorded.
  • the touch screen device when the object is not touched, that is, only by accessing the touch screen device, the touch screen device can recognize the user, and thus the user can feel more convenient than the conventional touch screen.
  • the present invention has the effect of providing a touch screen device that detects both touch and non-touch, and also enables multi-touch.
  • the touch screen device detects and recognizes an object approaching the screen in real time, thereby realizing an attribute of the touched object when a direct touch occurs on the screen.
  • the user information can be input more accurately and simply through the user's various situational recognition on the screen, and the contact coordinates input on the screen is ignored when the finger is not a finger There is an effect that can effectively prevent malfunction.
  • FIG. 1 is a schematic configuration diagram of a touch screen device 1 according to an embodiment of the present invention.
  • FIG. 2 is a conceptual view illustrating an example of a light emitting and receiving method of the light emitting units 130 and 140 and the light receiving unit 110 applied to the embodiment of the present invention.
  • FIG. 3 is a detailed block diagram illustrating the configuration of the light emitting units 130 and 140 according to an exemplary embodiment of the present invention.
  • FIG. 4 is a view illustrating an optical signal received by the light receiving unit 110 according to an exemplary embodiment of the present invention. Detailed block diagram illustrating the process in more detail.
  • FIG. 5 is a schematic configuration diagram of a touch screen device 1 according to another embodiment of the present invention.
  • FIG. 6 is a schematic configuration diagram of a touch screen device 1 according to another embodiment of the present invention.
  • FIG. 7 is a schematic configuration diagram of a touch screen device 1 according to another embodiment of the present invention.
  • FIG. 8 is a schematic configuration diagram of a touch screen device 1 according to another embodiment of the present invention.
  • FIG. 9 is a schematic structural diagram of a light emitting unit according to another embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a user information input method through contextual recognition on a screen according to another embodiment of the present invention.
  • FIG. 11 is a diagram illustrating shape recognition of a user's finger using real-time image processing applied to a user information input method through contextual recognition on a screen according to another embodiment of the present invention.
  • FIG. 12 is a view for explaining an example of a process of recognizing an object on a screen in a user information input method through contextual recognition on a screen according to another embodiment of the present invention.
  • FIG. 1 is a schematic configuration diagram of a touch screen device 1 according to an embodiment of the present invention.
  • the touch screen device 1 includes a light receiving unit 110, a light guide unit 120, a first light emitting unit 130, and a second light emitting unit 140, and additionally a prism sheet (FIG. 4). 150), a diffuser (160 in FIG. 4), etc. may be added.
  • the light receiving unit 110 is configured to detect light emitted from the first light emitting unit 130 and the second light emitting unit 140, and preferably, the first light emitting unit 130 and the second light emitting unit 140. Emit light at different modulation frequencies.
  • the first light emitting unit 130 is a light emitting configuration provided to recognize the degree of the hand approaching and the position in which the object is in contact with the touch screen device 1 in a non-contact state.
  • the first light emitter 130 is configured to detect an object, and the second light emitter 140 proposes a configuration to sense that a finger is touched. Since the configuration of the first light emitter 130 may also identify the position before the finger is touched, the first light emitter 130 may also determine the position of the moment when the finger is touched more accurately and quickly.
  • the light emitting unit 110 may recognize the light emitting unit 110, but emits infrared signals having different wavelength bands.
  • the light emitting device may be configured in a manner of sequentially cross-emitting light.
  • the light to be used uses, for example, an infrared light emitting device having a peak value at about 950 nm, and a light receiving device also uses a device that can receive it.
  • the infrared light emitted is modulated and the light receiving unit 110 performs amplification at, for example, several tens of kHz according to the modulated frequency.
  • the emitted infrared light is modulated by a separate frequency between the object sensing infrared ray and the touch sensing infrared ray.
  • the object sensing infrared light modulates at about 38 kHz and the touch infrared light at about 58 kHz.
  • the light receiving unit 110 distinguishes both frequency bands, and tunes and amplifies the infrared signals simultaneously inputted by the difference in frequency. If necessary, the modulated light itself can be coded, and a specific command can be assigned to the coded modulated light for execution.
  • the light receiver 110 may be configured as two light receiver groups capable of receiving light for each wavelength. Do.
  • Figure 2 is a conceptual diagram for explaining an example of the light emitting and receiving method of the light emitting unit 130, 140 and the light receiving unit 110 applied to an embodiment of the present invention, the first light emitting unit 130 and the second light emitting unit A method of sequentially cross-emitting 140 is shown.
  • the first light emitting unit 130 and the second light emitting unit 140 are cross-emitted and received by the light receiving unit 110 so that the two signals do not overlap when receiving the received data.
  • the image can be divided into images at the time of second light emission and used to recognize non-touch and touch.
  • the light emission time and the order of the first light emitting unit 130 and the second light emitting unit 140 vary depending on the scan rate of the light receiving unit 110.
  • the first light emitting unit 130 and the second light emitting unit 140 emit light at the intersection of 30 times each.
  • a separate timing generator circuit to accurately synchronize the blinking of the first light emitting unit 130 and the second light emitting unit 140 and the scan of the light receiving unit 110.
  • a clock generation circuit built in these devices may be used.
  • the scan rate of the light receiving unit 110 may be increased to 120 times per second, 180 times, or the like.
  • the flicker of the first light emitting unit 130 and the second light emitting unit 140 also increases in proportion.
  • the light receiving unit 110 preferably scans at least 30 times per second.
  • the light emitting unit 110 divides the image during the first light emission and the image during the second light emission by a time difference. In the scanning method, it is preferable to receive more than 60 times per second.
  • any type of light can be used as long as it is light that can be received by the light receiving unit 110, but to avoid disturbance with visible light It is preferable to use an infrared band for this purpose.
  • the touch screen apparatus obtains information in which light incident by the first light emitter 130 changes according to the approach of the object, and grasps the degree and coordinates of the approach of the object using the obtained information, and the second The light incident by the light emitter 140 obtains information that changes according to the contact of the object, and uses the obtained information to determine the coordinates of the contact of the object.
  • the light receiving unit 110 includes unit light receiving elements in a planar shape, for example, in a matrix form, so that when the light emitted by the first light emitting unit 130 is received by the light receiving unit 110, the position X, which the object approaches, Y coordinate) and the degree of approach. This is made possible by the amount of light received by the unit light receiving elements.
  • the light guide unit 120 performs a function of guiding and transmitting the light emitted from the second light emitting unit 140 and may be manufactured using, for example, an acrylic light guide plate.
  • the light guide unit 120 also performs a function of transmitting light transmitted from the first light emitting unit 130.
  • the first light emitting unit 130 and the second light emitting unit 140 may be configured by arranging a plurality of light emitting devices on one surface or two surfaces when viewed in a plan view.
  • the first light emitter 130 Since the first light emitter 130 performs a function of determining whether the object approaches the touch screen device, the first light emitter 130 has a structure in which the object is radiated with a predetermined angle ⁇ , and ⁇ has about 20 to 80 °. According to the first light emitter 130, the light reflected while the object approaches the touch screen device 1 is changed by the light receiving unit 110 according to the location of the object and the degree of approach.
  • the light emitted from the first light emitting unit 130 may have light receiving units of the light receiving unit 110 having a matrix shape according to the position and proximity of the object. The amount of light received is changed and the change is detected to determine the X and Y position of the object and the degree of approach.
  • the light receiving unit 110 is connected to an external circuit unit (not shown) to determine the position by using an electric signal transmitted from the light receiving unit 110.
  • an external circuit unit not shown
  • known techniques can be used for such a scheme.
  • the light receiving unit 110 has a structure in which each light receiving unit can receive a light in a matrix form, and receives light emitted from the first light emitting unit 130 and the second light emitting unit 140 using one light receiving unit. It is also possible to separate the light receiving unit into a first light receiving unit and a second light receiving unit.
  • FIG. 3 is a detailed block diagram illustrating the configuration of the light emitting units 130 and 140 according to an exemplary embodiment of the present invention.
  • FIG. 4 is an optical signal received by the configuration of the light receiving unit 110 according to the exemplary embodiment of the present invention. Detailed block diagram for explaining the process of processing in more detail.
  • the oscillation circuits 301-1 and 301-2, the division circuits 302-1 and 302-2, and the output circuits 303-1 and 303-2 are applied. It includes.
  • the oscillation circuits 301-1 and 301-2 perform, for example, about 455 kHz oscillation (ceramic oscillation), and the oscillated signal is divided into 12 or 8 divisions through the division circuits 302-1 and 302-2. Therefore, the frequency division circuit 302-1 divided into 12 at 455 kHz is approximately 38 kHz, and the frequency division circuit 302-2 divided into 8 at 455 kHz is approximately 57 kHz.
  • the output circuits 303-1 and 303-2 emit an infrared light emitting element, for example, an infrared LED, using about 0.3A to 0.8A.
  • the first light emitter 130 and the second light emitter 140 may output the modulated light signal.
  • 3 is only an example for understanding.
  • FIG. 4 illustrates a simplified configuration diagram for processing a signal received by the light receiver 110.
  • the optical signal sensed through the light receiver 110 is converted into an electrical signal, and the switching circuit 195 collects information detected by each unit light receiver along with x and y-axis information.
  • the signal separation unit 196 performs this operation.
  • the signal separation unit 196 includes an amplifying unit 196a for amplifying the detected signal and a first band pass filter 196b (for 38 KHz band). And second bandpass filters 196c (for 57 KHz band).
  • the separated signals are converted into digital signals through the A / D converters 197-1 and 197-2, respectively, and each signal is converted into the video signals through the video signal converters 198-1 and 198-2, followed by imaging processing.
  • image processing is performed in real time.
  • FIG. 5 is a schematic configuration diagram of a touch screen device 1 according to another embodiment of the present invention.
  • the touch screen device 1 includes a light receiving unit 110, a light guide unit 120, a first light emitting unit 130, and a second light emitting unit 140.
  • the image panel 170 may be additionally provided, and the backlight 175 may be integrated with the light receiving unit or provided in another plate.
  • the image panel 170 may use, for example, a liquid crystal display device including a TFT substrate and a color filter substrate.
  • the backlight 175 for implementing an image is not a necessary configuration, but a reflective liquid crystal display. In the case of a device or the like, the backlight may be omitted as necessary.
  • the image panel uses a device such as an OLED, the backlight itself is not required.
  • the image panel 170 is added, the signal of the light changed by the touch or non-touch of an object may pass through the image panel 170 and be transmitted to the light receiving unit 110 so that the image panel 170 may have some kind of transparency. It is desirable to have. For this purpose, it is also possible to add a configuration for securing a kind of transparency to the image panel 170.
  • the prism sheet 150, the diffuser 160, and the like may be additionally added.
  • the prism sheet 150 and the diffuser 160 use a function commonly known for the function as a means for accurately transmitting the signal of the light changed by the touch or non-touch of the object to the light receiver 110.
  • FIG. 6 is a schematic configuration diagram of a touch screen device 1 according to another embodiment of the present invention.
  • the touch screen device 1 may include a light guide unit 120, a first light emitting unit 130, and a second light emitting unit 140, and may additionally add an image panel 180.
  • the light receiver 110 (in FIG. 1) is integrated together inside the image panel 180.
  • the liquid crystal display device includes a TFT substrate and a color substrate, and according to a known technique, a pin diode type light receiving element may be embedded together with TFT switching elements manufactured in a matrix form in the TFT substrate.
  • This pin diode is a means for detecting the amount of light, each pin diode arranged in a matrix form may perform the function of the light receiving unit (110 in FIG. 1).
  • the liquid crystal display device is described as an example, but it may be included that other image panels include all of the light receiving units.
  • FIG. 7 is a schematic configuration diagram of a touch screen device 1 according to another embodiment of the present invention.
  • the touch screen device 1 includes a light guide part 120, a first light emitting part 130, and a second light emitting part 140 and a light receiving part panel 190. Referring to the differences from the touch screen of FIG. 1, the light receiving unit panel 190 is provided.
  • the light receiving unit panel 190 is a panel in which the light receiving elements 192 are disposed, for example, in a matrix shape, and transmits a semiconductor material capable of receiving a light on a transparent substrate and an electrical signal received from these semiconductor materials to the outside through wires. Perform the function.
  • a p-n diode is formed using amorphous silicon on a transparent substrate made of glass or plastic, and electrical signals generated by the formed p-n diode are transmitted to the outside through the wirings.
  • the light receiver panel 190 is shown to be installed adjacent to the lower part of the light guide unit 120, but the light receiver panel 190 may be installed at various positions.
  • the arrangement of the light receiving panel may vary depending on the relationship with the backlight.
  • the light receiving unit panel 190 may be disposed between the backlight and the light guide unit, or may be disposed at the light guide unit behind the backlight (opposite to the surface).
  • the light guide unit 120 may be disposed adjacent to the lower part of the light guide unit 120.
  • the light receivers integrated in the light receiver panel 190 are included in the light. Since it may be affected by the light blocking element formed in the light-receiving element portion can be prevented from affecting the backlight light on the light-receiving element portion.
  • FIG. 8 is a schematic configuration diagram of a touch screen device 1 according to another embodiment of the present invention.
  • the touch screen device 1 includes light receiving units 330 and 340, an optical guide unit 300, a first light emitting unit 310, and a second light emitting unit 320.
  • the light receiving units 330 and 340 may be applied in the form of an infrared sensing camera such as a CCD and a CMOS image sensor, and have a first light receiving unit 330 and a second light receiving unit 340 to detect light having different wavelengths.
  • the first light receiver 330 and the second light receiver 340 each include a filter to specify a wavelength range that can be detected by the light receiver. For example, when the first light receiving unit 330 receives 800 nm of light, it is preferable to install filters 350 and 360 passing the 800 nm light in front of the first light receiving unit 330.
  • the first light emitting unit 310 and the second light emitting unit 320 may of course emit light at different wavelengths.
  • the first light receiver 330 is suitable for receiving 800 nm light.
  • the second light receiver 340 may be configured to be suitable for 900nm light reception.
  • the touch screen may be touched in a manner including both a touch method and a non-touch method by implementing a touch using the first light emitter 310 and a non-touch method using the second light emitter 320. It can be implemented.
  • the light emitted from the first light emitting unit 310 for sensing when touched is guided by the light guide unit 300 and sensed by the first light receiving unit 330.
  • FIG. 9 is a schematic structural diagram of a light emitting unit according to another embodiment of the present invention.
  • the light emitting unit is integrated with a backlight for a liquid crystal display.
  • the light emitting unit 410 is provided at the other end of the LGP 400 in a general backlight structure in which the LGP 400 and the LED or CCFL light source 420 are integrated together.
  • the LGP 400 and the LED or CCFL light source 420 are integrated together.
  • the signal is guided by the light guide plate 400 so that the signal can be emitted relatively upward in a planar manner.
  • the reflective plate 430 is formed under the light guide plate 400.
  • FIG. 10 is a flowchart illustrating a user information input method through contextual recognition on a screen according to another embodiment of the present invention.
  • a user accessing the screen is sensed through a user recognition means installed at an inside / outside or a periphery of a screen to recognize a user's individual recognition, that is, a user's location (S100).
  • a user recognition means installed at an inside / outside or a periphery of a screen to recognize a user's individual recognition, that is, a user's location (S100).
  • the screen is a conventional display device, for example, a liquid crystal display (LCD) including a CRT (Cathode Ray Tube) monitor, a field emission display (FED), a plasma display panel (Plasma Display Panel, PDP) device, Electro-Luminescence (EL) display, Organic Light Emitting Diode (OLED) display, Digital Micro-mirror Device, DMD ) Or a touch screen.
  • LCD liquid crystal display
  • FED field emission display
  • PDP plasma display panel
  • EL Electro-Luminescence
  • OLED Organic Light Emitting Diode
  • DMD Digital Micro-mirror Device
  • the user recognition means performs a function of individually detecting a user near a predetermined area of the screen, preferably installed on all sides of the screen, for example, at least one camera (Camera) capable of real-time tracking or It is preferable to detect using a line sensor or the like.
  • a camera Camera
  • the camera may be implemented as a CCD camera having a lens and an image sensor such as a conventional video camera, a charge coupled device (CCD) camera, or a CCD line sensor capable of capturing continuous moving images.
  • CCD charge coupled device
  • the present invention is not limited thereto, and may be implemented by another type of camera capable of capturing a continuous video to be developed later.
  • any one may be used as long as it is arranged to obtain one-dimensional information by detecting light or electromagnetic waves such as ultraviolet light, visible light and infrared light.
  • the line sensor include photodiode arrays (PDAs), and photographic films arranged in a grid. Among these, a photodiode array is preferable.
  • the position of the user's hand is recognized by detecting an access state of the user located on the screen, that is, an access state other than a direct touch, through an access state recognition unit installed in the inner / outer or periphery of the screen (S200). ).
  • the access state recognition means is for detecting the access state of the user located on the screen, for example, at least one of the capacitive method such as a method used in at least one camera, an infrared sensor or a conventional touch screen. Can be detected.
  • the left and right hands of the corresponding user are recognized using an angle and a distance according to the position of the user and the position of the user's hand recognized in steps S100 and S200 (S300).
  • the motion recognition means is for detecting the movement of the user, that is, the hand located on the screen, for example, using a three-dimensional (X, Y) using a conventional CCD camera or an infrared sensor that can shoot a continuous video , Z) can be detected in real time in the form of coordinates.
  • a specific command may be assigned and executed based on the shape and the specific movement of the user's hand recognized in step S400.
  • a hidden command icon appears on the screen.
  • a different menu is output according to the height of the user's hand located on the screen (that is, recognizable the coordinates of the distance Z of the screen and the object).
  • the shape of the user's finger eg, thumb, index finger, middle finger, ring finger, and hand of the left / right hand
  • S500 a real-time image processing method
  • FIG. 11 is a diagram illustrating shape recognition of a user's finger using real-time image processing applied to a user information input method through contextual recognition on a screen according to another embodiment of the present invention.
  • the shape of the hand viewed from the screen is shown, and
  • FIG. 11B shows the image converted into image image data by a computer.
  • the real-time image processing method typically acquires an image of a user's hand located on the screen, and then recognizes it by contrasting with various pre-stored shape images.
  • a specific command is allocated to the recognized contact coordinates based on at least one of them (S600). For example, an A command is assigned when the thumb contacts, and a B command is assigned when the index finger contacts.
  • the object touched on the screen may be detected using a method capable of multiple recognition, such as a camera, an infrared sensor, or a capacitive method.
  • the process of detecting the object touched on the screen to recognize the coordinates of the object is preferably performed in parallel with the step S100 to step S500.
  • FIG. 12 is a view for explaining an example of a process of recognizing an object on a screen in a user information input method through contextual recognition on a screen according to another embodiment of the present invention.
  • User recognition means including a conventional microcontroller in charge of the overall control by using the user information input method through the situation-aware recognition on the screen according to another embodiment of the present invention as described above, the access state recognition
  • the user information input device may be implemented including means, motion recognition means, image processing means, and storage means.
  • the user information input method through the situation-aware recognition on the screen according to an embodiment of the present invention can also be implemented as computer-readable code on a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • a computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory (Flash memory).
  • Flash memory nonvolatile memory
  • the computer readable recording medium can also be distributed over computer systems connected over a computer network so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 비터치 감지를 수행하기 위하여 광신호를 발광하는 제1 발광부와, 터치 감지를 상기 비터치 감지와 함께 수행하기 위하여 광신호를 발광하는 제2 발광부와, 제2 발광부로부터 발광된 광을 가이드하기 위한 광가이드부와, 발광된 광이 오브젝트에 의해 변화되어 수신되는 수광부를 구비하는 터치 스크린 장치를 제공한다. 또한, 본 발명은 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 제공한다.

Description

터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
본 발명은 터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 관한 것으로, 보다 상세하게는 터치감지와 비터치(접근) 감지를 동시에 수행하며, 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있도록 한 터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 관한 것이다.
사용자와 컴퓨터 사이의 상호 작용을 증진시키기 위해서, 터치 스크린 장치가 적용된 디스플레이는 멀티미디어 정보 키오스크(kiosk), 교육 센터, 자동 판매기, 비디오게임 등에 폭넓게 도입되어 왔다.
터치 스크린 디스플레이는 물리적 접촉에 의해 영향 받을 수 있는 디스플레이 스크린이고, 사용자가 컴퓨터 스크린에 아이콘, 화상, 단어 또는 다른 시각적인 물체를 터치함으로서 컴퓨터와 상호 작용하는 것을 가능하게 한다. 다시 말해서 입력 위치에 스크린과 물리적 접촉의 성립은 보통 오브젝트(예컨대 손가락)과, 스크린이 더러워지고 얼룩지지 못하게 하기 위한 펜, 또는 몇몇 다른 적절한 스타일러스(stylus)로 이루어진다.
터치 스크린 관련 종래 기술은 일본 특허 출원 번호 제11-273293호, 한국특허공개 제2006-83420호, 미국특허공개 US2008/0029691호 등이 있다.
일본 특허 출원 번호 제11-273293호, 한국특허공개 제2006-83420호, 미국특허공개 US2008/0029691호 등은 터치 패널, 터치 패널을 구비한 디스플레이 디바이스와, 디스플레이 디바이스를 구비한 전기 기기를 개시하고 있는데, 이 구조에서 광 가이드 플레이트는 조명(lighting) 수단으로 조명된다. 광 가이드 플레이트의 양 측면에서는 조명수단에 의해 광은 입사되고 입사한 조명 수단의 광은 조명 수단과 관련하여 광 가이드 플레이트의 마주보는 측면 또는 하면에 위치해 있는 광학 센서에 충돌하는 구조이다.
그러나, 이러한 구조에 의하면 어떤 오브젝트가 터치스크린 표면에 직접 접촉하는 경우에만 인식하는 단점이 있고, 접촉 시 접촉한 오브젝트의 속성까지는 파악하지 못하는 문제점이 있었다.
또한, 접촉한 오브젝트의 속성을 파악하지 못하는 경우 사용자의 의도와 다르게 인식하여 오동작할 가능성이 있는데 예를 들어 사용 중 손가락이 아닌 손바닥이나 팔꿈치, 그 외의 오브젝트 등에 의한 접촉으로 오동작을 할 수 있다.
또한, 접촉한 오브젝트의 속성을 파악하지 못하는 경우, 예를 들어 손가락에 의해 두 개의 접촉이 일어났을 때, 한 손의 두 손가락에 의한 접촉인지, 각각 서로 다른 손의 한 손가락들에 의한 접촉인지 구별할 수 없는 문제점이 있었다.
한편, 컴퓨터의 발달은 사람들의 생활을 다양하게 변화시키고 있다. 또한, 컴퓨터 사용에 대한 인식이 높아지면서 컴퓨터의 초기 계산목적에서 서류작성이나 저장, 검색, 엔터테인먼트 및 게임 등 점차 그 활용범위가 확대되고 있다.
특히, 가상현실의 구현은 게임, 교육 및 훈련 등에서 획기적인 성과를 거두고 있다. 가상현실을 통해 저렴한 비용으로 실제 상황과 동일한 체험을 할 수 있고 효율적이고 안전하게 교육 및 훈련이 가능하다. 이미 해저탐험, 비행훈련 및 기관차 운전 등 여러 분야에서 사용되고 있다.
이러한 가상현실(Virtual Reality) 기술은 1980년대 이후 빠른 속도로 발전해왔다. 특히, 대형스크린을 이용한 프로젝션(Projection) 타입의 가상환경을 구축하는 것은 가상현실의 기본적인 기능인 완전 몰입성(Immersion), 상호작용(Interactivity), 원격지와의 협업(Collaboration) 및 인터페이스(Interface)를 통한 증강현실 구현 등의 장점으로 인해 많은 분야에서 활용되고 있다.
또한, 가상현실은 그 응용분야로 건축, 의료공학, 자동차 등 각종 디자인, 문화 콘텐츠 복원 및 개발, 생명공학, 지구환경 시뮬레이션 구현 등으로 매우 다양하다. 즉, 가상현실은 실제의 환경에서 사람들이 쉽게 접하지 못하는 환경을 가상으로 만들어 줄 수 있고, 또 복잡한 실제 환경을 사람들의 수준에 맞게 조정해 주어 실제의 자연 환경을 보완한 교육 환경을 구축하는데 효과적이다.
실제로 최근 많은 연구에서 다양한 시뮬레이션 구축이 가능한 가상현실 환경을 과학이나 수학 교육에 사용하였다. 그 예로 뉴턴의 물리역학을 쉽게 배울 수 있도록 해주는 뉴턴의 세계, 고릴라의 습성과 행동거지 및 서식지에 대해 공부할 수 있도록 도와주는 가상 고릴라(The Virtual Gorilla Project), 그리고 "지구는 둥글다"라는 개념을 가르치도록 도와주는 둥근 지구 프로젝트(The Round Earth), 초등학생들의 과학적 관찰력과 탐구능력을 키워주는 가상 주변환경(The Virtual Ambients), 오염이나 홍수 등 환경요인이 어떻게 해양에 영향을 미치는지를 관찰하고 측정할 수 있는 가상 푸젯 해협(The Virtual Puget Sound) 등이 있다.
그 외에도 가상현실 기술을 사용하여 문화유적지 혹은 문화재를 그대로 복원하거나 관람자들로 하여금 역사 속의 과거 시대로 돌아가 체험할 수 있도록 도와주는 가상현실 문화유산 환경연구도 많이 진행되고 있다. 가상현실 문화유산 환경은 실제로 현존하고 있는 유적지나 지금은 많이 손상되었거나 아예 자취조차 남아있지 않는 문화유산을 가상현실로 복원 또는 재현한다. 서라벌 프로젝트는 통일신라의 도성 신라왕경인 서라벌 복원을 통하여 대표적 불교유적지인 석굴암, 불국사, 황룡사, 남산 불상군 등을 가상현실 기술로 제작하여 마치 당시 화려한 문화를 구가했던 신라왕경의 시공간으로 돌아간 느낌을 주었다.
전술한 바와 같은 가상현실 즉, 3차원 애플리케이션(Application)에서 사용되는 인터페이스는 지금까지 여러 가지 장치들이 제시되어왔다. 이러한 인터페이스 장치는 3차원 공간상에서의 위치정보를 얻는 것이 중요한데, 보통의 경우에 사람의 몸에 센서를 달거나 센서가 부착된 도구들을 사용한다. 그러나, 이러한 종래의 인터페이스 장치들은 사람에게 자연스런 움직임을 보장해주지 못하며 또한 사용하기에 앞서 학습이 필요하다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 오브젝트의 비터치시에도 인식할 수 있는 터치스크린 장치를 제공하는 것이다.
본 발명의 다른 목적은 터치시와 비터치시 모두에 대해 감지가 가능한 터치스크린 장치를 제공함으로써 터치시의 감도를 증가시키도록 하는 것이다.
본 발명의 또 다른 목적은 멀티 터치가 가능한 터치스크린 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 터치시와 비터치시 모두에 대해 감지가 가능한 터치스크린 장치를 제공함으로써 터치시 터치한 손가락이나 오브젝트 등의 속성을 파악할 수 있는 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있도록 한 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 제공하는 것이다.
상술한 문제점을 해결하기 위한 수단으로서, 본 발명의 제1 측면은 터치 스크린 장치에 있어서, 비터치 감지를 수행하기 위하여 광신호를 발광하는 제1 발광부; 터치 감지를 상기 비터치 감지와 함께 수행하기 위하여 광신호를 발광하는 제2 발광부; 상기 제2 발광부로부터 발광된 광을 가이드하기 위한 광가이드부; 및 상기 제1 발광부 및 제2 발광부로부터 발광된 광이 오브젝트에 의해 변화되어 수신되는 수광부를 구비하는 터치 스크린 장치를 제공한다.
제1 발광부, 제2 발광부는 서로 다른 변조에 의해 발광하는 방식으로 구현할 수도 있고, 서로 다른 파장의 광을 발광하여 구현하는 것도 가능하다. 양자 모두 수광부는 매트릭스 형태로 X,Y 좌표를 파악할 수 있도록 배치되고 다른 종류의 수광소자를 배치하는 것도 가능하고 동일한 종류의 수광소자를 배치하는 것도 가능하다. 예를 들어, 매트릭스 형태로 제1 발광부에서 발광된 광을 감지하기 위한 수광소자들과 제2 발광부에서 발광된 광을 감지하기 위한 수광소자들을 분리하여 배치할 수도 있다.
"비터치" 라 함은 터치 스크린 장치에 접촉하지 않은 상태이면서 오브젝트가 터치스크린 장치에 접근하고 있는 상태를 의미하는 것으로 터치와 구별하기 위해 사용한 용어이다.
"오브젝트"는 인간의 손 등 터치에 사용될 수 있는 물체를 의미한다.
한편, 제1 발광부에서 발광된 광과 제2 발광부에서 발광된 광은 각각의 변조 주파수가 배수가 되지 않는 것이 바람직하고 주파수의 차이는 가능한 크게 하는 것이 바람직하다. 변조 주파수의 비가 서로 배수가 되면 수광부에서 각각의 변조 신호를 구분하여 인식하는 것이 용이하지 않을 수 있다. 또한, 주파수의 차이가 크면, 예를 들어 10 kHz 이상이면 수광부에서 제1 발광부와 제2 발광부에서 변조된 신호를 서로 분리하여 감지할 때 편리한 장점이 있다.
또한, 수광부는 영상패널 내에 집적된 형태로 제작될 수도 있고 액정표시장치의 백라이트에 함께 집적될 수도 있으며, 별도의 수광부 패널 형태로 제작될 수도 있고, CCD, CMOS 이미지 센서 등의 카메라 형태로 별도로 제작되는 것도 가능하다. 즉, 제1 발광부 및 제2 발광부를 통해 발광된 광이 오브젝트에 의해 변화된 신호를 감지하는 방식이면 특별히 제한되지 않은 다양한 방식으로 채용가능하다.
발광부는 광가이드를 통해서 광을 전달하는 구조를 가지고 있으나 반드시 이에 한정되지 않고 비터치 또는 터치에 의해 광신호가 변형되고 이 변형된 신호가 수광부를 통하여 수신되는 구조이면 다양한 방식이 가능하다. 발광부로 가능한 구조로는 터치 스크린 장치의 상부 가장자리에 제1 발광부와 제2 발광부를 함께 형성하는 것도 가능하고, 제1 발광부는 광가이드를 통하여 전달하고, 제2 발광부는 터치 스크린 장치의 상부 가장자리에 형성되는 구조도 가능하며, 제1 발광부와 제2 발광부는 모두 터치 스크린 장치의 하부에 형성되는 것도 가능하다. 이 경우는 백라이트와 별도로 또는 동일한 도광판을 사용하여 상부로 균일하게 광을 전달하는 것도 가능하다.
본 발명의 제2 측면은 터치 스크린 장치에 있어서, 비터치 감지와 터치 감지를 함께 수행하기 위하여 광신호를 발광하는 제1 발광부 및 제2 발광부; 상기 제1 발광부 및 제2 발광부로부터 발광된 광이 오브젝트에 의해 변화되어 수신되는 수광부를 구비하되, 상기 수광부는 제1 발광부와 제2 발광부로부터 발광된 광을 각각 분리하여 감지하는 터치 스크린 장치를 제공한다.
본 발명의 제3 측면은, (a) 스크린에 접근한 사용자를 감지하여 사용자의 위치를 인식하는 단계; (b) 상기 스크린 상에 위치한 사용자의 접근상태를 감지하여 사용자 손의 위치를 인식하는 단계; (c) 상기 단계(a) 및 단계(b)에서 인식된 사용자의 위치 및 사용자 손의 위치에 따른 각도와 거리를 이용하여 사용자의 왼손 및 오른손을 인식하는 단계; (d) 상기 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계; (e) 실시간 이미지 프로세싱 방식을 이용하여 상기 스크린 상에 위치한 사용자 손가락의 형태를 인식하는 단계; 및 (f) 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식한 후, 상기 단계(c) 내지 단계(e)에서 인식된 사용자의 왼손 및 오른손, 사용자 손의 형상과 특정 움직임 또는 사용자 손가락의 형태 중 적어도 어느 하나를 바탕으로 상기 인식된 접촉 좌표에 특정 명령을 할당하는 단계를 포함하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 제공하는 것이다.
상기 단계(a)에서, 상기 스크린에 접근한 사용자는 상기 스크린의 사방에 설치된 적어도 하나의 카메라 또는 라인 센서를 이용하여 감지함이 바람직하다.
바람직하게, 상기 단계(a)에서, 상기 스크린에 접근한 사용자는 RFID 통신 또는 지문인식 방식을 이용하여 감지할 수 있다.
바람직하게, 상기 단계(b)에서, 상기 스크린 상에 위치한 사용자의 접근상태는 적어도 하나의 카메라, 적외선 센서 또는 정전용량 방식 중 어느 하나를 이용하여 감지할 수 있다.
바람직하게, 상기 단계(d)에서, 상기 인식된 사용자 손의 형상과 특정 움직임을 기반으로 특정 명령을 할당하여 실행할 수 있다.
바람직하게, 상기 단계(d)에서, 상기 스크린 상에 위치한 사용자 손의 형상과 특정 움직임은 3차원(X,Y,Z) 좌표를 이용하여 실시간으로 인식할 수 있다.
바람직하게, 상기 단계(e)에서, 상기 실시간 이미지 프로세싱 방식은 상기 스크린 상에 위치한 사용자 손의 이미지를 획득한 후, 기 저장된 다양한 손의 형태 이미지와 대조하여 인식할 수 있다.
바람직하게, 상기 단계(f)에서, 상기 스크린 상에 접촉된 오브젝트는 카메라, 적외선 센서 또는 정전용량 방식 중 어느 하나를 이용하여 감지할 수 있다.
본 발명의 제4 측면은, (a') 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계; 및 (b') 상기 인식된 사용자 손의 형상과 특정 움직임을 바탕으로 특정 명령을 할당하는 단계를 포함하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 제공하는 것이다.
상기 단계(a')에서, 상기 스크린 상에 위치한 사용자 손의 형상과 특정 움직임은 3차원(X,Y,Z) 좌표를 이용하여 실시간으로 인식함이 바람직하다.
본 발명의 제5 측면은, 상술한 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 실행시키기 위한 프로그램을 기록한 기록매체를 제공한다.
본 발명에 의하면, 오브젝트의 비터치시, 즉, 터치 스크린 장치에 단지 접근하는 것만으로도 터치 스크린 장치는 이를 인식할 수 있게 되므로 사용자는 종래의 접촉식 터치스크린에 비해 편리함을 느낄 수 있다.
또한, 터치시와 비터치시 모두에 대해 감지가 가능한 터치스크린 장치를 비교적 간단하고 저렴한 비용으로 제공할 수 있는 효과가 있다.
또한, 본 발명은 터치, 비터치 모두를 감지하는 한편, 멀티 터치도 가능하게 하는 터치 스크린 장치를 제공할 수 있는 효과가 있다.
또한, 터치스크린 장치가 스크린에 접근하는 오브젝트를 실시간 감지, 인식함으로써 스크린에 직접적인 터치가 일어날시 터치한 오브젝트의 속성을 구체화 할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 2는 본 발명의 실시예에 적용된 발광부(130,140)와 수광부(110)의 발광 및 수광 방식의 일 예를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 발광부(130,140) 구성을 좀 더 상세히 설명하기 위한 상세 블록도이고, 도 4는 본 발명의 실시예에 따른 수광부(110) 구성에 의해 수광된 광 신호를 처리하는 과정을 좀 더 상세히 설명하기 위한 상세 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 6은 본 발명의 또 다른 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 7은 본 발명의 또 다른 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 8은 본 발명의 또 다른 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 9는 본 발명의 또 다른 실시예에 따른 발광부의 개략적인 구성도이다.
도 10은 본 발명의 또 다른 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 설명하기 위한 전체적인 흐름도이다.
도 11은 본 발명의 또 다른 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 적용된 실시간 이미지 프로세싱을 이용하여 사용자 손가락의 형태 인식을 나타낸 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에서 스크린 상의 오프젝트를 인식하는 과정의 일 예를 설명하기 위한 도면이다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
(실시예)
도 1은 본 발명의 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 1을 참조하면, 터치 스크린 장치(1)는 수광부(110), 광 가이드부(120), 제1 발광부(130), 및 제2 발광부(140)를 구비하고 추가적으로 프리즘 시트(도 4의 150), 디퓨저(도 4의 160) 등을 추가할 수 있다.
수광부(110)는 제1 발광부(130)와 제2 발광부(140)에서 발광된 광을 감지하기 위한 구성으로, 바람직하게는, 제1 발광부(130)와 제2 발광부(140)는 서로 다른 변조 주파수로 발광한다.
즉, 제1 발광부(130)는 오브젝트가 터치 스크린 장치(1)에 비접촉된 상태에서 손이 접근하는 정도와 접근하는 위치를 인식하기 위하여 제공되는 발광 구성이다. 종래에는 오브젝트가 터치 스크린 장치(1)에 접촉하는 경우만 감지하도록 구성함으로써 터치 스크린 장치에 접촉되지 않는 경우에는 이를 인식할 수 없었다.
이러한 점을 해결하기 위해서 본 실시예에서는 제1 발광부(130)는 오브젝트를 감지하기 위한 구성이고, 제2 발광부(140)는 손가락이 터치되는 것을 감지하기 위한 구성을 제안한다. 제1 발광부(130) 구성은 손가락이 터치되기 전의 위치도 파악할 수 있으므로 손가락이 터치되는 순간의 위치를 더욱 정확하고 신속하게 파악할 수 있도록 하는 역할도 있다.
제1 발광부(130) 및 제2 발광부(140)는 각각 다른 주파수로 변조하고 이를 구별하여 수광부(110)에서 인식할 수 있도록 하는 방안이 효과적이지만, 서로 다른 파장 대역을 갖는 적외선 신호를 방출하거나, 순차적으로 교차 발광하는 방식으로 구성할 수도 있다.
다른 주파수로 변조하는 경우, 사용하는 광은 예컨대 약 950nm에서 피크치를 갖는 적외선 발광소자를 이용하고, 수광소자도 이를 수광할 수 있는 소자를 사용한다. 그리고, 발광되는 적외선을 변조처리하고 수광부(110)에서는 변조된 주파수에 맞게 예컨대, 수십 kHz로 동조 증폭한다. 발광되는 적외선은 오브젝트감지용 적외선과 터치감지용 적외선이 별개의 주파수로 변조된다. 바람직하게는, 오브젝트감지용 적외선은 약 38kHz, 터치용 적외선은 약 58kHz로 변조한다. 수광부(110)는 두 주파수 대역을 모두 구별하여 동조증폭하고 주파수의 차이로 동시에 입력되는 적외선 신호를 구별한다. 또한, 필요에 따라서는 변조광 자체를 코드화할 수 있고 코드화된 변조광에는 특정명령을 할당해 실행시킬 수 있다.
한편, 제1 발광부(130) 및 제2 발광부(140)는 각각 다른 파장의 광으로 발광하는 경우 수광부(110)는 각각의 파장에 대해 수광이 가능한 2개의 수광그룹들로 구성하는 것도 가능하다.
다른 한편, 도 2는 본 발명의 실시예에 적용된 발광부(130,140)와 수광부(110)의 발광 및 수광 방식의 일 예를 설명하기 위한 개념도로서, 제1 발광부(130) 및 제2 발광부(140)를 순차적으로 교차발광시키는 방식을 나타낸 것이다.
즉, 제1 발광부(130) 및 제2 발광부(140)를 교차발광시켜 수광부(110)에서 수광 시 두 신호가 겹치지 않게 수신하는 방식으로서, 수신된 데이터들은 다시 제1 발광 시의 화상과 제2 발광 시의 화상으로 따로 나누어 처리하여 비터치와 터치를 인식하는데 이용할 수 있다.
도 2를 참조하여 구체적으로 설명하면, 제1 발광부(130) 및 제2 발광부(140)의 발광시간과 순서는 수광부(110)의 스캔 레이트(Scan Rate)에 따라 달라지는데, 예를 들어 수광부(110)가 초당 60번의 수광을 할 경우, 제1 발광부(130) 및 제2 발광부(140)는 각각 초당 30번씩 교차로 발광하게 된다.
이때, 제1 발광부(130) 및 제2 발광부(140)의 점멸과 수광부(110)의 스캔을 정확하게 동기화시키기 위하여 별도의 타이밍 발생회로를 사용함이 바람직하다. 한편, 수광부(110)를 비디오카메라 혹은 웹캠과 같은 형식의 장치를 이용할 경우, 이들 장치에 내장되어 있는 클럭 발생회로를 사용할 수도 있다.
또한, 입력의 감도를 높이기 위해 수광부(110)의 초당 스캔 레이트를 초당 120번, 180번 등으로 늘리는 것도 가능하다. 이 경우 마찬가지로 제1 발광부(130) 및 제2 발광부(140)의 점멸도 비례해서 늘어나게 된다.
한편, 동화상 캡쳐 시 일반적인 연속동작 인식의 자연스러움을 고려하면, 수광부(110)는 적어도 초당 30번이상 스캔하는 것이 바람직하지만, 본 발명의 제1 발광 시 화상과 제2 발광 시 화상을 시간차로 나누어 스캔하는 방식에서는 초당 60번 이상 수광하는 것이 바람직하다.
상기와 같이 제1 발광부(130) 및 제2 발광부(140)를 교차발광하는 경우, 사용하는 광은 수광부(110)에서 수광 가능한 광이면 어떤 종류나 사용할 수 있지만, 가시광선과의 교란을 피하기 위하여 적외선 대역을 사용하는 것이 바람직하다.
또한, 태양이나 리모컨 등의 외부 적외선 성분과의 교란을 방지하기 위해 발광자체를 변조시키는 것도 가능하다.
한편, 본 터치 스크린 장치는 제1 발광부(130)에 의해 입사된 광이 오브젝트의 접근에 따라 변화하는 정보를 획득하고 획득된 정보를 이용하여 오브젝트가 접근된 정도와 좌표를 파악하고, 제2 발광부(140)에 의해 입사된 광이 오브젝트의 접촉에 따라 변화하는 정보를 획득하고 획득된 정보를 이용하여 오브젝트가 접촉된 좌표를 파악한다.
즉, 수광부(110)는 평면적으로 예컨대, 매트릭스 형태로 단위 수광소자들을 구비함으로써 제1 발광부(130)에 의해 발광된 광이 수광부(110)에 수광될 때, 오브젝트가 접근하는 위치(X,Y 좌표)와 접근하는 정도를 파악할 수 있도록 구성된다. 이는 단위 수광 소자들에 수광되는 광의 양을 통해서 가능하게 된다.
광 가이드부(120)는 제2 발광부(140)로 부터 발광된 광을 가이드하여 전달하는 기능을 수행하는 것으로 예컨대 아크릴 광도광판 등을 이용하여 제작할 수 있다. 광 가이드부(120)는 제1 발광부(130)로부터 전달되는 광을 전달하는 기능도 수행한다.
제1 발광부(130)와 제2 발광부(140)는 평면적으로 내려다보았을 때 1면 또는 2면에 복수개의 발광소자들을 배치하여 구성할 수 있다.
제1 발광부(130)는 오브젝트가 터치 스크린 장치에 접근하는 지 여부를 판별하는 기능을 수행하므로 일정 각도(θ)를 가지고 방사되는 구조를 가지고 θ은 약 20 내지 80°를 가지는 것이 바람직하다. 제1 발광부(130)에 의하면 오브젝트가 터치 스크린 장치(1)에 접근하는 동안 반사되는 광은 오브젝트의 존재 위치와 접근 정도에 따라서 수광부(110)에서 수광하는 수광량이 달라지게 된다.
예컨대, 수광부(110)를 평면적으로 내려다 보았을 때 매트릭스 형태로 배치하면 제1 발광부(130)에서 발광된 광이 오브젝트의 존재 위치와 접근 정도에 따라서 매트릭스 형태의 수광부(110)의 각 수광 단위가 수광하는 광량이 변화되고 이 변화를 감지하여 오브젝트의 X,Y 위치와 접근 정도를 판단한다.
이러한 기능을 수행하기 위해, 수광부(110)는 외부회로부(미도시)에 연결되어 수광부(110)로부터 전달된 전기신호를 이용하여 위치를 파악한다. 이러한 방식에 대해서는 공지의 기술을 이용할 수 있다.
수광부(110)는 매트릭스 형태로 각 수광 단위가 수광할 수 있는 구조를 가지고 있으며, 제1 발광부(130)와 제2 발광부(140)에서 발광되는 광을 하나의 수광단위를 이용하여 수광할 수도 있고, 제1 수광부와 제2 수광부로 분리하여 수광하는 것도 가능하다.
다음으로, 첨부한 도 3 및 도 4를 참조하여 본 발명의 발광부와 수광부의 구성을 포함한 전체 구성 및 동작을 좀 더 상세히 설명하면 다음과 같다.
도 3은 본 발명의 실시예에 따른 발광부(130,140) 구성을 좀 더 상세히 설명하기 위한 상세 블록도이고, 도 4는 본 발명의 실시예에 따른 수광부(110)의 구성에 의해 수광된 광 신호를 처리하는 과정을 좀 더 상세히 설명하기 위한 상세 블록도이다.
도 3을 참조하면, 발광부(130,140)에 의해서 변조된 광이 발광되기 위해서는 먼저 발진회로(301-1,301-2), 분주회로(302-1,302-2), 출력회로(303-1,303-2)를 포함한다. 발진회로(301-1,301-2)는 예를 들어 약 455kHz 발진(세라믹 발진)을 수행하고, 발진된 신호는 분주회로(302-1,302-2)를 통해 12 분주 또는 8분주한다. 따라서, 455kHz를 12분주한 분주회로(302-1)는 대략 38kHz가 되고, 455kHz를 8분주한 분주회로(302-2)는 대략 57kHz가 된다. 다음으로, 출력회로(303-1,303-2)는 0.3A 내지 0.8A 정도의 이용하여 적외선 발광소자, 예를 들어 적외선 LED를 발광하도록 한다.
이와 같은 방식에 의해 제1 발광부(130)와 제2 발광부(140)는 변조된 광 신호를 출력할 수 있다. 다만 도 3은 이해를 위한 일예에 불과하다.
도 4는 수광부(110)에서 수광된 신호를 처리하기 위한 간략한 구성도를 도시하고 있다.
도 4를 참조하면, 수광부(110)를 통해서 감지된 광신호는 전기적 신호로 변환되고 스위칭회로(195)는 각 단위 수광소자에서 감지된 정보를 x, y축 정보와 함께 수집한다. 한편, 수광부(110)는 제1 발광부(130)와 제2 발광부(140) 2개로부터 각각 달리 변조된 광신호를 모두 감지하므로, 이들 신호를 서로 분리할 필요가 있다. 신호분리부(196)에서는 이러한 작업을 수행하게 되는데, 신호분리부(196)는 감지된 신호를 증폭하는 증폭부(196a), 증폭된 신호를 제1 밴드패스 필터(196b)(38KHz 대역용), 제2 밴드패스 필터(196c)(57KHz 대역용)로 각각 분리한다.
한편, 분리된 신호는 각각 A/D 컨버터(197-1,197-2)를 통해 디지털 신호로 변환되고 각 신호는 비디오 신호 변환부(198-1,198-2)를 거쳐 비디오 신호로 전환된 다음, 이미징 프로세싱부(199)에서 실시간으로 이미지 프로세싱을 수행하게 된다.
도 5는 본 발명의 다른 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 5를 참조하면, 터치 스크린 장치(1)는 수광부(110), 광 가이드부(120), 제1 발광부(130) 및 제2 발광부(140)를 구비한다.
도 1의 터치스크린과의 차이점을 위주로 설명하면, 영상 패널(170)이 추가적으로 구비될 수 있고, 백라이트(175)는 수광부와 함께 집적되거나 다른 플레이트에 구비되는 구조이다.
영상패널(170)은 예컨대 TFT 기판과 컬러필터 기판을 포함하는 액정표시장치를 사용할 수 있고, 액정표시장치를 사용하는 경우 영상을 구현하기 위한 백라이트(175)는 반드시 필요한 구성은 아니고 반사형 액정표시장치 등의 경우 필요에 따라서는 백라이트는 생략될 수 있다. 또한, 영상패널이 OLED 등의 장치를 이용하는 경우는 백라이트 자체가 필요 없게 된다. 한편, 영상패널(170)이 추가되는 경우 오브젝트의 터치 또는 비터치에 의하여 변화된 광의 신호는 영상패널(170)을 통과하여 수광부(110)로 전달될 수 있기 위하여 영상패널(170)은 일종의 투과성을 가지는 것이 바람직하다. 이러한 목적을 위하여 영상패널(170)에 일종의 투과성 확보를 위한 구성을 추가하는 것도 가능하다.
또한, 추가적으로 프리즘 시트(150), 디퓨저(160) 등이 추가될 수 있다.
프리즘 시트(150)와 디퓨저(160)는 오브젝트의 터치 또는 비터치에 의하여 변화된 광의 신호를 수광부(110)로 정확하게 전달하기 위한 수단들로 그 기능에 대해서는 통상적으로 알려진 기능을 이용한다.
도 6은 본 발명의 또 다른 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 6을 참조하면, 터치 스크린 장치(1)는 광 가이드부(120), 제1 발광부(130), 및 제2 발광부(140)를 구비하고 추가적으로 영상패널(180)을 추가할 수 있다. 여기서 수광부(도 1의 110)는 영상패널(180) 내부에 함께 집적되어 있다.
영상패널(180)이 액정표시장치인 경우를 예로 들어 설명한다. 액정표시장치는 TFT기판과 컬러기판으로 되어 있고 공지된 기술에 의하면 TFT 기판 내에 매트릭스 형태로 제작되어 있는 TFT 스위칭 소자들과 함께 pin 다이오드 형태의 광수신소자를 내장할 수 있다. 이 pin 다이오드는 광량을 검출할 수 있는 수단으로 매트릭스 형태로 배열된 각각의 pin 다이오드들은 수광부(도 1의 110)의 기능을 수행할 수 있다. 본 실시예에서는 액정표시장치를 예로 들어 설명하고 있지만 다른 영상패널이 수광부를 자체에 내장하는 경우 모두를 포함할 수 있음은 물론이다.
도 7은 본 발명의 또 다른 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 7을 참조하면, 터치 스크린 장치(1)는 광 가이드부(120), 제1 발광부(130), 및 제2 발광부(140)를 구비하고 수광부 패널(190)을 구비한다. 도 1의 터치스크린과의 차이점을 위주로 설명하면, 수광부 패널(190)이 구비된 구조이다.
수광부 패널(190)은 수광소자(192)가 예컨대 매트릭스 형상으로 배치되는 패널로 투명 기판 상에 수광 역할을 수행할 수 있는 반도체 물질과 이들 반도체 물질로부터 수광된 전기신호를 배선들을 통해서 외부로 전달하는 기능을 수행한다. 예를 들어, 유리 또는 플라스틱으로 된 투명 기판 상에 비정질 실리콘을 이용하여 p-n 다이오드를 형성하고 형성된 p-n 다이오드에 의해 발생한 전기신호는 배선들을 통해서 외부로 전달되는 구조를 갖는다.
도 7에서는 수광부 패널(190)은 광 가이드부(120)의 하부에 인접하여 설치하는 것으로 도시하고 있지만, 수광부 패널(190)은 다양한 위치에 설치하는 것이 가능하다.
또한, 액정표시 장치패널이 추가된 구조에서는 백라이트와의 관계에 따라 수광패널의 배치를 달리할 수 있다. 먼저, 백라이트가 있는 경우는 수광부 패널(190)은 백라이트와 광가이드부 사이에 배치되는 것이 가능하고, 백라이트 뒤(면의 반대편)광가이드부가 배치된 에 배치되는 것도 가능하다. 백라이트가 없는 구조인 경우는 광 가이드부(120)의 하부에 인접하여 설치하는 것이 바람직하다.
또한, 수광부 패널(190)이 추가된 구조에서, 예를 들어 액정 표시장치의 백라이트로부터 방출된 광이 수광부 패널(190)을 관통하여 전달되는 경우 수광부 패널(190) 내에 집적된 수광소자들이 이 광에 의해 영향을 받을 수 있으므로 수광소자부에는 차광막을 형성하여 수광소자부에 백라이트 광이 영향을 미치는 것으로 방지할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 터치 스크린 장치(1)의 개략적인 구성도이다.
도 8을 참조하면, 터치 스크린 장치(1)는 수광부(330,340), 광가이드부(300), 제1 발광부(310), 및 제2 발광부(320)를 구비한다.
수광부(330,340)는 CCD, CMOS이미지 센서 등의 적외선 감지 카메라 형태로 적용할 수 있는데, 서로 다른 파장의 광을 감지할 수 있도록 제1 수광부(330)와 제2 수광부(340)를 가진다. 또한, 제1 수광부(330)와 제2 수광부(340)는 각각 자신의 수광부에서 감지할 수 있는 파장 영역을 특정화하기 위해 필터를 구비하는 것이 효과적이다. 예를 들어, 제1 수광부(330)가 800nm 의 광을 수신하는 경우 제1 수광부(330) 전단부에는 800nm 광을 패스하는 필터(350,360)를 설치하는 것이 바람직하다.
이 경우, 제1 발광부(310), 및 제2 발광부(320)는 서로 다른 파장으로 발광하는 것은 물론이다. 예를 들어, 제1 발광부(310)가 800nm 파장으로 광신호를 방출하고, 제2 발광부(320)가 900nm 파장으로 광신호를 방출하는 경우 제1 수광부(330)는 800nm 광 수신에 적합하고 제2 수광부(340)는 900nm 광 수신에 적합하도록 구성할 수 있다.
이러한 구성을 통하면, 제1 발광부(310)를 이용해서는 터치, 제2 발광부(320)를 이용해서는 비터치를 구현하는 방식으로 터치 방식과 비터치 방식을 모두 포함하는 방식으로 터치 스크린을 구현할 수 있게 된다. 터치시 감지를 위한 제1 발광부(310)에서 발광된 광은 광가이드부(300)에 의해 가이드되어 제1 수광부(330)에 감지된다.
도 9는 본 발명의 또 다른 실시예에 따른 발광부의 개략적인 구성도이다.
도 9를 참조하면, 발광부는 액정표시장치용 백라이트와 함께 집적되는 구조를 도시하고 있다.
본 실시예에 의하면, 도광판(400)과 LED 또는 CCFL 방식의 광원(420)이 함께 집적되어 있는 일반적인 백라이트 구조에서 도광판(400)의 다른 일단에 발광부(410)를 구비하도록 한다. 예를 들어, 적외선 일정 주파수로 변조된 신호를 발광부(410)를 통하여 방출하면 이 신호는 도광판(400)에 의해 가이드되어 평면적으로 비교적 균일하게 상부로 방출할 수 있게 된다. 도광판(400)의 하부에는 반사판(430)이 형성되어 있다.
도 10은 본 발명의 또 다른 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 설명하기 위한 전체적인 흐름도이다.
도 10을 참조하면, 먼저, 스크린(Screen)의 내/외측 또는 주변부에 설치된 사용자 인식수단을 통해 상기 스크린에 접근한 사용자를 감지하여 사용자 개별인식 즉, 사용자의 위치를 인식한다(S100).
여기서, 상기 스크린은 통상의 디스플레이(Display) 장치로서 예컨대, CRT(Cathode Ray Tube) 모니터를 비롯한 액정표시장치(Liquid Crystal Display, LCD), 전계 방출 표시장치(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 장치, 일렉트로 루미네센스(Electro-Luminescence, EL) 표시장치, 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 표시장치, 디지털 마이크로미러 디바이스(Digital Micro-mirror Device, DMD) 또는 터치 스크린(Touch Screen) 등으로 구현될 수 있다.
또한, 상기 사용자 인식수단은 상기 스크린의 일정 영역에 근접한 사용자를 개별적으로 감지하는 기능을 수행하는 것으로서, 상기 스크린의 사방에 설치됨이 바람직하며, 예컨대, 실시간 트랙킹이 가능한 적어도 하나의 카메라(Camera) 또는 라인 센서(Line Sensor) 등을 이용하여 감지함이 바람직하다.
상기 카메라는 연속적인 동영상을 촬영할 수 있는 통상의 비디오 카메라(Video Camera), 고체촬상소자(Charge Coupled Device, CCD) 카메라 또는 CCD 라인센서와 같은 이미지 센서와 렌즈를 갖는 CCD 카메라로 구현됨이 바람직하지만, 이에 국한하지 않으며, 추후에 개발될 연속적인 동영상을 촬영할 수 있는 다른 형태의 카메라로도 구현 가능하다.
또한, 상기 라인 센서로서는 자외광, 가시광 및 적외광 등의 광 또는 전자파를 감지하여 1차원적인 정보를 얻을 수 있도록 배열된 것이면 어느 것을 사용해도 좋다. 예컨대, 상기 라인 센서의 예로는 포토다이오드 어레이(PDA), 및 격자형상으로 배열된 사진필름이 열거된다. 이 중에서도, 포토다이오드 어레이가 바람직하다.
한편, 상기 스크린에 접근한 개별사용자의 특성화 필요 시 예컨대, 무선 인식(Radio Frequency Identification, RFID) 또는 지문인식 바코드 방식 등을 이용하여 감지할 수도 있다.
다음으로, 상기 스크린의 내/외측 또는 주변부에 설치된 접근상태 인식수단을 통해 상기 스크린 상에 위치한 사용자의 접근상태 즉, 직접적인 터치(Touch)외의 접근상태를 감지하여 사용자 손의 위치를 인식한다(S200).
이때, 상기 접근상태 인식수단은 상기 스크린 상에 위치한 사용자의 접근상태를 감지하기 위한 것으로서, 예컨대, 적어도 하나의 카메라, 적외선 센서 또는 통상의 터치스크린에서 사용되는 방식과 같은 정전용량 방식 중 어느 하나를 이용하여 감지할 수 있다.
이후에, 상기 단계S100 및 단계S200에서 인식된 사용자의 위치 및 사용자 손의 위치에 따른 각도와 거리를 이용하여 해당 사용자의 왼손 및 오른손을 인식한다(S300).
그런 다음, 상기 스크린의 내/외측 또는 주변부에 설치된 움직임 인식수단을 통해 상기 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식한다(S400).
이때, 상기 움직임 인식수단은 상기 스크린 상에 위치한 사용자 즉, 손의 움직임을 감지하기 위한 것으로서, 예컨대, 연속적인 동영상을 촬영할 수 있는 통상의 CCD 카메라 또는 적외선 센서 등을 이용하여 3차원(X,Y,Z) 좌표 형태로 실시간 감지할 수 있다.
한편, 상기 단계S400에서 인식된 사용자 손의 형상과 특정 움직임을 기반으로 특정 명령을 할당하여 실행할 수 있다.
예컨대, 상기 스크린 상에서 사용자가 손날을 새워서 합장을 한 다음 펼치면, 숨어있던 커맨드(Command) 아이콘이 화면상에 나타난다. 또한, 상기 스크린 상에 위치한 사용자의 손 높이에 따라 다른 메뉴를 출력한다(즉, 스크린과 오브젝트의 거리(Z)좌표 인식가능).
이후에, 실시간 이미지 프로세싱 방식을 이용하여 상기 스크린 상에 위치한 사용자 손가락의 형태(예컨대, 왼손/오른손의 엄지, 검지, 중지, 약지 및 소지)를 인식한다(S500).
도 11은 본 발명의 또 다른 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 적용된 실시간 이미지 프로세싱을 이용하여 사용자 손가락의 형태 인식을 나타낸 도면으로서, 도 11의 (a)는 스크린에서 바라본 손의 형상을 나타낸 것이고, 도 11의 (b)는 컴퓨터에서 화상 이미지 데이터로 변환된 모습을 나타낸 것이다.
상기 실시간 이미지 프로세싱 방식은 통상적으로 상기 스크린 상에 위치한 사용자 손의 이미지를 획득한 후, 기 저장된 다양한 손의 형태 이미지와 대조하여 인식할 수 있다.
마지막으로, 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식한 후, 상기 단계S300 내지 단계S500에서 인식된 사용자의 왼손 및 오른손, 사용자 손의 형상과 특정 움직임 또는 사용자 손가락의 형태 중 적어도 어느 하나를 바탕으로 상기 인식된 접촉 좌표에 특정 명령을 할당한다(S600). 예컨대, 엄지로 접촉 시 A 명령이 할당되고, 검지로 접촉 시 B 명령이 할당된다.
이에 따라, 상기 인식된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있다.
이때, 상기 스크린 상에 접촉된 오브젝트는 예컨대, 카메라, 적외선 센서 또는 정전용량 방식 등 다중 인식이 가능한 방식을 이용하여 감지할 수 있다.
한편, 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식하는 과정은 상기 단계S100 내지 단계S500과 병렬로 동시에 이루어짐이 바람직하다.
도 12는 본 발명의 또 다른 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에서 스크린 상의 오프젝트를 인식하는 과정의 일 예를 설명하기 위한 도면으로서, 도 12의 (a)와 같이 수광한 적외선의 강도에 따라 화상의 명암으로 변환한 후, 도 12의 (b)와 같이 각 픽셀의 명암을 각각 깊이로 변환한다.
상기와 같은 본 발명의 또 다른 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 이용하여 전체적인 제어를 담당하는 통상의 마이크로 컨트롤러(Micro Controller)를 비롯한 사용자 인식수단, 접근상태 인식수단, 움직임 인식수단, 이미지 처리수단, 및 저장 수단 등을 포함하여 사용자 정보 입력장치를 구현할 수도 있다.
또한, 전술한 본 발명의 또 다른 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 이용하여 터치스크린 또는 가상현실 즉, 3차원 애플리케이션(Application)에서 사용되는 인터페이스 등에 용이하게 적용할 수 있다.
한편, 본 발명의 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 터치스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

Claims (17)

  1. 터치 스크린 장치에 있어서,
    비터치 감지를 수행하기 위하여 광신호를 발광하는 제1 발광부;
    터치 감지를 상기 비터치 감지와 함께 수행하기 위하여 광신호를 발광하는 제2 발광부;
    상기 제2 발광부로부터 발광된 광을 가이드하기 위한 광가이드부; 및
    상기 제1 발광부 및 제2 발광부로부터 발광된 광이 오브젝트에 의해 변화되어 수신되는 수광부를 구비하는 터치 스크린 장치.
  2. 제1 항에 있어서,
    상기 제1 발광부와 상기 제2 발광부는 서로 다른 변조 주파수에 의해 발광되는 터치 스크린 장치.
  3. 제1 항에 있어서,
    상기 제1 발광부와 상기 제2 발광부는 서로 다른 파장의 광을 발광하는 터치 스크린 장치.
  4. 제1 항에 있어서,
    상기 수광부는 제1 수광부와 제2 수광부로 분리되어 각각은 서로 다른 파장을 감지하는 터치 스크린 장치.
  5. 제1 항에 있어서,
    상기 제1 발광부와 상기 제2 발광부는 순차적으로 교차발광되는 터치 스크린 장치.
  6. 제5 항에 있어서,
    상기 제1 발광부와 상기 제2 발광부의 발광시간과 순서는 상기 수광부의 스캔 레이트에 따라 달라지는 터치 스크린 장치.
  7. 터치 스크린 장치에 있어서,
    비터치 감지와 터치 감지를 함께 수행하기 위하여 광신호를 발광하는 제1 발광부 및 제2 발광부;
    상기 제1 발광부 및 제2 발광부로부터 발광된 광이 오브젝트에 의해 변화되어 수신되는 수광부를 구비하되,
    상기 수광부는 제1 발광부와 제2 발광부로부터 발광된 광을 각각 분리하여 감지하는 것을 특징으로 하는 터치 스크린 장치.
  8. 제7 항에 있어서,
    상기 제1 발광부와 상기 제2 발광부는 서로 다른 변조에 의해 발광되는 터치 스크린 장치.
  9. 제7 항에 있어서,
    상기 제1 발광부와 상기 제2 발광부는 서로 다른 파장의 광을 발광하는 터치 스크린 장치.
  10. 제7 항에 있어서,
    상기 제1 발광부와 상기 제2 발광부는 상기 수광부의 스캔 레이트에 따라 발광시간과 순서를 달리하여 순차적으로 교차발광되는 터치 스크린 장치.
  11. (a) 스크린에 접근한 사용자를 감지하여 사용자의 위치를 인식하는 단계;
    (b) 상기 스크린 상에 위치한 사용자의 접근상태를 감지하여 사용자 손의 위치를 인식하는 단계;
    (c) 상기 단계(a) 및 단계(b)에서 인식된 사용자의 위치 및 사용자 손의 위치에 따른 각도와 거리를 이용하여 사용자의 왼손 및 오른손을 인식하는 단계;
    (d) 상기 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계;
    (e) 실시간 이미지 프로세싱 방식을 이용하여 상기 스크린 상에 위치한 사용자 손가락의 형태를 인식하는 단계; 및
    (f) 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식한 후, 상기 단계(c) 내지 단계(e)에서 인식된 사용자의 왼손 및 오른손, 사용자 손의 형상과 특정 움직임 또는 사용자 손가락의 형태 중 적어도 어느 하나를 바탕으로 상기 인식된 접촉 좌표에 특정 명령을 할당하는 단계를 포함하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  12. 제11 항에 있어서,
    상기 단계(a)에서, 상기 스크린에 접근한 사용자는 상기 스크린의 사방에 설치된 적어도 하나의 카메라 또는 라인 센서를 이용하여 감지하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  13. 제11 항에 있어서,
    상기 단계(d)에서, 상기 인식된 사용자 손의 형상과 특정 움직임을 기반으로 특정 명령을 할당하여 실행하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  14. 제11 항에 있어서,
    상기 단계(d)에서, 상기 스크린 상에 위치한 사용자 손의 형상과 특정 움직임은 3차원(X,Y,Z) 좌표를 이용하여 실시간으로 인식하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  15. 제11 항에 있어서,
    상기 단계(e)에서, 상기 실시간 이미지 프로세싱 방식은 상기 스크린 상에 위치한 사용자 손의 이미지를 획득한 후, 기 저장된 다양한 손의 형태 이미지와 대조하여 인식하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  16. (a') 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계; 및
    (b') 상기 인식된 사용자 손의 형상과 특정 움직임을 바탕으로 특정 명령을 할당하는 단계를 포함하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  17. 제16 항에 있어서,
    상기 단계(a')에서, 상기 스크린 상에 위치한 사용자 손의 형상과 특정 움직임은 3차원(X,Y,Z) 좌표를 이용하여 실시간으로 인식하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
PCT/KR2009/004459 2008-09-10 2009-08-11 터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법 WO2010030077A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/063,197 US20110199338A1 (en) 2008-09-10 2009-08-11 Touch screen apparatus and method for inputting user information on a screen through context awareness

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0089340 2008-09-10
KR1020080089340A KR20100030404A (ko) 2008-09-10 2008-09-10 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법

Publications (2)

Publication Number Publication Date
WO2010030077A2 true WO2010030077A2 (ko) 2010-03-18
WO2010030077A3 WO2010030077A3 (ko) 2010-06-24

Family

ID=42005595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/004459 WO2010030077A2 (ko) 2008-09-10 2009-08-11 터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법

Country Status (3)

Country Link
US (1) US20110199338A1 (ko)
KR (1) KR20100030404A (ko)
WO (1) WO2010030077A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150046924A (ko) * 2013-10-23 2015-05-04 삼성디스플레이 주식회사 터치스크린 패널 및 이를 이용한 터치 위치 검출 방법
WO2015147479A1 (ko) * 2014-03-25 2015-10-01 엘지이노텍 주식회사 제스처 인식장치

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI412838B (zh) * 2009-11-23 2013-10-21 Coretronic Corp 觸控顯示裝置及背光模組
US20110126095A1 (en) * 2009-11-25 2011-05-26 T-Mobile USA, Inc Router Management via Touch-Sensitive Display
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8797297B2 (en) * 2010-04-12 2014-08-05 Sharp Kabushiki Kaisha Display device
US9898122B2 (en) 2011-05-12 2018-02-20 Google Technology Holdings LLC Touch-screen device and method for detecting and ignoring false touch inputs near an edge of the touch-screen device
US9001086B1 (en) * 2011-06-08 2015-04-07 Amazon Technologies, Inc. Display illumination with light-based touch sensing
TW201324259A (zh) * 2011-09-07 2013-06-16 Nitto Denko Corp 使用者介面顯示裝置
TWI490733B (zh) * 2011-11-01 2015-07-01 Pixart Imaging Inc 手寫系統及其感測方法
TW201346516A (zh) * 2012-05-11 2013-11-16 Pixart Imaging Inc 具省電功能之感測模組及其方法
JP5856995B2 (ja) 2013-03-29 2016-02-10 株式会社ジャパンディスプレイ 電子機器および電子機器の制御方法
TWI528226B (zh) * 2014-01-15 2016-04-01 緯創資通股份有限公司 影像式觸控裝置及其控制方法
WO2015140600A1 (en) * 2014-03-21 2015-09-24 Sony Corporation Electronic device with display-based fingerprint reader
TWI533181B (zh) * 2014-09-18 2016-05-11 緯創資通股份有限公司 光學式觸控感測裝置及其觸控信號判斷方法
FR3027127B1 (fr) * 2014-10-10 2017-12-08 Thales Sa Interface tactile pour le systeme de gestion du vol d'un aeronef
US10042478B2 (en) 2014-12-31 2018-08-07 Texas Instruments Incorporated Rear projection display with near-infrared emitting touch screen
CN106160673B (zh) * 2016-06-30 2021-03-30 唯捷创芯(天津)电子技术股份有限公司 谐波抑制方法及相应的低噪声放大器、通信终端
US10474860B2 (en) * 2017-09-29 2019-11-12 Apple Inc. Electronic device including a display driven based upon first and second alternatingly read memories and related methods
US11301665B2 (en) * 2019-02-20 2022-04-12 Novatek Microelectronics Corp. Fingerprint and proximity sensing apparatus and sensing process thereof
US11379081B2 (en) * 2020-08-17 2022-07-05 Dynascan Technology Corp. Touch system and method of operating the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005108211A (ja) * 2003-09-16 2005-04-21 Smart Technol Inc ジェスチャ認識方法及びそれを組み込んだタッチシステム
JP2006040271A (ja) * 2004-06-28 2006-02-09 Microsoft Corp ソフトウェアアプリケーションと対話するためのジェスチャの認識および使用
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241733A (ja) * 1992-02-27 1993-09-21 Hitachi Ltd タッチパネルの入力誤差補正方式
JPH06110610A (ja) * 1992-09-30 1994-04-22 Toshiba Corp 座標入力装置
US5659764A (en) * 1993-02-25 1997-08-19 Hitachi, Ltd. Sign language generation apparatus and sign language translation apparatus
JPH07253853A (ja) * 1994-03-15 1995-10-03 Matsushita Electric Works Ltd タッチパネル及びタッチパネルを用いたディスプレー装置
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050219229A1 (en) * 2004-04-01 2005-10-06 Sony Corporation Image display device and method of driving image display device
WO2006011515A1 (ja) * 2004-07-28 2006-02-02 Matsushita Electric Industrial Co., Ltd. 映像表示装置及び映像表示システム
US7692627B2 (en) * 2004-08-10 2010-04-06 Microsoft Corporation Systems and methods using computer vision and capacitive sensing for cursor control
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8686953B2 (en) * 2008-09-12 2014-04-01 Qualcomm Incorporated Orienting a displayed element relative to a user

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005108211A (ja) * 2003-09-16 2005-04-21 Smart Technol Inc ジェスチャ認識方法及びそれを組み込んだタッチシステム
JP2006040271A (ja) * 2004-06-28 2006-02-09 Microsoft Corp ソフトウェアアプリケーションと対話するためのジェスチャの認識および使用
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150046924A (ko) * 2013-10-23 2015-05-04 삼성디스플레이 주식회사 터치스크린 패널 및 이를 이용한 터치 위치 검출 방법
KR102092944B1 (ko) 2013-10-23 2020-03-25 삼성디스플레이 주식회사 터치스크린 패널 및 이를 이용한 터치 위치 검출 방법
WO2015147479A1 (ko) * 2014-03-25 2015-10-01 엘지이노텍 주식회사 제스처 인식장치
US10001842B2 (en) 2014-03-25 2018-06-19 Lg Innotek Co., Ltd. Gesture recognition device

Also Published As

Publication number Publication date
WO2010030077A3 (ko) 2010-06-24
US20110199338A1 (en) 2011-08-18
KR20100030404A (ko) 2010-03-18

Similar Documents

Publication Publication Date Title
WO2010030077A2 (ko) 터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
EP3291074B1 (en) Display panel, manufacturing method therefor, and display device
WO2017022966A1 (en) Electric white board and control method thereof
WO2010044575A2 (ko) 선형 적외선 발광체를 이용한 광학모듈 방식의 터치스크린
US9185277B2 (en) Panel camera, and optical touch screen and display apparatus employing the panel camera
WO2015167260A1 (en) Touch device, wearable device having the same and touch recognition method
WO2014038898A1 (en) Transparent display apparatus and object selection method using the same
CN102334090A (zh) 动态背投式用户接口
WO2018151396A1 (ko) 생체 센서를 포함하는 전자 장치
JP2006031275A (ja) 座標入力装置およびその制御方法
KR20130091327A (ko) 터치 스크린 및 이것의 다채널 샘플링 방법
CN101375297A (zh) 交互式输入系统
CN101770314A (zh) 红外一字激光多点触摸屏装置及触摸定位方法
CN1853159A (zh) 光导触摸屏
CN105867701A (zh) 集成光电触摸屏、装置和电子设备及触摸识别方法、系统
CN101807131B (zh) 侦测模块及包含此侦测模块的光学侦测系统
CN110347295A (zh) 感测板及具有感测板的显示器
KR102252255B1 (ko) 표시 컴포넌트, 그 제조 방법 및 표시 장치
WO2006068703A1 (en) Interpreting an image
CN103488969A (zh) 电子设备
CN110244882A (zh) 减轻来自传感器电极的电磁辐射
WO2014104726A1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
WO2016013832A1 (ko) 3차원 위치정보를 이용한 터치스크린 장치 및 디스플레이 장치
WO2012081900A2 (ko) 광 터치 패널
JPH1091348A (ja) 座標入力装置および液晶表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09813199

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13063197

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09813199

Country of ref document: EP

Kind code of ref document: A2