WO2012154001A2 - Touch recognition method in a virtual touch device that does not use a pointer - Google Patents

Touch recognition method in a virtual touch device that does not use a pointer Download PDF

Info

Publication number
WO2012154001A2
WO2012154001A2 PCT/KR2012/003703 KR2012003703W WO2012154001A2 WO 2012154001 A2 WO2012154001 A2 WO 2012154001A2 KR 2012003703 W KR2012003703 W KR 2012003703W WO 2012154001 A2 WO2012154001 A2 WO 2012154001A2
Authority
WO
WIPO (PCT)
Prior art keywords
point
fingertip
change
touch
pointer
Prior art date
Application number
PCT/KR2012/003703
Other languages
French (fr)
Korean (ko)
Other versions
WO2012154001A3 (en
Inventor
김석중
Original Assignee
Kim Seok-Joong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Seok-Joong filed Critical Kim Seok-Joong
Publication of WO2012154001A2 publication Critical patent/WO2012154001A2/en
Publication of WO2012154001A3 publication Critical patent/WO2012154001A3/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Definitions

  • the present invention relates to a device and a method for remotely manipulating an electronic device, and in particular, a virtual touch device that does not use a pointer that can accurately control an electronic device remotely without displaying a pointer on an electronic device display display surface.
  • the present invention relates to a touch recognition method in.
  • the touch panel technology cannot be used remotely because the user needs to touch the display surface directly. Therefore, even electronic devices employing touch panel technology have no choice but to rely on devices such as a conventional remote control for remote operation.
  • a remote electronic control device a device capable of generating a pointer at an accurate point, such as touch panel technology, that is, a straight line of the user's eyes and fingers is displayed from the captured image after photographing the front of the display using two cameras.
  • a technique for generating a pointer at the point of meeting is disclosed in the published patent application [Document 1]
  • a 'pointer' must be generated as a preliminary measure for controlling an electronic device (with a pointer control unit). It is very inconvenient in performing an operation by comparing a user's gesture with a previously stored pattern for a specific operation control.
  • the present invention has been made to solve the above problems, and provides a convenient user interface, such as touching the surface of the touch panel even when the user remotely operates the electronic device, using a pointer on the display surface of the electronic device It is an object of the present invention to provide a touch recognition method for various screen operations by selecting an accurate region such as precisely touching a specific part of the touch panel without requiring electronic devices to be manipulated.
  • a feature of the touch recognition method in the virtual touch device that does not use the pointer according to the present invention for achieving the above object is composed of two or more image sensors disposed at different positions and the user body in front of the display surface
  • a touch position calculator for calculating contact coordinate data where a straight line connecting the first spatial coordinates and the second spatial coordinates meets the display surface by using a spatial coordinate; and the contact coordinate data received from the touch position calculator
  • Virtual touch processing for generating a command code for performing the operation set to be input to the main control unit of the electronic device Through the virtual touch device consisting of the three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and the three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye to process the display display surface (C) and Detecting
  • a three-dimensional coordinate calculation device for extracting three-dimensional coordinate data of the user's body, and the three-dimensional coordinates A touch position calculator and the touch for calculating contact coordinate data where a straight line connecting the first spatial coordinates and the second spatial coordinates meets the display surface by using the first spatial coordinates and the second spatial coordinates received from the calculator;
  • Fingertip through the virtual touch device comprising a control unit including a virtual touch processing unit for generating a command code for performing an operation set to correspond to the contact coordinate data received from the position calculation unit to the main control unit of the electronic device, 3-D coordinate data (X1, Y1, Z1) and 3-D coordinate data (X2, Y2, Z2) of the center point of one eye Detecting the play display surface C, the fingertip point C, and the contact point A of one eye, respectively, and at least one of a depth change, a trajectory change, a holding time, and a speed of the change of the
  • the depth of B2 based on the B1 when it is maintained for a predetermined time or more at the position of B2 Recognize the difference of the value is characterized in that the recognition of the touch of C.
  • the depth value of B2 is determined based on the B1. Recognizing the difference and the difference between the depth value of B1 on the basis of the B2, it is characterized in that the double touch of the C.
  • the two fingertips B1 and B2 are recognized, and in the extension line direction of A-B1-C1 and A-B2-C2 based on the display surfaces C1 and C2 on both sides of the display display surface C3.
  • the distance between B1 and B2 is less than 1 cm, the image located on the display surface of C3 is recognized as ready to be moved to another position.
  • a line segment is drawn based on the contact point of the selected display surface, or moved, copied or cut to another position of the display surface. It is characterized by controlling any one of the bets.
  • the display surface of C is recognized by recognizing the difference in the trajectory change of B2 based on B1. It is characterized by controlling the image located in the plane to move in the direction of the extension line of A-B2-C.
  • the two fingertips B1 and B2 are simultaneously recognized, and then the index finger B1 and the other fingertip point B2 of the index finger pointing toward the display display surface C1 in the direction of the extension line of A-B1-C.
  • the touch recognition may be performed using a change in angle.
  • the two fingertips B1 and B2 are simultaneously recognized, or the fingertips B1 and B2 of each of the different hands are simultaneously recognized in the direction of the extension line of A-B1-C, and then the Multi-touch recognition may be performed based on at least one of a depth change, a trajectory change, a holding time, and a speed of the change.
  • the sub-window displayed on the screen by using the distance change of the two fingertips (B1) (B2) in the extension line direction of A-B1-C It is characterized in that the control to enlarge or reduce the size of, or increase or decrease the level.
  • the image positioned on the display surface of C is controlled in a direction in which the fingertip point B1 recognized in the extension line direction of A-B1-C is rotated.
  • the fingertip point B1 recognized in the direction of the extension line of A-B1-C is selected from above-> down-> up-> down, down-> up-> down-> up, left-> right-> left-> Controls to scroll the image located on the display surface of C based on the distance and direction of movement in the case of repeatedly moving at a constant speed in one of the right and right-> left-> right-> left directions It is done.
  • the scrolling speed is changed based on the repeated speed.
  • the page of the image or document displayed on the display surface is changed so as to be convexly or concavely shifted from C3 teaching the recognized fingertip point B1 in the extension direction of A-B1-C to C3 'in the left or right direction. It characterized in that the control to.
  • the point coordinate setting for setting the one eye is performed.
  • the point coordinate setting is characterized in that the user selects one eye by placing a fingertip at a distance close to one eye to be used as point coordinates after selecting performing initialization setting.
  • the point coordinate setting includes displaying at least one or more points in a predetermined area of the display when selecting performing initialization setting, selecting a point displayed on the display by a user's fingertip, and selecting the selected point. And detecting one eye used for focusing by the user using a straight line to which the coordinate data of the fingertip is connected.
  • the electronic device can be quickly operated by not using the pointer in the display. Therefore, the present invention proposes a touch recognition method for various screen operations that can apply the advantages of the above-described touch panel to the field of electronic device remote control device.
  • electronic devices such as computers and digital TVs can be manipulated by creating a pointer in a corresponding area as a control method and performing a specific additional operation.
  • the present invention can provide a new touch recognition method that can be utilized in a virtual touch device that does not use a pointer and can precisely point a specific area of the display surface of an electronic device.
  • the fingertip in order to precisely point the display surface of the electronic device, by adopting the principle that only the fingertip and one eye can be used to accurately point the position of an object (seeing the fingertip with two eyes, the fingertip is 2
  • the fingertip is 2
  • the user can point to on-screen menus with precision, even as if using a touch panel remotely.
  • FIG. 1 is a block diagram of a virtual touch device according to a first preferred embodiment of the present invention.
  • 2A to 2C are views for selecting a screen menu displayed on a display by a user in the virtual touch device of FIG.
  • 3A to 3C are diagrams illustrating a user moving a spatial coordinate through a change of a fingertip in the virtual touch device of FIG.
  • FIG. 4 is a diagram illustrating a user performing a touch operation using two fingertips in the virtual touch device of FIG. 1.
  • FIG. 5 is a diagram illustrating a user performing a touch operation by using each fingertip in the virtual touch device of FIG. 1.
  • FIG. 5 is a diagram illustrating a user performing a touch operation by using each fingertip in the virtual touch device of FIG. 1.
  • FIG. 6 is a block diagram of a virtual touch device according to a second preferred embodiment of the present invention.
  • FIG. 7A to 7C are views for selecting a screen menu displayed on a display by a user in the virtual touch device of FIG.
  • FIG. 8A to 8C are views illustrating a user moving a spatial coordinate through a change of a fingertip in the virtual touch device of FIG. 6.
  • FIG. 9 is a diagram illustrating a user performing a touch operation using two fingertips in the virtual touch device of FIG. 6.
  • FIG. 10 is a diagram illustrating a user performing a touch operation using each fingertip in the virtual touch device of FIG. 6.
  • 11 to 21 illustrate various embodiments of a touch recognition method in a virtual touch device not using a pointer according to the present invention.
  • FIG. 1 is a block diagram illustrating a virtual touch device according to a first embodiment of the present invention.
  • the virtual touch device 1 includes an image acquisition unit 10, a spatial coordinate calculator 20, a touch position calculator 30, and a virtual touch calculator 40.
  • the image acquisition unit 10 may include two or more image sensors 11 and 12, such as CCD or CMOS, which detects an image with a kind of camera module and converts the image into an electrical image signal.
  • image sensors 11 and 12 such as CCD or CMOS, which detects an image with a kind of camera module and converts the image into an electrical image signal.
  • the spatial coordinate calculation unit 20 calculates 3D coordinate data of the user's body using the image received from the image acquisition unit 10. According to the present invention, the image sensors 11 and 12 constituting the image acquisition unit 20 photograph the user's body at different angles, and the spatial coordinate calculation unit 20 uses the three-dimensional optical body of the user's body. Coordinate data can be calculated.
  • the optical three-dimensional coordinate calculation method can be classified into an active method and a passive method according to the sensing method.
  • the active method uses structured light or laser light as a method of projecting a predefined pattern or sound wave onto an object and measuring the amount of change through control of sensor parameters such as energy or focus and calculating three-dimensional coordinate data of the object.
  • the method is representative.
  • the passive method is a method using intensity, parallax, etc. of an image photographed without artificially projecting energy on an object.
  • the present invention employs a passive method that does not project energy onto an object.
  • This method has advantages in that the equipment is simple and the texture can be directly obtained from the input image, although the precision may be somewhat lower than that of the active method.
  • three-dimensional information may be obtained by applying trigonometric methods to corresponding feature points between captured images.
  • Various methods for extracting three-dimensional coordinates by applying trigonometric methods are commonly used camera self calibration, Harris corner extraction, SIFT, RANSAC, Tsai, etc.
  • the three-dimensional camera method may be used as a method for calculating three-dimensional coordinate data of the user's body.
  • the stereoscopic camera method is a method of finding the distance from the predicted angle of an object by observing the same point of the object surface at two different points, similar to the structure of a binocular body in which a human looks at an object with two eyes and obtains a displacement.
  • the touch position calculator 30 may include a straight line connecting the first spatial coordinates and the second spatial coordinates using the first spatial coordinates and the second spatial coordinates received from the spatial coordinate calculator 20. It calculates contact point coordinate data.
  • a finger In general, a finger is the only part of a person's body that allows for sophisticated and delicate manipulations. In particular, when using either one of the thumb or forefinger or two fingers together, the precise pointing can be performed. Accordingly, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinates in the present invention.
  • a pointed tip eg, a pen tip
  • the use of such a pointer has the advantage that the portion covering the display from the user's field of view is smaller than the tip of the finger, and the pointed end of the pointer can accurately point even the smallest portion of the display.
  • the present invention uses only the center point of one eye of the user. For example, if a user places an index finger in front of both eyes, the index finger will appear as two. This occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes). However, if you look at your index finger with only one eye, your index finger will be clearly visible. Also, even if you do not sense one eye, you can see the forefinger clearly even if you look consciously with only one eye. Most sports events that require a high degree of accuracy in aiming, such as shooting and archery, follow this principle.
  • the present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye (second spatial coordinate). In this way, the user must be able to see the first spatial coordinates accurately to point to a specific area of the display that matches the first spatial coordinates. However, some users use the right eye to focus, while others use the left eye. This may be the case that the correct pointing is not made to the user who focuses with the left eye when the second spatial coordinate is set with the right eye.
  • the present invention can perform the point coordinates for setting the second spatial coordinates through the initialization setting process. That is, the user who intends to perform the pointing sets a second spatial coordinate that is suitable for his / her body, thereby enabling more accurate pointing.
  • the user selects perform initialization setting and then moves the user's fingertip (first spatial coordinate) to a distance close to one's own eye to use as the second spatial coordinate. Position to set one eye used as the second spatial coordinate.
  • the initialization setting is selected, at least one or more points are displayed in a predetermined area of the display 90, and the user displays his or her fingertip (first spatial coordinate) on the display 90.
  • one eye left eye or right eye
  • One eye thus detected is set to the second spatial coordinate. That is, one eye is detected using a straight line connecting the selected point and the coordinate data of the fingertip.
  • the first spatial coordinate is a three-dimensional coordinate of any one of the end of the finger of the user's finger, the end of the pointer held by the user with the finger
  • the second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
  • the first spatial coordinates are three-dimensional coordinates of the ends of two or more fingers of the user's fingers
  • the second spatial coordinates are the two or more users' fingers. It may be formed of three-dimensional coordinates of the center point of either eye.
  • the first spatial coordinates are three-dimensional coordinates of the tips of one or more fingers respectively presented by two or more users
  • the second spatial coordinates are the one eye of the two or more users. It may be formed of three-dimensional coordinates of the center point of.
  • the virtual touch processor 40 determines whether there is a change in the contact coordinate data for a predetermined time or more from a time at which initial contact coordinate data is calculated, and is set to correspond to the contact coordinate data if there is no change in the contact coordinate data for a set time or more. It may be configured to generate a command code for performing an operation to input to the main control unit 91 of the electronic device.
  • the virtual touch processor 40 may process two fingers of a single user or two or more users in a similar manner.
  • the virtual touch processor 40 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the first spatial coordinate and the second It is determined whether there is a change in distance greater than or equal to a set distance between spatial coordinates, and when a distance change is greater than or equal to a set distance, a command code for performing a set operation corresponding to the contact coordinate data is generated to the main controller 91 of the electronic device. It can be configured to input.
  • the virtual touch processor 40 may process two fingers of a single user or two or more users in a similar manner.
  • the contact coordinate data may be formed to be regarded as no change in the contact coordinate data. That is, when the user points the display to the tip of the finger or the tip of the pointer, it is very difficult for the user to keep the contact coordinates as the body or finger naturally has some movement or tremor. Therefore, when the contact coordinate data value is within the range of the setting area of the display, it is assumed that there is no change in the contact coordinate data, and a command code for performing the set operation may be generated and input to the main controller 91 of the electronic device. .
  • Digital TVs are representative of electronic devices that are subject to remote control according to the present invention.
  • a digital television receiver includes a broadcast signal receiver, an image signal processor, a system controller, and the like, but these components are extremely obvious to those skilled in the art, and thus detailed descriptions thereof will be omitted.
  • Other electronic devices that are subject to remote control according to the present invention include home appliances such as lighting appliances, gas appliances, heating appliances, and method appliances, and various electronic appliances may also be remotely controlled by the present invention. Can be.
  • the virtual touch device 1 may be inserted and installed on the top of an electronic device frame to be remotely controlled, or may be installed separately from the electronic device.
  • FIG. 2A is a diagram in which a user selects a specific icon on an electronic device display 90 according to an embodiment of the present invention.
  • the user selects the 'music' icon on the display 90 while looking at the fingertip with one eye.
  • the spatial coordinate calculation unit 20 generates three-dimensional spatial coordinates of the user's body
  • the touch position calculation unit 30 generates three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and three-dimensional coordinates of the center point of one eye.
  • the data X2, Y2 and Z2 are processed to calculate the contact coordinates X, Y and Z with the display display surface.
  • the virtual touch processor 40 generates a command code for performing an operation set to correspond to the contact coordinate data X, Y, and Z, and inputs the command code to the main controller 91 of the electronic device.
  • the main controller 91 controls the display 90 to display a result of performing the command code.
  • a 'music' icon menu is selected.
  • FIG. 2B illustrates a screen in which a user displays a sub-menu for a song song name that appears after the user selects the 'music' icon menu in FIG. 2A.
  • 2C is a screen in which a user selects a specific song from a music sub menu.
  • the touch position calculator 30 is a condition in which the 3D coordinate data (X1, Y1, Z1) of the fingertip and the 3D coordinate data (X2, Y2, Z2) of the center point of one eye are constant (Z coordinates).
  • a command code for performing an operation that is set to correspond to the contact coordinates (X, Y, Z) with the display display surface only when the change of a value is performed) and input the same to the main controller 91 of the electronic device. Shows.
  • 3A illustrates that the touch position calculator 30 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus the contact coordinate only when there is no change in the contact coordinate data for a set time or more.
  • a command code for performing an operation set to correspond to data is generated and input to the main controller 91 of the electronic device.
  • the virtual touch processor 40 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus changes in the contact coordinate data for a set time or more (X and Y coordinates). Value), it is determined whether there is a change in distance greater than or equal to the set distance between the first spatial coordinate and the second spatial coordinate, and when a distance change (change in Z coordinate value) greater than or equal to the set distance occurs, the corresponding coordinate data is set.
  • a command code for performing an operation is generated and input to the main controller 91 of the electronic device.
  • 3B illustrates a case where the distance between the first spatial coordinates and the second spatial coordinates is far from each other
  • FIG. 3C illustrates a case where the distance between the first spatial coordinates and the second spatial coordinates approaches.
  • FIG. 4 shows a case where one user has two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on an electronic device display display surface using two fingertips.
  • An example in which the user controls the operation of the electronic device while having two contact coordinates on the display surface will be common in games. It would also be very useful when the user uses two fingertips to manipulate (move, rotate, reduce, enlarge, etc.) an image on the display display.
  • FIG. 5 shows a case where two users each have two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on the display surface of an electronic device using one fingertip.
  • An example in which two users have two contact coordinates on a display surface and controls electronic device operation, respectively, will be common in games.
  • FIG. 6 is a block diagram illustrating a virtual touch device according to a second embodiment of the present invention.
  • the virtual touch device 1 includes a 3D coordinate calculator 10 and a controller 20 that extract 3D coordinate data of a user's body.
  • the three-dimensional coordinate calculation apparatus 10 may calculate the three-dimensional coordinates of the user's body by a variety of known three-dimensional coordinate extraction method. Representative methods of such three-dimensional coordinate extraction can be divided into optical triangulation and time delay measurement. Active three-dimensional information acquisition using structured light, one of optical triangulation techniques, uses a projector to continuously project a coded pattern image and acquires an image of a structured light projected through a camera. It is a method of estimating the position.
  • the time delay measurement method is a technique of obtaining 3D information by converting the time difference between the ultrasonic wave generated from the transmitter and the receiver to the receiver by dividing the time of flight by the traveling speed of the ultrasonic wave.
  • various methods of calculating three-dimensional coordinates using a time of flight method exist in the past, and a description thereof will be omitted since it can be easily implemented by those skilled in the art.
  • the three-dimensional coordinate calculation apparatus 10 may be configured to include an illumination assembly 11, the image acquisition unit 12 and the spatial coordinate calculation unit (13).
  • the lighting assembly 12 includes a light source 111 and a diffuser 112 to project the speckle pattern onto the user's body.
  • the image acquisition unit 12 includes an image sensor 121 and a lens 122 to capture a speckle pattern on the user projected by the lighting assembly.
  • the image sensor 121 may be a CCD or CMOS based image sensor.
  • the spatial coordinate calculator 13 calculates the 3D coordinate data of the user's body by processing the image obtained by the image acquisition unit 12.
  • the controller 20 includes a touch position calculator 21 and a virtual touch calculator 22.
  • the touch position calculator 21 is a straight line connecting the first spatial coordinates and the second spatial coordinates using the first and second spatial coordinates received from the 3D coordinate calculator 10. It calculates contact coordinate data that meets the display surface.
  • a finger In general, a finger is the only part of a person's body that allows for sophisticated and delicate manipulations. In particular, when using either one of the thumb or forefinger or two fingers together, the precise pointing can be performed. Accordingly, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinates in the present invention.
  • a pointed tip eg, a pen tip
  • the use of such a pointer has the advantage that the portion covering the display from the user's field of view is smaller than the tip of the finger, and the pointed end of the pointer can accurately point even the smallest portion of the display.
  • the present invention uses only the center point of one eye of the user. For example, if a user places an index finger in front of both eyes, the index finger will appear as two. This phenomenon occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes). However, if you look at your index finger with only one eye, your index finger will be clearly visible. Also, even if you do not sense one eye, your forefinger will be clearly visible even if you consciously look with one eye. Most sports events that require a high degree of accuracy in aiming, such as shooting and archery, follow this principle.
  • the present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye (second spatial coordinate). In this way, the user must be able to see the first spatial coordinates accurately to point to a specific area of the display that matches the first spatial coordinates. However, some users use the right eye to focus, while others use the left eye. When the second spatial coordinate is set to the right eye, the user who focuses with the left eye may not have accurate pointing.
  • the present invention performs the point coordinates for setting the second spatial coordinates through the initialization setting process. That is, the user who intends to perform the pointing sets a second spatial coordinate that is suitable for his / her body, thereby enabling more accurate pointing.
  • An embodiment of performing the point coordinate setting is omitted since it is described above.
  • the first spatial coordinate is a three-dimensional coordinate of any one of the end of the finger of the user's finger, the end of the pointer held by the user with the finger
  • the second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
  • the first spatial coordinates are three-dimensional coordinates of the ends of one or more fingers respectively presented by the two or more users
  • the second spatial coordinates are the two. It may be formed of three-dimensional coordinates of the center point of either eye of the user.
  • the first spatial coordinates are three-dimensional coordinates of the tips of one or more fingers respectively presented by two or more users
  • the second spatial coordinates are the one eye of the two or more users. It may be formed of three-dimensional coordinates of the center point of.
  • the virtual touch processing unit 22 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the contact coordinate data. It may be configured to generate a command code for performing the operation set to correspond to the input to the main control unit 31 of the electronic device.
  • the virtual touch processing unit 22 can be processed in a similar manner by two fingers of one user or two or more users.
  • the virtual touch processing unit 22 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the first touch point.
  • a command code for performing the operation set to correspond to the contact coordinate data is generated to generate the main code of the electronic device. It may be configured to input to the control unit 31.
  • the virtual touch processing unit 22 can be processed in a similar manner by two fingers of one user or two or more users.
  • the contact coordinate data may be formed to be regarded as no change in the contact coordinate data. That is, when the user points the display to the tip of the finger or the tip of the pointer, it is very difficult for the user to keep the contact coordinates as the body or finger naturally has some movement or tremor. Therefore, when the contact coordinate data value is within the range of the setting area of the display, it is assumed that there is no change in the contact coordinate data, and a command code for performing the set operation may be generated and input to the main controller 31 of the electronic device. .
  • Digital TVs are representative of electronic devices that are subject to remote control according to the present invention.
  • a digital television receiver includes a broadcast signal receiver, an image signal processor, a system controller, and the like, but these components are extremely obvious to those skilled in the art, and thus detailed descriptions thereof will be omitted.
  • Other electronic devices that are subject to remote control according to the present invention include home appliances such as lighting appliances, gas appliances, heating appliances, and method appliances, and various electronic appliances may also be remotely controlled by the present invention. Can be.
  • the virtual touch device 1 may be inserted and installed on the top of an electronic device frame to be remotely controlled, or may be installed separately from the electronic device.
  • FIG. 7A is a diagram in which a user selects a specific icon on the electronic device display 30 according to an embodiment of the present invention.
  • the user selects the 'music' icon on the display 30 while looking at the fingertip with one eye.
  • the three-dimensional coordinate calculation apparatus 10 generates three-dimensional spatial coordinates of the user's body, and the touch position calculator 21 of the controller 20 controls the three-dimensional coordinate data (X1, Y1, Z1) and one eye of the fingertip.
  • the three-dimensional coordinate data (X2, Y2, Z2) of the center point of is processed to calculate the contact coordinates (X, Y, Z) with the display display surface.
  • the virtual touch processor 22 generates a command code for performing an operation set to correspond to the contact coordinate data X, Y, and Z, and inputs the command code to the main controller 31 of the electronic device.
  • the main controller 31 controls the display 30 to display a result of performing the command code.
  • a 'music' icon menu is selected.
  • FIG. 7B illustrates a screen in which a user displays a sub-menu for a song song name that appears after the user selects the 'music' icon menu in FIG. 7A.
  • 7C is a screen in which a user selects a specific song from a music sub menu.
  • the touch position calculator 21 of the control unit 20 includes three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye.
  • the main control unit 31 of the electronic device generates a command code for performing an operation set to correspond to the contact coordinates (X, Y, Z) with the display display surface only when a certain condition (change in the Z coordinate value) is met. Shows how to type.
  • FIG. 7A illustrates that the touch position calculator 21 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus the contact coordinate only when there is no change in the contact coordinate data for a set time or more.
  • a command code for performing an operation set to correspond to data is generated and input to the main controller 31 of the electronic device.
  • the virtual touch processor 22 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus changes in the contact coordinate data for a set time or more (X and Y coordinates). Value), it is determined whether there is a change in distance greater than or equal to the set distance between the first spatial coordinate and the second spatial coordinate, and when a distance change (change in Z coordinate value) greater than or equal to the set distance occurs, the corresponding coordinate data is set.
  • a command code for performing an operation is generated and input to the main controller 31 of the electronic device.
  • 3B illustrates a case where the distance between the first spatial coordinate and the second spatial coordinate is far from each other
  • FIG. 3C illustrates a case where the distance between the first spatial coordinate and the second spatial coordinate becomes closer.
  • FIG. 8 shows a case where one user has two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on an electronic device display display surface using two fingertips.
  • An example in which the user controls the operation of the electronic device while having two contact coordinates on the display surface will be common in games. It would also be very useful when the user uses two fingertips to manipulate (move, rotate, reduce, enlarge, etc.) an image on the display display.
  • FIG. 9 shows a case where two users each have two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on the display surface of an electronic device using one fingertip.
  • An example in which two users have two contact coordinates on a display surface and controls electronic device operation, respectively, will be common in games.
  • the display display surface by processing the three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and the three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye through the first or second embodiment described above. (C), fingertip C, and contact A of one eye are detected, respectively.
  • the electronic device After calculating the depth change, the trajectory change, the holding time, and the speed of the change of the fingertip thus detected, the electronic device is based on at least one of the calculated depth change, the trajectory change, the holding time, and the speed of the change of the fingertip.
  • the touch recognition method may be executed in a virtual touch device that does not use a pointer.
  • 11 to 21 are diagrams illustrating various embodiments of a touch recognition method in a virtual touch device that does not use a pointer according to the present invention.
  • touch recognition may be performed using a change in the holding time and the depth of the recognized fingertip point.
  • the user moves B1 to B2 in the direction of the extension line of A-B1-C, and then if the virtual touch device is held for a predetermined time or more (for example, 1 second) at the position of B2, the virtual touch device refers to B1.
  • the virtual touch device After recognizing the difference of the depth value (x) of B2, it is determined that the movement from B1 to B2. And it recognizes this as a touch to control the driving of the electronic device. That is, it is used to control the operation of the power supply of the electronic device, the volume of the speaker, or the like, or to select images, documents, objects, etc. displayed on the display, and to control operations such as copying, cutting, and pasting.
  • touch recognition may be performed using a change in the depth of the recognized fingertip and a speed of the change.
  • the virtual touch device makes a difference in the depth value (x) of B2 based on B1.
  • B2 is moved to B1 from B1 to B2 again.
  • it recognizes this as a double touch and controls the driving of the electronic device.
  • the click or double click of a computer it is used to control operations such as a short touch of a touch screen.
  • two fingertips B1 and B2 are simultaneously recognized, and then touch recognition may be performed using a change in the distance between B1 and B2.
  • the distance between B1 and B2 is closer to the extension lines of A-B1-C1 and A-B2-C2 based on the display surfaces C1 and C2 on both sides of the display display surface C3 (for example, 2 Cm to less than 1 Cm)
  • the user selects an image, document, object, etc. displayed on the display, and controls operations such as copying, cutting, and pasting. Is used.
  • touch recognition may be performed using a change in the trajectory of the recognized fingertip point.
  • the virtual touch device recognizes a difference in the trajectory change of B2 based on B1 and is positioned on the display surface of C. It is determined that the image to be plane-moved in the direction of the extension line of A-B2-C. This is used to recognize and control the movement of an image, a document, an object, and the like.
  • the end point B1 of the index finger pointing toward the display display surface C1 and the other one in the direction of the extension line of A-B1-C.
  • Touch recognition may be performed using a change in the angle of the fingertip point B2.
  • the end point B1 of the index finger points toward the display display surface C1 and the end point B2 of the thumb moves toward the end point B1 of the index finger, the two finger end points B1 and B2 are moved.
  • the angle of is greater than or equal to a predetermined angle (for example, 45 degrees)
  • a predetermined angle for example, 45 degrees
  • the standby state for the touch of the display display surface C1 indicated by the end point B1 of the index finger is maintained, and the end point B2 of the thumb is the end point B1 of the index finger.
  • the angle of the two fingertips B1 and B2 changes to less than a predetermined angle (for example, 30 degrees) by moving in the direction, the control is performed such that the touch of the display display surface C1 is recognized. This can be used when selecting a document and some region within the document or making different selections than the pickup described in FIGS. 11 and 12.
  • a planar selection is also possible. That is, as shown in FIG. 16A, a hand shape is formed in a direction perpendicular to the display display surface C1 to change the angle ⁇ of the end point B1 of the index finger and the other end point B2 of the index finger.
  • touch recognition may be performed, as shown in FIG. 16B, a hand shape is formed in a horizontal direction with the display display surface C1 to form an angle between the end point B1 of the index finger and the other end point B2 of the index finger. Touch recognition may be performed using the change of ⁇ ).
  • the index finger will be manipulated and selected according to the change in the angle of the thumb while the fixed point of the display display surface is pointed.
  • the vertical selection and the horizontal selection are the selection of the direction made from the user's point of view, and recognize the two fingertips B1 and B2, and then point the display display surface C1 in the extension line direction of A-B1-C. Since the method of performing touch recognition using the change of the angle ( ⁇ ) of the end point (B1) and the other one finger point (B2) of the index is the same, all of these can be applied.
  • left and right click operations have been described in this description, not only left and right click operations, but also operations such as left and right direction selection, forward and backward, and the like (O, X) can be performed.
  • left and right click operations can be performed depending on the presence or absence of the little finger.
  • FIG. 17A two fingertips B1 and B2 are simultaneously recognized as shown in FIG. 13, or as shown in FIG. 17B and C, an extension line of A-B1-C.
  • multi-touch recognition for simultaneously performing a plurality of touches based on the speed of change and the like. This is used in the case of controlling a plurality of touch recognitions at the same time, and is a touch method that can simultaneously perform each operation of FIGS. 11 to 16 described above.
  • the two fingertips B1 and B2 are simultaneously recognized as shown in FIG. 13, and then the distance change of the two fingertips B1 and B2 is used in the extension direction of A-B1-C.
  • Touch recognition may be performed.
  • touch recognition may be performed using a change (direction) of the trajectory of the fingertip point recognized in the extension line direction of A-B1-C.
  • it is used to control the rotation of the selected image in the direction depending on whether the rotated direction is clockwise or counterclockwise when the recognized fingertip point B1 is rotated.
  • the selection of the operating device or the area is selected by calculating the center point of the circle drawn by B1-> B1 '-> B1' '.
  • touch recognition for scrolling may be performed using a change in the trajectory and the speed of the fingertip point recognized in the extension line direction of A-B1-C. Can be.
  • the fingertip point repeatedly changes the trajectory from B1-> B1 '-> B1' '-> B1 at a constant speed, it is recognized as a downward scroll and at a constant speed B1-> B1' '.
  • -> B1 '-> B1 If the fingertip repeatedly shows a change in trajectory, it is recognized as an up scroll. In this way, the right scroll and the left scroll are recognized.
  • a scroll value is performed in relation to the diameters of B1 'and B1' ', and the scrolling speed changes in accordance with its speed.
  • touch recognition may be performed by using a depth change and a trajectory change of the fingertip point recognized in the extension line direction of A-B1-C.
  • This touch method provides a convenient user interface, such as touching the surface of the touch panel even when the user remotely operates the electronic device, and enables the electronic device to be operated without using a pointer on the display surface of the electronic device.
  • various screen operations are possible by selecting the correct area such as precisely touching a specific part of the touch panel.
  • the electronic device can be quickly operated by not using the pointer on the display, and the advantages of the touch panel are almost all electronic devices. Provides a touch recognition method for various screen operations that can be applied to the remote control device field.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to providing a convenient user interface that enables a user to feel as though he/she is touching the surface of a touch panel even when the user operates an electronic device in a remote place, thus enabling the operation of the electronic device even without using a pointer on a surface of the electronic device. The present invention also relates to providing a touch recognition method which can enable the accurate selection of an area as though a specific portion of a touch panel is elaborately touched, thereby enabling a variety of screen operations. The touch recognition method comprises the steps of: processing three-dimensional coordinate data (X1, Y1, Z1) of a fingertip and three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye so as to detect the display surface (C) of a display, a fingertip point (C), and a contact point (A) of one eye; calculating at least one of a variation of the depth, variation of traces, duration and a speed of a variation of the detected finger tip point; and operating an electronic device based on at least one of the calculated a variation of the depth, variation of traces, duration and the speed of the variation of the finger tip point, and selecting an area of interest as though a specific portion of a touch panel is being touched.

Description

[규칙 제26조에 의한 보정 04.07.2012] 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법[Correction by Rule 26 04.07.2012] 터치 Touch recognition method in virtual touch device without using pointer
본 발명은 사용자가 전자기기를 원격으로 조작하는 장치 및 방법에 관한 것으로, 특히 전자기기 디스플레이 표시면에 포인터를 표시하지 않고서도 원격에서 전자기기를 정확하게 제어할 수 있는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법에 관한 것이다.The present invention relates to a device and a method for remotely manipulating an electronic device, and in particular, a virtual touch device that does not use a pointer that can accurately control an electronic device remotely without displaying a pointer on an electronic device display display surface. The present invention relates to a touch recognition method in.
최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등 전자기기와 비교할 때 디스플레이에 '포인터'를 표시할 필요가 없다. 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 '포인터'이동 단계가 불필요하여 전자기기의 빠른 조작이 가능하다.Recently, electronic devices having a touch panel such as a smart phone have been used a lot. This touch panel technology does not need to display a "pointer" on the display compared to electronic devices such as computers that can be operated with a conventional mouse. The user does not need to move the pointer (cursor of the computer) to a corresponding position (for example, a program icon) in order to operate the electronic device. In such a touch panel technology, the 'pointer' moving step, which is an essential means of controlling the existing electronic devices, is unnecessary, so that the electronic device can be quickly operated.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.However, despite the above convenience, the touch panel technology cannot be used remotely because the user needs to touch the display surface directly. Therefore, even electronic devices employing touch panel technology have no choice but to rely on devices such as a conventional remote control for remote operation.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이와 만나는 점에 포인터를 생성시키는 기술이 공개된 특허출원 [문헌 1]에 공개된바 있으나, 전자기기 제어를 위한 예비적인 조치로 '포인터'를 반드시 생성해야 하고(포인터 제어부를 두고 있음), 그 후에 구체적인 동작제어를 위해 사용자의 제스쳐를 기존에 저장된 패턴과 비교함으로써 동작을 수행하는 점에서 매우 불편하다.Recently, as a remote electronic control device, a device capable of generating a pointer at an accurate point, such as touch panel technology, that is, a straight line of the user's eyes and fingers is displayed from the captured image after photographing the front of the display using two cameras. Although a technique for generating a pointer at the point of meeting is disclosed in the published patent application [Document 1], a 'pointer' must be generated as a preliminary measure for controlling an electronic device (with a pointer control unit). It is very inconvenient in performing an operation by comparing a user's gesture with a previously stored pattern for a specific operation control.
[문헌 1] 공개특허 2010-0129629 2010. 12. 9. Document 1 Publication 2010-0129629 December 9, 2010
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 사용자가 원격에서 전자기기를 조작할 때에도 마치 터치패널 표면을 터치하는 것과 같은 편리한 사용자 인터페이스를 제공하여, 전자기기 표시면에 포인터를 사용하지 않고도 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 정교하게 터치하는 것과 같이 정확한 영역을 선택함으로써, 다양한 화면조작을 위한 터치 인식 방법을 제공하는데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems, and provides a convenient user interface, such as touching the surface of the touch panel even when the user remotely operates the electronic device, using a pointer on the display surface of the electronic device It is an object of the present invention to provide a touch recognition method for various screen operations by selecting an accurate region such as precisely touching a specific part of the touch panel without requiring electronic devices to be manipulated.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 특징은 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되며 상기 표시면 전방의 사용자 신체를 촬영하는 영상획득부와, 상기 영상획득부로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부로 구성되는 가상 터치 장치를 통해, 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(C)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와, 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와, 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는데 있다.A feature of the touch recognition method in the virtual touch device that does not use the pointer according to the present invention for achieving the above object is composed of two or more image sensors disposed at different positions and the user body in front of the display surface An image acquiring unit for photographing, a spatial coordinate calculating unit for calculating three-dimensional coordinate data of the user's body using the image received from the image acquiring unit, and first and second spatial coordinates and second receiving from the spatial coordinate calculating unit A touch position calculator for calculating contact coordinate data where a straight line connecting the first spatial coordinates and the second spatial coordinates meets the display surface by using a spatial coordinate; and the contact coordinate data received from the touch position calculator Virtual touch processing for generating a command code for performing the operation set to be input to the main control unit of the electronic device Through the virtual touch device consisting of the three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and the three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye to process the display display surface (C) and Detecting a fingertip point C and a contact point A of one eye, and calculating at least one of a depth change, a change in a trajectory, a holding time, and a speed of change of the detected fingertip point, The electronic device can be operated on the basis of at least one of the calculated depth change of the fingertip point, change of the trajectory, holding time, and change speed, and selection of the corresponding area such as touching a specific part of the touch panel. It is included.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 다른 특징은 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치와, 상기 3차원 좌표 산출장치로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부를 포함하는 제어부로 구성되는 가상 터치 장치를 통해, 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(C)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와, 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와, 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는데 있다.Another feature of the touch recognition method in the virtual touch device that does not use the pointer according to the present invention for achieving the above object is a three-dimensional coordinate calculation device for extracting three-dimensional coordinate data of the user's body, and the three-dimensional coordinates A touch position calculator and the touch for calculating contact coordinate data where a straight line connecting the first spatial coordinates and the second spatial coordinates meets the display surface by using the first spatial coordinates and the second spatial coordinates received from the calculator; Fingertip through the virtual touch device comprising a control unit including a virtual touch processing unit for generating a command code for performing an operation set to correspond to the contact coordinate data received from the position calculation unit to the main control unit of the electronic device, 3-D coordinate data (X1, Y1, Z1) and 3-D coordinate data (X2, Y2, Z2) of the center point of one eye Detecting the play display surface C, the fingertip point C, and the contact point A of one eye, respectively, and at least one of a depth change, a trajectory change, a holding time, and a speed of the change of the detected fingertip point; The electronic device can be operated based on at least one of calculating the one, the calculated depth change of the fingertip point, the change of the trajectory, the holding time, and the speed of the change, and also by touching a specific part of the touch panel. Selecting the area.
바람직하게 상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 C 방향의 B2로 이동한 후, B2의 위치에서 미리 정의된 시간 이상 유지되었을 경우, 상기 B1을 기준으로 B2의 깊이 값의 차이를 인식하여 상기 C의 터치로 인식하는 것을 특징으로 한다.Preferably, after moving the fingertip point B1 to the B2 in the C direction in the direction of the extension line of A-B1-C, the depth of B2 based on the B1 when it is maintained for a predetermined time or more at the position of B2 Recognize the difference of the value is characterized in that the recognition of the touch of C.
바람직하게 상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 C 방향의 B2로, 다시 연속해서 B2를 상기 A 방향의 B1로 이동하면, 상기 B1을 기준으로 B2의 깊이 값의 차이 및 상기 B2를 기준으로 B1의 깊이 값의 차이를 인식하여 상기 C의 더블 터치로 인식하는 것을 특징으로 한다.Preferably, when the fingertip point B1 is moved to B2 in the C direction and B2 is continuously moved to B1 in the A direction in the extension line direction of A-B1-C, the depth value of B2 is determined based on the B1. Recognizing the difference and the difference between the depth value of B1 on the basis of the B2, it is characterized in that the double touch of the C.
바람직하게 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, 디스플레이 표시면(C3)의 양측의 표시면 C1, C2를 기준으로 A-B1-C1 및 A-B2-C2의 연장선 방향에서 상기 B1 및 B2의 거리가 1Cm 미만으로 가까워지면, 상기 C3의 표시면에 위치하는 이미지가 다른 위치로 이동될 준비로 인식하는 것을 특징으로 한다.Preferably, at the same time, the two fingertips B1 and B2 are recognized, and in the extension line direction of A-B1-C1 and A-B2-C2 based on the display surfaces C1 and C2 on both sides of the display display surface C3. When the distance between B1 and B2 is less than 1 cm, the image located on the display surface of C3 is recognized as ready to be moved to another position.
바람직하게 상기 다른 위치로 이동될 준비로 인식된 이미지를 선택한 채로 상기 두 손가락 끝의 궤적의 변화를 이용하여 선택된 표시면의 접점을 기준으로 선분을 그리거나 표시면의 다른 위치로 이동, 복사, 잘라내기 중 어느 하나로 제어하는 것을 특징으로 한다.Preferably, while selecting an image recognized as ready to be moved to another position, using the change of the trajectory of the two fingertips, a line segment is drawn based on the contact point of the selected display surface, or moved, copied or cut to another position of the display surface. It is characterized by controlling any one of the bets.
바람직하게 상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 좌우 중 어느 하나의 방향인 B2로 이동하면, B1을 기준으로 B2의 궤적 변화의 차이를 인식하여 상기 C의 표시면에 위치하는 이미지를 A-B2-C의 연장선 방향으로 평면 이동한 것으로 제어하는 것을 특징으로 한다.Preferably, when the fingertip point B1 is moved to B2 in either of the left and right directions in the extension line direction of A-B1-C, the display surface of C is recognized by recognizing the difference in the trajectory change of B2 based on B1. It is characterized by controlling the image located in the plane to move in the direction of the extension line of A-B2-C.
바람직하게 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 디스플레이 표시면(C1)을 가르키는 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도의 변화를 이용하여 터치 인식을 수행하는 것을 특징으로 한다.Preferably, the two fingertips B1 and B2 are simultaneously recognized, and then the index finger B1 and the other fingertip point B2 of the index finger pointing toward the display display surface C1 in the direction of the extension line of A-B1-C. The touch recognition may be performed using a change in angle.
바람직하게 동시에 두 손가락 끝점(B1)(B2)을 인식하거나, A-B1-C의 연장선 방향에서 서로 다른 손 각각의 손가락 끝점(B1)(B2)을 동시에 인식한 후, 상기 인식된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 멀티 터치 인식을 수행하는 것을 특징으로 하는 한다.Preferably, at the same time, the two fingertips B1 and B2 are simultaneously recognized, or the fingertips B1 and B2 of each of the different hands are simultaneously recognized in the direction of the extension line of A-B1-C, and then the Multi-touch recognition may be performed based on at least one of a depth change, a trajectory change, a holding time, and a speed of the change.
바람직하게 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 두 손가락 끝점(B1)(B2)의 거리 변화를 이용하여 화면상에 표시되는 문서, 서브 윈도우의 크기를 확대 또는 축소하거나, 또는 레벨의 증가 또는 감소되도록 제어하는 것을 특징으로 한다.Preferably, after simultaneously recognizing the two fingertips (B1) (B2), the document, the sub-window displayed on the screen by using the distance change of the two fingertips (B1) (B2) in the extension line direction of A-B1-C It is characterized in that the control to enlarge or reduce the size of, or increase or decrease the level.
바람직하게 A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)의 회전되는 방향으로 상기 C의 표시면에 위치하는 이미지를 제어하는 것을 특징으로 한다.Preferably, the image positioned on the display surface of C is controlled in a direction in which the fingertip point B1 recognized in the extension line direction of A-B1-C is rotated.
바람직하게 A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)을 상->하->상->하, 하->상->하->상, 좌->우->좌->우 및 우->좌->우->좌 중 어느 하나의 방향으로 일정한 속도로 반복적으로 이동하는 경우에 이동되는 거리 및 방향을 기반으로 C의 표시면에 위치하는 이미지가 스크롤되도록 제어하는 것을 특징으로 한다.Preferably, the fingertip point B1 recognized in the direction of the extension line of A-B1-C is selected from above-> down-> up-> down, down-> up-> down-> up, left-> right-> left-> Controls to scroll the image located on the display surface of C based on the distance and direction of movement in the case of repeatedly moving at a constant speed in one of the right and right-> left-> right-> left directions It is done.
바람직하게 상기 스크롤은 반복되는 속도에 기반하여 스크롤되는 속도가 변화되는 것을 특징으로 한다.Preferably, the scrolling speed is changed based on the repeated speed.
바람직하게 A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)을 가르치는 C3에서 왼쪽 또는 오른쪽 방향의 C3'으로 위로 볼록 또는 오목하게 이동되도록 하여 표시면에 표시되는 이미지 또는 문서의 페이지가 변화되도록 제어하는 것을 특징으로 한다.Preferably, the page of the image or document displayed on the display surface is changed so as to be convexly or concavely shifted from C3 teaching the recognized fingertip point B1 in the extension direction of A-B1-C to C3 'in the left or right direction. It characterized in that the control to.
바람직하게 상기 (A) 단계 이전에 상기 한쪽 눈을 설정하기 위한 포인트 좌표설정을 수행하는 것을 특징으로 한다.Preferably, before the step (A), the point coordinate setting for setting the one eye is performed.
바람직하게 상기 포인트 좌표설정은 초기화 설정 수행을 선택한 후 사용자가 자신의 손가락 끝을 포인트 좌표로 사용될 자신의 한쪽 눈에 근접하는 거리로 위치시켜 한쪽 눈을 선택하는 것을 특징으로 한다.Preferably, the point coordinate setting is characterized in that the user selects one eye by placing a fingertip at a distance close to one eye to be used as point coordinates after selecting performing initialization setting.
바람직하게 상기 포인트 좌표설정은 초기화 설정 수행을 선택하면 디스플레이의 일정 영역에 적어도 하나 이상의 포인트를 표시하는 단계와, 사용자가 자신의 손가락 끝을 상기 디스플레이에 표시된 포인트를 선택하는 단계와, 상기 선택되는 포인트와 손가락 끝의 좌표 데이터가 연결되는 직선을 이용하여 사용자가 초점을 맞추는데 이용되는 한쪽 눈을 검출하는 단계를 포함하여 이루어지는 것을 특징으로 한다.Preferably, the point coordinate setting includes displaying at least one or more points in a predetermined area of the display when selecting performing initialization setting, selecting a point displayed on the display by a user's fingertip, and selecting the selected point. And detecting one eye used for focusing by the user using a straight line to which the coordinate data of the fingertip is connected.
이상에서 설명한 바와 같은 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법은 디스플레이에서 포인터를 사용하지 않음으로써 전자기기의 신속한 조작이 가능하다. 따라서 앞서 설명한 터치패널의 장점을 전자기기 원격제어장치 분야에 적용할 수 있는 다양한 화면조작을 위한 터치 인식 방법을 제안한다. 이는 일반적으로 컴퓨터, 디지털TV 등 전자기기는 제어방법으로 해당 영역에 포인터를 생성한 후 특정 추가 동작을 수행함으로써 전자기기 조작이 가능하다. As described above, in the touch recognition method of the virtual touch device that does not use the pointer according to the present invention, the electronic device can be quickly operated by not using the pointer in the display. Therefore, the present invention proposes a touch recognition method for various screen operations that can apply the advantages of the above-described touch panel to the field of electronic device remote control device. In general, electronic devices such as computers and digital TVs can be manipulated by creating a pointer in a corresponding area as a control method and performing a specific additional operation.
또한 지금까지는 디스플레이 포인터의 위치를 고속으로 설정하기 위한 방법, 디스플레이에서 포인터의 속도 선택 방법, 하나 이상의 포인터를 사용하는 방법, 리모컨에 의해 포인터를 제어하는 방법 등과 같이 무수히 많은 기술들이 포인터를 활용한 응용기술에만 국한되어 개발되어왔다. 이에 본 발명에서는 포인터를 사용하지 않는 가상 터치 장치에서 활용할 수 있으면서, 전자기기 표시면의 특정영역을 정교하게 포인팅 할 수 있는 새로운 터치 인식 방법을 제공할 수 있다.In addition, until now, numerous technologies such as how to set the position of the display pointer at high speed, how to select the speed of the pointer on the display, how to use one or more pointers, and how to control the pointer by the remote control, etc. It has been developed with limited to technology. Accordingly, the present invention can provide a new touch recognition method that can be utilized in a virtual touch device that does not use a pointer and can precisely point a specific area of the display surface of an electronic device.
그리고 본 발명에서는 전자기기 표시면을 정교하게 포인팅 하기 위해 '손가락 끝과 한쪽 눈만을 이용해야 사물의 위치를 정확히 포인팅할 수 있다'는 원리를 채용함으로서(손가락 끝을 두 눈으로 보면 손가락 끝이 2개로 보임), 사용자는 원격에서도 마치 터치패널을 사용하는 것과 같이 정교하게 화면상의 메뉴를 포인팅 할 수 있다.In the present invention, in order to precisely point the display surface of the electronic device, by adopting the principle that only the fingertip and one eye can be used to accurately point the position of an object (seeing the fingertip with two eyes, the fingertip is 2 The user can point to on-screen menus with precision, even as if using a touch panel remotely.
도 1 은 본 발명의 바람직한 제 1 실시예에 따른 가상 터치 장치 블록도1 is a block diagram of a virtual touch device according to a first preferred embodiment of the present invention.
도 2a 내지 도 2c는 도 1의 가상 터치 장치에서 사용자가 디스플레이에 표시된 화면 메뉴를 선택하는 도면2A to 2C are views for selecting a screen menu displayed on a display by a user in the virtual touch device of FIG.
도 3a 내지 도 3c는 도 1의 가상 터치 장치에서 사용자가 손가락 끝의 변화를 통해 공간좌표를 이동시키는 것을 나타낸 도면3A to 3C are diagrams illustrating a user moving a spatial coordinate through a change of a fingertip in the virtual touch device of FIG.
도 4 는 도 1의 가상 터치 장치에서 사용자가 2개 손가락 끝을 사용하여 터치 동작을 수행하는 것을 나타낸 도면4 is a diagram illustrating a user performing a touch operation using two fingertips in the virtual touch device of FIG. 1.
도 5 는 도 1의 가상 터치 장치에서 사용자가 각자 손가락 끝을 사용하여 터치 동작을 수행하는 것을 나타낸 도면FIG. 5 is a diagram illustrating a user performing a touch operation by using each fingertip in the virtual touch device of FIG. 1. FIG.
도 6 은 본 발명의 바람직한 제 2 실시예에 따른 가상 터치 장치 블록도6 is a block diagram of a virtual touch device according to a second preferred embodiment of the present invention.
도 7a 내지 도 7c는 도 6의 가상 터치 장치에서 사용자가 디스플레이에 표시된 화면 메뉴를 선택하는 도면7A to 7C are views for selecting a screen menu displayed on a display by a user in the virtual touch device of FIG.
도 8a 내지 도 8c는 도 6의 가상 터치 장치에서 사용자가 손가락 끝의 변화를 통해 공간좌표를 이동시키는 것을 나타낸 도면8A to 8C are views illustrating a user moving a spatial coordinate through a change of a fingertip in the virtual touch device of FIG. 6.
도 9 는 도 6의 가상 터치 장치에서 사용자가 2개 손가락 끝을 사용하여 터치 동작을 수행하는 것을 나타낸 도면FIG. 9 is a diagram illustrating a user performing a touch operation using two fingertips in the virtual touch device of FIG. 6.
도 10 은 도 6의 가상 터치 장치에서 사용자가 각자 손가락 끝을 사용하여 터치 동작을 수행하는 것을 나타낸 도면FIG. 10 is a diagram illustrating a user performing a touch operation using each fingertip in the virtual touch device of FIG. 6.
도 11 내지 도 21 은 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 다양한 실시예를 나타낸 도면11 to 21 illustrate various embodiments of a touch recognition method in a virtual touch device not using a pointer according to the present invention.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments with reference to the accompanying drawings.
본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있다.A preferred embodiment of a touch recognition method in a virtual touch device that does not use a pointer according to the present invention will be described with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, only the embodiments to complete the disclosure of the present invention and complete the scope of the invention to those skilled in the art. It is provided to inform you. Therefore, the embodiments described in the specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention and do not represent all of the technical idea of the present invention, various equivalents that may be substituted for them at the time of the present application There may be water and variations.
제 1 실시예First embodiment
도 1 은 본 발명의 제 1 실시예에 따른 가상 터치 장치를 나타낸 블록 구성도이다.1 is a block diagram illustrating a virtual touch device according to a first embodiment of the present invention.
도 1을 참조하면, 가상 터치 장치(1)는 영상획득부(10), 공간좌표 산출부(20), 터치 위치 산출부(30) 및 가상 터치 산출부(40)를 포함한다.Referring to FIG. 1, the virtual touch device 1 includes an image acquisition unit 10, a spatial coordinate calculator 20, a touch position calculator 30, and a virtual touch calculator 40.
상기 영상획득부(10)로는 일종의 카메라모듈로 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(11, 12)를 2 이상 포함 할 수 있다.The image acquisition unit 10 may include two or more image sensors 11 and 12, such as CCD or CMOS, which detects an image with a kind of camera module and converts the image into an electrical image signal.
상기 공간좌표 산출부(20)는 영상획득부(10)로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출한다. 본 발명에 따르면 영상획득부(20)를 구성하는 이미지센서(11, 12)는 각기 다른 각도에서 사용자 신체를 촬영하고 공간좌표 산출부(20)는 수동적인 광학 삼각법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출할 수 있다.The spatial coordinate calculation unit 20 calculates 3D coordinate data of the user's body using the image received from the image acquisition unit 10. According to the present invention, the image sensors 11 and 12 constituting the image acquisition unit 20 photograph the user's body at different angles, and the spatial coordinate calculation unit 20 uses the three-dimensional optical body of the user's body. Coordinate data can be calculated.
일반적으로 광학식 3차원 좌표 산출 방법은 센싱 방법에 따라 능동 방식과 수동 방식으로 분류할 수 있다. 능동 방식은 미리 정의된 패턴이나 음파 등을 물체에 투사한 후 그 에너지 또는 초점 등의 센서 파라미터의 제어를 통한 변화량을 측정하여 물체의 3차원 좌표 데이터를 산출하는 방법으로 구조광 혹은 레이저광을 이용하는 방식이 대표적이다. 이에 비하여 수동 방식은 인위적으로 물체에 에너지를 투사하지 않은 상태에서 촬영한 영상의 명암(intensity), 시차(parallax)등을 이용하는 방식이다.In general, the optical three-dimensional coordinate calculation method can be classified into an active method and a passive method according to the sensing method. The active method uses structured light or laser light as a method of projecting a predefined pattern or sound wave onto an object and measuring the amount of change through control of sensor parameters such as energy or focus and calculating three-dimensional coordinate data of the object. The method is representative. On the other hand, the passive method is a method using intensity, parallax, etc. of an image photographed without artificially projecting energy on an object.
본 발명에서는 물체에 에너지를 투사하지 않는 수동 방식을 채용하고 있는 바, 이 방식은 능동 방식에 비해 다소 정밀도는 떨어질 수 있어도 장비가 간편하고 입력 영상으로부터 텍스쳐를 직접 획득할 수 있는 장점이 있다.The present invention employs a passive method that does not project energy onto an object. This method has advantages in that the equipment is simple and the texture can be directly obtained from the input image, although the precision may be somewhat lower than that of the active method.
수동 방식에서는 촬영한 영상 간에 대응되는 특징점들에게 삼각법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법의 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 사용자 신체의 3차원 좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로부터 거리를 구하는 방법이다. 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.In the manual method, three-dimensional information may be obtained by applying trigonometric methods to corresponding feature points between captured images. Various methods for extracting three-dimensional coordinates by applying trigonometric methods are commonly used camera self calibration, Harris corner extraction, SIFT, RANSAC, Tsai, etc. In particular, the three-dimensional camera method may be used as a method for calculating three-dimensional coordinate data of the user's body. The stereoscopic camera method is a method of finding the distance from the predicted angle of an object by observing the same point of the object surface at two different points, similar to the structure of a binocular body in which a human looks at an object with two eyes and obtains a displacement. The various three-dimensional coordinate calculation techniques mentioned above are easily understood and implemented by those skilled in the art to which the present invention pertains, and a description thereof will be omitted. Meanwhile, the patent documents related to the method of calculating three-dimensional coordinate data using two-dimensional images are disclosed in Korean Patent Publication Nos. 10-0021803, 10-2004-0004135, 10-2007-0066382, and 10-2007. There are many such as -0117877.
상기 터치 위치 산출부(30)는 공간좌표 산출부(20)로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.The touch position calculator 30 may include a straight line connecting the first spatial coordinates and the second spatial coordinates using the first spatial coordinates and the second spatial coordinates received from the spatial coordinate calculator 20. It calculates contact point coordinate data.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. In general, a finger is the only part of a person's body that allows for sophisticated and delicate manipulations. In particular, when using either one of the thumb or forefinger or two fingers together, the precise pointing can be performed. Accordingly, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinates in the present invention.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다. 이러한 포인터를 사용할 경우 손가락 끝에 비해 사용자 시야로부터 디스플레이를 가리는 부분이 작고 포인터의 뾰족한 끝으로 디스플레이의 매우 작은 부분까지도 정확히 포인팅 할 수 있는 장점이 있다.In addition, in the same context, instead of the tip of the finger serving as the first spatial coordinate, a pointed tip (eg, a pen tip) held by the finger may be used. The use of such a pointer has the advantage that the portion covering the display from the user's field of view is smaller than the tip of the finger, and the pointed end of the pointer can accurately point even the smallest portion of the display.
또한 본 발명에서는 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.In addition, the present invention uses only the center point of one eye of the user. For example, if a user places an index finger in front of both eyes, the index finger will appear as two. This occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes). However, if you look at your index finger with only one eye, your index finger will be clearly visible. Also, even if you do not sense one eye, you can see the forefinger clearly even if you look consciously with only one eye. Most sports events that require a high degree of accuracy in aiming, such as shooting and archery, follow this principle.
본 발명에서는 한쪽 눈(제2 공간좌표)으로만 손가락 끝(제1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제1 공간좌표를 정확히 볼 수 있어야 제1 공간좌표와 일치되는 디스플레이의 특정 영역을 포인팅 할 수 있다. 그러나, 사용자 마다 초점을 맞출 때 오른쪽 눈을 이용하는 사용자가 있는가 하면, 반대로 왼쪽 눈을 이용하는 사용자가 있다. 이는 상기 제 2 공간좌표로 오른쪽 눈으로 설정되는 경우에 왼쪽 눈으로 초점을 맞추는 사용자에게는 정확한 포인팅이 이루어지지 못하는 경우가 있을 수 있다.The present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye (second spatial coordinate). In this way, the user must be able to see the first spatial coordinates accurately to point to a specific area of the display that matches the first spatial coordinates. However, some users use the right eye to focus, while others use the left eye. This may be the case that the correct pointing is not made to the user who focuses with the left eye when the second spatial coordinate is set with the right eye.
이러한 문제점을 해결하기 위해, 본 발명은 초기화 설정과정을 통해 제2 공간좌표를 설정하기 위한 포인트 좌표설정을 수행할 수 있다. 즉, 포인팅을 수행하고자 하는 사용자가 자신의 신체에 맞는 제 2 공간좌표를 설정하도록 하여 보다 정확한 포인팅이 가능하도록 한다. In order to solve this problem, the present invention can perform the point coordinates for setting the second spatial coordinates through the initialization setting process. That is, the user who intends to perform the pointing sets a second spatial coordinate that is suitable for his / her body, thereby enabling more accurate pointing.
상기 포인트 좌표설정을 위한 방법의 제 1 실시예로서, 초기화 설정 수행을 선택한 후 사용자가 자신의 손가락 끝(제1 공간좌표)을 제2 공간좌표로 이용하고자 하는 자신의 한쪽 눈에 근접하는 거리로 위치시켜 제2 공간좌표로 이용되는 한쪽 눈을 설정한다. 한편, 다른 제 2 실시예로서, 초기화 설정 수행을 선택하면 디스플레이(90)의 일정 영역에 적어도 하나 이상의 포인트를 표시하고, 사용자가 자신의 손가락 끝(제1 공간좌표)을 디스플레이(90)에 표시된 포인트를 선택함으로써, 현재 사용자가 초점을 맞추는데 이용되는 한쪽 눈(왼쪽 눈 또는 오른쪽 눈)을 검출하게 된다. 그리고 이렇게 검출된 한쪽 눈을 제2 공간좌표로 설정한다. 즉, 상기 선택되는 포인트와 손가락 끝의 좌표 데이터가 연결되는 직선을 이용하여 한쪽 눈을 검출한다.As a first embodiment of the method for setting the point coordinates, the user selects perform initialization setting and then moves the user's fingertip (first spatial coordinate) to a distance close to one's own eye to use as the second spatial coordinate. Position to set one eye used as the second spatial coordinate. On the other hand, in another second embodiment, if performing the initialization setting is selected, at least one or more points are displayed in a predetermined area of the display 90, and the user displays his or her fingertip (first spatial coordinate) on the display 90. By selecting a point, one eye (left eye or right eye) is detected which is currently used by the user to focus. One eye thus detected is set to the second spatial coordinate. That is, one eye is detected using a straight line connecting the selected point and the coordinate data of the fingertip.
상기 포인트 좌표설정을 위한 방법으로 위에서 설명하고 있는 제 1, 제 2 실시예 외에도 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함에 주의하여야 한다.In addition to the first and second embodiments described above as the method for setting the point coordinates, it should be noted that various embodiments are possible within the scope of the technical idea of the present invention.
본 발명에서는 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다.In the present invention, when the user of 1 uses any one of the fingers, the first spatial coordinate is a three-dimensional coordinate of any one of the end of the finger of the user's finger, the end of the pointer held by the user with the finger, The second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.In addition, when a single user uses two or more of the fingers, the first spatial coordinates are three-dimensional coordinates of the ends of two or more fingers of the user's fingers, and the second spatial coordinates are the two or more users' fingers. It may be formed of three-dimensional coordinates of the center point of either eye.
또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.In addition, when used by two or more users, the first spatial coordinates are three-dimensional coordinates of the tips of one or more fingers respectively presented by two or more users, and the second spatial coordinates are the one eye of the two or more users. It may be formed of three-dimensional coordinates of the center point of.
상기 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력하도록 형성될 수 있다. 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.The virtual touch processor 40 determines whether there is a change in the contact coordinate data for a predetermined time or more from a time at which initial contact coordinate data is calculated, and is set to correspond to the contact coordinate data if there is no change in the contact coordinate data for a set time or more. It may be configured to generate a command code for performing an operation to input to the main control unit 91 of the electronic device. The virtual touch processor 40 may process two fingers of a single user or two or more users in a similar manner.
또한 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력하도록 형성될 수 있다. 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.In addition, the virtual touch processor 40 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the first spatial coordinate and the second It is determined whether there is a change in distance greater than or equal to a set distance between spatial coordinates, and when a distance change is greater than or equal to a set distance, a command code for performing a set operation corresponding to the contact coordinate data is generated to the main controller 91 of the electronic device. It can be configured to input. The virtual touch processor 40 may process two fingers of a single user or two or more users in a similar manner.
한편, 상기 접점 좌표 데이터의 변동이 상기 디스플레이(90)의 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 디스플레이를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 디스플레이의 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하여 설정된 동작을 수행하는 명령코드를 생성하여 전자기기의 주 제어부(91)로 입력하도록 할 수 있다.On the other hand, if it is determined that the variation of the contact coordinate data is within the range of the setting region of the display 90, the contact coordinate data may be formed to be regarded as no change in the contact coordinate data. That is, when the user points the display to the tip of the finger or the tip of the pointer, it is very difficult for the user to keep the contact coordinates as the body or finger naturally has some movement or tremor. Therefore, when the contact coordinate data value is within the range of the setting area of the display, it is assumed that there is no change in the contact coordinate data, and a command code for performing the set operation may be generated and input to the main controller 91 of the electronic device. .
본 발명에 따른 원격 조정의 대상이 되는 전자기기 중 대표적인 것으로 디지털텔레비젼을 들 수 있다. 일반적으로 디지털텔레비전 수신기는 방송신호 수신부, 영상신호 처리부, 시스템 제어부 등을 별도로 구비하고 있으나 이러한 구성요소들은 당업자에게는 지극히 자명한 사실이므로 여기서는 이들에 상세한 설명을 생략한다. 본 발명에 따른 원격 조정의 대상이 되는 기타 전자기기로는 가전 기기 뿐만 아니라 조명기기, 가스기기, 난방기기, 방법기기 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.Digital TVs are representative of electronic devices that are subject to remote control according to the present invention. In general, a digital television receiver includes a broadcast signal receiver, an image signal processor, a system controller, and the like, but these components are extremely obvious to those skilled in the art, and thus detailed descriptions thereof will be omitted. Other electronic devices that are subject to remote control according to the present invention include home appliances such as lighting appliances, gas appliances, heating appliances, and method appliances, and various electronic appliances may also be remotely controlled by the present invention. Can be.
본 발명에 따른 가상 터치 장치(1)는 원격 조정의 대상이 되는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.The virtual touch device 1 according to the present invention may be inserted and installed on the top of an electronic device frame to be remotely controlled, or may be installed separately from the electronic device.
도 2a는 본 발명의 실시예에 따라 사용자가 전자기기 디스플레이(90) 상에서 특정 아이콘을 선택하는 도면이다. 사용자는 한쪽 눈으로 손가락 끝을 보면서 디스플레이(90)상에서 '음악' 아이콘을 선택한다. 공간좌표 산출부(20)에서는 사용자 신체의 3차원 공간좌표를 생성하고, 터치 위치 산출부(30)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면과의 접점 좌표(X, Y, Z)를 산출한다. 이후 가상 터치 처리부(40)는 접점 좌표 데이터(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다. 주 제어부(91)는 상기 명령코드를 수행한 결과를 디스플레이(90)에 표시하도록 제어한다. 도 2a에서는 '음악' 아이콘 메뉴를 선택하였다.2A is a diagram in which a user selects a specific icon on an electronic device display 90 according to an embodiment of the present invention. The user selects the 'music' icon on the display 90 while looking at the fingertip with one eye. The spatial coordinate calculation unit 20 generates three-dimensional spatial coordinates of the user's body, and the touch position calculation unit 30 generates three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and three-dimensional coordinates of the center point of one eye. The data X2, Y2 and Z2 are processed to calculate the contact coordinates X, Y and Z with the display display surface. Thereafter, the virtual touch processor 40 generates a command code for performing an operation set to correspond to the contact coordinate data X, Y, and Z, and inputs the command code to the main controller 91 of the electronic device. The main controller 91 controls the display 90 to display a result of performing the command code. In FIG. 2A, a 'music' icon menu is selected.
도 2b는 사용자가 도 2a에서 '음악' 아이콘 메뉴를 선택한 후 나타나는 노래 곡명에 대한 서브 메뉴를 디스플레이에 표시한 화면을 나타낸다. 도 2c는 사용자가 음악 서브 메뉴 중에서 특정 곡을 선택하는 화면이다.FIG. 2B illustrates a screen in which a user displays a sub-menu for a song song name that appears after the user selects the 'music' icon menu in FIG. 2A. 2C is a screen in which a user selects a specific song from a music sub menu.
도 3a 내지 3c에서 터치 위치 산출부(30)는 손가락 끝의 3차원 좌표데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)가 일정한 조건(Z 좌표값의 변동)에 해당될 때에만 디스플레이 표시면과의 접점 좌표(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력하는 방법을 보여준다.In FIGS. 3A to 3C, the touch position calculator 30 is a condition in which the 3D coordinate data (X1, Y1, Z1) of the fingertip and the 3D coordinate data (X2, Y2, Z2) of the center point of one eye are constant (Z coordinates). A command code for performing an operation that is set to correspond to the contact coordinates (X, Y, Z) with the display display surface only when the change of a value is performed) and input the same to the main controller 91 of the electronic device. Shows.
도 3a는 터치 위치 산출부(30)가 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없을 경우에만 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다.3A illustrates that the touch position calculator 30 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus the contact coordinate only when there is no change in the contact coordinate data for a set time or more. A command code for performing an operation set to correspond to data is generated and input to the main controller 91 of the electronic device.
도 3b와 도 3c에서 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동(X와 Y 좌표값)이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화(Z 좌표값의 변화)가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다. 도 3b는 제1 공간좌표와 제2 공간좌표 사이의 거리가 멀어진 경우이고 도 3c는 제1 공간좌표와 제2 공간좌표 사이의 거리가 가까워진 경우이다.3B and 3C, the virtual touch processor 40 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus changes in the contact coordinate data for a set time or more (X and Y coordinates). Value), it is determined whether there is a change in distance greater than or equal to the set distance between the first spatial coordinate and the second spatial coordinate, and when a distance change (change in Z coordinate value) greater than or equal to the set distance occurs, the corresponding coordinate data is set. A command code for performing an operation is generated and input to the main controller 91 of the electronic device. 3B illustrates a case where the distance between the first spatial coordinates and the second spatial coordinates is far from each other, and FIG. 3C illustrates a case where the distance between the first spatial coordinates and the second spatial coordinates approaches.
도 4는 1 사용자가 2개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 사용자가 표시면에 2개의 접점 좌표를 가지면서 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다. 또한 사용자가 2개의 손가락 끝을 사용할 경우 디스플레이 표시면에서 이미지를 조작(이동, 회전, 축소, 확대 등)할 때에도 매우 유용할 것이다.4 shows a case where one user has two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on an electronic device display display surface using two fingertips. An example in which the user controls the operation of the electronic device while having two contact coordinates on the display surface will be common in games. It would also be very useful when the user uses two fingertips to manipulate (move, rotate, reduce, enlarge, etc.) an image on the display display.
도 5는 2 사용자가 각자 1개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 2명의 사용자가 표시면에 2개의 접점 좌표를 가지면서 각각 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다.FIG. 5 shows a case where two users each have two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on the display surface of an electronic device using one fingertip. An example in which two users have two contact coordinates on a display surface and controls electronic device operation, respectively, will be common in games.
제 2 실시예Second embodiment
도 6 은 본 발명의 제 2 실시예에 따른 가상 터치 장치를 나타낸 블록 구성도이다.6 is a block diagram illustrating a virtual touch device according to a second embodiment of the present invention.
도 6을 참조하면, 가상 터치 장치(1)는 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치(10) 및 제어부(20)를 포함한다.Referring to FIG. 6, the virtual touch device 1 includes a 3D coordinate calculator 10 and a controller 20 that extract 3D coordinate data of a user's body.
상기 3차원 좌표 산출장치(10)는 기존에 공지된 여러 3차원 좌표 추출 방법에 의해 사용자의 신체의 3차원 좌표를 산출할 수 있다. 이러한 3차원 좌표추출의 대표적인 방식으로는 광학적인 삼각 측량법과 시간지연측정법으로 나누어 볼 수 있다. 광학적인 삼각측량 기법의 하나인 구조광을 이용한 능동적 방식의 3차원 정보 획득 기법은 프로젝터를 사용하여 코드화된 패턴영상을 연속적으로 투영하고 카메라를 통해 구조광이 투영된 장면의 영상을 획득함으로써 3차원 위치를 추정하는 방법이다.The three-dimensional coordinate calculation apparatus 10 may calculate the three-dimensional coordinates of the user's body by a variety of known three-dimensional coordinate extraction method. Representative methods of such three-dimensional coordinate extraction can be divided into optical triangulation and time delay measurement. Active three-dimensional information acquisition using structured light, one of optical triangulation techniques, uses a projector to continuously project a coded pattern image and acquires an image of a structured light projected through a camera. It is a method of estimating the position.
또한, 시간지연측정법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3D 정보를 획득하는 기법이다. 그 밖에도 시간지연측정법(Time of Flight)을 이용하는 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.In addition, the time delay measurement method is a technique of obtaining 3D information by converting the time difference between the ultrasonic wave generated from the transmitter and the receiver to the receiver by dividing the time of flight by the traveling speed of the ultrasonic wave. In addition, various methods of calculating three-dimensional coordinates using a time of flight method exist in the past, and a description thereof will be omitted since it can be easily implemented by those skilled in the art.
또한, 본 발명에 따른 3차원 좌표 산출장치(10)는 조명어셈블리(11), 영상획득부(12) 및 공간좌표 산출부(13)를 포함하여 구성될 수 있다. 조명어셈블리(12)는 광원(111)과 산광기(112)를 포함하며 사용자 신체에 스페클패턴을 투영한다. 영상획득부(12)는 이미지센서(121)와 렌즈(122)로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 상의 스페클 패턴을 캡쳐한다. 이미지 센서(121)는 일반적으로 CCD 또는 CMOS 기반의 이미지 센서가 사용될 수 있다. 또한 공간좌표 산출부(13)는 영상획득부(12)가 획득된 영상을 처리하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 역할을 수행한다.In addition, the three-dimensional coordinate calculation apparatus 10 according to the present invention may be configured to include an illumination assembly 11, the image acquisition unit 12 and the spatial coordinate calculation unit (13). The lighting assembly 12 includes a light source 111 and a diffuser 112 to project the speckle pattern onto the user's body. The image acquisition unit 12 includes an image sensor 121 and a lens 122 to capture a speckle pattern on the user projected by the lighting assembly. In general, the image sensor 121 may be a CCD or CMOS based image sensor. In addition, the spatial coordinate calculator 13 calculates the 3D coordinate data of the user's body by processing the image obtained by the image acquisition unit 12.
상기 제어부(20)는 터치 위치 산출부(21)와 가상 터치 산출부(22)로 구성된다.The controller 20 includes a touch position calculator 21 and a virtual touch calculator 22.
이때, 상기 터치 위치 산출부(21)는 3차원 좌표 산출장치(10)로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.In this case, the touch position calculator 21 is a straight line connecting the first spatial coordinates and the second spatial coordinates using the first and second spatial coordinates received from the 3D coordinate calculator 10. It calculates contact coordinate data that meets the display surface.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다.In general, a finger is the only part of a person's body that allows for sophisticated and delicate manipulations. In particular, when using either one of the thumb or forefinger or two fingers together, the precise pointing can be performed. Accordingly, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinates in the present invention.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다. 이러한 포인터를 사용할 경우 손가락 끝에 비해 사용자 시야로부터 디스플레이를 가리는 부분이 작고 포인터의 뾰족한 끝으로 디스플레이의 매우 작은 부분까지도 정확히 포인팅 할 수 있는 장점이 있다.In addition, in the same context, instead of the tip of the finger serving as the first spatial coordinate, a pointed tip (eg, a pen tip) held by the finger may be used. The use of such a pointer has the advantage that the portion covering the display from the user's field of view is smaller than the tip of the finger, and the pointed end of the pointer can accurately point even the smallest portion of the display.
또한 본 발명에서는 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷이 보일 것이다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.In addition, the present invention uses only the center point of one eye of the user. For example, if a user places an index finger in front of both eyes, the index finger will appear as two. This phenomenon occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes). However, if you look at your index finger with only one eye, your index finger will be clearly visible. Also, even if you do not sense one eye, your forefinger will be clearly visible even if you consciously look with one eye. Most sports events that require a high degree of accuracy in aiming, such as shooting and archery, follow this principle.
본 발명에서는 한쪽 눈(제2 공간좌표)으로만 손가락 끝(제1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제1 공간좌표를 정확히 볼 수 있어야 제1 공간좌표와 일치되는 디스플레이의 특정 영역을 포인팅 할 수 있다. 그러나, 사용자 마다 초점을 맞출 때 오른쪽 눈을 이용하는 사용자가 있는가 하면, 반대로 왼쪽 눈을 이용하는 사용자가 있다. 이는 상기 제 2 공간좌표로 오른쪽 눈으로 설정되는 경우에 왼쪽 눈으로 초점을 맞추는 사용자에게는 정확한 포인팅이 이루어지지 못하는 경우가 있다.The present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye (second spatial coordinate). In this way, the user must be able to see the first spatial coordinates accurately to point to a specific area of the display that matches the first spatial coordinates. However, some users use the right eye to focus, while others use the left eye. When the second spatial coordinate is set to the right eye, the user who focuses with the left eye may not have accurate pointing.
이러한 문제점을 해결하기 위해, 본 발명은 초기화 설정과정을 통해 제2 공간좌표를 설정하기 위한 포인트 좌표설정을 수행한다. 즉, 포인팅을 수행하고자 하는 사용자가 자신의 신체에 맞는 제 2 공간좌표를 설정하도록 하여 보다 정확한 포인팅이 가능하도록 한다. 상기 포인트 좌표설정을 수행하는 실시예는 위에서 설명하고 있으므로 생략한다.In order to solve this problem, the present invention performs the point coordinates for setting the second spatial coordinates through the initialization setting process. That is, the user who intends to perform the pointing sets a second spatial coordinate that is suitable for his / her body, thereby enabling more accurate pointing. An embodiment of performing the point coordinate setting is omitted since it is described above.
본 발명에서는 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다.In the present invention, when the user of 1 uses any one of the fingers, the first spatial coordinate is a three-dimensional coordinate of any one of the end of the finger of the user's finger, the end of the pointer held by the user with the finger, The second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.In addition, when a single user uses two or more of the fingers, the first spatial coordinates are three-dimensional coordinates of the ends of one or more fingers respectively presented by the two or more users, and the second spatial coordinates are the two. It may be formed of three-dimensional coordinates of the center point of either eye of the user.
또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.In addition, when used by two or more users, the first spatial coordinates are three-dimensional coordinates of the tips of one or more fingers respectively presented by two or more users, and the second spatial coordinates are the one eye of the two or more users. It may be formed of three-dimensional coordinates of the center point of.
본 발명에 있어서, 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하도록 형성될 수 있다. 가상 터치 처리부(22)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 의해서도 마찬가지로 방식으로 처리할 수 있다.In the present invention, the virtual touch processing unit 22 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the contact coordinate data. It may be configured to generate a command code for performing the operation set to correspond to the input to the main control unit 31 of the electronic device. The virtual touch processing unit 22 can be processed in a similar manner by two fingers of one user or two or more users.
또한 본 발명에 있어서, 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하도록 형성될 수 있다. 가상 터치 처리부(22)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 의해서도 마찬가지로 방식으로 처리할 수 있다.In addition, in the present invention, the virtual touch processing unit 22 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the first touch point. When the distance change over the set distance occurs by determining whether there is a distance change over the set distance between the spatial coordinates and the second spatial coordinates, a command code for performing the operation set to correspond to the contact coordinate data is generated to generate the main code of the electronic device. It may be configured to input to the control unit 31. The virtual touch processing unit 22 can be processed in a similar manner by two fingers of one user or two or more users.
한편, 상기 접점 좌표 데이터의 변동이 상기 디스플레이(30)의 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 디스플레이를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 디스플레이의 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하여 설정된 동작을 수행하는 명령코드를 생성하여 전자기기의 주 제어부(31)로 입력하도록 할 수 있다.On the other hand, if it is determined that the variation of the contact coordinate data is within the range of the setting area of the display 30, the contact coordinate data may be formed to be regarded as no change in the contact coordinate data. That is, when the user points the display to the tip of the finger or the tip of the pointer, it is very difficult for the user to keep the contact coordinates as the body or finger naturally has some movement or tremor. Therefore, when the contact coordinate data value is within the range of the setting area of the display, it is assumed that there is no change in the contact coordinate data, and a command code for performing the set operation may be generated and input to the main controller 31 of the electronic device. .
본 발명에 따른 원격 조정의 대상이 되는 전자기기 중 대표적인 것으로 디지털텔레비젼을 들 수 있다. 일반적으로 디지털텔레비전 수신기는 방송신호 수신부, 영상신호 처리부, 시스템 제어부 등을 별도로 구비하고 있으나 이러한 구성요소들은 당업자에게는 지극히 자명한 사실이므로 여기서는 이들에 상세한 설명을 생략한다. 본 발명에 따른 원격 조정의 대상이 되는 기타 전자기기로는 가전 기기 뿐만 아니라 조명기기, 가스기기, 난방기기, 방법기기 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.Digital TVs are representative of electronic devices that are subject to remote control according to the present invention. In general, a digital television receiver includes a broadcast signal receiver, an image signal processor, a system controller, and the like, but these components are extremely obvious to those skilled in the art, and thus detailed descriptions thereof will be omitted. Other electronic devices that are subject to remote control according to the present invention include home appliances such as lighting appliances, gas appliances, heating appliances, and method appliances, and various electronic appliances may also be remotely controlled by the present invention. Can be.
본 발명에 따른 가상 터치 장치(1)는 원격 조정의 대상이 되는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.The virtual touch device 1 according to the present invention may be inserted and installed on the top of an electronic device frame to be remotely controlled, or may be installed separately from the electronic device.
도 7a는 본 발명의 실시예에 따라 사용자가 전자기기 디스플레이(30) 상에서 특정 아이콘을 선택하는 도면이다. 사용자는 한쪽 눈으로 손가락 끝을 보면서 디스플레이(30)상에서 '음악' 아이콘을 선택한다. 3차원 좌표 산출장치(10)에서는 사용자 신체의 3차원 공간좌표를 생성하고, 제어부(20)의 터치 위치 산출부(21)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면과의 접점 좌표(X, Y, Z)를 산출한다. 이후 가상 터치 처리부(22)는 접점 좌표 데이터(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다. 주 제어부(31)는 상기 명령코드를 수행한 결과를 디스플레이(30)에 표시하도록 제어한다. 도 7a에서는 '음악' 아이콘 메뉴를 선택하였다.7A is a diagram in which a user selects a specific icon on the electronic device display 30 according to an embodiment of the present invention. The user selects the 'music' icon on the display 30 while looking at the fingertip with one eye. The three-dimensional coordinate calculation apparatus 10 generates three-dimensional spatial coordinates of the user's body, and the touch position calculator 21 of the controller 20 controls the three-dimensional coordinate data (X1, Y1, Z1) and one eye of the fingertip. The three-dimensional coordinate data (X2, Y2, Z2) of the center point of is processed to calculate the contact coordinates (X, Y, Z) with the display display surface. Thereafter, the virtual touch processor 22 generates a command code for performing an operation set to correspond to the contact coordinate data X, Y, and Z, and inputs the command code to the main controller 31 of the electronic device. The main controller 31 controls the display 30 to display a result of performing the command code. In FIG. 7A, a 'music' icon menu is selected.
도 7b는 사용자가 도 7a에서 '음악' 아이콘 메뉴를 선택한 후 나타나는 노래 곡명에 대한 서브 메뉴를 디스플레이에 표시한 화면을 나타낸다. 도 7c는 사용자가 음악 서브 메뉴 중에서 특정 곡을 선택하는 화면이다.FIG. 7B illustrates a screen in which a user displays a sub-menu for a song song name that appears after the user selects the 'music' icon menu in FIG. 7A. 7C is a screen in which a user selects a specific song from a music sub menu.
도 7a 내지 7c에서 제어부(20)의 터치 위치 산출부(21)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)가 일정한 조건(Z 좌표값의 변동)에 해당될 때에만 디스플레이 표시면과의 접점 좌표(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하는 방법을 보여준다.7A to 7C, the touch position calculator 21 of the control unit 20 includes three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye. The main control unit 31 of the electronic device generates a command code for performing an operation set to correspond to the contact coordinates (X, Y, Z) with the display display surface only when a certain condition (change in the Z coordinate value) is met. Shows how to type.
도 7a는 터치 위치 산출부(21)가 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없을 경우에만 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다.FIG. 7A illustrates that the touch position calculator 21 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus the contact coordinate only when there is no change in the contact coordinate data for a set time or more. A command code for performing an operation set to correspond to data is generated and input to the main controller 31 of the electronic device.
도 7b와 도 7c에서 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동(X와 Y 좌표값)이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화(Z 좌표값의 변화)가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다. 도 3b는 제1 공간좌표와 제2 공간좌표의 거리가 멀어진 경우이고 도 3c는 제1 공간좌표와 제2 공간좌표의 거리가 가까워진 경우이다.7B and 7C, the virtual touch processor 22 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus changes in the contact coordinate data for a set time or more (X and Y coordinates). Value), it is determined whether there is a change in distance greater than or equal to the set distance between the first spatial coordinate and the second spatial coordinate, and when a distance change (change in Z coordinate value) greater than or equal to the set distance occurs, the corresponding coordinate data is set. A command code for performing an operation is generated and input to the main controller 31 of the electronic device. 3B illustrates a case where the distance between the first spatial coordinate and the second spatial coordinate is far from each other, and FIG. 3C illustrates a case where the distance between the first spatial coordinate and the second spatial coordinate becomes closer.
도 8은 1 사용자가 2개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 사용자가 표시면에 2개의 접점 좌표를 가지면서 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다. 또한 사용자가 2개의 손가락 끝을 사용할 경우 디스플레이 표시면에서 이미지를 조작(이동, 회전, 축소, 확대 등)할 때에도 매우 유용할 것이다.FIG. 8 shows a case where one user has two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on an electronic device display display surface using two fingertips. An example in which the user controls the operation of the electronic device while having two contact coordinates on the display surface will be common in games. It would also be very useful when the user uses two fingertips to manipulate (move, rotate, reduce, enlarge, etc.) an image on the display display.
도 9는 2 사용자가 각자 1개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 2명의 사용자가 표시면에 2개의 접점 좌표를 가지면서 각각 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다.FIG. 9 shows a case where two users each have two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on the display surface of an electronic device using one fingertip. An example in which two users have two contact coordinates on a display surface and controls electronic device operation, respectively, will be common in games.
위에서 설명한 제1 실시예 또는 제 2 실시예를 통해 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝(C)과, 한쪽 눈의 접점(A)을 각각 검출한다. 그리고 이렇게 검출된 손가락 끝의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도를 산출한 후, 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택함으로써, 포인터를 사용하지 않는 가상 터치 장치에서의 다양한 실시예에 따른 터치 인식 방법의 실행할 수 있다.The display display surface by processing the three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and the three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye through the first or second embodiment described above. (C), fingertip C, and contact A of one eye are detected, respectively. After calculating the depth change, the trajectory change, the holding time, and the speed of the change of the fingertip thus detected, the electronic device is based on at least one of the calculated depth change, the trajectory change, the holding time, and the speed of the change of the fingertip. By operating the device and selecting a corresponding region such as touching a specific portion of the touch panel, the touch recognition method according to various embodiments of the present invention may be executed in a virtual touch device that does not use a pointer.
도 11 내지 도 21 은 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법의 다양한 실시예를 나타낸 도면이다.11 to 21 are diagrams illustrating various embodiments of a touch recognition method in a virtual touch device that does not use a pointer according to the present invention.
먼저, 도 11에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, 인식된 손가락 끝점의 유지시간 및 깊이의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 먼저 사용자는 A-B1-C의 연장선 방향에서 B1을 B2로 이동한 후, B2의 위치에서 일정시간 이상(예로서 1초) 유지되었을 경우, 가상 터치 장치는 B1을 기준으로 B2의 깊이 값(x)의 차이를 인식한 후, B1에서 B2로 이동한 것으로 판단한다. 그리고 이를 터치로 인식하여 해당 전자기기의 구동을 제어한다. 즉, 전자기기의 전원, 스피커의 볼륨 조작 등을 제어하거나, 또는 디스플레이에 표시되는 이미지, 문서, 사물 등을 선택하고 복사, 자르기, 붙이기 등의 조작 등을 제어하는데 이용된다.First, as illustrated in FIG. 11, after recognizing the fingertip point B1, touch recognition may be performed using a change in the holding time and the depth of the recognized fingertip point. In more detail, first, the user moves B1 to B2 in the direction of the extension line of A-B1-C, and then if the virtual touch device is held for a predetermined time or more (for example, 1 second) at the position of B2, the virtual touch device refers to B1. After recognizing the difference of the depth value (x) of B2, it is determined that the movement from B1 to B2. And it recognizes this as a touch to control the driving of the electronic device. That is, it is used to control the operation of the power supply of the electronic device, the volume of the speaker, or the like, or to select images, documents, objects, etc. displayed on the display, and to control operations such as copying, cutting, and pasting.
도 12에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, 인식된 손가락 끝의 깊이의 변화 및 변화의 속도를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 먼저 사용자는 A-B1-C의 연장선 방향에서 B1을 B2로, 다시 연속해서 B2를 B1로 이동하면, 가상 터치 장치는 B1을 기준으로 B2의 깊이 값(x)의 차이를 인식하고, 다시 B2를 기준으로 B1의 깊이 값(x)의 차이를 인식한 후, B1에서 B2로, 다시 B2를 B1로 이동한 것으로 판단한다. 그리고 이를 더블 터치로 인식하여 해당 전자기기의 구동을 제어한다. 컴퓨터의 클릭 또는 더블클릭에 준하며, 터치스크린의 짧은 터치 등의 조작 등을 제어하는데 이용된다.As illustrated in FIG. 12, after recognizing the fingertip point B1, touch recognition may be performed using a change in the depth of the recognized fingertip and a speed of the change. In more detail, first, when the user moves B1 to B2 and again B2 to B1 in the direction of the extension line of A-B1-C, the virtual touch device makes a difference in the depth value (x) of B2 based on B1. After recognizing the difference between the depth value (x) of B1 on the basis of B2, it is determined that B2 is moved to B1 from B1 to B2 again. And it recognizes this as a double touch and controls the driving of the electronic device. According to the click or double click of a computer, it is used to control operations such as a short touch of a touch screen.
도 13에서 도시한 것과 같이, 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, B1 및 B2의 거리의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 먼저 디스플레이 표시면(C3)의 양측의 표시면 C1, C2를 기준으로 A-B1-C1 및 A-B2-C2의 연장선 방향에서 B1 및 B2의 거리가 가까워졌을 경우(예로서 2Cm에서 1Cm 미만으로)에 이를 인식한 후, C3의 표시면이 선택된 것으로 판단한다. 이는 사용자가 C3의 표시면에 위치하는 이미지, 문서, 사물, 2D 판 등을 잡은 효과를 나타내는 것으로 디스플레이에 표시되는 이미지, 문서, 사물 등을 선택하고 복사, 자르기, 붙이기 등의 조작 등을 제어하는데 이용된다.As shown in FIG. 13, two fingertips B1 and B2 are simultaneously recognized, and then touch recognition may be performed using a change in the distance between B1 and B2. In more detail, first, when the distance between B1 and B2 is closer to the extension lines of A-B1-C1 and A-B2-C2 based on the display surfaces C1 and C2 on both sides of the display display surface C3 (for example, 2 Cm to less than 1 Cm), it is determined that the display surface of C3 is selected. This shows the effect of the user grabbing an image, document, object, 2D plate, etc. located on the display surface of the C3.The user selects an image, document, object, etc. displayed on the display, and controls operations such as copying, cutting, and pasting. Is used.
도 14에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, 인식된 손가락 끝점의 궤적의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 먼저 사용자는 A-B1-C의 연장선 방향에서 B1을 B2로 이동하면, 가상 터치 장치는 B1을 기준으로 B2의 궤적 변화의 차이를 인식하고, 상기 C의 표시면에 위치하는 이미지를 A-B2-C의 연장선 방향으로 평면 이동한 것으로 판단한다. 이는 이미지, 문서, 사물 등의 이동으로 인식하여 제어하는데 이용된다. As illustrated in FIG. 14, after recognizing the fingertip point B1, touch recognition may be performed using a change in the trajectory of the recognized fingertip point. In more detail, first, when a user moves B1 to B2 in the direction of an extension line of A-B1-C, the virtual touch device recognizes a difference in the trajectory change of B2 based on B1 and is positioned on the display surface of C. It is determined that the image to be plane-moved in the direction of the extension line of A-B2-C. This is used to recognize and control the movement of an image, a document, an object, and the like.
도 15에서 도시한 것과 같이, 도 11과 같이 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, B1 및 B2의 거리의 변화를 인식 한 후, 동시에 두 손가락 끝의 궤적의 변화를 이용하여 터치 인식을 수행할 수 있다. 이는 선택된 표시면의 접점을 기준으로 선분을 그리거나 문자 등을 작성하는데 이용된다.As shown in FIG. 15, after recognizing two fingertips B1 and B2 at the same time as in FIG. 11, after recognizing a change in the distance between B1 and B2, simultaneously using a change in the trajectory of the two fingertips. Touch recognition can be performed. This is used to draw a line segment or create a character or the like based on the contact point of the selected display surface.
도 16a에서 도시한 것과 같이, 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 디스플레이 표시면(C1)을 가르키는 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 검지의 끝점(B1)이 디스플레이 표시면(C1)을 가르키고, 엄지의 끝점(B2)을 검지의 끝점(B1) 방향으로 움직임에 따라, 두 손가락 끝점(B1)(B2)의 각도가 소정 각도(예시 45도)이상이면 검지의 끝점(B1)이 가르키는 디스플레이 표시면(C1)의 터치를 위한 대기 상태를 유지하다가, 엄지의 끝점(B2)을 검지의 끝점(B1) 방향으로 움직여 두 손가락 끝점(B1)(B2)의 각도가 소정 각도(예시 30도)미만으로 바뀌는 경우 디스플레이 표시면(C1)의 터치가 인식되도록 하는 제어한다. 이는 문서 및 문서 내 일부 영역을 선택하거나, 도 11, 도 12에서 설명하고 있는 픽업과 다른 차별화된 선택을 행할 때 이용될 수 있다.As shown in Fig. 16A, after simultaneously recognizing the two finger end points B1 and B2, the end point B1 of the index finger pointing toward the display display surface C1 and the other one in the direction of the extension line of A-B1-C. Touch recognition may be performed using a change in the angle of the fingertip point B2. In more detail, as the end point B1 of the index finger points toward the display display surface C1 and the end point B2 of the thumb moves toward the end point B1 of the index finger, the two finger end points B1 and B2 are moved. When the angle of is greater than or equal to a predetermined angle (for example, 45 degrees), the standby state for the touch of the display display surface C1 indicated by the end point B1 of the index finger is maintained, and the end point B2 of the thumb is the end point B1 of the index finger. When the angle of the two fingertips B1 and B2 changes to less than a predetermined angle (for example, 30 degrees) by moving in the direction, the control is performed such that the touch of the display display surface C1 is recognized. This can be used when selecting a document and some region within the document or making different selections than the pickup described in FIGS. 11 and 12.
또한, 도 16b에서 도시하고 있는 것과 같이, 평면적인 선택도 가능하다. 즉, 도 16a에서 도시하고 있는 것과 같이 디스플레이 표시면(C1)과 수직의 방향으로 손모양을 형성하여 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도(θ)의 변화를 이용하여 터치 인식을 수행할 수도 있지만, 도 16b에서 도시하고 있는 것과 같이, 디스플레이 표시면(C1)과 수평의 방향으로 손모양을 형성하여 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도(θ)의 변화를 이용하여 터치 인식을 수행할 수도 있다. 일반적으로 검지는 디스플레이 표시면의 선택 지점을 고정되어 가리킨 상태에서 엄지의 각도 변화에 따라 조작 선택이 이루어질 것이다. 상기 수직적인 선택 및 수평적인 선택은 사용자의 입장에서 이루어지는 방향의 선택으로, 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 디스플레이 표시면(C1)을 가르키는 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도(θ)의 변화를 이용하여 터치 인식을 수행하는 방법은 동일하므로, 이는 모두 적용이 가능하다.Further, as shown in Fig. 16B, a planar selection is also possible. That is, as shown in FIG. 16A, a hand shape is formed in a direction perpendicular to the display display surface C1 to change the angle θ of the end point B1 of the index finger and the other end point B2 of the index finger. Although touch recognition may be performed, as shown in FIG. 16B, a hand shape is formed in a horizontal direction with the display display surface C1 to form an angle between the end point B1 of the index finger and the other end point B2 of the index finger. Touch recognition may be performed using the change of θ). In general, the index finger will be manipulated and selected according to the change in the angle of the thumb while the fixed point of the display display surface is pointed. The vertical selection and the horizontal selection are the selection of the direction made from the user's point of view, and recognize the two fingertips B1 and B2, and then point the display display surface C1 in the extension line direction of A-B1-C. Since the method of performing touch recognition using the change of the angle (θ) of the end point (B1) and the other one finger point (B2) of the index is the same, all of these can be applied.
한편, 도 16c에서 도시하고 있는 것과 같이, 검지의 끝점(B1) 및 엄지의 끝점(B2)과 함께 새끼의 끝점(D)을 이용하여 방향성을 갖는 터치 인식을 수행할 수도 있다. 즉, 도 16b에서 도시하고 있는 것과 같이, 검지의 끝점(B1) 및 엄지의 끝점(B2)을 이용하는 경우에는 마우스의 좌클릭에 대응하는 조작으로 사용할 수 있고, 도 16c에서 도시하고 있는 것과 같이, 검지의 끝점(B1), 엄지의 끝점(B2) 및 새끼의 끝점(D)을 이용하는 경우에는 마우스의 우클릭에 대응하는 조작으로 사용할 수 있다. 이를 이용하여, 볼륨 크기의 조절, 채널 변경, 색상 및 밝기의 조절 등을 수행할 수 있도록 한다. 본 설명에서는 좌우 클릭 조작에 대해서만 설명하였지만, 좌우클릭 뿐만 아니라, 좌우 방향 선택, 전후, 가부(O,X) 등의 조작을 수행할 수도 있다. 이와 같이 새끼 손가락의 유무에 따라 마치 컴퓨터 키보드의 SHIFT를 누른 조작 또는 마우스의 좌우클릭에 해당하는 선택이 가능하게 된 것이다. 이는 설정하기에 따라 다양한 실시예가 가능할 것이다. On the other hand, as shown in Figure 16c, it is also possible to perform a touch recognition having a direction using the end point (D) of the baby together with the end point (B1) and the end point (B2) of the index finger. That is, as shown in Fig. 16B, when the end point B1 of the index finger and the end point B2 of the thumb are used, it can be used as an operation corresponding to the left click of the mouse, and as shown in Fig. 16C, When the end point B1 of the index finger, the end point B2 of the thumb and the end point D of the offspring are used, it can be used by an operation corresponding to the right-click of the mouse. By using this, it is possible to adjust the volume size, change the channel, and adjust the color and brightness. Although only left and right click operations have been described in this description, not only left and right click operations, but also operations such as left and right direction selection, forward and backward, and the like (O, X) can be performed. Thus, depending on the presence or absence of the little finger, it is possible to select the operation corresponding to pressing the SHIFT of the computer keyboard or right-clicking the mouse. This may be various embodiments depending on the setting.
도 17(a)에서 도시한 것과 같이, 도 13과 같이 동시에 두 손가락 끝점(B1)(B2)을 인식하거나, 도 17(b)(c)에서 도시한 것과 같이, A-B1-C의 연장선 방향에서 서로 다른 손 각각의 손가락 끝점(B1)(B2)을 동시에 인식한 후, 도 11 내지 도 16에서 설명하고 있는 것과 같이 인식된 적어도 두 개 이상의 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 등을 기반으로 동시에 복수의 터치를 수행하는 멀티 터치 인식을 수행할 수 있다. 이는 동시에 다수의 터치 인식을 제어하는 경우에 이용되며, 위에서 설명하고 있는 도 11 내지 도 16의 각각의 동작을 동시에 수행할 수 있는 터치 방식이다.As shown in FIG. 17A, two fingertips B1 and B2 are simultaneously recognized as shown in FIG. 13, or as shown in FIG. 17B and C, an extension line of A-B1-C. After simultaneously recognizing fingertip points B1 and B2 of different hands in the direction, depth change, trajectory change, and retention time of at least two or more fingertip points recognized as described with reference to FIGS. 11 to 16. And multi-touch recognition for simultaneously performing a plurality of touches based on the speed of change and the like. This is used in the case of controlling a plurality of touch recognitions at the same time, and is a touch method that can simultaneously perform each operation of FIGS. 11 to 16 described above.
도 18에서 도시한 것과 같이, 도 13과 같이 동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 두 손가락 끝점(B1)(B2)의 거리 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 화면상에 표시되는 문서(확대 또는 축소가 가능한) 또는 서브 윈도우(D1)(D2)를 두 손가락 끝점(B1)(B2)의 거리 변화를 통해 확대 또는 축소하기 위한 터치 방식으로, 이미지, 영상, 문서, 창(인터넷), 디스플레이, 볼륨, 조명의 조도, 냉난방 및 환풍기의 풍량, 가스레인지의 화력 등의 확대, 축소 또는 증가, 감소를 제어하는데 이용된다.As shown in FIG. 18, the two fingertips B1 and B2 are simultaneously recognized as shown in FIG. 13, and then the distance change of the two fingertips B1 and B2 is used in the extension direction of A-B1-C. Touch recognition may be performed. In more detail, a touch method for enlarging or reducing a document (which can be enlarged or reduced) or a sub-window D1 or D2 displayed on the screen by changing a distance between two fingertips B1 and B2. It is used to control the enlargement, reduction or increase or decrease of images, images, documents, windows (internet), displays, volume, illumination of air-conditioning, air-conditioning and exhaust fan, thermal power of gas range, and the like.
도 19에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, A-B1-C의 연장선 방향에서 인식된 손가락 끝점의 궤적의 변화(방향)를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 인식된 손가락 끝점(B1)을 회전될 때 회전되는 방향이 시계방향인지 반시계방향인지에 따라 그 방향으로 선택된 이미지를 회전하도록 제어하는데 이용된다. 이때, 조작기기 또는 영역의 선택은 B1->B1'->B1''가 그리는 원의 중심점을 계산하여 선택된다.As illustrated in FIG. 19, after recognizing the fingertip point B1, touch recognition may be performed using a change (direction) of the trajectory of the fingertip point recognized in the extension line direction of A-B1-C. In more detail, it is used to control the rotation of the selected image in the direction depending on whether the rotated direction is clockwise or counterclockwise when the recognized fingertip point B1 is rotated. At this time, the selection of the operating device or the area is selected by calculating the center point of the circle drawn by B1-> B1 '-> B1' '.
도 20에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, A-B1-C의 연장선 방향에서 인식된 손가락 끝점의 궤적의 변화, 변화의 속도를 이용하여 스크롤을 위한 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 일정한 속도로 B1->B1'->B1''->B1로 반복적으로 손가락 끝점이 궤적의 변화를 나타내는 경우에는 하향스크롤로 인식하고, 일정한 속도로 B1->B1''->B1'->B1로 반복적으로 손가락 끝점이 궤적의 변화를 나타내는 경우에는 상향스크롤로 인식한다. 이러한 방식을 통해 우향스크롤 및 좌향스크롤을 인식한다. 한편 B1'과 B1''의 지름에 상관하여 스크롤 값을 행하고, 이의 속도에 상관하여 스크롤되는 속도가 변화된다.As shown in FIG. 20, after recognizing the fingertip point B1, touch recognition for scrolling may be performed using a change in the trajectory and the speed of the fingertip point recognized in the extension line direction of A-B1-C. Can be. In more detail, if the fingertip point repeatedly changes the trajectory from B1-> B1 '-> B1' '-> B1 at a constant speed, it is recognized as a downward scroll and at a constant speed B1-> B1' '. -> B1 '-> B1 If the fingertip repeatedly shows a change in trajectory, it is recognized as an up scroll. In this way, the right scroll and the left scroll are recognized. On the other hand, a scroll value is performed in relation to the diameters of B1 'and B1' ', and the scrolling speed changes in accordance with its speed.
도 21에서 도시한 것과 같이, 손가락 끝점(B1)을 인식한 후, A-B1-C의 연장선 방향에서 인식된 손가락 끝점의 깊이 변화 및 궤적의 변화를 이용하여 터치 인식을 수행할 수 있다. 좀 더 상세히 설명하면, 손가락 끝점(B)을 가르치는 C3에서 왼쪽방향의 C3'으로 위로 볼록하게 이동되도록 하여 페이지를 뒤로 넘기거나, 손가락 끝점(B)을 가르치는 C1에서 오른쪽방향의 C1'로 위로 볼록하게 이동되도록 하여 페이지를 앞으로 넘기도록 제어하는데 이용된다.As illustrated in FIG. 21, after recognizing the fingertip point B1, touch recognition may be performed by using a depth change and a trajectory change of the fingertip point recognized in the extension line direction of A-B1-C. In more detail, it is possible to flip back through the page by moving it upwardly from C3 teaching the fingertip point (B) to C3 'on the left side, or convex up from C1 teaching the fingertip point (B) to C1' on the right side. It is used to control forwarding of pages by moving them.
이러한 터치 방법을 통해 사용자가 원격에서 전자기기를 조작할 때에도 마치 터치패널 표면을 터치하는 것과 같은 편리한 사용자 인터페이스를 제공할 수 있어서, 전자기기 표시면에 포인터를 사용하지 않고도 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 정교하게 터치하는 것과 같이 정확한 영역을 선택함으로써, 다양한 화면조작이 가능하게 된다.This touch method provides a convenient user interface, such as touching the surface of the touch panel even when the user remotely operates the electronic device, and enables the electronic device to be operated without using a pointer on the display surface of the electronic device. In addition, various screen operations are possible by selecting the correct area such as precisely touching a specific part of the touch panel.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the technical spirit of the present invention described above has been described in detail in a preferred embodiment, it should be noted that the above embodiment is for the purpose of description and not of limitation. In addition, those skilled in the art will understand that various embodiments are possible within the scope of the technical idea of the present invention. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
상기에서 설명한 바와 같이, 본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법은 디스플레이에서 포인터를 사용하지 않음으로써 전자기기의 신속한 조작이 가능하며, 터치패널의 장점을 거의 모든 전자기기 원격제어장치 분야에 적용할 수 있는 다양한 화면조작을 위한 터치 인식 방법을 제공한다. As described above, in the touch recognition method of the virtual touch device that does not use the pointer according to the present invention, the electronic device can be quickly operated by not using the pointer on the display, and the advantages of the touch panel are almost all electronic devices. Provides a touch recognition method for various screen operations that can be applied to the remote control device field.

Claims (17)

  1. 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되며 상기 표시면 전방의 사용자 신체를 촬영하는 영상획득부와, 상기 영상획득부로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부로 구성되는 가상 터치 장치를 통해,Comprising two or more image sensors disposed at different positions and calculates the three-dimensional coordinate data of the user's body using the image acquisition unit for photographing the user's body in front of the display surface and the image received from the image acquisition unit Contact coordinate data in which a straight line connecting the first spatial coordinates and the second spatial coordinates meets the display surface by using a spatial coordinate calculating unit and a first spatial coordinate and a second spatial coordinate received from the spatial coordinate calculating unit. And a virtual touch processor configured to generate a command code for performing an operation set to correspond to the contact coordinate data received from the touch position calculator, and input the command code to a main controller of the electronic device. Through the device,
    (A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(C)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와,(A) Process the three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and the three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye to display the display surface C and the fingertip point C. And detecting the contact points A of one eye, respectively.
    (B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와,(B) calculating at least one of a depth change, a trajectory change, a holding time, and a speed of the change of the detected fingertip point;
    (C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.(C) The electronic device can be operated on the basis of at least one of the calculated depth change of the fingertip point, change of the trajectory, holding time and change speed, and the corresponding area is selected such as touching a specific part of the touch panel. And a touch recognition method in a virtual touch device that does not use a pointer.
  2. 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치와, 상기 3차원 좌표 산출장치로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부를 포함하는 제어부로 구성되는 가상 터치 장치를 통해,A three-dimensional coordinate calculator for extracting three-dimensional coordinate data of a user's body, and connecting the first and second spatial coordinates using a first spatial coordinate and a second spatial coordinate received from the three-dimensional coordinate calculator; A main control unit of the electronic device by generating a touch position calculating unit for calculating contact coordinate data where a straight line meets the display surface and a command code for performing an operation corresponding to the contact coordinate data received from the touch position calculating unit Through a virtual touch device comprising a control unit including a virtual touch processing unit to input a
    (A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(C)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와,(A) Process the three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and the three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye to display the display surface C and the fingertip point C. And detecting the contact points A of one eye, respectively.
    (B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와,(B) calculating at least one of a depth change, a trajectory change, a holding time, and a speed of the change of the detected fingertip point;
    (C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.(C) The electronic device can be operated on the basis of at least one of the calculated depth change of the fingertip point, change of the trajectory, holding time and change speed, and the corresponding area is selected such as touching a specific part of the touch panel. And a touch recognition method in a virtual touch device that does not use a pointer.
  3. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 C 방향의 B2로 이동한 후, B2의 위치에서 미리 정의된 시간 이상 유지되었을 경우, 상기 B1을 기준으로 B2의 깊이 값의 차이를 인식하여 상기 C의 터치로 인식하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.After moving the fingertip point B1 to B2 in the C direction in the direction of the extension line of A-B1-C, and if it is maintained for more than a predetermined time at the position of B2, the depth value of B2 relative to the B1 The touch recognition method of the virtual touch device which does not use the pointer which recognizes the difference and recognizes it as the touch of C.
  4. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 C 방향의 B2로, 다시 연속해서 B2를 상기 A 방향의 B1로 이동하면, 상기 B1을 기준으로 B2의 깊이 값의 차이 및 상기 B2를 기준으로 B1의 깊이 값의 차이를 인식하여 상기 C의 더블 터치로 인식하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.When the fingertip point B1 is moved to B2 in the C direction and B2 is continuously moved to B1 in the A direction in the extension line direction of A-B1-C, the difference in the depth value of B2 based on B1 and The touch recognition method of the virtual touch device that does not use the pointer, characterized in that the recognition of the difference between the depth value of B1 based on the B2, the double touch of the C.
  5. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    동시에 두 손가락 끝점(B1)(B2)을 인식한 후, 디스플레이 표시면(C3)의 양측의 표시면 C1, C2를 기준으로 A-B1-C1 및 A-B2-C2의 연장선 방향에서 상기 B1 및 B2의 거리가 1Cm 미만으로 가까워지면, 상기 C3의 표시면에 위치하는 이미지가 다른 위치로 이동될 준비로 인식하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.After simultaneously recognizing the two fingertips B1 and B2, the B1 and the B1 and C2 in the extension line direction of A-B1-C1 and A-B2-C2 based on the display surfaces C1 and C2 on both sides of the display display surface C3. When the distance of B2 is closer to less than 1Cm, the touch recognition method in a virtual touch device not using a pointer, characterized in that for recognizing that the image located on the display surface of the C3 is ready to move to another position.
  6. 제 5 항에 있어서,The method of claim 5,
    상기 다른 위치로 이동될 준비로 인식된 이미지를 선택한 채로 상기 두 손가락 끝의 궤적의 변화를 이용하여 선택된 표시면의 접점을 기준으로 선분을 그리거나 표시면의 다른 위치로 이동, 복사, 잘라내기 중 어느 하나로 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.While selecting an image recognized as ready to be moved to another position, using a change in the trajectory of the two fingertips, drawing a segment based on a contact point of the selected display surface, or moving, copying, or cutting to another position on the display surface. Touch recognition method in a virtual touch device that does not use a pointer, characterized in that controlled by any one.
  7. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    상기 A-B1-C의 연장선 방향에서 상기 손가락 끝점(B1)을 상기 좌우 중 어느 하나의 방향인 B2로 이동하면, B1을 기준으로 B2의 궤적 변화의 차이를 인식하여 상기 C의 표시면에 위치하는 이미지를 A-B2-C의 연장선 방향으로 평면 이동한 것으로 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.When the fingertip point B1 is moved to B2 in either of the left and right directions in the extension line direction of A-B1-C, the difference in the trajectory change of B2 is recognized on the basis of B1 and is located on the display surface of C. The touch recognition method of the virtual touch device which does not use the pointer characterized by controlling the image to be plane-moved to the extension line direction of A-B2-C.
  8. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 디스플레이 표시면(C1)을 가르키는 검지의 끝점(B1)과 나머지 한 손가락 끝점(B2)의 각도의 변화를 이용하여 터치 인식을 수행하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.After simultaneously recognizing the two fingertip points B1 and B2, the angles of the index point B1 of the index finger pointing toward the display display surface C1 and the other fingertip point B2 in the direction of the extension line of A-B1-C. Touch recognition method in a virtual touch device that does not use a pointer, characterized in that for performing touch recognition using a change.
  9. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    동시에 두 손가락 끝점(B1)(B2)을 인식하거나, A-B1-C의 연장선 방향에서 서로 다른 손 각각의 손가락 끝점(B1)(B2)을 동시에 인식한 후, 상기 인식된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 멀티 터치 인식을 수행하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.Recognizing two fingertips B1 and B2 at the same time, or simultaneously recognizing fingertip points B1 and B2 of different hands in the extension line direction of A-B1-C, and then changing the depth of the recognized fingertip point And multi-touch recognition based on at least one of a change in trajectory, a holding time, and a speed of the change.
  10. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    동시에 두 손가락 끝점(B1)(B2)을 인식한 후, A-B1-C의 연장선 방향에서 두 손가락 끝점(B1)(B2)의 거리 변화를 이용하여 화면상에 표시되는 문서, 서브 윈도우의 크기를 확대 또는 축소하거나, 또는 레벨의 증가 또는 감소되도록 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.The size of the document and sub window displayed on the screen by recognizing the two fingertips B1 and B2 at the same time, and using the distance change of the two fingertips B1 and B2 in the direction of the extension line of A-B1-C. The touch recognition method of a virtual touch device that does not use a pointer, characterized in that the control to enlarge or reduce, or to increase or decrease the level.
  11. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)의 회전되는 방향으로 상기 C의 표시면에 위치하는 이미지를 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.Touch recognition method in a virtual touch device that does not use a pointer, characterized in that for controlling the image located on the display surface of the C in the direction of rotation of the fingertip point (B1) recognized in the extension line direction of A-B1-C .
  12. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)을 상->하->상->하, 하->상->하->상, 좌->우->좌->우 및 우->좌->우->좌 중 어느 하나의 방향으로 일정한 속도로 반복적으로 이동하는 경우에 이동되는 거리 및 방향을 기반으로 C의 표시면에 위치하는 이미지가 스크롤되도록 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.The fingertips (B1) recognized in the direction of the extension line of A-B1-C are selected from up-> down-> up-> down, down-> up-> down-> up, left-> right-> left-> right and When the repetitive movement at a constant speed in any one of the right-> left-> right-> left direction, the image located on the display surface of C is scrolled based on the distance and direction of movement. Touch recognition method in a virtual touch device that does not use a pointer.
  13. 제 12 항에 있어서,The method of claim 12,
    상기 스크롤은 반복되는 속도에 기반하여 스크롤되는 속도가 변화되는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.And wherein the scrolling speed is changed based on a repeating speed.
  14. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    A-B1-C의 연장선 방향에서 인식된 손가락 끝점(B1)을 가르치는 C3에서 왼쪽 또는 오른쪽 방향의 C3'으로 위로 볼록 또는 오목하게 이동되도록 하여 표시면에 표시되는 이미지 또는 문서의 페이지가 변화되도록 제어하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.Control to change the page of the image or document displayed on the display surface by moving convex or concave up from C3 teaching the recognized fingertip point B1 in the direction of the extension line of A-B1-C to C3 'in the left or right direction Touch recognition method in a virtual touch device that does not use a pointer, characterized in that.
  15. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    상기 (A) 단계 이전에 상기 한쪽 눈을 설정하기 위한 포인트 좌표설정을 수행하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.The touch recognition method of the virtual touch device which does not use the pointer which sets point coordinates for setting said one eye before step (A).
  16. 제 15 항에 있어서,The method of claim 15,
    상기 포인트 좌표설정은 초기화 설정 수행을 선택한 후 사용자가 자신의 손가락 끝을 포인트 좌표로 사용될 자신의 한쪽 눈에 근접하는 거리로 위치시켜 한쪽 눈을 선택하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.The point coordinate setting is a virtual touch device that does not use a pointer, wherein the user selects one eye by placing a fingertip at a distance close to one eye to be used as point coordinates after selecting performing initialization setting. Touch recognition method in
  17. 제 15 항에 있어서,The method of claim 15,
    상기 포인트 좌표설정은 초기화 설정 수행을 선택하면 디스플레이의 일정 영역에 적어도 하나 이상의 포인트를 표시하는 단계와,The point coordinate setting may include displaying at least one point in a predetermined area of the display when selecting performing initialization setting;
    사용자가 자신의 손가락 끝을 상기 디스플레이에 표시된 포인트를 선택하는 단계와,Selecting a point indicated on the display by the user at his fingertip;
    상기 선택되는 포인트와 손가락 끝의 좌표 데이터가 연결되는 직선을 이용하여 사용자가 초점을 맞추는데 이용되는 한쪽 눈을 검출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법.And detecting one eye used for focusing by a user using a straight line connecting the selected point and coordinate data of a fingertip. Way.
PCT/KR2012/003703 2011-05-12 2012-05-11 Touch recognition method in a virtual touch device that does not use a pointer WO2012154001A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0044359 2011-05-12
KR1020110044359A KR20120126508A (en) 2011-05-12 2011-05-12 method for recognizing touch input in virtual touch apparatus without pointer

Publications (2)

Publication Number Publication Date
WO2012154001A2 true WO2012154001A2 (en) 2012-11-15
WO2012154001A3 WO2012154001A3 (en) 2013-03-21

Family

ID=47139830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/003703 WO2012154001A2 (en) 2011-05-12 2012-05-11 Touch recognition method in a virtual touch device that does not use a pointer

Country Status (2)

Country Link
KR (1) KR20120126508A (en)
WO (1) WO2012154001A2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3644165A4 (en) * 2017-06-20 2020-06-24 Sony Corporation Information processing device, information processing method, and recording medium
CN112466187A (en) * 2020-12-08 2021-03-09 杭州优必学科技有限公司 Gesture-based real object programming control method

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129681A1 (en) * 2013-02-21 2014-08-28 엘지전자 주식회사 Display device and pointing method for display device
WO2015050380A1 (en) * 2013-10-02 2015-04-09 삼성전자 주식회사 Image display apparatus and pointing method for same
US9910507B2 (en) 2013-10-02 2018-03-06 Samsung Electronics Co., Ltd. Image display apparatus and pointing method for same
KR20150044757A (en) 2013-10-17 2015-04-27 삼성전자주식회사 Electronic device and method for controlling operation according to floating input
KR101533319B1 (en) 2014-02-22 2015-07-03 주식회사 브이터치 Remote control apparatus and method using camera centric virtual touch
KR101591038B1 (en) * 2014-05-26 2016-02-02 이윤택 Holography touch method and Projector touch method
KR101453815B1 (en) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 Device and method for providing user interface which recognizes a user's motion considering the user's viewpoint
KR102263064B1 (en) 2014-08-25 2021-06-10 삼성전자주식회사 Apparatus and method for recognizing movement of a subject
CN105843429A (en) * 2015-01-14 2016-08-10 深圳市华星光电技术有限公司 Floating touch method
KR102191061B1 (en) 2019-03-11 2020-12-15 주식회사 브이터치 Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2d camera
KR102346294B1 (en) * 2020-03-03 2022-01-04 주식회사 브이터치 Method, system and non-transitory computer-readable recording medium for estimating user's gesture from 2d images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025198A (en) * 2000-05-17 2002-04-03 요트.게.아. 롤페즈 Apparatus and method for indicating a target by image processing without three-dimensional modeling
KR20090048197A (en) * 2007-11-09 2009-05-13 광주과학기술원 Calculation method and system of pointing locations, and collaboration system comprising it
KR20100129629A (en) * 2009-06-01 2010-12-09 엘지전자 주식회사 Method for controlling operation of electronic appliance using motion detection and electronic appliance employing the same
KR20110037053A (en) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 The user interface apparatus and method for 3d space-touch using multiple imaging sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025198A (en) * 2000-05-17 2002-04-03 요트.게.아. 롤페즈 Apparatus and method for indicating a target by image processing without three-dimensional modeling
KR20090048197A (en) * 2007-11-09 2009-05-13 광주과학기술원 Calculation method and system of pointing locations, and collaboration system comprising it
KR20100129629A (en) * 2009-06-01 2010-12-09 엘지전자 주식회사 Method for controlling operation of electronic appliance using motion detection and electronic appliance employing the same
KR20110037053A (en) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 The user interface apparatus and method for 3d space-touch using multiple imaging sensors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3644165A4 (en) * 2017-06-20 2020-06-24 Sony Corporation Information processing device, information processing method, and recording medium
CN112466187A (en) * 2020-12-08 2021-03-09 杭州优必学科技有限公司 Gesture-based real object programming control method

Also Published As

Publication number Publication date
WO2012154001A3 (en) 2013-03-21
KR20120126508A (en) 2012-11-21

Similar Documents

Publication Publication Date Title
WO2012154001A2 (en) Touch recognition method in a virtual touch device that does not use a pointer
WO2012111976A2 (en) Virtual touch device without pointer on display surface
WO2012111998A2 (en) Virtual touch device without pointer
WO2013009040A2 (en) Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
JP5412227B2 (en) Video display device and display control method thereof
CN110199251B (en) Display device and remote operation control device
WO2019088737A1 (en) Method and device for performing remote control
US8854433B1 (en) Method and system enabling natural user interface gestures with an electronic system
WO2015126197A1 (en) Apparatus and method for remote control using camera-based virtual touch
WO2013180446A1 (en) Remote manipulation device and remote manipulation method for performing virtual touch by using information displayed through projector
WO2013183938A1 (en) User interface method and apparatus based on spatial location recognition
WO2013162236A1 (en) Transparent display virtual touch apparatus not displaying pointer
KR102147430B1 (en) virtual multi-touch interaction apparatus and method
WO2012173373A2 (en) 3d device and 3d game device using a virtual touch
KR101441882B1 (en) method for controlling electronic devices by using virtural surface adjacent to display in virtual touch apparatus without pointer
JP2012238293A (en) Input device
JP7369834B2 (en) display device
KR100532525B1 (en) 3 dimensional pointing apparatus using camera
KR101321274B1 (en) Virtual touch apparatus without pointer on the screen using two cameras and light source
CN103543825B (en) Camera cursor system
TW201439813A (en) Display device, system and method for controlling the display device
KR101272458B1 (en) virtual touch apparatus and method without pointer on the screen
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
WO2020184890A1 (en) Method and system for supporting object control by using two-dimensional camera, and non-transitory computer-readable recording medium
TW201913298A (en) Virtual reality system capable of showing real-time image of physical input device and controlling method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12782609

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12782609

Country of ref document: EP

Kind code of ref document: A2