WO2018203590A1 - 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘 - Google Patents

3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘 Download PDF

Info

Publication number
WO2018203590A1
WO2018203590A1 PCT/KR2017/011274 KR2017011274W WO2018203590A1 WO 2018203590 A1 WO2018203590 A1 WO 2018203590A1 KR 2017011274 W KR2017011274 W KR 2017011274W WO 2018203590 A1 WO2018203590 A1 WO 2018203590A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
contact position
image
change amount
depth
Prior art date
Application number
PCT/KR2017/011274
Other languages
English (en)
French (fr)
Inventor
이수웅
권순오
안희경
이강원
이종일
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Publication of WO2018203590A1 publication Critical patent/WO2018203590A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Definitions

  • the present invention relates to a contact position and depth measurement algorithm for three-dimensional touch recognition, and more particularly, the user input is performed on a flexible soft material, through which a variety of user inputs are recognized, determined and processed
  • the present invention relates to a contact position and depth measurement algorithm for a 3D touch recognition device capable of realizing various patterns because the pattern is recognized based on the 3D coordinates of a point to be contacted.
  • Commonly used input devices include a mouse, a keyboard, a touch pad, a trackball, and the like, which may be used by the user to grab or touch the casing and the main part of the device with a proper force and move and click. Sophisticated operation is required.
  • the position coordinates recognized in two dimensions have conventionally changed the information related to the pressurization using an electrostatic capacitive method, a piezoresistive method, etc. into electrical signals, but there are limitations in implementing various information.
  • the coordinates recognized in 3D are recognized using image processing or changes in magnetic field, but have a low recognition rate.
  • Korean Patent No. 10-0616331 name of the invention: a switch mouse for a disabled person
  • a click point is designated according to a movement and a designated point is assigned to a wired / wireless mouse that operates by designating a corresponding point by clicking a user's click switch.
  • the mode selection means configured at a predetermined position outside the main body of the mouse so that the user can selectively use the mouse mode and the switch mode, and the mode selection means
  • a control means for controlling operation by a mouse or a switch according to the mode selected by the user, wherein the switch circuit is installed on an outer upper surface of the main body of the mouse and includes a sensing means for sensing a human body contact and a sensing result of the sensing means.
  • Including a click signal generating means for generating a switch click signal A mouse switch is disclosed for disabled persons, characterized in that.
  • An object of the present invention for solving the above problems is to implement a user input such as pressing, moving, etc. without the need for complicated operation.
  • An object of the present invention is to provide an input device which is easy to recognize various types of patterns and has a high recognition rate.
  • the input unit having a function having a function of restoring to the initial shape when the user input is applied to the outer surface and the user input is resolved, a plurality of along the inner surface of the sheet
  • An image pickup unit for collecting a marker image as an image of the marker which is arranged and arranged in a plurality of markers and which changes in response to the user input;
  • An illumination unit irradiating light toward an inner surface of the sheet;
  • a contact position and depth measurement algorithm for three-dimensional touch recognition in a three-dimensional touch recognition apparatus including an analysis unit for analyzing the marker image, the method comprising: i) acting on the sheet by the user input; ii) transferring the marker image photographed by photographing the inner surface of the sheet per unit time to the analyzer; iii) measuring the amount of change of image and the amount of change of position of each marker in the analyzer; iv) analyzing the image change amount and the position change amount of the marker by the analyzing unit to estimate a contact position which is
  • modeling using a function fitting may be performed by substituting data on an image change amount and a position change amount per unit depth of the marker into a polynomial.
  • the function fitting may be a Gaussian fitting.
  • the auxiliary marker in step v), may be a plurality of the markers having the same coordinates in one axis direction with the reference marker.
  • the image change amount of the marker may include a shape change amount of the marker and an area change amount of the marker.
  • the position change amount of the marker may be a position change amount with respect to a marker coordinate point located at the center of each marker.
  • the marker may be formed in a circular shape.
  • the method may further include forming a three-dimensional pattern by using the change of the contact position and the change of the contact depth.
  • the analyzer may measure the horizontal displacement of the user input by recognizing a change in the contact position with respect to a horizontal plane.
  • the analyzer may measure a vertical displacement of the user input by recognizing a change in the contact depth with respect to a vertical axis.
  • a plurality of the marker images may be obtained by a plurality of the imaging units.
  • the image change amount and the position change amount of each of the markers may be measured by comparing the respective marker images acquired by the imaging units.
  • the effect of the present invention is to recognize the pattern generated based on the three-dimensional coordinates of the point to be contacted, it is possible to implement a variety of patterns, the recognition rate is high because it is recognized by direct contact with the device.
  • the effect of the present invention is that the software algorithm-oriented technology is easier to change the function and configuration of the system than the prior art.
  • FIG. 1 is a perspective view of a three-dimensional touch recognition device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a 3D touch recognition device according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of the matter that the first user input acts on the sheet according to an embodiment of the present invention.
  • FIG. 4 is an image showing variation in variation of a marker recognized according to a distance from an imaging unit according to an exemplary embodiment.
  • FIG. 5 is a schematic diagram of a reference range according to an embodiment of the present invention.
  • FIG. 6 is a graph showing horizontal displacement and vertical displacement of a marker according to an exemplary embodiment.
  • FIG. 7 is a schematic diagram of the matter that the pressing operation acts on the sheet according to an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of the matter that the movement operation in one direction for the sheet according to an embodiment of the present invention.
  • FIG. 9 is a schematic diagram of the matter that the movement operation in the other direction with respect to the sheet according to an embodiment of the present invention.
  • 10 is an image in which a three-dimensional pattern is imaged according to an embodiment of the present invention.
  • the input unit having a function having a function of restoring the initial shape when the user input is applied to the outer surface and the user input is eliminated, a plurality of installation is arranged along the inner surface of the sheet
  • An image pickup unit for collecting a marker image as a marker and an image of the marker that changes in response to the user input;
  • An illumination unit irradiating light toward an inner surface of the sheet;
  • a contact position and depth measurement algorithm for three-dimensional touch recognition in a three-dimensional touch recognition apparatus including an analysis unit for analyzing the marker image, the method comprising: i) acting on the sheet by the user input; ii) transferring the marker image photographed by photographing the inner surface of the sheet per unit time to the analyzer; iii) measuring the amount of change of image and the amount of change of position of each marker in the analyzer; iv) analyzing the image change amount and the position change amount of the marker by the analyzing unit to estimate a contact position which is a position at which the user input is applied and a
  • FIG. 1 is a perspective view of a three-dimensional touch recognition device according to an embodiment of the present invention
  • Figure 2 is a block diagram of a three-dimensional touch recognition device according to an embodiment of the present invention.
  • the three-dimensional touch recognition device the input unit 100 having a sheet 110 having a function of restoring the initial shape when the user input is applied to the outer surface and the user input is resolved, A plurality of markers 120 arranged and arranged along the inner surface of the sheet 110, and an image pickup unit 200 collecting a marker image as an image of the marker 120 that changes in response to a user input; An illumination unit 300 for irradiating light toward the inner surface of the sheet 110; And an analysis unit 400 that analyzes the marker image.
  • the marker 120 may be formed in a circular shape.
  • the marker 120 is described as being circular, but is not necessarily limited thereto, and may be formed in various shapes such as an ellipse, a square, and a polygon.
  • the marker 120 may be a figure formed by a line, or may be a form in which a color is filled in the figure.
  • the installation pattern of the plurality of markers 120 may have a predetermined number of rows and columns, and various patterns such as the same spacing between rows and rows, columns and columns, or an arrangement of concentric circles may be considered.
  • the plurality of markers 120 may form a square array.
  • the change in the marker image may be generated by a change in the spacing between the columns or rows of the array formed by the marker 120 or a change in the shape of the array.
  • the change in the marker image may be generated by changing the area (size) or shape of the marker 120 itself.
  • the user input may be performed by stopping or operating a body part of the user while the body part of the user is in contact with the outer surface of the sheet 110.
  • a part of the user's entity may mean any body part capable of pressing, releasing, moving, etc. in contact with one surface of the seat 110 by using a hand or a finger, a foot or a toe, an elbow or a knee.
  • the user who generates the user input may include not only a person but also a machine, a robot, and other devices.
  • the pressing pressure and the time for holding the pressing are not limited.
  • the time required for releasing the pressing is not limited to a specific range.
  • Movement means that the user moves from one point of one surface of the sheet 110 to another while maintaining the pressing state.
  • the moving path is not limited to a specific one, and may include a straight line, a curved line, a curved line, Circles, ellipses, arcs, splines and the like, but may not be limited thereto.
  • the imaging unit 200 may include an element such as a CCD, but is not limited thereto.
  • the imaging unit 200 may include a wide-angle lens to enable photographing of the entire photographing surface.
  • the sheet 110 may be made of an elastic material.
  • the remaining portion of the input unit 100 except for the sheet 110 may be formed of a flexible material, such as the sheet 110, or may be formed of a material having no elasticity, unlike the sheet 110.
  • the input unit 100 may have a shape in which the internal space is opened from the outside, and as shown in FIG. 2, the input space 100 may have a shape in which the internal space is closed from the outside.
  • the lighting unit 300 may include an LED lamp.
  • a configuration such as automatically turned off may be adopted.
  • FIG. 3 is a schematic diagram of the matter that the first user input to the sheet 110 according to an embodiment of the present invention.
  • 3A is a cross-sectional view of the input unit 100 to which the user input is acting
  • FIG. 3B is a plan view of the inner side surface of the sheet 110 to which the user input is acting. .
  • FIG. 4 is an image showing variation in variation of the marker 120 recognized according to a distance from the imaging unit 200 according to an embodiment of the present invention
  • FIG. 5 is a reference range according to an embodiment of the present invention
  • 6 is a graph illustrating a horizontal displacement and a vertical displacement of the marker 120 according to an exemplary embodiment.
  • user input may act on the sheet 110.
  • the imaging unit 200 may transfer the photographed marker image to the analysis unit 400 by photographing the inner surface of the sheet 110 per unit time.
  • the unit time may be in milliseconds (ms), and the photographing may be performed in units smaller than milliseconds (ms) in order to improve accuracy.
  • the image change amount and the position change amount of each marker 120 may be measured by the analyzer 400.
  • the image change amount of the marker 120 may include the shape change amount of the marker 120 and the area change amount of the marker 120.
  • the position change amount of the marker 120 may be an amount of position change with respect to two axes (x-y) on the marker image of the marker coordinate point located at the center of each marker 120.
  • the circular marker 120 when the marker 120 is circular, when the user input acts on the sheet 110, the circular marker 120 may be changed to an elliptical shape, and the marker 120 Can change in size while maintaining a circular shape or change to elliptical shape.
  • the shape change and the area change may occur at the same time as the size changes with the shape change, and the image change amount of the marker 120 may include the shape change amount of the marker 120 and the area change amount of the marker 120. have.
  • the position around the reference marker 121 and the reference marker 121 in the position closest to the contact position where the user input is applied When the user performs the first pressing operation on the outer surface of the seat 110, the position around the reference marker 121 and the reference marker 121 in the position closest to the contact position where the user input is applied.
  • the image (shape and area) and the position of another marker 120 may be changed.
  • the position of the reference marker 121 is also changed, the first reference marker 121a for the first contact position, the second for the second contact position
  • the position change amount of the first reference marker 121a, the second reference marker 121b, and the third reference marker 121c Even if the same, the image change amount and the position change amount of the first reference marker 121a, the second reference marker 121b, and the third reference marker 121c captured by the imaging unit 200 may be measured differently.
  • the position change amount of the second reference marker 121b and the position change amount of the third reference marker 121c are the same. Even so, the image change amount of the second reference marker 121b and the image change amount of the third reference marker 121c may appear differently on the marker image.
  • the marker image is measured.
  • the position change amount of the second reference marker 121 b represented by ⁇ d 1 may be different from the position change amount of the third reference marker 121 c represented by ⁇ d 2.
  • markers 120 other than the reference marker 121 may be affected by the user input, such as the reference marker 121.
  • the image change amount and the position change amount of the marker 120 may be analyzed by the analyzer 400 to estimate the contact position at which the user input is applied and the contact depth at which the user input is applied.
  • the contact position may be expressed in two-dimensional x-y axis coordinates, and the contact depth may be expressed in displacement with respect to the z axis.
  • Equation 1 data using the image change amount and the position change amount per unit depth of the marker 120 may be substituted into the following Equation 1 polynomial to perform modeling using a curve fitting.
  • D is a depth value of the marker 120
  • p1 to p5 is a polynomial coefficient
  • x is a value multiplied by the image change amount and the position change amount of the marker 120.
  • the function fitting may be a Gaussian fitting.
  • the unit depth may be 0.1 to 10 millimeters (mm), preferably 1 millimeter (mm).
  • the amount of image change and position change according to a unit depth per marker 120 may be measured. This is for acquiring data for the entire marker 120 before user input, and is perpendicular to the area of the position corresponding to the marker coordinate point of each marker 120 on the outer surface of the sheet 110. By giving a displacement, the image change amount and the position change amount of each marker 120 may be captured by the imaging unit 200 and then stored in the analysis unit 400.
  • the marker coordinate point for each marker 120 is matched with the contact position so that the image change amount and position according to the unit depth per marker 120 The amount of change can be measured.
  • the analysis unit 400 classifies each marker 120 by the marker coordinate points, and multiplies the depth value D of each marker 120 by the image change amount and the position change amount x.
  • the polynomial of [Equation 1] can be generated by substituting in [Equation 1] above to derive the polynomial coefficients of p1 to p5.
  • fitting modeling may be performed by applying the polynomial of Equation 1 to a known program.
  • the program may be any one of Matlab, Scripte, or Python.
  • the present invention is not limited thereto.
  • the Gaussian fitting is used to perform fitting modeling, but is not limited thereto.
  • the marker image before the action of the inner surface of the sheet 110 in a state where the user input is not actuated can be obtained. Thereafter, when the user input acts on the sheet 110, the marker image may be obtained after the action on the inner surface of the sheet 110 in the state in which the user input is applied.
  • the analysis unit 400 compares the marker image before the action with the marker image after the action, and measures the amount of change of the image and the amount of position change for each marker 120, and the value thereof is expressed in the polynomial of [Equation 1]. Substituting can derive a contact depth for each marker 120.
  • FIG. 6A illustrates a distribution of contact depths of the marker 120 with respect to the z-axis (vertical axis) based on the x-axis among the horizontal axes
  • FIG. 6 (b) illustrates the z-axis based on the y-axis among the horizontal axes. Depth distribution of the marker 120 with respect to the (vertical axis) is shown.
  • the contact depths of the markers 120 are different from each other, and the contact depth of the reference marker 121, which is the marker 120 closest to the contact position, may be the largest.
  • the analysis unit 400 selects the marker 120 having the largest contact depth value among the plurality of markers 120, sets the corresponding marker 120 as the reference marker 121, and firstly, the reference marker. After determining that 121 is the contact position, the position and the depth of the reference marker 121 may be derived to estimate the contact position coordinate and the contact depth value as the first order.
  • an error may occur due to a mismatch between the contact point and the marker coordinate point of the reference marker 121. Accordingly, the following second order estimation may be performed to correct the error.
  • the analysis unit analyzes the image change amount and the position change amount of the reference marker 121, which is the marker 120 closest to the contact position, and the auxiliary marker 122, which is located within the reference range within a predetermined range based on the reference marker 121. Can be remeasured at (400).
  • the auxiliary marker 122 may be a plurality of markers 120 having the same coordinates in one axis direction as the reference marker 121.
  • the auxiliary markers 122 may be six markers 120 in the x-axis direction and four markers 120 in the y-axis direction based on the reference marker 121. have.
  • the number of markers 120 in each axial direction is not limited.
  • the auxiliary marker 122 is described as a plurality of markers 120 having the same coordinates in one axial direction as described above, but is not limited thereto, and the reference marker 121 is centered.
  • the matrix range may form an array of NXM (N and M are arbitrary integers) or a circular range including L markers 120 (L is any integer) around the reference marker 121. .
  • the contact position and the contact depth may be calculated by the analyzer 400 using the information of the reference marker 121 and the auxiliary marker 122.
  • the image change amount and position change amount of the reference marker 121 and the image change amount and position change amount of the auxiliary marker 122 may be measured in order to perform the above-described contact position and contact depth estimation process in the second order.
  • the coordinate of the marker coordinate point of the reference marker 121 may not be the same as the coordinate of the contact position.
  • the depth value of the reference marker 121 may be matched to the nearest depth value, and the x-axis coordinate having the largest depth value may be the contact position. Can be.
  • the depth value of the reference marker 121 may be matched to the vicinity of the largest depth value, and the y-axis coordinate having the largest depth value contacts. May be a location.
  • the contact position and the contact depth can be estimated second, and precise contact position coordinates and contact depth values can be derived.
  • the second estimates of the contact position and the contact depth are estimated and measured by fitting modeling rather than the actual contact position and the contact depth measured directly by the marker image, and are estimated by the fitting modeling.
  • the contact position and the depth of contact can be derived.
  • FIG 7 is a schematic diagram of the matter that the pressing operation on the seat 110 according to an embodiment of the present invention
  • Figure 8 is moved in one direction with respect to the seat 110 according to an embodiment of the present invention
  • 9 is a schematic diagram of the matter that the operation acts
  • Figure 9 is a schematic diagram of the matter that the movement action in a different direction with respect to the seat 110 according to an embodiment of the present invention.
  • 7 (a), 8 (a) and 9 (a) may be cross-sectional views of the input unit 100 to which the respective user inputs act.
  • 7B, 8B, and 9B may be plan views of an inner side surface of the sheet 110 to which respective user inputs are applied.
  • the three-dimensional pattern can be formed by using a change in contact position and a change in contact depth.
  • the analysis unit 400 may recognize the change in the contact position with respect to the horizontal plane and measure the horizontal displacement of the user input. In addition, the analysis unit 400 may recognize a change in contact depth with respect to the vertical axis and measure a vertical displacement of the user input.
  • the three-dimensional pattern may be a change in position by two-dimensional horizontal displacement and a vertical displacement perpendicular to this horizontal displacement.
  • the two-dimensional horizontal displacement is represented by the displacement on the xy plane (horizontal plane)
  • the vertical displacement is the displacement about the z axis (vertical axis) perpendicular to the xy plane. It can be expressed as.
  • the coordinate points (x, y, z) in the three-dimensional space designated by the x-y coordinates for the contact position and the z coordinates for the contact depth may be referred to as pattern points.
  • the first pattern point when a user input is applied to the sheet 110 for the first time, the first pattern point may be recognized. And, as shown in Figure 7 to 9, when performing the movement operation after the pressing operation on the outer surface of the sheet 110 by using a hand, the position of the pattern point is changed by pressing and moving Three-dimensional patterns can be formed.
  • the first pattern point P1 which is the first pattern point, may be recognized.
  • the pattern point is moved in the z-axis direction by the pressing force of the stronger force.
  • the second pattern point P2 is recognized and the 3D coordinate is changed from the first pattern point P1 to the second pattern point P2 to measure the vertical displacement of the user input.
  • 10 is an image in which a three-dimensional pattern is imaged according to an embodiment of the present invention.
  • the three-dimensional pattern as shown in FIG. 10 may be formed by the complex displacement of the horizontal displacement and the vertical displacement as described above.
  • the three-dimensional touch recognition apparatus using the contact position and depth measurement algorithm for the three-dimensional touch recognition of the present invention can detect not only the three-dimensional pattern but also the force in the vertical direction or the horizontal direction.
  • the vertical force may be measured by multiplying the vertical displacement by the elastic modulus of the sheet 110.
  • the sheet 110 may be manufactured so that the elastic modulus of the sheet 110 is the same at each point of the sheet 110.
  • the horizontal force is the vertical force N and the sheet 110 applied to the seat 110 by the pressing operation of the user's hand. It can be measured as a force corresponding to the frictional force calculated by the product of the friction coefficient ( ⁇ ) of).
  • the friction coefficient of the sheet 110 may be determined by referring to the friction coefficient reference data table stored in the analysis unit 400.
  • the coefficient of friction of the seat 110 is determined by the seat 110. It may be different from the surface friction coefficient as a property of the surface of.
  • the coefficient of friction of the sheet 110 used in the horizontal force detection method of the present invention is determined in consideration of the state in which the shape of the sheet 110 is bent by the pressing operation. It can be determined by the data obtained through mechanical experiments on the sides.
  • the force in the horizontal direction may be calculated by multiplying the friction coefficient of the sheet 110 determined by the above process with the vertical force, which is the vertical force.
  • a plurality of marker images may be obtained by the plurality of imaging units 200.
  • the image change amount and the position change amount of each marker 120 may be measured by comparing the respective marker images acquired by the respective imaging units 200.
  • marker images may be obtained by the respective image capturing units 200
  • the analysis unit 400 may be obtained by each of the image capturing units 200.
  • the contact position and the contact depth are estimated by the marker image of, the contact position coordinate and the contact depth value are normally distributed, and the contact position and the contact depth are estimated by deriving the most accurate contact position coordinate and the contact depth value. can do.
  • each of the plurality of imaging units 200 has a range allocated to the inner surface of the sheet 110, and one imaging unit 200 is positioned on a photographing assignment surface which is a photographing surface of the allocated range.
  • the contact position and the contact depth may be estimated by obtaining an image of the marker 120.
  • the estimation of the contact position and the depth of contact is not performed, but when the user input acts on the photographing assignment surface, the contact position and the contact depth can be estimated. Accordingly, imaging can be performed only with respect to the imaging assignment surface proximate to the imaging unit 200, thereby improving the estimation accuracy of the contact position and the contact depth.
  • a three-dimensional touch recognition apparatus using a contact position and depth measurement algorithm for three-dimensional touch recognition of the present invention can be manufactured.
  • a computer having a three-dimensional touch recognition device using a contact position and depth measurement algorithm for three-dimensional touch recognition of the present invention can be manufactured.
  • a three-dimensional touch recognition apparatus using a contact position and depth measurement algorithm for three-dimensional touch recognition of the present invention can move a cursor on a three-dimensional space in a three-dimensional pattern
  • a command corresponding to the three-dimensional pattern is transmitted to a computer. It can be passed and the computer can execute the command.
  • a robot having a three-dimensional touch recognition device using a contact position and depth measurement algorithm for three-dimensional touch recognition of the present invention can be manufactured.
  • the end of the robot performing a task corresponding to the three-dimensional pattern can be moved, the three-dimensional touch recognition device using the contact position and depth measurement algorithm for the three-dimensional touch recognition of the present invention controls the robot Can function as a control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 일 실시 예는 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 이를 통해 다양한 사용자입력을 인식, 판단하여 처리하며, 접촉되는 점의 3차원 좌표를 기반으로 생성되는 패턴을 인식하므로 다양한 패턴의 구현이 가능한 3차원 터치 인식 장치를 위한 접촉 위치 및 깊이 측정 알고리즘을 제공한다. 본 발명의 실시 예에 따른 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘은, i) 시트에 사용자입력이 작용하는 단계; ii) 촬상부가 단위 시간 당 시트의 내측면을 촬영하여 촬영된 마커이미지를 분석부로 전달하는 단계; iii) 각각의 마커의 이미지 변화량과 위치 변화량을 분석부에서 측정하는 단계; iv) 마커의 이미지 변화량과 위치 변화량을 분석부에서 분석하여 사용자입력이 작용한 위치인 접촉위치 및 사용자입력이 작용한 깊이인 접촉깊이를 추정하는 단계; v) 접촉위치에 가장 근접한 마커인 기준마커 및 기준마커를 기준으로 일정 범위인 기준범위 내 위치하는 보조마커의 이미지 변화량과 위치 변화량을 분석부에서 재측정하는 단계; 및 vi) 기준마커와 보조마커의 정보를 이용하여 접촉위치 및 접촉깊이를 분석부에서 연산하는 단계;를 포함한다.

Description

3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘
본 발명은 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘에 관한 것으로, 더욱 상세하게는, 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 이를 통해 다양한 사용자입력을 인식 및 판단하여 처리하며, 접촉되는 점의 3차원 좌표를 기반으로 생성되는 패턴을 인식하므로 다양한 패턴의 구현이 가능한 3차원 터치 인식 장치를 위한 접촉 위치 및 깊이 측정 알고리즘에 관한 것이다.
현재 통상적으로 사용되는 입력장치로는, 마우스, 키보드, 터치패드, 트랙볼 등이 있으며, 이들은, 사용자가 해당 장치의 케이싱 및 주요부위를 적절한 힘으로 파지 또는 접촉하여 이동 및 클릭하여야 하는 등 사용자에게 다소 정교한 동작을 요구하고 있다.
그러나, 장애인이나 어린이, 노인의 경우, 상기와 같은 구성을 갖는 입력장치를 사용하는데 필요한 정교한 동작을 형성하는 것이 어렵거나 불가능할 수 있다는 문제점이 있다.
그리고, 상기와 같은 통상적인 입력장치에서, 2차원으로 인식되는 위치 좌표는 기존에 정전용량 방식, 피에조 저항 방식 등을 이용하여 가압과 관련된 정보를 전기적 신호로 변화하였으나 다양한 정보를 구현하는데 한계가 있고, 3차원으로 인식되는 좌표는 영상처리 또는 자계의 변화를 이용하여 인식하였으나 인식률이 낮다는 문제점이 있다.
대한민국 등록특허 제10-0616331호(발명의 명칭: 장애인을 위한 스위치 마우스)에서는, 움직임에 따라서 클릭포인트를 지정하고 지정된 포인트에 사용자의 클릭스위치의 선택에 따라 해당 포인트를 클릭 지정 동작하는 유무선 마우스에 있어서, 사용자의 접촉유무에 따라 스위치클릭신호를 발생시키는 스위치수단과, 사용자가 마우스모드와 스위치모드를 선택적으로 사용할 수 있도록 마우스의 본체 외부 소정의 위치에 구성되는 모드선택수단과, 모드선택수단에 의해 선택된 모드에 따라 마우스 또는 스위치로 동작 제어하는 제어수단을 포함하여 구성되며, 상기 스위치회로는 마우스의 본체 외부 상면에 설치되며 인체의 접촉을 감지하기 위한 감지수단과, 감지수단의 감지결과에 따라 스위치 클릭신호를 발생시키는 클릭신호발생수단을 포함하여 구성되는 것을 특징으로 하는 장애인을 위한 스위치마우스가 개시되어 있다.
(선행특허문헌) 대한민국 등록특허 10-0616331
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 복잡한 동작이 필요 없이 누름, 이동 등의 사용자입력을 구현할 수 있도록 하는 것이다.
그리고, 본 발명의 목적은, 다양한 형태의 패턴을 인식하는데 용이하고, 인식률이 높은 입력장치를 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 외측면에 사용자입력이 작용하고 상기 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 구비하는 입력부, 상기 시트의 내측면을 따라 복수 개 배열되어 설치되는 마커, 상기 사용자입력에 대응하여 변화하는 상기 마커의 이미지로서의 마커이미지를 수집하는 촬상부; 상기 시트의 내측면을 향해 광을 조사하는 조명부; 및 상기 마커이미지에 대한 분석을 수행하는 분석부를 포함하는 3차원 터치 인식 장치에서 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘에 있어서, i) 상기 시트에 상기 사용자입력이 작용하는 단계; ii) 상기 촬상부가 단위 시간 당 상기 시트의 내측면을 촬영하여 촬영된 상기 마커이미지를 상기 분석부로 전달하는 단계; iii) 각각의 상기 마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 측정하는 단계; iv) 상기 마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 분석하여 상기 사용자입력이 작용한 위치인 접촉위치 및 상기 사용자입력이 작용한 깊이인 접촉깊이를 추정하는 단계; v) 상기 접촉위치에 가장 근접한 마커인 기준마커 및 상기 기준마커를 기준으로 일정 범위인 기준범위 내 위치하는 보조마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 재측정하는 단계; 및 vi) 상기 기준마커와 상기 보조마커의 정보를 이용하여 상기 접촉위치 및 상기 접촉깊이를 상기 분석부에서 연산하는 단계;를 포함한다.
본 발명의 실시 예에 있어서, 상기 iv) 단계에서, 상기 마커의 단위 깊이 당 이미지 변화량과 위치 변화량에 대한 데이터를 다항식에 대입하여 함수피팅을 이용한 모델링을 수행할 수 있다.
본 발명의 실시 예에 있어서, 상기 함수피팅은 가우시안 피팅일 수 있다.
본 발명의 실시 예에 있어서, 상기 v) 단계에서, 상기 보조마커는, 상기 기준마커와 하나의 축 방향으로 좌표가 동일한 복수 개의 상기 마커일 수 있다.
본 발명의 실시 예에 있어서, 상기 마커의 이미지 변화량은 상기 마커의 형상 변화량 및 상기 마커의 면적 변화량을 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 마커의 위치 변화량은, 각각의 상기 마커의 중심에 위치하는 마커좌표점에 대한 위치 변화량일 수 있다.
본 발명의 실시 예에 있어서, 상기 마커는, 원형의 형상으로 형성될 수 있다.
본 발명의 실시 예에 있어서, 상기 접촉위치의 변화와 상기 접촉깊이의 변화를 이용하여 3차원 패턴을 형성하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 분석부는, 수평면에 대한 상기 접촉위치의 변화를 인식하여 상기 사용자입력의 수평변위를 측정할 수 있다.
본 발명의 실시 예에 있어서, 상기 분석부는, 수직축에 대한 상기 접촉깊이의 변화를 인식하여 상기 사용자입력의 수직변위를 측정할 수 있다.
본 발명의 실시 예에 있어서, 상기 ii) 단계에서, 복수 개의 상기 촬상부에 의해 복수 개의 상기 마커이미지가 획득될 수 있다.
본 발명의 실시 예에 있어서, 상기 iii) 단계에서, 각각의 상기 촬상부에서 획득한 각각의 상기 마커이미지를 비교하여, 각각의 상기 마커의 이미지 변화량과 위치 변화량을 측정할 수 있다.
상기와 같은 구성에 따른 본 발명의 효과는, 신축성이 있는 부드러운 소재에 대해 사용자입력이 수행되도록 하고, 이를 통해 다양한 사용자입력을 인식 및 판단하여 처리할 수 있으므로, 장애인, 환자, 유아 등 정교한 거동이 어려운 사용자가 편리하게 이용할 수 있다는 것이다.
그리고, 본 발명의 효과는, 접촉되는 점의 3차원 좌표를 기반으로 생성되는 패턴을 인식하므로 다양한 패턴의 구현이 가능하고, 장치에 직접 접촉이 되어 인식되므로 인식률이 높다는 것이다.
또한, 본 발명의 효과는, 소프트웨어 알고리즘 중심의 기술이므로 종래기술에 비해 기능의 변경 및 시스템의 구성이 용이하다는 것이다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 3차원 터치 인식 장치의 사시도이다.
도 2는 본 발명의 일 실시 예에 따른 3차원 터치 인식 장치의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 시트에 대해 최초의 사용자입력이 작용하는 사항에 대한 모식도이다.
도 4는 본 발명의 일 실시 예에 따른 촬상부로부터의 거리에 따라 인식되는 마커의 변화량 편차를 나타낸 이미지이다.
도 5는 본 발명의 일 실시 예에 따른 기준범위에 대한 모식도이다.
도 6은 본 발명의 일 실시 예에 따른 마커의 수평 변위 및 수직 변위에 대한 그래프이다.
도 7은 본 발명의 일 실시 예에 따른 시트에 대해 누름 동작이 작용하는 사항에 대한 모식도이다.
도 8은 본 발명의 일 실시 예에 따른 시트에 대해 하나의 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다.
도 9는 본 발명의 일 실시 예에 따른 시트에 대해 다른 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다.
도 10은 본 발명의 일 실시 예에 따른 3차원 패턴이 이미지화된 이미지이다.
본 발명의 가장 바람직한 일 실시예는, 외측면에 사용자입력이 작용하고 상기 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 구비하는 입력부, 상기 시트의 내측면을 따라 복수 개 배열되어 설치되는 마커, 상기 사용자입력에 대응하여 변화하는 상기 마커의 이미지로서의 마커이미지를 수집하는 촬상부; 상기 시트의 내측면을 향해 광을 조사하는 조명부; 및 상기 마커이미지에 대한 분석을 수행하는 분석부를 포함하는 3차원 터치 인식 장치에서 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘에 있어서, i) 상기 시트에 상기 사용자입력이 작용하는 단계; ii) 상기 촬상부가 단위 시간 당 상기 시트의 내측면을 촬영하여 촬영된 상기 마커이미지를 상기 분석부로 전달하는 단계; iii) 각각의 상기 마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 측정하는 단계; iv) 상기 마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 분석하여 상기 사용자입력이 작용한 위치인 접촉위치 및 상기 사용자입력이 작용한 깊이인 접촉깊이를 추정하는 단계; v) 상기 접촉위치에 가장 근접한 마커인 기준마커 및 상기 기준마커를 기준으로 일정 범위인 기준범위 내 위치하는 보조마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 재측정하는 단계; 및 vi) 상기 기준마커와 상기 보조마커의 정보를 이용하여 상기 접촉위치 및 상기 접촉깊이를 상기 분석부에서 연산하는 단계;를 포함한다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명에 대하여 상세히 설명하기로 한다.
먼저, 본 발명의 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘 이 적용되는 3차원 터치 인식장치에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 3차원 터치 인식 장치의 사시도이고, 도 2는 본 발명의 일 실시 예에 따른 3차원 터치 인식 장치의 구성도이다.
도 1 및 도 2에서 보는 바와 같이, 3차원 터치 인식장치는, 외측면에 사용자입력이 작용하고 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트(110)를 구비하는 입력부(100), 시트(110)의 내측면을 따라 복수 개 배열되어 설치되는 마커(120), 사용자입력에 대응하여 변화하는 마커(120)의 이미지로서의 마커이미지를 수집하는 촬상부(200); 시트(110)의 내측면을 향해 광을 조사하는 조명부(300); 및 마커이미지에 대한 분석을 수행하는 분석부(400)를 포함할 수 있다.
마커(120)는, 원형의 형상으로 형성될 수 있다.
본 발명의 실시 예에서는, 마커(120)가 원형이라고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 타원형, 정사각형, 다각형 등 다양한 형상으로 형성될 수 있다. 그리고, 마커(120)는, 선으로 형성되는 도형일 수 있고, 도형 내부에 색이 채워진 형태일 수도 있다.
복수 개의 마커(120)의 설치 패턴은, 소정의 개수의 행과 열을 갖고, 행과 행, 열과 열 사이의 간격을 동일하게 하거나, 동심원의 배열 등 다양한 패턴을 모두 고려할 수 있다.
바람직하게는, 복수 개의 마커(120)가 정방형의 배열을 형성할 수 있다.
이러한 경우, 마커이미지의 변화는, 마커(120)로 형성되는 배열의 열 또는 행 간의 간격 변화 또는 배열의 형상 변화에 의해 생성될 수 있다. 그리고, 마커이미지의 변화는, 마커(120) 자체의 면적(크기) 또는 형상의 변화에 의해 생성될 수 있음은 물론이다.
사용자입력은, 시트(110)의 외측면에 사용자의 신체 일부가 접촉된 상태에서, 사용자의 신체 일부가 정지 또는 동작하여 수행될 수 있다.
사용자의 실체 일부는, 손이나 손가락, 발이나 발가락, 팔꿈치 또는 무릎 등으로써, 시트(110)의 일면에 접촉하여 누름, 누름해제, 이동 등의 동작이 가능한 모든 신체 부위를 의미할 수 있다.
또한, 사용자입력을 발생하는 주체인 사용자는, 사람만으로 한정하지 않고, 기계, 로봇 기타 장치를 포함할 수 있다.
누름의 경우, 누르는 압력, 누름을 유지하는 시간을 한정하는 것은 아니다. 누름해제의 경우, 누름해제에 소요되는 시간 등을 특정한 범위 내로 한정할 것은 아니다. 나아가, 소정의 시간 동안 누름이 발생하고, 이후 즉시 누름해제가 발생하는 경우, 이를 클릭이라고 칭할 수 있다. 이동은, 사용자가 누름의 상태를 유지하면서, 시트(110) 일면의 한 지점에서부터 다른 지점으로 움직이는 것을 의미하는데, 움직이는 경로는 특정한 것에 한정되지 않으며, 직선, 곡선을 포함할 수 있으며, 곡선도, 원, 타원, 호, 스플라인 등을 포함할 수 있으나, 이에 한정할 것은 아니다.
촬상부(200)에는, CCD 등의 소자가 포함될 수 있는데, 이러한 예에 한정할 것은 아니다.
그리고, 촬상부(200)는, 촬영면 전체에 대한 촬영이 가능하도록 광각렌즈를 구비할 수 있다.
시트(110)는, 신축성이 있는 재질로 만들어질 수 있다.
시트(110)를 제외한 입력부(100)의 나머지 부위는, 시트(110)와 같이 신축성이 있는 재질로 형성될 수 있고, 또는, 시트(110)와 달리 신축성이 없는 재질로 형성될 수도 있다.
또한, 입력부(100)는, 내부 공간이 외부로부터 개방된 형상일 수 있고, 도 2에서 보는 바와 같이, 내부 공간이 외부로부터 폐쇄된 형상일 수도 있다.
조명부(300)는, LED 램프를 포함할 수 있다.
그리고, 사용자입력이 소정의 시간을 초과하여 발생하지 않는 경우, 자동으로 소등되는 등의 구성을 채택할 수도 있을 것이다.
다음으로, 상기된 3차원 터치 인식장치에 적용되는 본 발명의 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘에 대해 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 시트(110)에 대해 최초의 사용자입력이 작용하는 사항에 대한 모식도이다. 여기서, 도 3의 (a)는 사용자입력이 작용하고 있는 입력부(100)에 대한 단면도이고, 도 3의 (b)는 사용자입력이 작용하고 있는 시트(110)의 내측면에 대한 평면도일 수 있다.
그리고, 도 4는 본 발명의 일 실시 예에 따른 촬상부(200)로부터의 거리에 따라 인식되는 마커(120)의 변화량 편차를 나타낸 이미지이고, 도 5는 본 발명의 일 실시 예에 따른 기준범위에 대한 모식도이며, 도 6은 본 발명의 일 실시 예에 따른 마커(120)의 수평 변위 및 수직 변위에 대한 그래프이다.
도 3에서 보는 바와 같이, 첫째 단계에서, 시트(110)에 사용자입력이 작용할 수 있다.
둘째 단계에서, 촬상부(200)가 단위 시간 당 시트(110)의 내측면을 촬영하여 촬영된 마커이미지를 분석부(400)로 전달할 수 있다.
여기서, 단위 시간은, 밀리초(millisecond, ms)단위일 수 있고, 정밀도의 향상을 위하여, 밀리초(millisecond, ms)단위보다 더 작은 단위로 촬영을 수행할 수 있음은 물론이다.
셋째 단계에서, 각각의 마커(120)의 이미지 변화량과 위치 변화량을 분석부(400)에서 측정할 수 있다.
여기서, 마커(120)의 이미지 변화량은 마커(120)의 형상 변화량 및 마커(120)의 면적 변화량을 포함할 수 있다. 그리고, 마커(120)의 위치 변화량은, 각각의 마커(120)의 중심에 위치하는 마커좌표점의 마커이미지 상 2축(x-y)에 대한 위치 변화량일 수 있다.
구체적으로, 마커(120)의 이미지 변화량에 있어서, 마커(120)가 원형인 경우, 시트(110)에 사용자입력이 작용하면 원형인 마커(120)가 타원형으로 변화할 수 있고, 마커(120)가 원형을 유지하면서 크기가 변하거나 타원형으로 변화면서 크기가 변화할 수 있다. 이 때, 형상 변화와 함께 크기가 변하면서 형상 변화와 면적 변화가 동시에 발생할 수 있으며, 마커(120)의 이미지 변화량은 이러한 마커(120)의 형상 변화량과 마커(120)의 면적 변화량을 포함할 수 있다.
그리고, 마커(120)의 위치 변화량에 있어서, 원형의 마커(120) 각각의 중심점에 좌표가 설정되어 각각의 마커(120)는 마커좌표점을 구비하고, 마커이미지 상에서 각각의 마커좌표점의 변위를 측정하여 마커(120)의 위치 변화량을 측정할 수 있다.
사용자가 시트(110)의 외측면에 대해 최초의 누름 동작을 수행하는 경우, 사용자입력이 작용한 위치인 접촉위치에 대해 가장 근접한 위치에 있는 기준마커(121)와 기준마커(121) 주위에 위치하는 다른 마커(120)의 이미지(형상 및 면적)와 위치가 변화할 수 있다.
이 때, 도 4에서 보는 바와 같이, 접촉위치가 변경됨에 따라 기준마커(121)의 위치도 변경되게 되는데, 제1접촉위치에 대한 제1기준마커(121a), 제2접촉위치에 대한 제2기준마커(121b) 및 제3접촉위치에 대한 제3기준마커(121c)를 비교하는 경우, 제1기준마커(121a)와 제2기준마커(121b) 및 제3기준마커(121c)의 위치 변화량이 동일하다고 하더라도, 촬상부(200)에서 촬영되는 제1기준마커(121a)와 제2기준마커(121b) 및 제3기준마커(121c)의 이미지 변화량 및 위치 변화량은 상이하게 측정될 수 있다.
구체적으로, 마커이미지(Image Surface)를 분석하여 이미지 변화량을 측정하는 경우에, 도 4에서 보는 바와 같이, 제2기준마커(121b)의 위치 변화량과 제3기준마커(121c)의 위치 변화량이 동일하다고 하더라도, 마커이미지 상에서는 제2기준마커(121b)의 이미지 변화량과 제3기준마커(121c)의 이미지 변화량은 다르게 나타날 수 있다.
그리고, 마커이미지를 분석하여 위치 변화량을 측정하는 경우에도, 도 4에서 보는 바와 같이, 제2기준마커(121b)의 위치 변화량과 제3기준마커(121c)의 위치 변화량이 동일하다고 하더라도, 마커이미지 상에서는 Δd1로 표시되는 제2기준마커(121b)의 위치 변화량과 Δd2로 표시되는 제3기준마커(121c)의 위치 변화량이 다르게 나타날 수 있다.
기준마커(121) 뿐만이 아니라, 기준마커(121) 외 다른 마커(120)들도 사용자입력의 영향을 받는 경우, 기준마커(121)와 같은 현상이 발생할 수 있다.
따라서, 시트(110)의 외측면 각 지점에 대한 접촉위치 형성 시, 3차원의 좌표로 형성되는 마커좌표점을 구비하는 각각의 마커(120)의 이미지 변화량과 위치 변화량에 대한 정보를 이용하여 모델링을 수행하고, 이를 통해 접촉위치를 추정하며, 추정된 접촉위치를 주위의 마커(120)에 대한 정보를 이용하여 접촉깊이를 판단하는 과정이 필요할 수 있다.
넷째 단계에서, 마커(120)의 이미지 변화량과 위치 변화량을 분석부(400)에서 분석하여 사용자입력이 작용한 위치인 접촉위치 및 사용자입력이 작용한 깊이인 접촉깊이를 추정할 수 있다.
접촉위치는 2차원의 x-y축 좌표로 표현될 수 있고, 접촉깊이는 z축에 대한 변위로 표현될 수 있다.
여기서, 마커(120)의 단위 깊이 당 이미지 변화량과 위치 변화량에 대한 데이터를 아래의 [수식 1] 다항식에 대입하여 함수피팅(Curve Fitting)을 이용한 모델링을 수행할 수 있다.
[수식 1]
Figure PCTKR2017011274-appb-I000001
여기서, D는 마커(120)의 깊이 값, p1 내지 p5는 다항식 계수, x는 마커(120)의 이미지 변화량과 위치 변화량을 곱한 값이다.
그리고, 함수피팅은 가우시안 피팅(Gaussian Fitting)일 수 있다.
단위 깊이는, 0.1 내지 10밀리미터(mm)일 수 있고, 바람직하게는 1밀리미터(mm)일 수 있다.
이하, 접촉위치 및 접촉깊이 추정 과정에 대해서 설명하기로 한다.
먼저, 각각의 마커(120)에 대해, 마커(120) 하나 당 단위 깊이에 따른 이미지 변화량과 위치 변화량을 측정할 수 있다. 이는 사용자입력 전에 전체 마커(120)에 대한 데이터를 획득하기 위한 것으로써, 시트(110)의 외측면에서 각각의 마커(120)의 마커좌표점에 대응하는 위치의 부위에 대해 단위 깊이 간격으로 수직 변위를 주어, 각각의 마커(120)에 대한 이미지 변화량과 위치 변화량을 촬상부(200)에서 촬영한 후 분석부(400)에 저장할 수 있다.
즉, 단위 깊이 당 이미지 변화량과 위치 변화량에 대한 데이터를 도출하여 저장하기 위해 각각의 마커(120)에 대한 마커좌표점과 접촉위치를 일치시켜 마커(120) 하나 당 단위 깊이에 따른 이미지 변화량과 위치 변화량을 측정할 수 있다.
그리고, 분석부(400)는 마커좌표점에 의해 각각의 마커(120)에 대한 구분을 수행하고, 각각의 마커(120)의 깊이 값(D) 및 이미지 변화량과 위치 변화량을 곱한 값(x)을 상기의 [수식 1]에 대입하여 p1 내지 p5의 다항식 계수를 도출하여 [수식 1]의 다항식을 생성할 수 있다.
그리고, 상기의 [수식 1]의 다항식을 공지된 프로그램에 적용하여 피팅 모델링(Fitting Modeling)을 수행할 수 있다. 이 때, 상기의 프로그램은 Matlab, Octave 또는 Python 중 어느 하나의 프로그램일 수 있다. 다만, 이에 한정되는 것은 아니다. 그리고, 상기에서는 피팅 모델링을 수행하기 위해 가우시안 피팅을 이용한다고 설명하고 있으나, 이에 한정되는 것도 아니다.
다음으로, 사용자입력이 작용하지 않은 상태의 시트(110)의 내측면에 대한 작용 전 마커이미지를 획득할 수 있다. 그 후, 사용자입력이 시트(110)에 작용하면, 사용자입력이 작용된 상태의 시트(110)의 내측면에 대한 작용 후 마커이미지를 획득할 수 있다.
분석부(400)에서는 상기의 작용 전 마커이미지와 상기의 작용후 마커이미지를 비교하여 각각의 마커(120)에 대한 이미지 변화량과 위치 변화량을 측정하고, 이에 대한 값을 [수식 1]의 다항식에 대입하여 각각의 마커(120)에 대한 접촉깊이를 도출할 수 있다.
도 6의 (a)는 수평축 중 x축을 기준으로 z축(수직축)에 대한 마커(120)의 접촉깊이(Depth) 분포를 나타낸 것이고, 도 6의 (b)는 수평축 중 y축을 기준으로 z축(수직축)에 대한 마커(120)의 접촉깊이(Depth) 분포를 나타낸 것이다.
도 6의 (a)에서 보는 바와 같이, 각각의 마커(120)의 접촉깊이는 각각 다르고, 접촉위치에 가장 근접한 마커(120)인 기준마커(121)의 접촉깊이가 가장 크게 나타날 수 있다.
이에 따라, 분석부(400)는 복수 개의 마커(120) 중 가장 접촉깊이 값이 크게 나타나는 마커(120)를 선별하고, 해당 마커(120)를 기준마커(121)로 설정하고, 1차로 기준마커(121)가 접촉위치라고 판단한 후, 기준마커(121)에 대한 위치와 깊이를 도출하여 접촉위치 좌표 및 접촉깊이 값을 1차로 추정할 수 있다.
다만, 1차 추정에서, 접촉위치와 기준마커(121)의 마커좌표점 간 불일치로 오차가 발생할 수 있다. 따라서, 오차 수정을 위해 하기와 같은 2차 추정이 수행될 수 있다.
다섯째 단계에서, 접촉위치에 가장 근접한 마커(120)인 기준마커(121) 및 기준마커(121)를 기준으로 일정 범위인 기준범위 내 위치하는 보조마커(122)의 이미지 변화량과 위치 변화량을 분석부(400)에서 재측정할 수 있다.
도 5에서 보는 바와 같이, 보조마커(122)는, 기준마커(121)와 하나의 축 방향으로 좌표가 동일한 복수 개의 마커(120)일 수 있다.
구체적으로, 도 5에서 보는 바와 같이, 보조마커(122)는, 기준마커(121)를 기준으로, x축 방향으로 6개의 마커(120)이고, y축 방향으로 4개의 마커(120)일 수 있다. 다만, 각 축 방향에 대한 마커(120)의 수가 한정되는 것은 아니다.
그리고, 본 발명의 실시 예에서는, 보조마커(122)가 상기와 같이 하나의 축 방향으로 좌표가 동일한 복수 개의 마커(120)라고 설명하고 있으나, 이에 한정되는 것은 아니고, 기준마커(121)를 중심으로 NXM의 배열(N, M은 임의의 정수)을 형성하는 행렬 범위 또는 기준마커(121)를 중심으로 L개(L은 임의의 정수)의 마커(120)가 포함되는 원형의 범위일 수 있다.
여섯째 단계에서, 기준마커(121)와 보조마커(122)의 정보를 이용하여 접촉위치 및 접촉깊이를 분석부(400)에서 연산할 수 있다.
여기서, 상기된 접촉위치 및 접촉깊이 추정 과정을 2차로 수행하기 위해 기준마커(121)의 이미지 변화량과 위치 변화량 및 보조마커(122)의 이미지 변화량과 위치 변화량을 측정할 수 있다.
그 후, 기준마커(121)와 보조마커(122)의 정보를 이용하여 상기된 접촉위치 및 접촉깊이 추정 과정을 수행하고, 도 6의 (a) 및 도 6의 (b)와 같은 그래프를 획득하여 기준마커(121)와 보조마커(122)의 분포를 도출할 수 있다.
이 때, 기준마커(121)는 접촉위치에 가장 근접한 마커(120)이므로, 기준마커(121)의 마커좌표점의 좌표가 접촉위치의 좌표와 동일하지 않을 수 있다.
도 6의 (a)에서 가장 크기가 큰 깊이(Depth) 값 근처에 기준마커(121)의 깊이 값이 매칭될 수 있고, 가장 크기가 큰 깊이(Depth) 값을 갖는 x축 좌표가 접촉위치일 수 있다. 마찬가지로, 도 6의 (b)에서 가장 크기가 큰 깊이(Depth) 값 근처에 기준마커(121)의 깊이 값이 매칭될 수 있고, 가장 크기가 큰 깊이(Depth) 값을 갖는 y축 좌표가 접촉위치일 수 있다.
이에 따라, 접촉위치 및 접촉깊이를 2차로 추정할 수 있으며, 정밀한 접촉위치 좌표 및 접촉깊이 값이 도출될 수 있다.
즉, 접촉위치 및 접촉깊이에 대한 2차 추정은, 실질적인 접촉위치 및 접촉깊이를 마커이미지에 의해 직접 측정되어 도출되는 것이 아닌 피팅 모델링에 의해 추정되어 측정되는 것으로, 피팅 모델링에 의한 추정에 의해 실질적인 접촉위치 및 접촉깊이를 도출할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 시트(110)에 대해 누름 동작이 작용하는 사항에 대한 모식도이고, 도 8은 본 발명의 일 실시 예에 따른 시트(110)에 대해 하나의 방향으로 이동 동작이 작용하는 사항에 대한 모식도이며, 도 9는 본 발명의 일 실시 예에 따른 시트(110)에 대해 다른 방향으로 이동 동작이 작용하는 사항에 대한 모식도이다.
도 7의 (a), 도 8의 (a) 및 도 9의 (a)는 각각의 사용자입력이 작용하고 있는 입력부(100)에 대한 단면도일 수 있다. 그리고, 도 7의 (b), 도 8의 (b) 및 도 9의 (b)는 각각의 사용자입력이 작용하고 있는 시트(110)의 내측면에 대한 평면도일 수 있다.
접촉위치의 변화와 접촉깊이의 변화를 이용하여 3차원 패턴을 형성할 수 있다.
여기서, 분석부(400)는, 수평면에 대한 접촉위치의 변화를 인식하여 사용자입력의 수평변위를 측정할 수 있다. 그리고, 분석부(400)는, 수직축에 대한 접촉깊이의 변화를 인식하여 사용자입력의 수직변위를 측정할 수 있다.
3차원 패턴은, 2차원적인 수평 변위와 이러한 수평 변위에 수직인 수직 변위에 의한 위치 변경일 수 있다. 본 발명의 실시 예에서는, 도 7 내지 도 9에서 보는 바와 같이, 2차원적인 수평 변위는 x-y 평면(수평면) 상 변위로 표현되고, 수직 변위는 x-y 평면에 수직인 z축(수직축)에 대한 변위로 표현될 수 있다.
이하, 접촉위치의 변화와 접촉깊이의 변화에 의한 3차원 패턴을 판단하는 사항에 대해서 설명하기로 한다.
여기서, 접촉위치에 대한 x-y좌표와 접촉깊이에 대한 z좌표에 의해 지정되는 3차원 공간 상의 좌표점(x, y, z)을 패턴포인트라고 할 수 있다.
도 3에서 보는 바와 같이, 시트(110)에 최초로 사용자입력이 작용 시, 최초의 패턴포인트가 인식될 수 있다. 그리고, 도 7 내지 도 9에서 보는 바와 같이, 손을 이용하여 시트(110)의 외측면에 대해 누름 동작을 수행한 후 이동 동작을 수행하는 경우, 누름과 이동에 의해 패턴포인트의 위치가 변경되면서 3차원 패턴을 형성할 수 있다.
구체적으로, 도 3에서 보는 바와 같이, 사용자가 시트(110)의 외측면에 대해 최초의 누름 동작을 수행하는 경우, 최초의 패턴포인트인 제1패턴포인트(P1)가 인식될 수 있다.
그리고, 도 7에서 보는 바와 같이, 사용자가 시트(110)의 외측면에 대해 최초의 누름 동작보다 더 강한 힘으로 누름 동작을 수행하는 경우, 더 강한 힘의 누름 동작에 의해 패턴포인트가 z축 방향으로 이동하여 제2패턴포인트(P2)가 인식되고, 제1패턴포인트(P1)로부터 제2패턴포인트(P2)로 3차원 좌표가 변경됨을 인식하여 사용자입력의 수직 변위를 측정할 수 있다.
또한, 도 8에서 보는 바와 같이, 사용자가 시트(110)의 외측면에 대해 하나의 방향(x축 방향)으로 이동 동작을 수행하는 경우, 제2패턴포인트(P2)로부터 제3패턴포인트(P3)로 3차원 좌표가 변경됨을 인식하여 사용자입력의 수평 변위를 측정할 수 있다.
그리고, 도 9에서 보는 바와 같이, 사용자가 시트(110)의 외측면에 대해 다른 방향(y축 방향)으로 이동 동작을 수행하는 경우, 제3패턴포인트(P3)로부터 제4패턴포인트(P4)로 3차원 좌표가 변경됨을 인식하여 사용자입력의 수평 변위를 측정할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 3차원 패턴이 이미지화된 이미지이다.
상기와 같은 수평 변위와 수직 변위의 복합적인 변위에 의해 도 10에서 보는 바와 같은 3차원 패턴이 형성될 수 있다.
본 발명의 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치는, 3차원 패턴뿐만이 아니라, 수직 방향 또는 수평 방향의 힘을 검출할 수 있다.
도 7에서 보는 바와 같이, 누름 동작을 수행하면 수직 변위가 형성되고, 이러한 수직 변위에 시트(110)의 탄성계수를 곱하여 사용자입력에 의한 수직 방향의 힘을 측정할 수 있다.
따라서, 수직 방향의 힘을 검출하기 위해, 시트(110)의 탄성계수가 시트(110)의 각 지점마다 동일하도록 시트(110)는 제조될 수 있다.
도 8에서 보는 바와 같이, 이동 동작을 수행하면 수평 변위가 형성되고, 이때, 수평 방향 힘은, 사용자입력인 손의 누름 동작에 의해 시트(110)에 가해지는 수직항력(N)과 시트(110)의 마찰계수(μ)의 곱에 의해 계산되는 마찰력에 대응되는 힘으로 측정될 수 있다.
여기서, 시트(110)의 마찰계수는, 분석부(400)에 저장된 마찰계수기준데이터테이블을 참조하여 결정할 수 있다.
도 8에서 보는 바와 같이, 시트(110)에 누름 동작을 수행하여 수직 변위가 발생한 상태에서 손(사용자입력)을 이동하여 수평 변위를 발생시키므로, 시트(110)의 마찰계수는, 시트(110)의 표면에 대한 물성으로써의 표면마찰계수와 다를 수 있다.
본 발명의 수평 방향 힘 검출 방법에서 이용되는 시트(110)의 마찰계수는, 누름 동작에 의해 시트(110) 형상이 휘어지는 상태를 고려하여 정해지는 것으로, 입력부(100) 형성 후에 시트(110) 외측면에 대한 기계적 실험을 통해 획득되는 데이터에 의해 정해질 수 있다.
수평 방향의 힘은, 상기의 과정에 의해 정해지는 시트(110)의 마찰계수와 수직항력인 수직 방향 힘의 곱에 의해 계산될 수 있다.
상기의 둘째 단계에서, 촬상부(200)가 마커이미지를 획득하는 경우, 복수 개의 촬상부(200)에 의해 복수 개의 마커이미지가 획득될 수 있다.
그리고, 상기의 셋째 단계에서, 각각의 촬상부(200)에서 획득한 각각의 마커이미지를 비교하여, 각각의 마커(120)의 이미지 변화량과 위치 변화량을 측정할 수 있다.
상기와 같이 복수 개의 촬상부(200)가 구비되는 경우에는, 각각의 촬상부(200)에 의해 마커이미지가 획득될 수 있고, 분석부(400)는 각각의 촬상부(200)에서 획득된 각각의 마커이미지에 의해 접촉위치 및 접촉깊이를 추정하고, 각각의 접촉위치 좌표 및 접촉깊이 값을 정규분포화 시키고, 확률상 가장 정확한 접촉위치 좌표 및 접촉깊이 값을 도출하여 접촉위치와 접촉깊이를 추정할 수 있다.
다른 실시 예로써, 복수 개의 촬상부(200) 각각은 시트(110)의 내측면에 대해서 각각 할당 받은 범위를 가지고 있고, 하나의 촬상부(200)는 할당 받은 범위의 촬영면인 촬영할당면에 위치하는 마커(120)에 대한 이미지를 획득하여 접촉위치 및 접촉깊이를 추정할 수 있다.
즉, 촬영할당면에 사용자입력이 작용하지 않는 경우에는 접촉위치 및 접촉깊이에 대한 추정을 수행하지 않다가, 촬영할당면에 사용자입력이 작용하는 경우에 접촉위치 및 접촉깊이를 추정할 수 있다. 이에 따라, 촬상부(200)에 근접한 촬영할당면에 대해서만 촬영을 수행할 수 있어, 접촉위치 및 접촉깊이를 추정 정확도를 향상시킬 수 있는 것이다.
본 발명의 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치를 제조할 수 있다.
본 발명의 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치를 구비한 컴퓨터를 제조할 수 있다.
본 발명의 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치는 3차원의 패턴으로 3차원 공간 상의 커서를 이동시킬 수 있으므로, 해당 3차원 패턴과 대응하는 명령이 컴퓨터에 전달되어 컴퓨터가 명령을 수행할 수 있다.
본 발명의 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치를 구비한 로봇을 제조할 수 있다.
구체적인 일 실시 예로써, 3차원 패턴에 대응하여 작업을 수행하는 로봇의 말단이 이동할 수 있어, 본 발명의 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치가 로봇을 조종하는 조종 장치로써 기능할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 외측면에 사용자입력이 작용하고 상기 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 구비하는 입력부, 상기 시트의 내측면을 따라 복수 개 배열되어 설치되는 마커, 상기 사용자입력에 대응하여 변화하는 상기 마커의 이미지로서의 마커이미지를 수집하는 촬상부; 상기 시트의 내측면을 향해 광을 조사하는 조명부; 및 상기 마커이미지에 대한 분석을 수행하는 분석부를 포함하는 3차원 터치 인식 장치에서 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘에 있어서,
    i) 상기 시트에 상기 사용자입력이 작용하는 단계;
    ii) 상기 촬상부가 단위 시간 당 상기 시트의 내측면을 촬영하여 촬영된 상기 마커이미지를 상기 분석부로 전달하는 단계;
    iii) 각각의 상기 마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 측정하는 단계;
    iv) 상기 마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 분석하여 상기 사용자입력이 작용한 위치인 접촉위치 및 상기 사용자입력이 작용한 깊이인 접촉깊이를 추정하는 단계;
    v) 상기 접촉위치에 가장 근접한 마커인 기준마커 및 상기 기준마커를 기준으로 일정 범위인 기준범위 내 위치하는 보조마커의 이미지 변화량과 위치 변화량을 상기 분석부에서 재측정하는 단계; 및
    vi) 상기 기준마커와 상기 보조마커의 정보를 이용하여 상기 접촉위치 및 상기 접촉깊이를 상기 분석부에서 연산하는 단계;를 포함하는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  2. 청구항 1에 있어서,
    상기 iv) 단계에서, 상기 마커의 단위 깊이 당 이미지 변화량과 위치 변화량에 대한 데이터를 아래의 다항식에 대입하여 함수피팅을 이용한 모델링을 수행하는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
    Figure PCTKR2017011274-appb-I000002
    여기서, D는 마커의 깊이 값, p1 내지 p5는 다항식 계수, x는 상기 마커의 이미지 변화량과 위치 변화량을 곱한 값이다.
  3. 청구항 2에 있어서,
    상기 함수피팅은 가우시안 피팅인 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  4. 청구항 1에 있어서,
    상기 v) 단계에서, 상기 보조마커는, 상기 기준마커와 하나의 축 방향으로 좌표가 동일한 복수 개의 상기 마커인 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  5. 청구항 1에 있어서,
    상기 마커의 이미지 변화량은 상기 마커의 형상 변화량 및 상기 마커의 면적 변화량을 포함하는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  6. 청구항 1에 있어서,
    상기 마커의 위치 변화량은, 각각의 상기 마커의 중심에 위치하는 마커좌표점에 대한 위치 변화량인 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  7. 청구항 1에 있어서,
    상기 마커는, 원형의 형상으로 형성되는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  8. 청구항 1에 있어서,
    상기 접촉위치의 변화와 상기 접촉깊이의 변화를 이용하여 3차원 패턴을 형성하는 단계를 더 포함하는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  9. 청구항 8에 있어서,
    상기 분석부는, 수평면에 대한 상기 접촉위치의 변화를 인식하여 상기 사용자입력의 수평변위를 측정하는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  10. 청구항 8에 있어서,
    상기 분석부는, 수직축에 대한 상기 접촉깊이의 변화를 인식하여 상기 사용자입력의 수직변위를 측정하는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  11. 청구항 1에 있어서,
    상기 ii) 단계에서, 복수 개의 상기 촬상부에 의해 복수 개의 상기 마커이미지가 획득되는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  12. 청구항 11에 있어서,
    상기 iii) 단계에서, 각각의 상기 촬상부에서 획득한 각각의 상기 마커이미지를 비교하여, 각각의 상기 마커의 이미지 변화량과 위치 변화량을 측정하는 것을 특징으로 하는 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘.
  13. 청구항 1 내지 청구항 12 중 어느 하나의 항에 의한 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치.
  14. 청구항 1 내지 청구항 12 중 어느 하나의 항에 의한 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치를 구비한 컴퓨터.
  15. 청구항 1 내지 청구항 12 중 어느 하나의 항에 의한 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘을 이용하는 3차원 터치 인식 장치를 구비한 로봇.
PCT/KR2017/011274 2017-05-02 2017-10-12 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘 WO2018203590A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170056422A KR101910187B1 (ko) 2017-05-02 2017-05-02 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 방법
KR10-2017-0056422 2017-05-02

Publications (1)

Publication Number Publication Date
WO2018203590A1 true WO2018203590A1 (ko) 2018-11-08

Family

ID=64016655

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011274 WO2018203590A1 (ko) 2017-05-02 2017-10-12 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘

Country Status (2)

Country Link
KR (1) KR101910187B1 (ko)
WO (1) WO2018203590A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256493B1 (ko) * 2019-05-16 2021-05-27 한국생산기술연구원 운동량 측정 가능한 탄성 운동 장치 및 이를 이용한 운동량 측정 방법
KR102397963B1 (ko) * 2020-06-15 2022-05-16 한국생산기술연구원 트램폴린을 이용한 운동량 측정 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080044690A (ko) * 2006-11-17 2008-05-21 실리콤텍(주) 촬상 센서를 이용한 입력장치 및 그 방법
JP2009087264A (ja) * 2007-10-02 2009-04-23 Alps Electric Co Ltd 中空型スイッチ装置及びこれを備えた電子機器
KR20110051909A (ko) * 2009-11-11 2011-05-18 한국전자통신연구원 마커를 이용한 영상 인식 장치 및 방법
KR20110084028A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 이미지 데이터를 이용한 거리 측정 장치 및 방법
KR101396203B1 (ko) * 2013-03-13 2014-05-19 한국생산기술연구원 에어 쿠션 동작 감지 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080044690A (ko) * 2006-11-17 2008-05-21 실리콤텍(주) 촬상 센서를 이용한 입력장치 및 그 방법
JP2009087264A (ja) * 2007-10-02 2009-04-23 Alps Electric Co Ltd 中空型スイッチ装置及びこれを備えた電子機器
KR20110051909A (ko) * 2009-11-11 2011-05-18 한국전자통신연구원 마커를 이용한 영상 인식 장치 및 방법
KR20110084028A (ko) * 2010-01-15 2011-07-21 삼성전자주식회사 이미지 데이터를 이용한 거리 측정 장치 및 방법
KR101396203B1 (ko) * 2013-03-13 2014-05-19 한국생산기술연구원 에어 쿠션 동작 감지 장치 및 방법

Also Published As

Publication number Publication date
KR101910187B1 (ko) 2018-10-19

Similar Documents

Publication Publication Date Title
WO2014142596A1 (ko) 에어 쿠션 동작 감지 장치 및 방법
WO2013183938A1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2016182181A1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 피드백 제공 방법
AU2014297039B2 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
EP2943835A1 (en) Head mounted display providing eye gaze calibration and control method thereof
WO2016043560A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
WO2012053792A2 (ko) 입력 장치 및 이 장치의 접촉 위치 검출 방법
WO2018048054A1 (ko) 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치
WO2016028097A1 (en) Wearable device
WO2018203590A1 (ko) 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 알고리즘
WO2011052914A2 (ko) 입력 장치 및 이 장치의 접촉 위치 검출 방법
WO2012134026A1 (ko) 접촉 감지 장치 및 방법
WO2018194227A1 (ko) 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법
WO2016060461A1 (en) Wearable device
WO2016099212A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 트래킹 방법
WO2014051362A1 (ko) 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법
WO2020059939A1 (ko) 인공지능 장치
WO2021242050A1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2021149882A1 (ko) 사용자 인증 방법 및 이 방법을 실행하는 디바이스
WO2012093873A2 (ko) 터치스크린의 터치 위치 검출 방법 및 이러한 방법을 사용하는 터치스크린
WO2016105102A1 (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
WO2020242087A1 (ko) 적어도 하나의 센서를 이용하여 측정된 전자 장치와 사용자 간 거리에 기반하여 생체 데이터를 보정하는 전자 장치 및 방법
WO2015034131A2 (ko) 공간 제스처 인식 장치 및 방법
WO2018182053A1 (ko) 오브젝트의 형상에 대한 정보를 획득하는 방법 및 장치
WO2017179786A1 (ko) 동작 인식 센서를 이용한 3차원 입력 장치, 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17908145

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17908145

Country of ref document: EP

Kind code of ref document: A1