WO2014104727A1 - 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치 - Google Patents

멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2014104727A1
WO2014104727A1 PCT/KR2013/012137 KR2013012137W WO2014104727A1 WO 2014104727 A1 WO2014104727 A1 WO 2014104727A1 KR 2013012137 W KR2013012137 W KR 2013012137W WO 2014104727 A1 WO2014104727 A1 WO 2014104727A1
Authority
WO
WIPO (PCT)
Prior art keywords
points
touch
force
contact
point
Prior art date
Application number
PCT/KR2013/012137
Other languages
English (en)
French (fr)
Inventor
김건년
김원효
곽연화
박광범
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120152888A external-priority patent/KR101436588B1/ko
Priority claimed from KR1020120152887A external-priority patent/KR101436587B1/ko
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to US14/655,242 priority Critical patent/US9778780B2/en
Publication of WO2014104727A1 publication Critical patent/WO2014104727A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a touch type user interface, and more particularly, a user drags, taps, and slides.
  • Method for providing a user interface using a multi-point touch that can execute a variety of user commands in a single touch operation on two or more points without having to perform a complex touch gesture such as pinching or drawing a predetermined pattern It is about.
  • Such an input device is used to input data such as characters, symbols, and pictures desired by a user to a computer system, or to input a signal for requesting a specific command to the computer system.
  • touch input means such as a touch screen that can realize miniaturization and simplification of a user device by implementing an input means and an output function at the same time are commonly used.
  • the touch input means is a device capable of detecting a touch of a touch area by a part of a user's body or a touch means such as a touch pen, and may be classified into a pressure sensitive type, a capacitive type, an optical type, an ultrasonic type, or the like according to a method of detecting a touch.
  • the pressure-sensitive type is a method of detecting the touch by recognizing the pressure applied to the touch point by the touch
  • the electrostatic type is a method of detecting the touch by the change of charge at the contact point according to the contact of the user's body part
  • optical Is a method of detecting a touch position using an infrared camera and infrared light.
  • a plurality of buttons and the like are displayed on the screen, and a function of performing a function based on a location where a touch is detected has been recently performed.
  • drag, tapping and sliding are combined by various information such as a contact start position, a contact start time, a contact end time, and a contact end position.
  • a method of recognizing a user touch gesture such as pinching and executing various user commands according to the touch gesture is also used.
  • a plurality of touch points are recognized in the touch area and the touch points detected
  • a method of executing a user command through the number, position, combination, and change of interval is also used.
  • the conventional user interface method using a touch has a limit in providing an immediate response because it takes a predetermined time to take a touch gesture or a touch pattern and recognize it.
  • the present invention has been proposed to solve the above-mentioned conventional problems, and the user drags, taps, and slides.
  • Method for providing a user interface using a multi-point touch that can execute a variety of user commands in a single touch operation on two or more points without performing a complex touch gesture such as pinching or drawing a predetermined pattern and a device therefor To provide.
  • the present invention provides a device comprising a touch area capable of sensing the touch, detecting a contact to two or more different points of the touch area; Detecting a contact to two or more points, detecting a direction of force applied to the two or more points while maintaining contact to the two or more points; According to the combination of the direction of the force detected at the points, it provides a method for providing a user interface using a multi-point touch comprising the step of executing a predetermined user command.
  • the detecting of the direction of the force may include extracting contact areas having a predetermined area with respect to a point where the contact is detected; Detecting a force intensity at a plurality of sensing points in the contact area; And determining a direction of force applied to the point based on the detected intensity distribution at the plurality of detected points.
  • the direction of the sensing point at which the greatest strength of force is detected based on the center of the contact area may be determined as the direction of the force.
  • the executing of the user command may execute the user command according to a combination of directions of forces occurring in parallel within a certain error range based on the line segments connecting the points.
  • the executing of the user command may execute the user command according to a combination of directions of two forces having a predetermined angle with respect to the line segments connecting the points.
  • the executing of the user command may execute the user command according to a combination pattern of forces indicated by connecting the directions of the force detected at the points in a predetermined order.
  • the executing of the user command may perform one or more of rotating, moving, zooming in, zooming out, panning, and tilting a specific object or screen. .
  • the invention further includes detecting at least one of contact time, force strength, and distance of the point to the points, wherein executing the user command comprises:
  • the user command may be executed by further considering one or more of contact time, strength of force, and distance between points.
  • the present invention is another solution to the above-described problem, and includes a touch area capable of sensing the touch, and detects one or more of the touch area, the contact position, the strength of the force and the direction of the force to the touch area A touch input unit; And detecting contact with two or more points of the touch area through the touch input unit, checking a direction of a force applied to each of the two or more points while the contact is fixed with respect to the two or more points. It provides a device for a user interface using a multi-point touch, characterized in that it comprises a control unit for executing a predetermined user command in accordance with the combination of the direction of the force.
  • the control unit sets a contact area having a predetermined area with respect to the point where the touch is detected, and compares the strength of the force of the plurality of sensing points existing in the contact area, and determines the direction of the force applied to the point. It may include a touch event processing module.
  • the touch event processing module may determine, as the direction of the force, a direction of a detection point at which the greatest force intensity is detected based on the center of the contact area.
  • the controller may include a pattern extraction module configured to connect the directions of the force detected at the two or more different points in a predetermined order to identify a combination pattern of forces, and according to the identified combination of forces. You can run the command.
  • the controller may further detect at least one of contact time, strength of force, and distance between the points for the two or more points, and in combination of the direction of the force, among the contact time, strength of force, and distance between points.
  • the user command may be executed.
  • a method for providing a user interface using a multi-point touch and an apparatus therefor when detecting a contact with two or more points of the touch area, a force applied to the points in a fixed contact with the points.
  • the present invention corresponds to the direction of the force applied to the two points by pinching or spreading in a state in which the user touches two different points of the touch area, without moving the actual contact position or taking a touch gesture.
  • the present invention in the state in which the user is in contact with the two different points of the touch area, the direction of the force applied to the two points in the direction having a predetermined angle (for example, orthogonal direction) to the line segment connecting the two points In response to the adjustment, it is possible to adjust the rotation / tilting / panning of the screen or a specific object displayed on the screen without moving the actual contact position or taking a touch gesture.
  • a predetermined angle for example, orthogonal direction
  • the present invention executes a user command according to a combination of directions of forces applied to three or more points in fixed contact, thereby effectively executing various user commands including rotation, tilting, panning, zooming in, and zooming out. .
  • the present invention can reduce the time required to recognize the touch gesture or the touch pattern in performing the user interface, thereby enabling a finer and faster operation and response.
  • FIG. 1 is a block diagram illustrating an apparatus for a user interface using a multi-point touch according to an exemplary embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method for providing a user interface using a multi-point touch according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a user interface providing method using a multi-point touch according to a second embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of detecting a direction of a force in a method of providing a user interface using a multi-point touch according to the present invention.
  • FIG. 5 is an exemplary diagram of a user interface screen using two-point touch according to the first embodiment of the present invention.
  • FIG. 6 is a schematic diagram illustrating a combination of directions of forces detected at two contact points according to the first exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a zoom-in operation in a user interface screen using two-point touch according to the first embodiment of the present invention.
  • FIG. 8 is an exemplary view illustrating a process of detecting a direction of a force with respect to two contact points according to the first embodiment of the present invention.
  • FIG. 9 is a table illustrating an example of a combination of a pair of force directions and a user command according to the first embodiment of the present invention.
  • FIG. 10 is an exemplary view of a user interface screen using a multi-point touch according to the second embodiment of the present invention.
  • FIG. 11 is a schematic diagram illustrating a process of detecting a combination of directions of forces with respect to a plurality of contact points according to a second embodiment of the present disclosure.
  • FIG. 12 is a mapping table illustrating a combination pattern of a direction of force and a user command according to a second embodiment of the present invention.
  • FIG. 13 and 14 are exemplary views illustrating a user command execution state for each combination pattern of directions of force according to a second embodiment of the present invention.
  • a method for providing a user interface using a multi-point touch according to the present invention is implemented by a device including a touch area capable of sensing a touch by a contact means such as a user's body part (for example, a finger) or a touch pen. Can be.
  • the device may be applied to any device as long as the device includes a touch input means such as a touch screen capable of simultaneously detecting touch and outputting a screen or a touch pad capable of sensing a touch operation.
  • a device for providing a user interface using a multi-point touch according to the present invention includes a smart phone, a mobile phone, a tablet PC, a notebook PC, a desktop PC, a personal digital assistant (PDA) having a touch screen or a touch pad. And so on.
  • PDA personal digital assistant
  • FIG. 1 is a block diagram illustrating a configuration of an apparatus for providing a user interface using a multi-point touch according to the present invention.
  • the components of the device only the configuration related to the provision of the user interface according to the present invention has been disclosed, but the device may further include various other configurations according to functions.
  • the configuration described below is merely expressed as a functional unit for convenience of description, and may be implemented in hardware or software or a combination of hardware and software in actual implementation.
  • the apparatus 100 for a user interface using a multi-point touch includes a touch input unit 110, a controller 120, a storage unit 130, and an output unit 140. It may be made, including.
  • the touch input unit 110 includes a touch area capable of sensing a touch and is configured to sense various information related to a touch operation on the touch area.
  • the touch input unit 110 may detect one or more of whether a contact is made, a contact position, a strength of the force at the time of contact, and a direction of the force.
  • the touch input unit 110 may be implemented as one of a touch pad or a touch screen, and in addition, the touch input unit 110 may be implemented to sense various information related to the touch operation in one or more of a pressure sensitive, capacitive, optical, and ultrasonic method. .
  • the touch input unit 110 senses a simultaneous contact to two or more different points on the touch area, and thus one of the contact position, the strength of the force applied to the two points, and the direction of the force. Abnormalities can be detected respectively.
  • the simultaneous contact means that the contact is made at different points within a predetermined error range. That is, the touch input unit 110 detects simultaneous contact of two or more different points on the touch area, and detects one or more of the positions of the two or more points, the strength of the force at the time of contact, and the direction of the force. Can be.
  • information corresponding to at least one of contact, two or more points of the touch area detected by the touch input unit 110, a contact position, the strength of the force and the direction of the force is transmitted to the controller 120. do.
  • the controller 120 is a device for performing a user interface processing using a multi-point touch according to the present invention.
  • the controller 120 may recognize a touch type user input and perform a function or service corresponding to the user input.
  • the control unit 120 senses simultaneous contact with two or more different points of the touch area through the touch input unit 110, the control unit 120 according to the combination of the directions of the forces applied to the points.
  • the controller 120 checks a combination of directions of forces applied to two or more points simultaneously contacted in a predetermined error range based on the sensing information input from the touch input unit 110, and confirms Execute user commands according to the combination of force directions.
  • the user command may be executed according to the combination of the directions of the forces appearing at the two points when the two-point touch is performed.
  • the combination of the directions of the force includes, for example, a combination of directions of two forces parallel to the line segment connecting the two points and a combination of directions of two forces having a predetermined angle to the line segment connecting the two points. can do.
  • the combination of the directions of two forces parallel to the line segment connecting the two points may be a case where the directions of the two forces are directed toward the inside of the two points, and when the two forces are directed to the outside of the two points.
  • the user may appear by holding two fingers together or spreading apart without moving the position while the user is in contact with two points.
  • the combination of the directions of two forces having a predetermined angle to the line segment connecting the two points is a case where the directions of the two forces are opposite to each other in a direction perpendicular to the connected line segment of the two points.
  • Bits can be generated by taking action without moving the position in contact.
  • the user command mapped to each combination of the direction of the force applied to these two points may include one or more of the rotation, movement, panning, tilting, zoom-in, zoom-out for the specific object output to the screen or the screen.
  • control unit 120 may perform a user command by further considering other information, for example, the strength of the force, the contact time, the distance between the two contact points, and the like in the combination of the direction of the pair of forces. Other information may be used to adjust the degree of the user command (eg, rotation angle, rotation speed, travel distance, zoom factor, etc.). In this case, more various user commands can be executed or more precisely executed user commands.
  • other information for example, the strength of the force, the contact time, the distance between the two contact points, and the like in the combination of the direction of the pair of forces.
  • Other information may be used to adjust the degree of the user command (eg, rotation angle, rotation speed, travel distance, zoom factor, etc.). In this case, more various user commands can be executed or more precisely executed user commands.
  • a user command may be executed according to a combination of the directions of forces appearing at three or more points.
  • the controller 120 may execute the user command by further considering the position information of the three or more points simultaneously contacted with the combination of the directions of the forces applied to the three or more points.
  • the controller 120 may extract the combination pattern of the force by combining the direction of the force of the three or more points or the position and the direction of the force of the three or more points.
  • the force combination pattern is information that a user can extract an action to perform by contacting three or more points. Specifically, the combination of the force, the pinch action, the open action, and the degree (rotation angle, zoom-in) / Zoom out ratio, etc.).
  • the three-dimensional motion control is possible by combining the positions of the three points and the direction of the force detected at the three points in executing the user command.
  • the control unit 120 determines the direction of the force based on the information input from the touch input unit 110. It may include a touch event processing module 121 for.
  • the touch event processing module 121 sets a contact area having a predetermined area with respect to a point where a touch is detected in the touch area, and compares the strength of force detected at a plurality of detection points included in the contact area. Determine the direction of force exerted on the point.
  • the touch event processing module 121 detects the direction of the force with respect to two or more points, respectively, when a simultaneous contact occurs for two or more points.
  • the touch areas of the touch input unit 110 typically include a plurality of sensing points arranged at regular intervals to detect contact information, and the touch event processing module 121 is included in the set contact area.
  • the direction of the force exerted on the contact area can be determined according to the intensity distribution of the force detected at one or more detection points, for example, if the strength of the force detected on the left side of the contact area is greater, Is determined in the left direction, and when the strength of the force detected on the right side of the contact area is larger, the direction of the force may be determined in the right direction.
  • the touch event processing module 121 may determine the direction of the detection point at which the greatest strength of force is detected based on the center of the contact area as the direction of the force.
  • control unit 120 may further include a pattern extraction module 122 to extract a combination pattern of directions of force applied to two or more points simultaneously contacted.
  • the pattern extraction module 122 may extract a combination pattern of forces by arranging the directions of the forces with respect to two or more points detected through the touch event processing module 121 in a predetermined order. In consideration of one or more of the combination pattern of the direction of the force can be extracted.
  • the storage unit 130 is a component for storing a program and data for the operation of the apparatus 100, and in particular, a program for processing a touch event executed by the controller 120 and a multi-point touch according to the present invention.
  • a program implemented to execute a user interface may be stored, and a setting table in which a combination of directions of forces applied to two or more contact points and a user command corresponding to the combination may be further stored.
  • the controller 120 may provide a user interface according to the present invention by executing the program and data stored in the storage 130.
  • the output unit 140 outputs a user interface screen according to the control of the control unit 120.
  • the output unit 140 may include various types of liquid crystal displays (OLEDs), organic light emitting diodes (OLEDs), and the like.
  • the display panel may be formed as a kind of display panel, and may be implemented as a structure including a display panel and a touch panel, for example, a touch screen, according to a manufacturing form.
  • the output unit 140 and the touch input unit 110 may be integrally implemented.
  • the second is a flowchart illustrating a method for providing a user interface using a multi-point touch according to the first embodiment of the present invention.
  • the first embodiment is a two-point touch method for simultaneously contacting two points.
  • the apparatus 100 for a user interface using a multi-point touch may perform different predetermined functions according to the direction combination of a pair of detectable forces in step S110.
  • combinations of a pair of directions of force that can be detected by the apparatus 100 may be preset, and a user command to be corresponding to each pair of directions of the pair of forces may be selected and set.
  • the step S110 may be performed according to a user's selection, or may be preset as a default operation in the apparatus 100 in the manufacturing or selling step regardless of the user's selection. That is, when the user command according to the change pattern of the direction of the force is preset in the device, the step S110 may be omitted.
  • the device 100 may detect simultaneous contact with two different points of the touch area through the touch input unit 110.
  • the simultaneous contact means that the contact occurs at two points within a predetermined error range.
  • contact detection of two points of the touch area may be performed through one of a pressure sensitive, capacitive, optical, and ultrasonic method.
  • the control unit 120 detects the touch through the touch input unit 110, which is implemented as a touch screen or a touch pad that senses a touch through one of a pressure-sensitive, capacitive, optical, and ultrasonic method. It can be understood as a confirmation process.
  • the point where the contact is made is a region in which the object or the screen to be manipulated by the user is displayed within the touch area provided by the touch input unit 110, or an area for user manipulation according to the direction of force among the touch areas.
  • the control unit 120 of the apparatus 100 applies to each point in contact with the two points of the touch area in step S130.
  • Detect the direction of the losing force means the direction of the force applied to the touch surface of the corresponding point as the specific point of the touch area is contacted, and the touch direction in which the contact point is changed as in a touch gesture such as dragging or sliding. It is different from.
  • the touch direction refers to a direction from the initial contact position to the contact position after the predetermined time or the final contact position, and the detected touch position varies according to the time change.
  • the position value of the contact point where the touch is generated does not change, the direction in which the force is applied based on the position is changed.
  • the direction of the force may be expressed in a form extending radially about the point where the contact occurs, and the angle or east-west and / or north-south or front-back and / or left-right with respect to the preset reference axis in the range of 0 to 360 degrees. It can be expressed as.
  • the detection of the direction of the force in the step S130 may be made repeatedly at a predetermined sampling interval while the fixed contact with respect to the point.
  • the control unit 120 of the device 100 is a user command set in accordance with the combination of the detected direction of the two forces Run
  • the user command executed here is instructed to perform a predetermined operation on a specific object output on a screen or a user interface screen.
  • the user command may be rotated, moved, zoomed in on a specific object or screen, It may be one or more of zoom out, panning, and tilting.
  • the user in the state where the user touches two different points of the touch area at the same time, the user does not need to take a touch gesture such as dragging or sliding and only changes the direction of the force applied to the two points without changing or moving the contact position.
  • a touch gesture such as dragging or sliding
  • various user commands can be executed.
  • the user command may be performed by further considering other information, for example, the strength of the force, the contact time, the distance between the two contact points, and the like, in the combination of the direction of the pair of forces.
  • Other information may be used to adjust the degree of the user command (eg, rotation angle, rotation speed, movement distance, zoom factor, etc.). In this case, more various user commands can be executed or more precisely executed user commands.
  • FIG. 3 is a flowchart illustrating a method for providing a user interface using a multi-point touch according to a second embodiment of the present invention.
  • the second embodiment is made by contacting three or more points simultaneously.
  • the apparatus 100 for a user interface using a multi-point touch sets a combination pattern for directions of three or more detectable forces, and is different for each combination pattern.
  • a user command instructing to perform a predetermined function may be mapped and set.
  • the step S210 may be performed according to a user's selection, or may be preset as a default operation in the device 100 in the manufacturing or selling phase regardless of the user's selection. That is, when the user command according to the combination pattern of the direction of the force is preset in the device 100, the step S210 may be omitted.
  • step S220 the device 100 detects simultaneous contact of three or more points of the touch area through the touch input unit 110.
  • the touch detection of the touch area may be performed through one of pressure sensitive, capacitive, optical and ultrasonic methods.
  • the control unit 120 detects the touch through the touch input unit 110, which is implemented as a touch screen or a touch pad for detecting a contact through one of a pressure-sensitive, capacitive, optical and ultrasonic method. It can be understood as a confirmation process.
  • the point where the contact is made is a predetermined point as an area for displaying the object or screen that the user wants to operate in the touch area provided by the touch input unit 110 or an area for user operation according to the direction of the force among the touch area. This can be
  • the control unit 120 of the apparatus 100 when simultaneous contact with three or more points of the touch area is detected, the control unit 120 of the apparatus 100 according to the present invention, in step S230, the point in contact with three or more points of the touch area.
  • the direction of the force applied to each field is detected.
  • the direction of the force means the direction of the force applied to the touch surface of the corresponding point in contact with a specific point of the touch area, and the touch point of which the contact point is changed as in a touch gesture such as dragging or sliding. It is different from the direction.
  • the touch direction refers to a direction from the initial contact position to the contact position after the predetermined time or the final contact position, and the touch position sensed according to the time change varies.
  • the position value of the contact point where the touch is generated does not change.
  • the direction of the force may be expressed in a form extending radially about the point where the contact occurs, and an angle value in the range of 0 to 360 degrees or east-west and / or north-south or front-and-back and / or relative to a preset reference axis. It can be expressed from left to right.
  • the detection of the direction of the force in the step S230 may be made repeatedly at a predetermined sampling interval while the fixed contact with respect to the points.
  • step S240 the control unit 120 of the apparatus 100 according to the present invention extracts a combination pattern of the direction of the force detected at the three or more points.
  • the step S240 may be performed by the pattern extraction module 122 of the controller 120.
  • the pattern extraction module 122 may extract the combination pattern of the directions of the force by arranging and connecting the directions of the detected forces with respect to three or more points simultaneously contacted in a predetermined order.
  • the pattern extraction module 122 may extract the combination pattern by further considering position information on three or more points together with the direction of the force. That is, it may be achieved by arranging the directions of the force detected at the three or more points at each detected position, and connecting the directions of the force arranged in this order.
  • the control unit 120 of the apparatus 100 in step S250 according to the combination (combination pattern) of the direction of the detected force Run the preset user command.
  • the user command executed here is instructed to perform a predetermined operation on a specific object output on a screen or a user interface screen.
  • the user command may be rotated, moved, zoomed in on a specific object or screen, It may be one or more of zoom out, panning, and tilting.
  • the rotation, movement, zoom in, zoom out, panning, and tilting may be performed by combining the positions of the three or more contact points and the direction of the force applied to the three or more contact points.
  • the direction, angle, distance, and the like may be adjusted.
  • rotation, movement, zoom in, zoom out, panning, and tilting may be implemented in the 3D space.
  • the present invention may execute the user command by considering not only the combination pattern of the direction of the force, but also other information, for example, the strength of the force, the distance between the contact points, the contact time, and the like.
  • the direction of the force applied to each point through an action of performing a specific action without having to touch or move a touch gesture such as dragging or sliding is performed.
  • a touch gesture such as dragging or sliding
  • the detection of the direction of the force applied to the contact point may be performed in various ways.
  • the touch input unit 110 included in the apparatus 100 may detect the direction of the force through a sensor capable of detecting the direction of the force applied to the contact point according to the touch operation. If not, the present invention may determine the direction of the force by using the information detectable by the touch input unit 110.
  • FIG. 4 is a flowchart illustrating a method of detecting a direction of a force applied to a contact point by using only the strength of the force detected by the touch input unit 110 according to the present invention.
  • the following procedure can be applied in the present invention to detect the direction of force for each of two or more points in simultaneous contact.
  • the control unit 120 of the apparatus 100 detects a direction of a force applied to a point where a contact is detected in step S130 or step S230, as in step S310.
  • the step S310 may be performed by setting a range of a preset area as a contact area based on the point, or may be configured by connecting one or more detection points that are detected in contact with each other and the actual contact is detected within the touch area.
  • the touch area generally includes a plurality of sensing points arranged at regular intervals, and the touch sensitivity may vary according to the number of sensing points or the interval or unit area of the sensing points.
  • the touch area when a touch area is touched by a contact means such as a user's finger or a touch pen, the touch area may be disposed at an interval smaller than the size of the finger or the touch pen to detect the touch at a plurality of sensing points.
  • an area in which a plurality of detection points that detect a touch by a user's finger or a contact means in a touch area or a region of a predetermined area based on the plurality of detection points may be set as a contact area.
  • the control unit 120 of the apparatus 100 detects the strength of the force at a plurality of detection points included in the contact area in step S320.
  • the strength of the force can be expressed as the magnitude of the pressure.
  • the control unit 120 of the apparatus 100 determines the direction of the force according to the intensity distribution of the force detected at the plurality of detection points included in the contact area. More specifically, determining the direction of the force in accordance with the intensity distribution of the force detects the applied direction of the greater intensity of force on the contact area in the direction of the force, for example, with reference to the center of the contact area. As a result, the direction of the sensing point at which the greatest force intensity is detected may be determined as the direction of the force.
  • the direction of the force may be expressed in one of the front and rear and / or left and right, east and west and / or north and south, or may be represented by an angle relative to the reference axis.
  • the direction of the force may be a direction in a three-dimensional space including a two-dimensional plane relative to the touch area or a direction perpendicular to the touch area downward.
  • the above-described method of providing a user interface using the multi-point touch of the present invention may be implemented in a software form readable by various computer means and recorded on a computer-readable recording medium.
  • the recording medium may include a program command, a data file, a data structure, etc. alone or in combination.
  • Program instructions recorded on the recording medium may be those specially designed and constructed for the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • the recording medium may be magnetic media such as hard disks, floppy disks and magnetic tapes, optical disks such as Compact Disk Read Only Memory (CD-ROM), digital video disks (DVD), Magnetic-Optical Media, such as floppy disks, and hardware devices specially configured to store and execute program instructions, such as ROM, random access memory (RAM), flash memory, and the like. do.
  • program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the above-described user interface providing method may be implemented by a program, stored in the storage unit 130 of the apparatus 100, and then executed by the controller 120.
  • the user interface providing method using the multi-point touch according to the present invention described above may be more easily understood by referring to the exemplary views of FIGS. 5 to 14.
  • reference numeral 40 denotes a device for providing a user interface using two-point touch according to the present invention, and indicates a portable terminal device including a touch screen such as a smart phone.
  • 41 shows a user interface screen provided in the portable terminal device 40.
  • the user interface screen 41 is implemented by the output unit 140, and the object 42 to be manipulated by the user, that is, the object 42 to be executed by the user command and the touch for operating the object 42. Region 43.
  • the touch area 43 may be set for the entire area of the user interface screen 41 or may be set for some areas of the user interface screen 41.
  • the portable terminal device 40 detects this, and a pair is applied by the user to the two points.
  • Direction of force Is detected at a preset sampling interval.
  • the direction of the force may be detected through a predetermined sensor provided in the touch input unit 110 or may be detected through the touch event processing module 121 of the controller 120.
  • the touch event processing module 121 may use only the sensing information (for example, the strength of the force) detected by the touch input unit 110 to indicate the direction of the force. Can be determined.
  • FIG. 6 is a schematic diagram illustrating a combination of a direction of a pair of forces for two points detected in the touch area 43. That is, when the two regions of the touch area 43 of FIG. 5 are in contact with each other without a positional movement, as shown in FIG. , ) Can be detected.
  • the zoom-in may be performed to enlarge the object 42.
  • the magnification may be determined according to the distance, contact time, strength of the two points contacted in the touch area.
  • FIG. 8 is a schematic diagram illustrating a process of detecting a direction of a force by using the strength of the force detected at two points in the first embodiment of the present invention.
  • two contact areas 44a having a predetermined area based on a point where the surface of the touch area 43 and the user's finger contact each other. 44b) is set or extracted.
  • the contact areas 44a and 44b may be set to a range of a predetermined area based on specific coordinates (for example, center coordinates) of the two points, or at a plurality of detection point zooms included in the touch area 33. It can be set by connecting a plurality of adjacent detection points that detect user contact.
  • the strength of the force can be detected more at the point of detection of the direction in which the user applies the force in the contact areas 44a and 55b.
  • the contact areas 44a and 44b are arranged from the center points of the contact areas 44a and 44b to the direction of the detection point having the greatest strength of force among the plurality of detection points.
  • Direction of force exerted on the , ) Is detected.
  • FIG. 9 is a table illustrating a combination of a direction of a pair of forces applied to two points and a user command mapped in the first embodiment of the present invention.
  • the combination of the direction of the force may be displayed as shown in FIG. 8 based on the line segment connecting the two points.
  • the user command corresponding thereto may be set to rotate, move, pan, tilt, zoom in, zoom out, and the like with respect to a screen or a specific object output to the screen.
  • the controller 120 may determine the two points. Detects the direction of the two forces inwardly, and accordingly performs a zoom out on the screen or a specific object displayed on the screen.
  • the controller 120 detects the direction of two forces directed toward the outside of the two points. Therefore, the screen zooms in on the screen or a specific object displayed on the screen.
  • the control unit 120 controls the directions of two forces perpendicular to the line segments connected to the two points and directed in opposite directions. It detects and accordingly can perform one of the rotation / panning / tilting on the screen or a specific object displayed on the screen.
  • the rotation / panning / tilting direction may be determined based on the direction of one of two points.
  • a table for setting a user command as shown in FIG. 9 may be referred to by the controller 120 in a state stored in the storage 130.
  • FIG. 10 is an exemplary view of a user interface screen according to a second embodiment of the present invention. It is assumed here as a multi-point touch for three points.
  • reference numeral 50 denotes a device for providing a user interface using a multi-point touch according to the present invention, and indicates a portable terminal device including a touch screen such as a smart phone.
  • 51 represents a user interface screen provided in the portable terminal device 50.
  • the user interface screen 51 includes an object 52 to be manipulated by the user, that is, an object 52 to be executed by the user command and a touch area 53 for manipulating the object 52.
  • the touch area 53 may be set as an entire area or a partial area of the user interface screen 51, or may be formed independently of the user interface screen 51. In addition, the touch area 53 may be set as an area mapped to the object 52 that is a target of executing a user command. In the latter case, by touching the object 52, selection of the user command to be executed and execution of the user command according to the direction of the force may be simultaneously performed.
  • the portable terminal device 50 detects this, and the position of the three points and the direction of the force applied by the user with respect to the three points.
  • Reference numerals 54a, 54b, and 54c denote contact areas set or detected at three points where the finger is in contact.
  • the direction of the force applied to the three points is detected by a predetermined sensor provided in the touch input unit 110 or based on the intensity distribution of the force of the contact areas 54a, 54b, 54c in contact with the user's finger. Can be detected.
  • the portable terminal device 40 detects the detected information detected by the touch input unit 110 through the touch event processing module 121 according to the present invention. Force strength) to determine the direction of the force.
  • FIG. 11 is a schematic diagram illustrating a process of detecting a force direction and a combination pattern according to a second embodiment of the present invention.
  • the contact areas 54a, 54b, 54c having the respective values are set or extracted.
  • the contact areas 54a, 54b, and 54c may be set to a range of a predetermined area based on a specific coordinate (for example, a center coordinate) of each point, or zoom in a plurality of detection points included in the touch area 53. In this case, a plurality of adjacent detection points that detect a user's touch can be connected and set.
  • the strength of the force detected at the plurality of sensing points of the contact areas 54a, 54b, and 54c is checked.
  • the strength of the force detected at the multiple sensing points of the contact areas 54a, 54b, 54c varies depending on the direction in which the user exerts a force. In particular, the strength of the force is detected at the sensing point in the direction in which the user applies the force. Can be.
  • the portable terminal device 50 according to the present invention, the strength of the force among the plurality of sensing points from the center point of the contact area (54a, 54b, 54c) The direction of the force applied to the contact areas 54a, 54b, 54c (the direction of the large sensing point) , , ) Is detected.
  • the direction of the force detected in (c) of FIG. , , ) Can be connected in a predetermined order to derive a combination pattern of rotation in the counterclockwise direction as shown in FIG.
  • the object 42 may be rotated counterclockwise according to the combination pattern.
  • mapping table 12 is a mapping table illustrating a combination pattern of directions of forces and a user command corresponding thereto in the method of providing a user interface according to the second embodiment of the present invention.
  • a combination pattern as shown in 1 of FIG. 12 may be detected. Rotation in the direction "may be performed. In this case, the rotation angle may be adjusted based on information such as the strength of the force detected at the three points, the contact time, the distance of the three points, and the position.
  • a combination pattern as shown by 2 of FIG. 12 may be detected, and the "rotate to the right direction" may be executed by the user command.
  • a combination pattern such as 3 or 4 of FIG.
  • FIG. 13 and 14 illustrate another embodiment in a method for providing a user interface according to a second exemplary embodiment of the present invention.
  • a user contacts the contact areas 53a, 53b, and 53c.
  • a combination pattern as shown in 3 of FIG. 12 is detected.
  • the operation of pushing the object 52 displayed on the screen to the upper part of the screen is performed.
  • FIG. 14 when the user pulls in the downward direction of the screen while the user is in contact with the contact areas 53a, 53b, and 53c, a combination pattern such as 4 of FIG. 12 is detected.
  • an operation of moving the object 42 displayed on the screen to the bottom of the screen may be executed.
  • a combination pattern in two-dimensional and three-dimensional spaces can be derived according to a method of combining three or more positional information and directions of forces. By using this, not only two-dimensional manipulation but also three-dimensional manipulation can be enabled.
  • the computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
  • a method for providing a user interface using a multi-point touch and an apparatus therefor when detecting a contact to two or more points of the touch area, the contact of the point is fixed to the force applied to the point
  • the direction and executing the user command according to the detected direction of the force by adjusting only the direction of the force applied to the contact point, without drawing a movement or complicated pattern while the user touches a specific point, There is an excellent effect to run.
  • the present invention can be operated by adjusting only the direction of the force after the simultaneous contact with respect to two or more points, so that the user can easily operate a portable device such as a smart phone with one hand, as a result, the user's convenience Can improve.
  • the present invention makes it possible to more effectively manipulate rotation, tilting, panning, zooming in, zooming out, and the like by executing a user command according to a change pattern of the direction of force applied to a fixed contact point.
  • the rotation of the object may be manipulated by changing the direction of the force in the direction to be rotated by taking a motion to rotate in the direction to be rotated with respect to the fixed contact point.
  • the present invention enables a finer and faster operation and response by using the moving distance or the position in performing the user interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 터치 영역의 둘 이상의 다른 지점에 대하여 가해지는 힘의 방향을 변화시킴으로써 다양한 사용자 명령을 즉각적으로 실행할 수 있는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치에 관한 것으로서, 터치 영역의 서로 다른 둘 이상의 지점에 대한 접촉을 감지하고, 둘 이상의 지점에 대한 접촉을 감지하면, 상기 둘 이상의 지점에 대한 접촉이 유지된 상태에서 상기 둘 이상의 지점에 대하여 가해지는 힘의 방향을 검출한 후, 상기 지점들에서 검출된 힘의 방향의 조합에 따라서, 기 설정된 사용자 명령을 실행하도록 구현된다.

Description

멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
본 발명은 터치 방식의 사용자 인터페이스에 관한 것으로서, 더욱 상세하게는 사용자가 드래그(drag), 태핑(tapping), 슬라이딩(sliding). 핀칭(pinching)과 같은 복잡한 터치 제스처를 수행하거나 소정의 패턴을 그릴 필요 없이 둘 이상의 지점에 대한 한번의 터치 동작으로 다양한 사용자 명령을 실행할 수 있는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치에 관한 것이다.
오늘날 컴퓨터 시스템을 조작하기 위해, 다수의 버튼 또는 키를 포함하는 키패드, 마우스, 트랙볼, 터치 패드, 조이 스틱, 터치 스크린 등과 같은 여러 종류의 입력 장치가 존재한다. 이러한 입력 장치는, 사용자가 원하는 문자, 기호, 그림 등의 데이터를 컴퓨터 시스템에 입력하거나, 컴퓨터 시스템에 특정 명령을 요청하는 신호를 입력하기 위하여 이용된다.
그리고 이러한 다양한 입력 장치 중에서, 최근에는 입력 수단과 출력 기능을 동시에 구현함으로써 사용자 장치의 소형화 및 단순화를 도모할 수 있는 터치 스크린과 같은 터치 입력 수단이 보편적으로 사용되고 있다.
터치 입력 수단은, 사용자의 신체 일부 또는 터치 펜과 같은 접촉 수단에 의한 터치 영역의 접촉을 감지할 수 있는 장치로서, 터치를 감지하는 방식에 따라서 감압식, 정전식, 광학식, 초음파 방식 등으로 구분할 수 있다. 여기서, 감압식은 터치에 의해 접촉 지점에 가해지는 압력을 인식하여 터치를 감지하는 방식이며, 정전식은 사용자의 신체 일부의 접촉에 따른 접촉 지점에서의 전하의 변화를 통해 터치를 감지하는 방식이며, 광학식은 적외선 카메라와 적외선 조명을 이용하여 터치 위치를 검출하는 방식이다.
이러한 터치 입력 수단을 이용한 초기의 사용자 인터페이스 제공 방법은, 화면 상에서 다수의 버튼 등과 같은 조작 수단을 표시하고, 접촉이 감지된 위치를 기준으로 해당 기능을 수행하는 형태로 이루어졌으나, 최근에는 사용자 편의성 및 운용성의 향상을 위하여, 접촉 시작 위치, 접촉 시작 시간, 접촉 종료 시간, 접촉 종료 위치 등의 다양한 정보를 조합하여, 드래그(drag), 태핑(tapping), 슬라이딩(sliding). 핀칭(pinching)과 같은 사용자 터치 제스처를 인식하고, 터치 제스처에 따라서 다양한 사용자 명령을 실행하도록 하는 실행하는 방법도 함께 사용되고 있으며, 이외에 터치 영역 내에서 다수의 터치 포인트를 인식하고, 감지되는 터치 포인트의 갯수, 위치 및 조합, 간격 변화 등을 통해서 사용자 명령을 실행토록 하는 방법도 이용되고 있다.
그런데, 이러한 종래의 터치를 이용한 사용자 인터페이스 방법은, 사용자가 복잡한 터치 제스처를 취하거나 여러 지점을 터치하여 복잡한 패턴을 그려야 하기 때문에, 복잡한 패턴이나 제스처를 인지하고 각 명령 별로 해당 패턴이나 제스처를 취하는데 따른 사용자 불편이 존재하였다.
또한, 종래의 터치를 이용한 사용자 인터페이스 방법은, 터치 제스처 또는 터치 패턴을 취하고, 이를 인식하는데 소정의 시간이 소요되기 때문에, 즉각적인 반응을 제공하는 데는 한계가 있었다.
본 발명은 상술한 종래의 문제점을 해결하기 위하여 제안된 것으로서, 사용자가 드래그(drag), 태핑(tapping), 슬라이딩(sliding). 핀칭(pinching)과 같은 복잡한 터치 제스처를 수행하거나 소정의 패턴을 그릴 필요 없이 둘 이상의 지점에 대한 한번의 터치 동작으로 다양한 사용자 명령을 실행할 수 있는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치를 제공하고자 한다.
특히, 본 발명은 터치 영역의 둘 이상의 다른 지점에 대하여 가해지는 힘의 방향을 변화시킴으로써 다양한 사용자 명령을 즉각적으로 실행할 수 있는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치를 제공하고자 한다.
상술한 과제의 해결 수단으로서, 본 발명은 접촉 감지가 가능한 터치 영역을 포함하는 장치가, 터치 영역의 서로 다른 둘 이상의 지점에 대한 접촉을 감지하는 단계; 둘 이상의 지점에 대한 접촉을 감지하면, 상기 둘 이상의 지점에 대한 접촉이 유지된 상태에서 상기 둘 이상의 지점에 대하여 가해지는 힘의 방향을 검출하는 단계; 상기 지점들에서 검출된 힘의 방향의 조합에 따라서, 기 설정된 사용자 명령을 실행하는 단계를 포함하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법을 제공한다.
여기서, 상기 힘의 방향을 검출하는 단계는, 상기 접촉을 감지한 지점에 대하여, 일정 면적을 갖는 접촉 영역을 각각 추출하는 단계; 상기 접촉 영역 내의 다수 감지점에서 힘의 세기를 검출하는 단계; 및 검출된 다수 감지점에서의 힘의 세기 분포에 근거하여, 상기 지점에 대하여 가해지는 힘의 방향을 결정하는 단계를 포함할 수 있다.
아울러, 상기 힘의 방향을 검출하는 단계는, 상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정할 수 있다.
더하여, 상기 사용자 명령을 실행하는 단계는, 상기 지점들을 연결한 선분을 기준으로 일정 오차 범위내에서 평행하게 발생하는 힘의 방향의 조합에 따라서 상기 사용자 명령을 실행할 수 있다.
또한, 상기 사용자 명령을 실행하는 단계는, 상기 지점들을 연결한 선분에 대하여 소정의 각도를 갖는 두 힘의 방향의 조합에 따라서 상기 사용자 명령을 실행할 수 있다.
또한, 상기 사용자 명령을 실행하는 단계는, 상기 지점들에서 검출된 힘의 방향을 일정 순서로 연결하여 나타낸 힘의 조합 패턴에 따라서 상기 사용자 명령을 실행할 수 있다.
아울러, 상기 사용자 명령을 실행하는 단계는, 특정 객체 또는 화면에 대한 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting) 중 하나 이상을 수행할 수 있다.
더하여, 본 발명은 상기 지점들에 대한 접촉 시간, 힘의 세기, 지점의 거리 중 하나 이상을 검출하는 단계를 더 포함하고, 상기 사용자 명령을 실행하는 단계는, 상기 힘의 방향의 조합에, 상기 접촉 시간, 힘의 세기, 지점 간의 거리 중 하나 이상을 더 고려하여, 사용자 명령을 실행하도록 할 수 있다.
또한, 본 발명은 상술한 과제의 다른 해결 수단으로서, 접촉 감지가 가능한 터치 영역을 포함하고, 상기 터치 영역에 대한 접촉 여부, 접촉 위치, 접촉 시의 힘의 세기 및 힘의 방향 중에서 하나 이상을 감지하는 터치 입력부; 및 상기 터치 입력부를 통하여, 상기 터치 영역의 둘 이상의 지점에 대한 접촉이 감지되면, 상기 둘 이상의 지점에 대하여 접촉이 고정된 상태에서 상기 둘 이상의 지점에 각각 가해지는 힘의 방향을 확인하고, 확인된 힘의 방향의 조합에 따라서 기 설정된 사용자 명령을 실행하는 제어부를 포함하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치를 제공한다.
상기 제어부는, 상기 접촉을 감지한 지점에 대하여 일정 면적을 갖는 접촉 영역을 설정하고, 상기 접촉 영역 내에 존재하는 다수 감지점의 힘의 세기를 비교하여, 상기 지점에 대하여 가해지는 힘의 방향을 결정하는 터치 이벤트 처리 모듈을 포함할 수 있다.
상기 터치 이벤트 처리 모듈은, 상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정할 수 있다.
또한, 상기 제어부는 상기 둘 이상의 서로 다른 지점에서 검출된 힘의 방향을 기 설정된 순서로 연결하여, 힘의 조합 패턴을 확인하는 패턴 추출 모듈을 포함하고, 상기 확인된 힘의 조합 패턴에 따라서 상기 사용자 명령을 실행할 수 있다.
더하여, 상기 제어부는, 상기 둘 이상의 지점에 대한 접촉 시간, 힘의 세기, 지점 간의 거리 중 하나 이상을 더 검출하고, 상기 힘의 방향의 조합에, 상기 접촉 시간, 힘의 세기, 지점간의 거리 중 하나 이상을 더 고려하여, 상기 사용자 명령을 실행할 수 있다.
본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치는, 터치 영역의 둘 이상의 지점에 대한 접촉을 감지하면, 상기 지점들에 대해 고정 접촉된 상태에서 상기 지점들에 대하여 가해지는 힘의 방향을 각각 검출하고, 검출된 힘의 방향의 조합에 따라서 사용자 명령을 실행함으로써, 사용자가 특정 지점을 터치 한 상태에서 이동이나 복잡한 패턴을 그리지 않고, 단지 접촉 지점에 가하는 힘의 방향만을 조절함으로써, 다양한 사용자 명령을 실행할 수 있는 우수한 효과가 있다.
특히, 본 발명은 사용자가 터치 영역의 서로 다른 두 지점을 접촉한 상태에서 오므리거나 벌리는 동작을 취함으로써 두 지점에 가해지는 힘의 방향에 대응하여, 실제 접촉 위치를 이동하거나 터치 제스처를 취하지 않고도 화면 또는 화면에 표시된 특정 객체의 줌인 또는 줌아웃을 조절할 수 있다.
또한, 본 발명은 사용자가 터치 영역의 서로 다른 두 지점을 접촉한 상태에서, 두 지점을 연결한 선분에 소정 각도를 갖는 방향(예를 들어, 직각 방향)으로 두 지점에 가해지는 힘의 방향을 조절함에 대응하여, 실제 접촉 위치를 이동하거나 터치 제스처를 취하지 않고도 화면 또는 화면에 표시된 특정 객체의 회전/틸팅/패닝을 조절할 수 있다.
아울러, 본 발명은 고정 접촉된 셋 이상의 지점들에 가해지는 힘의 방향의 조합에 따라서 사용자 명령을 실행함으로써, 회전, 틸팅, 패닝, 줌인, 줌 아웃을 포함하는 다양한 사용자 명령을 효과적으로 실행할 수 있게 한다.
아울러, 본 발명은 사용자 인터페이스를 수행하는데 있어서, 터치 제스처나 터치 패턴을 인식하는데 소요되는 시간을 줄일 수 있으므로, 좀더 미세하고 빠른 조작 및 응답을 가능하게 한다.
도 1은 본 발명의 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치를 나타낸 블록도이다.
도 2는 본 발명의 제1 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법을 나타낸 순서도이다.
도 3은 본 발명의 제2 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법을 나타낸 순서도이다.
도 4는 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법에 있어서, 힘의 방향을 검출하는 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 제1 실시 예에 따른 투 포인트 터치를 이용한 사용자 인터페이스 화면의 예시도이다.
도 6은 본 발명의 제1 실시 예에 따른 두 접촉 지점에서 검출되는 힘의 방향의 조합을 예시도 모식도이다.
도 7은 본 발명의 제1 실시 예에 따른 투 포인트 터치를 이용한 사용자 인터페이스 화면에 있어서, 줌인 동작 예를 나타낸 도면이다.
도 8은 본 발명의 제1 일 실시 예에 있어서, 두 접촉 지점에 대한 힘의 방향을 검출하는 과정을 나타낸 예시도이다.
도 9는 본 발명의 제1 실시 예에 있어서, 한 쌍의 힘의 방향의 조합 및 사용자 명령의 일 예를 나타낸 테이블이다.
도 10은 본 발명의 제2 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 화면의 예시도이다.
도 11은 본 발명의 제2 실시 예에 따른 복수의 접촉 지점에 대한 힘의 방향의 조합을 검출하는 과정을 설명하기 위한 모식도이다.
도 12는 본 발명의 제2 일 실시 예에 따른 힘의 방향의 조합 패턴 및 사용자 명령을 예시한 매핑 테이블이다.
도 13 및 도 14는 본 발명의 제2 실시 예에 따른 힘의 방향의 조합 패턴 별 사용자 명령 실행 상태를 나타낸 예시도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법은, 사용자의 신체 일부(예를 들어, 손가락) 또는 터치 펜과 같은 접촉 수단에 의해 접촉을 감지할 수 있는 터치 영역을 포함하는 장치에 의하여 구현될 수 있다. 상기 장치는, 터치 감지 및 화면 출력이 동시에 이루어질 수 있는 터치 스크린 또는 터치 동작을 감지할 수 있는 터치 패드과 같은 터치 입력 수단을 포함하는 장치라면 어떠한 장치라도 적용될 수 있다. 예를 들어, 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 제공하는 장치는, 터치 스크린 혹은 터치 패드를 구비한 스마트 폰, 휴대폰, 태블릿 PC, 노트북 PC, 데스크 탑 PC, PDA(Personal Digital Assistant)등이 될 수 있다.
도 1은 이와 같이 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 제공하는 장치의 구성을 나타낸 블록도이다. 여기서, 상기 장치의 구성 요소로는, 본 발명에 따른 사용자 인터페이스 제공과 관련된 구성만을 개시하였으나, 상기 장치는 기능에 따라서 다양한 다른 구성을 더 포함할 수 있다. 아울러 이하에서 설명하는 구성은, 단순히 설명의 편의를 위하여 기능 단위로 나타내는 것으로서, 실제 구현 시, 하드웨어 또는 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있음을 이해하여야 할 것이다.
도 1을 참조하면, 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치(100)는, 터치 입력부(110)와, 제어부(120)와, 저장부(130)와, 출력부(140)를 포함하여 이루어질 수 있다.
상기 터치 입력부(110)는, 접촉 감지가 가능한 터치 영역을 포함하고, 상기 터치 영역에 대한 접촉 동작과 관련된 다양한 정보를 감지하는 구성이다. 특히, 상기 터치 입력부(110)는, 접촉 여부, 접촉 위치, 접촉 시의 힘의 세기 및 힘의 방향 중에서 하나 이상을 감지할 수 있다. 이러한 터치 입력부(110)는, 터치 패드 혹은 터치 스크린 중 하나로 구현될 수 있으며, 더하여, 감압식, 정전식, 광학식 및 초음파 방식 중 하나 이상의 방식으로 상기 접촉 동작과 관련된 다양한 정보를 감지하도록 구현될 수 있다. 특히, 본 발명에 따른 터치 입력부(110)는 터치 영역 상의 서로 다른 둘 이상의 지점에 대한 동시 접촉을 감지하여, 상기 지점들에 대한 접촉 위치, 두 지점에 가해지는 힘의 세기 및 힘의 방향 중에서 하나 이상을 각각 검출할 수 있다. 참고로, 본 발명에 있어서 동시 접촉은, 소정의 오차 범위 내에서 서로 다른 지점에서 접촉이 이루어지는 것을 의미한다. 즉, 상기 터치 입력부(110)는 터치 영역 상의 서로 다른 둘 이상의 지점에 대한 동시 접촉을 감지하고, 상기 둘 이상의 지점에 대한 위치, 접촉 시의 힘의 세기, 및 힘의 방향 중에서 하나 이상을 검출할 수 있다.
그리고, 상기 터치 입력부(110)에 의해 검출된 터치 영역의 둘 이상의 지점에 대한 접촉 여부, 접촉 위치, 접촉 시의 힘의 세기 및 힘의 방향 중 하나 이상에 대응하는 정보는 제어부(120)로 전달된다.
상기 제어부(120)는, 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 처리를 수행하는 장치로서, 터치 방식의 사용자 입력을 인식하여 사용자 입력에 대응하는 기능 또는 서비스를 수행하도록 제어할 수 있다. 특히, 본 발명에 있어서 제어부(120)는, 상기 터치 입력부(110)를 통하여 상기 터치 영역의 서로 다른 둘 이상의 지점에 대한 동시 접촉을 감지하면, 상기 지점들에 가해지는 힘의 방향의 조합에 따라서 기 설정된 사용자 명령을 실행하도록 제어한다. 구체적으로 설명하면, 상기 제어부(120)는 상기 터치 입력부(110)로부터 입력된 감지 정보에 근거하여, 일정 오차 범위에서 동시 접촉된 둘 이상의 지점에 가해진 힘의 방향의 조합을 확인하고, 상기 확인된 힘의 방향의 조합에 따라서 사용자 명령을 실행한다.
특히, 본 발명의 제1 실시 예에서는 투 포인트 터치 시에 두 지점에 나타나는 힘의 방향을 조합에 따라서 사용자 명령을 실행할 수 있다. 이때, 힘의 방향의 조합은, 예를 들어, 상기 두 지점을 연결한 선분에 평행한 두 힘의 방향의 조합 및 상기 두 지점을 연결한 선분에 소정 각도를 갖는 두 힘의 방향의 조합을 포함할 수 있다. 상기 두 지점을 연결한 선분에 평행한 두 힘의 방향의 조합은, 두 힘의 방향이 상기 두 지점의 안쪽을 향하는 경우와, 두 지점의 바깥 쪽으로 향하는 경우를 예로 들 수 있으며, 상기 두 경우는 각각 사용자가 두 지점에 접촉한 상태에서 위치 이동 없이 두 손가락을 오므리는 동작 혹은 벌리는 동작을 취함에 의해서 나타날 수 있다. 그리고, 상기 두 지점을 연결한 선분에 소정 각도를 갖는 두 힘의 방향의 조합은, 두 힘의 방향이 두 지점의 연결한 선분에 직각 방향으로 서로 반대 방향을 향하는 경우로서, 사용자가 두 지점에 접촉한 상태에서 위치 이동 없이 비트는 동작을 취함에 의하여 발생할 수 있다. 아울러, 이러한 두 지점에 가해지는 힘의 방향의 조합 별로 매핑되는 사용자 명령은 화면 또는 화면으로 출력된 특정 객체에 대한 회전, 이동, 패닝, 틸팅, 줌인, 줌 아웃 중 하나 이상을 포함할 수 있다.
이때, 제어부(120)는 한 쌍의 힘의 방향의 조합에 다른 정보, 예를 들어, 힘의 세기, 접촉시간, 두 접촉 지점의 거리 등을 더 고려하여 사용자 명령을 수행할 수 있으며, 이때, 다른 정보는 상기 사용자 명령의 정도(예를 들어, 회전 각도, 회전 속도, 이동 거리, 확대/축소 배율 등)를 조정하는데 이용될 수 있다. 이 경우, 더 다양한 사용자 명령을 실행할 수 있거나, 사용자 명령을 더 정밀하게 실행하게 있다.
뿐만 아니라, 본 발명의 제2 실시 예에서는 셋 이상의 지점에 나타나는 힘의 방향을 조합에 따라서 사용자 명령을 실행할 수 있다.
이 경우, 상기 제어부(120)는 상기 셋 이상의 지점에 가해지는 힘의 방향의 조합에 상기 동시 접촉된 셋 이상의 지점에 대한 위치 정보를 더 고려하여, 사용자 명령을 실행할 수 있다. 더하여, 상기 제어부(120)는 상기 셋 이상의 지점의 힘의 방향 또는 상기 셋 이상의 지점의 위치 및 힘의 방향을 결합하여, 힘의 조합 패턴을 추출할 수 있다. 이러한 힘의 조합 패턴은, 사용자가 셋 이상의 지점에 접촉하여 실행하려는 동작을 추출할 수 있는 정보로서, 구체적으로, 회전 동작, 오므리는 동작, 벌리는 동작중 어떠한 동작인지 및 그 정도(회전 각도, 줌인/줌아웃 비율 등) 중에서 하나 이상을 나타낼 수 있다. 특히, 본 발명은 사용자 명령을 실행하는데 있어서, 세 지점의 위치, 세 지점에서 검출된 힘의 방향을 조합함으로써, 3차원 기반의 동작 제어가 가능해진다.
아울어, 상술한 처리에 있어서 제어부(120)는, 상기 터치 입력부(110)가 힘의 방향을 검출할 수 없는 경우, 상기 터치 입력부(110)로부터 입력된 정보를 기준으로 힘의 방향을 결정하기 위한 터치 이벤트 처리 모듈(121)을 포함할 수 있다.
상기 터치 이벤트 처리 모듈(121)은, 상기 터치 영역 내의 접촉을 감지한 지점에 대하여 일정 면적을 갖는 접촉 영역을 설정하고, 상기 접촉 영역 내에 포함된 다수 감지점에서 검출된 힘의 세기를 비교하여, 상기 지점에 대하여 가해지는 힘의 방향을 결정한다. 특히, 본 발명에 있어서 터치 이벤트 처리 모듈(121)은 들 이상의 지점에 대하여 동시 접촉이 발생한 경우, 둘 이상의 지점에 대한 힘의 방향을 각각 검출하게 된다. 더 구체적으로 설명하면, 통상 터치 입력부(110)의 터치 영역은 일정 간격으로 배열되어 접촉 정보를 감지하는 다수의 감지점을 포함하는데, 상기 터치 이벤트 처리 모듈(121)은 상기 설정된 접촉 영역에 포함된 하나 이상의 감지점에서 검출된 힘의 세기 분포에 따라서 상기 접촉 영역에 대하여 가해지는 힘의 방향을 결정할 수 있는데, 예를 들어, 접촉 영역의 좌측에서 검출된 힘의 세기가 더 큰 경우, 힘의 방향을 좌측 방향으로 결정하고, 접촉 영역의 우측에서 검출된 힘의 세기가 더 큰 경우, 힘의 방향을 우측 방향으로 결정할 수 있다. 또한, 상기 터치 이벤트 처리 모듈(121)은 상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정할 수 있다.
더하여, 상기 제어부(120)는 동시 접촉된 둘 이상의 지점에 가해지는 힘의 방향의 조합 패턴을 추출하기 위하여 패턴 추출 모듈(122)을 더 포함할 수 있다.
상기 패턴 추출 모듈(122)은 상기 터치 이벤트 처리 모듈(121)을 통해 검출된 둘 이상의 지점에 대한 힘의 방향을 일정 순서로 배열하여 힘의 조합 패턴을 추출할 수 있으며, 이때, 접촉 시간, 위치 중에서 하나 이상을 더 고려하여 힘의 방향의 조합 패턴을 추출할 수 있다.
저장부(130)는 상기 장치(100)의 동작을 위한 프로그램 및 데이터를 저장하기 위한 구성으로서, 특히, 상기 제어부(120)에 의해 실행되는 터치 이벤트 처리를 위한 프로그램 및 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 실행하도록 구현된 프로그램을 저장할 수 있으며, 아울러, 둘 이상의 접촉 지점에 가해지는 힘의 방향의 조합과 해당 조합에 대응하는 사용자 명령을 매핑한 설정 테이블을 더 저장할 수 있다.
상기 제어부(120)는 상기 저장부(130)에 저장된 프로그램 및 데이터를 기반으로 실행하여 본 발명에 따른 사용자 인터페이스를 제공할 수 있다.
마지막으로, 출력부(140)는 상기 제어부(120)의 제어에 따라서 사용자 인터페이스 화면을 출력하는 구성으로서, 예를 들어, 액정 표시 장치(Liquid Crystal Display), OLED(Organic Light Emitted Diode) 등의 다양한 종류의 표시 패널로 형성될 수 있으며, 또한, 제조 형태에 따라 표시 패널과 터치 패널을 포함하는 구조, 예를 들면, 터치스크린(touch screen)으로 구현될 수 있다. 터치스크린 형태로 표시 장치가 형성된 경우, 상기 출력부(140)와 터치 입력부(110)는 일체로 구현될 수 있다.
이와 같이 구성된 본 발명에 따른 사용자 인터페이스 제공을 위한 장치(100)의 동작은 제1 실시 예와 제2 실시 예를 구분하여 설명하기로 한다.
도 2는 본 발명의 제1 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법을 나타낸 순서도이다. 제1 실시 예는, 두 지점을 동시에 접촉하는 투 포인트 터치 방식이다.
도 2를 참조하면, 본 발명의 제1 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치(100)는, S110 단계에서, 감지 가능한 한 쌍의 힘의 방향 조합 별로 서로 다른 소정의 기능을 수행하도록 지시하는 사용자 명령을 매핑하여 설정할 수 있다. 이를 위하여, 장치(100)에서 검출할 수 있는 한 쌍의 힘의 방향의 조합들을 기 설정하고, 상기 한 쌍의 힘의 방향의 조합 별로 대응시킬 사용자 명령을 선택하여 설정할 수 있다. 상기 S110 단계는, 사용자 선택에 따라서 이루어질 수 도 있고, 사용자 선택과 관계없이 제조 또는 판매 단계에서 상기 장치(100)에 디폴트 동작으로 기 설정될 수 있다. 즉, 상기 장치에, 힘의 방향의 변화 패턴에 따른 사용자 명령이 기 설정되어 있는 경우, 상기 S110 단계는 생략될 수 있다.
이어서 S120 단계에서, 상기 장치(100)는, 터치 입력부(110)를 통하여 터치 영역의 서로 다른 두 지점에 대한 동시 접촉을 감지할 수 있다. 상기 동시 접촉은 소정의 오차 범위 내에서 두 지점에서 접촉이 발생하는 것을 의미한다. 여기서, 터치 영역의 두 지점에 대한 접촉 감지는, 감압식, 정전식, 광학식 및 초음파 방식 중 하나의 방식을 통해 이루어질 수 있다. 또한, 상기 S120 단계는, 제어부(120)가 감압식, 정전식, 광학식 및 초음파 방식 중 하나의 방식을 통하여 접촉을 감지하는 터치 스크린 또는 터치 패드 등으로 구현되는 터치 입력부(110)를 통해서 터치 감지를 확인하는 과정으로 이해될 수 있다. 여기서, 접촉이 이루어지는 지점은, 터치 입력부(110)에서 제공하는 터치 영역 내에서 사용자가 조작하고자 하는 객체 또는 화면이 표시된 영역, 또는 터치 영역 중 힘의 방향에 따른 사용자 조작을 위한 영역으로 기 설정된 영역의 한 지점이 될 수 있다.
이와 같이, 터치 영역의 두 지점에 대한 접촉이 감지되면, 본 발명에 의한 장치(100)의 제어부(120)는, S130 단계에서, 상기 터치 영역의 두 지점에 접촉된 상태에서 각 지점에 대하여 가해지는 힘의 방향을 검출한다. 여기서, 힘의 방향은, 상기 터치 영역의 특정 지점이 접촉됨에 따라서, 해당 지점의 터치 면에 가해지는 힘의 방향을 의미하는 것으로서, 드래그, 슬라이딩 등과 같은 터치 제스처에서와 같이 접촉 지점이 바뀌는 터치 방향과는 다른 것이다. 통상적으로, 터치 방향은, 최초 접촉 위치에서 일정 시간후의 접촉 위치 또는 최종 접촉 위치로의 방향을 의미하는 것으로서, 시간 변화에 따른 감지되는 접촉 위치가 달라진다. 반면에, S130 단계에서 감지하는 힘의 방향은, 터치가 발생한 접촉 지점의 위치값은 변화되지 않고, 상기 위치를 기준으로 힘이 가해지는 방향이 달라진다. 이러한 힘의 방향은, 접촉이 발생한 지점을 중심으로 방사형으로 뻗어나가는 형태로 표현될 수 있으며, 기 설정된 기준 축을 기준으로 한 0~360도 범위의 각도 또는 동서 및/또는 남북 또는 전후 및/또는 좌우로 표현될 수 있다. 아울러, 상기 S130 단계에서 힘의 방향의 검출은 해당 지점에 대하여 고정 접촉된 동안, 기 설정된 샘플링 간격으로 반복하여 이루어질 수 있다.
이렇게 접촉이 발생한 두 지점에 가해지는 힘의 방향을 각각 검출하면, S140 단계에서, 본 발명에 따른 장치(100)의 제어부(120)는 상기 검출된 두 힘의 방향의 조합에 따라서 기 설정된 사용자 명령을 실행한다. 여기서 실행되는 사용자 명령은, 화면 또는 사용자 인터페이스 화면 상에 출력된 특정 객체에 대하여 이루어지는 소정 동작을 수행하도록 지시하는 것으로서, 예를 들어, 특정 객체 또는 화면에 대한 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting) 중 하나 이상이 될 수 있다.
상술한 바에 따르면, 사용자는 터치 영역의 서로 다른 두 지점을 동시에 접촉한 상태에서, 드래그나 슬라이딩 등 터치 제스처를 취할 필요 없이 또한 접촉 위치의 변경이나 이동없이 해당 두 지점에 가해지는 힘의 방향만을 변화시킴으로써, 다양한 사용자 명령을 실행할 수 있게 된다.
또한, 앞서 설명한 바와 같이, 상기 한 쌍의 힘의 방향의 조합에 다른 정보, 예를 들어, 힘의 세기, 접촉시간, 두 접촉 지점의 거리 등을 더 고려하여 사용자 명령을 수행할 수 있으며, 이때, 다른 정보는 상기 사용자 명령의 정도(예를 들어, 회전 각도, 회전 속도, 이동 거리, 확대/축소 배율 등)를 조정하는데 이용될 수 있다. 이 경우, 더 다양한 사용자 명령을 실행할 수 있거나, 사용자 명령을 더 정밀하게 실행하게 있다.
다음으로, 도 3은 본 발명의 제2 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법을 나타낸 순서도이다. 제2 실시 예는 셋 이상의 지점을 동시 접촉하는 방식으로 이루어진다.
도 3을 참조하면, 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치(100)는, S210 단계에서, 감지 가능한 셋 이상의 힘의 방향에 대한 조합 패턴을 설정하고, 각 조합 패턴 별로 서로 다른 소정의 기능을 수행하도록 지시하는 사용자 명령을 매핑하여 설정할 수 있다. 상기 S210 단계는, 사용자 선택에 따라서 이루어질 수 도 있고, 사용자 선택과 관계없이 제조 또는 판매 단계에서 상기 장치(100)에 디폴트 동작으로 기 설정될 수 있다. 즉, 상기 장치(100)에, 힘의 방향의 조합 패턴에 따른 사용자 명령이 기 설정되어 있는 경우, 상기 S210 단계는 생략될 수 있다.
이어서 S220 단계에서, 상기 장치(100)는, 터치 입력부(110)를 통하여 터치 영역의 셋 이상의 지점에 대한 동시 접촉을 감지한다. 여기서, 터치 영역의 접촉 감지는, 감압식, 정전식, 광학식 및 초음파 방식 중 하나의 방식을 통해 이루어질 수 있다. 또한, 상기 S220 단계는, 제어부(120)가 감압식, 정전식, 광학식 및 초음파 방식 중 하나의 방식을 통하여 접촉을 감지하는 터치 스크린 또는 터치 패드 등으로 구현되는 터치 입력부(110)를 통해서 터치 감지를 확인하는 과정으로 이해될 수 있다. 여기서, 접촉이 이루어지는 지점은, 터치 입력부(110)에서 제공하는 터치 영역 내에서 사용자가 조작하고자 하는 객체 또는 화면이 표시된 영역, 또는 터치 영역 중 힘의 방향에 따른 사용자 조작을 위한 영역으로 기 설정된 지점이 될 수 있다.
이와 같이, 터치 영역의 셋 이상의 지점에 대한 동시 접촉이 감지되면, 본 발명에 의한 장치(100)의 제어부(120)는, S230 단계에서, 상기 터치 영역의 셋 이상의 지점에 접촉된 상태에서 상기 지점들에 대하여 가해지는 힘의 방향을 각각 검출한다. 여기서, 힘의 방향은, 상기 터치 영역의 특정 지점에 대하여 접촉함에 따라서, 해당 지점의 터치 면에 가해지는 힘의 방향을 의미하는 것으로서, 드래그, 슬라이딩 등과 같은 터치 제스처에서와 같이 접촉 지점이 바뀌는 터치 방향과는 다른 것이다. 통상적으로, 터치 방향은, 최초 접촉 위치에서 일정 시간후의 접촉 위치 또는 최종 접촉 위치로의 방향을 의미하는 것으로서, 시간 변화에 따라 감지되는 접촉 위치가 달라진다. 반면에, S230 단계에서 감지하는 힘의 방향은, 터치가 발생한 접촉 지점의 위치값이 변화되지 않는다. 이러한 힘의 방향은, 접촉이 발생한 지점을 중심으로 방사형으로 뻗어나가는 형태로 표현될 수 있으며, 기 설정된 기준축을 기준으로 한 0~360도 범위의 각도값 또는 동서 및/또는 남북 또는 전후 및/또는 좌우로 표현될 수 있다. 아울러, 상기 S230 단계에서 힘의 방향의 검출은 상기 지점들에 대하여 고정 접촉된 동안, 기 설정된 샘플링 간격으로 반복하여 이루어질 수 있다.
이렇게 접촉이 발생한 지점들에 가해지는 힘의 방향을 검출하면, S240 단계에서, 본 발명에 따른 장치(100)의 제어부(120)는 상기 셋 이상의 지점에서 검출된 힘의 방향의 조합 패턴을 추출한다. 상기 S240 단계는 제어부(120)의 패턴 추출 모듈(122)에 의해 수행될 수 있다. 구체적으로 패턴 추출 모듈(122)은 동시 접촉된 셋 이상의 지점에 대하여 검출된 힘의 방향들을 기 설정된 순서로 배열하고 연결하여 상기 힘의 방향의 조합 패턴을 추출할 수 있다. 더하여, 상기 패턴 추출 모듈(122)은 힘의 방향과 함께 셋 이상의 지점에 대한 위치 정보를 더 고려하여 상기 조합 패턴을 추출할 수 있다. 즉, 상기 셋 이상의 지점에서 검출된 힘의 방향들을 각각의 검출된 위치에 배치하고, 이렇게 배치된 힘의 방향들을 일정 순서로 연결함에 의해 이루어질 수 있다.
이와 같이, 접촉 지점들에 가해지는 힘의 방향의 조합 패턴이 추출되면, S250 단계에서 본 발명에 의한 장치(100)의 제어부(120)는 상기 검출된 힘의 방향의 조합(조합 패턴)에 따라서 기 설정된 사용자 명령을 실행한다. 여기서 실행되는 사용자 명령은, 화면 또는 사용자 인터페이스 화면 상에 출력된 특정 객체에 대하여 이루어지는 소정 동작을 수행하도록 지시하는 것으로서, 예를 들어, 특정 객체 또는 화면에 대한 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting) 중 하나 이상이 될 수 있다. 이때, 상기 셋 이상의 접촉 지점의 위치, 셋 이상의 접촉 지점에 가해지는 힘의 방향을 조합하여, 상기 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting)에 대한 방향, 각도, 거리 등을 조정할 수 있으며, 이 경우, 3차원 공간에서는 회전, 이동, 줌인, 줌아웃, 패닝, 틸팅을 구현할 수 있다.
더하여, 본 발명은 힘의 방향의 조합 패턴뿐만 아니라, 다른 정보, 예를 들어, 힘의 세기, 접촉 지점간의 거리, 접촉 시간 등을 더 고려하여 사용자 명령을 실행할 수 있다.
상술한 바에 따르면, 사용자는 터치 영역에서 셋 이상의 지점을 접촉 한 상태에서, 드래그나 슬라이딩 등 터치 제스처를 취하거나 접촉 위치를 이동할 필요없이, 특정 동작을 취하는 행위를 통해 각 지점에 가해지는 힘의 방향을 변화시킴으로써, 다양한 사용자 명령을 실행할 수 있게 된다.
아울러, 상기 제1,2 실시 예에 따른 사용자 인터페이스 제공 방법의 S130 단계 및 S230단계에 있어서, 접촉 지점에 대하여 가해지는 힘의 방향의 검출은 다양한 방법으로 이루어질 수 있다. 예를 들어, 터치 동작에 따라서 접촉 지점에 가해지는 힘의 방향을 검출할 수 있는 센서를 통하여 감지할 수 도 있고, 상기 장치(100)에 구비된 터치 입력부(110)가 힘의 방향을 검출할 수 없는 경우, 본 발명은 터치 입력부(110)에서 감지 가능한 정보를 이용하여 힘의 방향을 결정할 수 있다.
도 4는 본 발명에 있어서, 터치 입력부(110)에서 검출된 힘의 세기만으로 접촉 지점에 가해지는 힘의 방향을 검출하는 방법을 나타낸 순서도이다. 이하의 과정은 본 발명에 있어서 동시 접촉된 둘 이상의 지점 각각에 대한 힘의 방향을 검출하기 위하여 적용될 수 있다.
도 4를 참조하면, 본 발명에 따른 장치(100)의 제어부(120)는, 상기 S130 단계 또는 S230단계에서 접촉이 감지된 지점에 대하여 가해지는 힘의 방향을 검출하는데 있어서, 우선 S310 단계와 같이, 상기 접촉이 감지된 지점에 대하여 일정 면적을 갖는 접촉 영역을 설정한다. 상기 S310 단계는, 상기 지점을 기준으로 기 설정된 면적의 범위를 접촉 영역으로 설정함에 이루어질 수도 있고, 터치 영역 내에서 실제 접촉이 감지되고 서로 인접한 하나 이상의 감지점을 연결하여 설정할 수도 있다. 이에 대하여 더 구체적으로 설명하면, 통상 터치 영역은 일정 간격으로 배치된 다수의 감지점을 포함하는데, 이러한 감지점의 수 혹은 감지점의 간격 또는 단위 면적에 따라서 터치 감도가 달라질 수 있다. 본 발명에서는, 사용자의 손가락 또는 터치 펜과 같은 접촉 수단에 의해 터치 영역을 접촉할 때, 다수의 감지점에서 상기 접촉을 감지할 수 있도록 상기 손가락 또는 터치 펜의 크기보다 작은 간격으로 배치할 수 있으며, 이 경우, 터치 영역에서 사용자의 손가락 또는 접촉 수단에 의한 접촉을 감지한 다수의 감지점을 연결한 영역 또는 상기 다수의 감지점을 기준으로 기 설정된 면적의 영역을 접촉 영역으로 설정할 수 있다.
이와 같이, 접촉 영역이 설정되면, 본 발명에 따른 장치(100)의 제어부(120)는, S320 단계에서 상기 접촉 영역에 포함된 다수의 감지점에서 힘의 세기를 검출한다. 여기서, 힘의 세기는 압력의 크기로 표현될 수 있다.
그리고, 본 발명에 따른 장치(100)의 제어부(120)는, S330 단계에서, 상기 접촉 영역에 포함된 다수의 감지점에서 검출된 힘의 세기 분포에 따라서 힘의 방향을 결정한다. 더 구체적으로, 힘의 세기 분포에 따라서 힘의 방향을 결정하는 것은, 상기 접촉 영역 상에서 더 큰 세기의 힘의 가해진 방향을 힘의 방향으로 검출하는 것으로서, 예를 들어, 상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정할 수 있다. 여기서, 힘의 방향은, 전후 및/또는 좌우, 동서 및/또는 남북 중에서 하나로 표현되거나, 기준축을 기준으로 한 각도로 표현될 수 있다. 또한, 상기 힘의 방향은, 상기 터치 영역을 기준으로 한 2차원 평면 또는 상기 터치 영역에 대하여 하부로 수직한 방향까지 포함하는 3차원 공간 상에서의 방향이 될 수 있다.
상술한 본 발명의 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
즉, 상술한 사용자 인터페이스 제공 방법은 프로그램으로 구현되어 상기 장치(100)의 저장부(130)에 저장된 후, 제어부(120)에 의해 실행될 수 있다.
이상에서 설명한 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법은, 도 5 내지 도 14의 예시도를 참조함으로써 더 쉽게 이해될 수 있다.
도 5는 본 발명의 제1 실시 예에 따른 사용자 인터페이스 화면의 예시도이다. 여기서, 부호 40은 본 발명에 따른 투 포인트 터치를 이용한 사용자 인터페이스를 제공하는 장치로서, 스마트 폰과 같은 터치 스크린을 포함하는 휴대형 단말 장치를 나타낸다. 그리고, 41은 상기 휴대형 단말 장치(40)에 구비된 사용자 인터페이스 화면을 나타낸다. 상기 사용자 인터페이스 화면(41)은 출력부(140)에 의해 구현되는 것으로서, 사용자가 조작하고자 하는 대상, 즉, 사용자 명령의 실행 대상이 되는 객체(42) 및 상기 객체(42)를 조작하기 위한 터치 영역(43)을 포함한다.
상기 터치 영역(43)은 상기 사용자 인터페이스 화면(41)의 전체 영역에 대하여 설정될 수도 있고, 상기 사용자 인터페이스 화면(41) 중 일부 영역에 대해서 설정될 수도 있다.
상기 상태에서, 사용자가 터치 영역(43)의 두 지점(44a, 44b)을 손가락으로 동시 접촉하면, 상기 휴대형 단말 장치(40)는 이를 감지하고, 상기 두 지점에 대하여 사용자에 의해 가해지는 한 쌍의 힘의 방향(
Figure PCTKR2013012137-appb-I000001
,
Figure PCTKR2013012137-appb-I000002
)을 기 설정된 샘플링 간격으로 검출한다. 상기 힘의 방향은 상기 터치 입력부(110)에 구비되는 소정의 센서를 통해 검출되거나, 제어부(120)의 터치 이벤트 처리 모듈(121)을 통해 검출될 수 있다.
특히, 터치 입력부(110)가 힘의 방향을 검출할 수 없는 경우, 상기 터치 이벤트 처리 모듈(121)은 터치 입력부(110)에서 검출한 감지 정보(예를 들어, 힘의 세기)만으로 힘의 방향을 결정할 수 있다.
도 6은 상기 터치 영역(43)에서 검출된 두 지점에 대한 한 쌍의 힘의 방향의 조합을 예시한 모식도이다. 즉, 도 5의 터치 영역(43)의 두 지점을 접촉한 상태에서 위치 이동 없이 벌리는 동작을 취하게 되면, 도 6과 같이, 두 지점의 바깥쪽 방향으로 두 힘의 방향(
Figure PCTKR2013012137-appb-I000003
,
Figure PCTKR2013012137-appb-I000004
)이 검출될 수 있다.
상술한 바와 같이, 두 힘의 방향의 조합(
Figure PCTKR2013012137-appb-I000005
,
Figure PCTKR2013012137-appb-I000006
)이 검출될 경우, 도 7에 도시된 바와 같이, 줌인이 수행되어 객체(42)가 확대될 수 있다. 여기서, 확대 배율이, 상기 터치 영역에서 접촉된 두 지점의 거리, 접촉 시간, 힘의 세기 등에 따라서 결정될 수 도 있다.
도 8은 본 발명의 제1 실시 예에 있어서, 두 지점에서 검출된 힘의 세기를 이용하여 힘의 방향을 검출하는 과정을 나타낸 모식도이다.
이를 참조하면, 상기 터치 영역(43)의 두 지점에 대한 사용자 접촉이 이루어지면, 상기 터치 영역(43)의 표면과 사용자의 손가락이 접촉한 지점을 기준으로 소정의 면적을 갖는 두 접촉 영역(44a, 44b)이 설정되거나 추출된다. 상기 접촉 영역(44a, 44b)은 상기 두 지점의 특정 좌표(예를 들어, 중심 좌표)를 기준으로 기 설정된 면적의 범위로 설정되거나, 상기 터치 영역(33)에 포함된 다수의 감지점 줌에서 사용자 접촉을 감지한 다수의 인접한 감지점을 연결하여 설정할 수 있다.
그리고, 상기 설정 또는 추출된 접촉 영역(44a, 44b)의 다수 감지점에서 검출된 힘의 세기(
Figure PCTKR2013012137-appb-I000007
,
Figure PCTKR2013012137-appb-I000008
)를 확인한다. 사용자가 접촉 영역(44a, 55b) 중 힘의 가하는 방향의 감지점에서 더 힘의 세기가 크게 검출될 수 있다.
따라서, 본 발명에 따른 휴대형 단말 장치(40)는, 상기 접촉 영역(44a, 44b)의 중심점으로부터 상기 다수의 감지점 중에서 가장 힘의 세기가 큰 감지점의 방향을 상기 접촉 영역(44a, 44b)에 가해지는 힘의 방향(
Figure PCTKR2013012137-appb-I000009
,
Figure PCTKR2013012137-appb-I000010
)으로 검출한다.
도 9는 본 발명의 제1 실시 예에 있어서, 두 지점에 가해지는 한 쌍의 힘의 방향의 조합 및 매핑되는 사용자 명령을 예시한 테이블이다. 여기서 힘의 방향의 조합은 두 지점을 연결한 선분을 기준으로 도 8과 같이 표시될 수 있다. 그리고, 이에 대응하는 사용자 명령은, 화면 또는 화면으로 출력된 특정 객체에 대한 회전, 이동, 패닝, 틸팅, 줌인, 줌 아웃 등이 설정될 수 있다.
상기 도 9에 도시된 예시를 참조하면, 사용자가 터치 입력부(110)의 터치 영역 상의 두 지점을 접촉한 상태에서 위치 이동 없이 오므리는(집는) 동작을 취하는 경우, 제어부(120)는 두 지점의 안쪽 방향으로 향하는 두 힘의 방향을 검출하며, 이에 따라서 화면 또는 화면에 표시된 특정 객체에 대한 줌아웃을 수행한다.
다른 예로, 사용자가 터치 입력부(110)의 터치 영역 상의 두 지점을 접촉한 상태에서 위치 이동 없이 벌리는 동작을 취하는 경우, 제어부(120)는 두 지점의 바깥쪽 방향으로 향하는 두 힘의 방향을 검출하며, 이에 따라서 화면 또는 화면에 표시된 특정 객체에 대한 줌인을 수행한다.
또 다른 예로, 사용자가 두 지점을 접촉한 상태에서 위치 이동 없이 비트는(돌리는) 동작을 취하는 경우, 제어부(120)는 두 지점에 연결한 선분에 직각이며 서로 반대 방향으로 향하는 두 힘의 방향을 검출하며, 이에 따라서 화면 또는 화면에 표시된 특정 객체에 대한 회전/패닝/틸팅 중 하나를 수행할 수 있다. 여기서, 회전/패닝/틸팅 방향은, 두 지점 중 한 지점의 방향을 기준으로 정해질 수 있다.
도 9와 같은 사용자 명령 설정을 위한 테이블은, 저장부(130)에 저장된 상태에서 제어부(120)에 의해 참조될 수 있다.
다음으로, 도 10은 본 발명의 제2 실시 예에 따른 사용자 인터페이스 화면의 예시도이다. 여기서는, 세 지점에 대한 멀티 포인트 터치로 가정한다.
여기서, 부호 50은 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 제공하는 장치로서, 스마트 폰과 같은 터치 스크린을 포함하는 휴대형 단말 장치를 나타낸다. 그리고, 51은 상기 휴대형 단말 장치(50)에 구비된 사용자 인터페이스 화면을 나타낸다. 상기 사용자 인터페이스 화면(51)은 사용자가 조작하고자 하는 대상, 즉, 사용자 명령의 실행 대상이 되는 객체(52) 및 상기 객체(52)를 조작하기 위한 터치 영역(53)을 포함한다.
상기 터치 영역(53)은 상기 사용자 인터페이스 화면(51)의 전체 또는 일부 영역으로 설정될 수 있으며, 상기 사용자 인터페이스 화면(51)과는 독립되어 형성될 수 도 있다. 또한, 상기 터치 영역(53)은 사용자 명령의 실행 대상이 되는 객체(52)와 매핑되는 영역으로 설정될 수도 있다. 후자의 경우, 상기 객체(52)를 터치함에 의해 사용자 명령의 실행 대상에 대한 선택 및 힘의 방향에 따른 사용자 명령 실행이 동시에 이루어질 수 있다.
상기 상태에서, 사용자가 터치 영역(53)의 세 지점을 손가락으로 접촉하면, 상기 휴대형 단말 장치(50)는 이를 감지하고, 상기 세 지점의 위치 및 세 지점에 대하여 사용자에 의해 가해지는 힘의 방향을 각각 검출한다. 여기서 부호 54a, 54b, 54c는 상기 손가락이 접촉된 세 지점에 설정되거나 검출된 접촉 영역을 나타낸다. 상기 세 지점에 가해지는 힘의 방향은 상기 터치 입력부(110)에 구비되는 소정의 센서를 통해 검출되거나, 상기 사용자의 손가락과 접촉되는 접촉 영역(54a, 54b, 54c)의 힘의 세기 분포를 기준으로 검출될 수 있다.
특히, 터치 입력부(110)가 힘의 방향을 검출할 수 없는 경우, 상기 휴대 단말 장치(40)는 본 발명에 따른 터치 이벤트 처리 모듈(121)을 통해 터치 입력부(110)에서 검출한 감지 정보(힘의 세기)를 이용하여 힘의 방향을 결정할 수 있다.
도 11은 본 발명의 제2 실시 예에 있어서, 힘의 방향 및 조합 패턴을 검출하는 과정을 나타낸 모식도이다.
먼저 도 11의 (a)를 참조하면, 상기 터치 영역(53)의 세 지점에 대한 사용자 접촉이 이루어지면, 상기 터치 영역(53)의 표면과 사용자의 손가락이 접촉한 지점을 기준으로 소정의 면적을 갖는 접촉 영역(54a, 54b, 54c)이 각각 설정되거나 추출된다. 상기 접촉 영역(54a, 54b, 54c)은 각 지점의 특정 좌표(예를 들어, 중심 좌표)를 기준으로 기 설정된 면적의 범위로 설정되거나, 상기 터치 영역(53)에 포함된 다수의 감지점 줌에서 사용자 접촉을 감지한 다수의 인접한 감지점을 연결하여 설정할 수 있다.
그리고, 도 11의 (b)에 도시된 바와 같이, 상기 접촉 영역(54a, 54b, 54c)의 다수 감지점에서 검출된 힘의 세기를 확인한다. 사용자가 힘을 가하는 방향에 따라서 접촉 영역(54a, 54b, 54c)의 다수 감지점에서 검출되는 힘의 세기는 달라지며, 특히, 사용자가 힘을 가하는 방향의 감지점에서 힘의 세기가 더 크게 검출될 수 있다.
그리고, 도 11의 (c)에 도시된 바와 같이, 본 발명에 따른 휴대형 단말 장치(50)는, 상기 접촉 영역(54a, 54b, 54c)의 중심점으로부터 상기 다수의 감지점 중에서 가장 힘의 세기가 큰 감지점의 방향을 상기 접촉 영역(54a, 54b, 54c)에 가해지는 힘의 방향(
Figure PCTKR2013012137-appb-I000011
,
Figure PCTKR2013012137-appb-I000012
,
Figure PCTKR2013012137-appb-I000013
)으로 검출한다.
마지막으로 도 11의 (c)에서 검출된 힘의 방향(
Figure PCTKR2013012137-appb-I000014
,
Figure PCTKR2013012137-appb-I000015
,
Figure PCTKR2013012137-appb-I000016
)을 기 설정된 순서로 연결하여 도 11의 (d)와 같이 반시계 방향으로의 회전이라는 조합 패턴을 도출할 수 있다. 그리고, 조합 패턴에 따라서 객체(42)를 반시계 방향으로 회전시킬 수 있다.
도 12는 본 발명의 제2 실시 예에 따른 사용자 인터페이스 제공 방법에 있어서, 힘의 방향의 조합 패턴 및 이에 대응하는 사용자 명령을 예시한 매핑 테이블이다.
도 12를 참조하면, 사용자가 세 지점에 동시 접촉하여 접촉 위치의 변화 없이 왼쪽으로 돌리는 동작을 취할 경우, 도 12의 ①번과 같은 조합 패턴이 검출될 수 있으며, 이 경우, 사용자 명령으로서 "좌측 방향으로 회전"이 수행될 수 있다. 이때, 회전 각도는 상기 세 지점에서 검출된 힘의 세기, 접촉 시간, 세 지점의 거리, 위치 등의 정보를 기반으로 조정 가능하다. 반대로, 사용자가 세 지점에 동시 접촉하여 접촉 위치의 변화 없이 오른쪽으로 돌리는 동작을 취할 경우, 도 12의 ②번과 같은 조합 패턴이 검출되고, 사용자 명령으로 "우측 방향으로 회전"이 실행될 수 있다. 마찬가지로, 사용자가 세 지점에 동시 접촉하여 접촉 위치의 변화 없이 윗 방향 또는 아랫 방향으로 돌리는 모션을 취할 경우 도 12의 ③번 또는 ④번과 같은 조합 패턴이 검출되고, 이에 따라서 "윗 방향 또는 아랫 방향으로의 회전"이 실행된다. 또한, 사용자가 세 지점에 동시 접촉하여 접촉 위치의 변화 없이 세 지점의 안쪽 방향으로 오므리는 동작 또는 바깥쪽 방향으로 벌리는 동작을 취할 경우, 도 12의 ⑤번 또는 ⑥번과 같은 조합 패턴이 검출되며, 줌인 또는 줌아웃이 실행될 수 있다. 즉, 세 지점에 접촉하여 줌인을 직관적으로 나타낼 수 있는 벌리는 동작을 취하면, 줌인이 실행되고, 반대로 세 지점에 접촉하여 줌아웃을 직관적으로 나타내는 오므리는 동작을 취하면, 줌아웃일 실행된다. 상기 도 12에 보인 힘의 조합 패턴과 사용자 명령들은 예시에 불과하며 이에 한정되지 않고 다양한 형태로 응용될 수 있다.
도 13 및 도 14는 본 발명의 제2 실시 예에 따른 사용자 인터페이스 제공 방법에 있어서, 다른 실시 형태를 예시한 것으로서, 도 13에 도시된 바와 같이, 사용자가 접촉 영역(53a, 53b, 53c)에 접촉한 상태에서, 화면의 윗 방향으로 미는 동작을 취하면, 도 12의 ③번과 같은 조합 패턴이 검출되며, 이 경우, 화면에 표시된 객체(52)가 화면 위쪽만으로 밀리는 동작이 실행된다. 반대로, 도 14에 도시된 바와 같이, 사용자가 접촉 영역(53a, 53b, 53c)에 접촉한 상태에서, 화면의 아랫 방향으로 당기는 동작을 취하면, 도 12의 ④번과 같은 조합 패턴이 검출되며, 이 경우, 화면에 표시된 객체(42)가 화면의 아랫쪽으로 이동하는 동작이 실행될 수 있다.
이상과 같이 셋 이상의 지점에 가해지는 힘의 방향의 조합 패턴을 이용하는 경우, 셋 이상의 위치 정보와 힘의 방향을 조합하는 방법에 따라서, 2차원 및 3차원 공간 상에서의 조합 패턴을 도출할 수 있으며, 이를 이용함으로써, 2차원적인 조작뿐만 아니라 3차원적인 조작까지 가능케할 수 있다.
이상에서 본 발명의 다양한 실시 예에 따른 장치 및 방법을 기술하였으나, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서는 다수의 특정한 구현물의 세부 설명들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 발명의 특정한 실시 예에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다.
아울러, 본 명세서에서, 특정한 순서로 도면 및 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치는, 터치 영역의 둘 이상의 지점에 대한 접촉을 감지하면, 상기 지점에 대한 접촉이 고정된 상태에서 상기 지점에 대하여 가해지는 힘의 방향을 검출하고, 검출된 힘의 방향에 따라서 사용자 명령을 실행함으로써, 사용자가 특정 지점을 터치 한 상태에서 이동이나 복잡한 패턴을 그리지 않고, 단지 접촉 지점에 가하는 힘의 방향만을 조절함으로써, 다양한 사용자 명령을 실행할 수 있는 우수한 효과가 있다.
특히, 본 발명은 둘 이상의 지점에 대하여 동시 접촉 후 힘의 방향 만을 조절함으로써 조작이 가능해지므로, 스마트 폰과 같은 휴대형 장치를 사용자가 한손으로 쉽게 조작할 수 있도록 할 수 있으며, 그 결과, 사용자의 편의성을 향상시킬 수 있다.
또한, 본 발명은 고정 접촉된 지점에 가해지는 힘의 방향의 변화 패턴에 따라서 사용자 명령을 실행함으로써, 회전, 틸팅, 패닝, 줌인, 줌 아웃 등을 보다 효과적으로 조작할 수 있게 한다. 예를 들어, 객체를 회전시키고자 하는 경우, 고정 접촉 지점에 대하여 회전하고자 하는 방향으로 회전하는 모션을 취함으로써, 회전시키고자 하는 방향으로 힘의 방향을 변화시켜 객체의 회전을 조작할 수 있다.
아울러, 본 발명은 사용자 인터페이스를 수행하는데 있어서, 이동 거리나 위치를 이용함으로써, 좀더 미세하고 빠른 조작 및 응답을 가능하게 한다.

Claims (13)

  1. 접촉 감지가 가능한 터치 영역을 포함하는 장치가,
    터치 영역의 서로 다른 둘 이상의 지점에 대한 접촉을 감지하는 단계;
    둘 이상의 지점에 대한 접촉을 감지하면, 상기 둘 이상의 지점에 대한 접촉이 유지된 상태에서 상기 둘 이상의 지점에 대하여 가해지는 힘의 방향을 검출하는 단계;
    상기 지점들에서 검출된 힘의 방향의 조합에 따라서, 기 설정된 사용자 명령을 실행하는 단계를 포함하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
  2. 제1항에 있어서, 상기 힘의 방향을 검출하는 단계는
    상기 접촉을 감지한 지점에 대하여, 일정 면적을 갖는 접촉 영역을 각각 추출하는 단계;
    상기 접촉 영역 내의 다수 감지점에서 힘의 세기를 검출하는 단계;
    검출된 다수 감지점에서의 힘의 세기 분포에 근거하여, 상기 지점에 대하여 가해지는 힘의 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
  3. 제2항에 있어서, 상기 힘의 방향을 검출하는 단계는
    상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
  4. 제1항에 있어서, 상기 사용자 명령을 실행하는 단계는
    상기 지점들을 연결한 선분을 기준으로 일정 오차 범위내에서 평행하게 발생하는 힘의 방향의 조합에 따라서 상기 사용자 명령을 실행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
  5. 제1항에 있어서, 상기 사용자 명령을 실행하는 단계는
    상기 지점들을 연결한 선분에 대하여 소정의 각도를 갖는 두 힘의 방향의 조합에 따라서 상기 사용자 명령을 실행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
  6. 제1항에 있어서, 상기 사용자 명령을 실행하는 단계는
    특정 객체 또는 화면에 대한 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting) 중 하나 이상을 수행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
  7. 제1항에 있어서,
    상기 지점들에 대한 접촉 시간, 힘의 세기, 지점의 거리 중 하나 이상을 검출하는 단계를 더 포함하고,
    상기 사용자 명령을 실행하는 단계는, 상기 힘의 방향의 조합에, 상기 접촉 시간, 힘의 세기, 지점 간의 거리 중 하나 이상을 더 고려하여, 사용자 명령을 실행하는 것을 특징으로 하는 투 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
  8. 제1항에 있어서, 상기 사용자 명령을 실행하는 단계는
    상기 지점들에서 검출된 힘의 방향을 일정 순서로 연결하여 나타낸 힘의 조합 패턴에 따라서 상기 사용자 명령을 실행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
  9. 접촉 감지가 가능한 터치 영역을 포함하고, 상기 터치 영역에 대한 접촉 여부, 접촉 위치, 접촉 시의 힘의 세기 및 힘의 방향 중에서 하나 이상을 감지하는 터치 입력부;
    상기 터치 입력부를 통하여, 상기 터치 영역의 둘 이상의 지점에 대한 접촉이 감지되면, 상기 둘 이상의 지점에 대하여 접촉이 고정된 상태에서 상기 둘 이상의 지점에 각각 가해지는 힘의 방향을 확인하고, 확인된 힘의 방향의 조합에 따라서 기 설정된 사용자 명령을 실행하는 제어부를 포함하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치.
  10. 제9항에 있어서, 상기 제어부는
    상기 접촉을 감지한 지점에 대하여 일정 면적을 갖는 접촉 영역을 설정하고, 상기 접촉 영역 내에 존재하는 다수 감지점의 힘의 세기를 비교하여, 상기 지점에 대하여 가해지는 힘의 방향을 결정하는 터치 이벤트 처리 모듈을 포함하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치.
  11. 제10항에 있어서, 상기 터치 이벤트 처리 모듈은
    상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치.
  12. 제9항에 있어서, 상기 제어부는
    상기 둘 이상의 서로 다른 지점에서 검출된 힘의 방향을 기 설정된 순서로 연결하여, 힘의 조합 패턴을 확인하는 패턴 추출 모듈을 포함하고,
    상기 확인된 힘의 조합 패턴에 따라서 상기 사용자 명령을 실행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치.
  13. 제9항에 있어서, 상기 제어부는
    상기 둘 이상의 지점에 대한 접촉 시간, 힘의 세기, 지점 간의 거리 중 하나 이상을 더 검출하고, 상기 힘의 방향의 조합에, 상기 접촉 시간, 힘의 세기, 지점간의 거리 중 하나 이상을 더 고려하여, 상기 사용자 명령을 실행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치.
PCT/KR2013/012137 2012-12-26 2013-12-24 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치 WO2014104727A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/655,242 US9778780B2 (en) 2012-12-26 2013-12-24 Method for providing user interface using multi-point touch and apparatus for same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0152888 2012-12-26
KR1020120152888A KR101436588B1 (ko) 2012-12-26 2012-12-26 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
KR10-2012-0152887 2012-12-26
KR1020120152887A KR101436587B1 (ko) 2012-12-26 2012-12-26 투 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
WO2014104727A1 true WO2014104727A1 (ko) 2014-07-03

Family

ID=51021693

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/012137 WO2014104727A1 (ko) 2012-12-26 2013-12-24 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US9778780B2 (ko)
WO (1) WO2014104727A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984093A (zh) * 2018-06-28 2018-12-11 Oppo广东移动通信有限公司 触控操作方法、装置、存储介质及电子设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544364B1 (ko) * 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
CN104063153B (zh) * 2014-05-04 2018-12-11 南京中兴软件有限责任公司 一种实现人机交互的方法和装置
US10503393B2 (en) * 2015-03-06 2019-12-10 FLIR Belgium BVBA Touch screen sonar adjustment systems and methods
KR20170085419A (ko) * 2016-01-14 2017-07-24 삼성전자주식회사 터치 입력에 기반한 동작 방법 및 그 전자 장치
KR102514963B1 (ko) * 2016-04-18 2023-03-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP7130988B2 (ja) * 2018-03-02 2022-09-06 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11281373B2 (en) * 2019-05-07 2022-03-22 Yifang Liu Multi-perspective input for computing devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090066670A1 (en) * 2004-05-06 2009-03-12 Steve Hotelling Multipoint touchscreen
US20100020025A1 (en) * 2008-07-25 2010-01-28 Intuilab Continuous recognition of multi-touch gestures
US20110063241A1 (en) * 2008-03-31 2011-03-17 Oh Eui-Jin Data input device
KR20110086502A (ko) * 2010-01-22 2011-07-28 전자부품연구원 멀티 터치 압력에 기반한 ｕｉ 제공방법 및 이를 적용한 전자기기

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6304840B1 (en) * 1998-06-30 2001-10-16 U.S. Philips Corporation Fingerless glove for interacting with data processing system
JP5172334B2 (ja) * 2004-06-17 2013-03-27 アドレア エルエルシー タッチスクリーン上の２本指入力の使用
DE102007052008A1 (de) 2007-10-26 2009-04-30 Andreas Steinhauser Single- oder multitouchfähiger Touchscreen oder Touchpad bestehend aus einem Array von Drucksensoren sowie Herstellung solcher Sensoren
US8711109B2 (en) * 2008-10-10 2014-04-29 Cherif Algreatly Touch sensing technology
US9244562B1 (en) * 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
KR101051625B1 (ko) 2010-05-12 2011-07-26 주식회사 코아리버 터치 스크린의 멀티 터치 검출 장치 및 방법
FR2963445B1 (fr) * 2010-08-02 2013-05-03 Nanomade Concept Surface tactile et procede de fabrication d'une telle surface
KR101223588B1 (ko) 2010-11-15 2013-01-17 (주)아이디어피크닉 복수의 터치 신호로부터의 요청 입력 인식 시스템 및 방법
JP2013089117A (ja) * 2011-10-20 2013-05-13 Alps Electric Co Ltd 入力装置
WO2013107474A1 (en) * 2012-01-20 2013-07-25 Sony Ericsson Mobile Communications Ab Touch screen, portable electronic device, and method of operating a touch screen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090066670A1 (en) * 2004-05-06 2009-03-12 Steve Hotelling Multipoint touchscreen
US20110063241A1 (en) * 2008-03-31 2011-03-17 Oh Eui-Jin Data input device
US20100020025A1 (en) * 2008-07-25 2010-01-28 Intuilab Continuous recognition of multi-touch gestures
KR20110086502A (ko) * 2010-01-22 2011-07-28 전자부품연구원 멀티 터치 압력에 기반한 ｕｉ 제공방법 및 이를 적용한 전자기기

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984093A (zh) * 2018-06-28 2018-12-11 Oppo广东移动通信有限公司 触控操作方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20160162098A1 (en) 2016-06-09
US9778780B2 (en) 2017-10-03

Similar Documents

Publication Publication Date Title
WO2014104727A1 (ko) 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
WO2013073890A1 (en) Apparatus including a touch screen under a multi-application environment and controlling method thereof
WO2014208813A1 (en) Portable device and control method thereof
WO2012050377A2 (en) Apparatus and method for controlling motion-based user interface
WO2014030902A1 (en) Input method and apparatus of portable device
WO2013125804A1 (en) Method and apparatus for moving contents in terminal
WO2014104726A1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
WO2016072823A2 (ko) 루프 형태의 택타일 멀티터치 입력장치, 제스처와 그 방법
WO2018151449A1 (en) Electronic device and methods for determining orientation of the device
WO2013125914A1 (en) Method and apparatus for object size adjustment on a screen
WO2012030194A1 (en) Method and apparatus for interfacing
WO2016085186A1 (en) Electronic apparatus and method for displaying graphical object thereof
WO2020130356A1 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
WO2016080596A1 (ko) 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2015152487A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2015064923A1 (en) Electronic apparatus and method of recognizing a user gesture
WO2016035940A1 (en) Display device and method of controlling therefor
WO2013081413A1 (ko) 터치스크린 상의 화면조작방법
WO2016088922A1 (ko) 모바일 디바이스 및 웨어러블 디바이스를 이용한 인터페이스 제공 방법
KR101436585B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
JP2014056519A (ja) 携帯端末装置、誤操作判定方法、制御プログラムおよび記録媒体
KR101436587B1 (ko) 투 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
WO2018070657A1 (en) Electronic apparatus, and display apparatus
WO2014163250A1 (en) Portable device and controlling method therefor
KR101436588B1 (ko) 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13867129

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14655242

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13867129

Country of ref document: EP

Kind code of ref document: A1