KR101436588B1 - Method for providing user interface using one point touch, and apparatus therefor - Google Patents

Method for providing user interface using one point touch, and apparatus therefor Download PDF

Info

Publication number
KR101436588B1
KR101436588B1 KR1020120152888A KR20120152888A KR101436588B1 KR 101436588 B1 KR101436588 B1 KR 101436588B1 KR 1020120152888 A KR1020120152888 A KR 1020120152888A KR 20120152888 A KR20120152888 A KR 20120152888A KR 101436588 B1 KR101436588 B1 KR 101436588B1
Authority
KR
South Korea
Prior art keywords
touch
contact
force
points
detected
Prior art date
Application number
KR1020120152888A
Other languages
Korean (ko)
Other versions
KR20140083303A (en
Inventor
김건년
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120152888A priority Critical patent/KR101436588B1/en
Priority to US14/655,242 priority patent/US9778780B2/en
Priority to PCT/KR2013/012137 priority patent/WO2014104727A1/en
Publication of KR20140083303A publication Critical patent/KR20140083303A/en
Application granted granted Critical
Publication of KR101436588B1 publication Critical patent/KR101436588B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

본 발명은 복잡한 터치 제스처를 수행하거나 소정의 패턴을 그릴 필요없이 한번의 터치 동작으로 다양한 사용자 명령을 실행할 수 있는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치에 관한 것으로서, 터치 영역의 셋 이상의 서로 다른 지점에 대한 접촉을 감지하면, 접촉된 상태에서 상기 지점들에 대하여 가해지는 힘의 방향을 각각 검출하고, 검출된 힘의 방향의 조합에 따라서 사용자 명령을 실행하도록 구현된다.The present invention relates to a method and a device for providing a user interface using a multi-point touch capable of executing various user commands with a single touch operation without performing a complicated touch gesture or drawing a predetermined pattern, Detecting a contact with a different point, detecting a direction of a force applied to the points in the contacted state, respectively, and executing a user command according to a combination of directions of the detected forces.

Description

멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치{Method for providing user interface using one point touch, and apparatus therefor}TECHNICAL FIELD [0001] The present invention relates to a method for providing a user interface using a multi-point touch,

본 발명은 터치 방식의 사용자 인터페이스에 관한 것으로서, 더욱 상세하게는 사용자가 드래그(drag), 태핑(tapping), 슬라이딩(sliding). 핀칭(pinching)과 같은 복잡한 터치 제스처를 수행하거나 소정의 패턴을 그릴 필요 없이 한번의 터치 동작으로 다양한 사용자 명령을 실행할 수 있는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a touch-type user interface, and more particularly, to a touch-type user interface that allows a user to drag, tap, and slide. And more particularly, to a method and a device for providing a user interface using a multi-point touch capable of performing various user commands with a single touch operation without performing a complicated touch gesture such as pinching or drawing a predetermined pattern.

오늘날 컴퓨터 시스템을 조작하기 위해, 다수의 버튼 또는 키를 포함하는 키패드, 마우스, 트랙볼, 터치 패드, 조이 스틱, 터치 스크린 등과 같은 여러 종류의 입력 장치가 존재한다. 이러한 입력 장치는, 사용자가 원하는 문자, 기호, 그림 등의 데이터를 컴퓨터 시스템에 입력하거나, 컴퓨터 시스템에 특정 명령을 요청하는 신호를 입력하기 위하여 이용된다.To manipulate a computer system today, there are many types of input devices, such as a keypad, a mouse, a trackball, a touchpad, a joystick, a touch screen, etc., that include multiple buttons or keys. Such an input device is used for inputting data such as characters, symbols, pictures and the like desired by a user into a computer system or inputting a signal for requesting a specific command to the computer system.

이러한 다양한 입력 장치 중에서, 최근에는 입력 수단과 출력 기능을 동시에 구현함으로써 사용자 장치의 소형화 및 단순화를 도모할 수 있는 터치 스크린과 같은 터치 입력 수단이 보편적으로 사용되고 있다.Among these various input devices, touch input means such as a touch screen, which can realize the miniaturization and simplification of the user apparatus by simultaneously realizing the input means and the output function at the same time, are commonly used.

터치 입력 수단은, 사용자의 신체 일부 또는 터치 펜과 같은 접촉 수단에 의한 터치 영역의 접촉을 감지할 수 있는 것으로서, 터치를 감지하는 방식에 따라서 감압식, 정전식, 광학식 등으로 구분할 수 있다. 여기서, 감압식은 터치에 의해 접촉 지점에 가해지는 압력을 인식하여 터치를 감지하는 방식이며, 정전식은 사용자의 신체 일부의 접촉에 따른 접촉 지점에서의 전하의 변화를 통해 터치를 감지하는 방식이며, 광학식은 적외선 카메라와 적외선 조명을 이용하여 터치 위치를 검출하는 방식이다. The touch input means can detect touch of a part of the user's body or a touch area by means of contact means such as a touch pen, and can be classified into a depressurization type, an electrostatic type, an optical type, etc. according to a method of sensing a touch. The electrostatic type is a method of sensing a touch through a change in electric charge at a contact point due to a contact of a part of a user's body, Is a method of detecting a touch position using an infrared camera and infrared light.

이러한 터치 입력 수단을 이용한 초기의 사용자 인터페이스 제공 방법은, 화면 상에서 다수의 버튼 등과 같은 조작 수단을 표시하고, 접촉이 감지된 위치를 기준으로 해당 기능을 수행하는 형태로 이루어졌으나, 최근에는 사용자 편의성 및 운용성의 향상을 위하여, 접촉 시작 위치, 접촉 시작 시간, 접촉 종료 시간, 접촉 종료 위치 등의 다양한 정보를 조합하여, 드래그(drag), 태핑(tapping), 슬라이딩(sliding). 핀칭(pinching)과 같은 사용자 터치 제스처를 인식하고, 터치 제스처에 따라서 다양한 사용자 명령을 실행하도록 하는 실행하는 방법도 함께 사용되고 있으며, 이외에 터치 영역 내에서 다수의 터치 포인트를 인식하고, 감지되는 터치 포인트의 갯수, 위치 및 조합, 간격 변화 등을 통해서 사용자 명령을 실행토록 하는 방법도 이용되고 있다.The initial user interface providing method using the touch input means displays operating means such as a plurality of buttons on the screen and performs the corresponding function based on the detected position of the contact. Tapping, sliding, sliding, etc., in combination with various information such as a contact start position, a contact start time, a contact end time, and a contact end position in order to improve operability. A user touch gesture such as pinching is recognized and various user commands are executed in accordance with the touch gesture. In addition, a plurality of touch points are recognized in the touch area, A method of causing a user command to be executed through a number, a position, a combination, and an interval change is also used.

그런데, 이러한 종래의 터치를 이용한 사용자 인터페이스 방법은, 사용자가 복잡한 터치 제스처를 취하거나 여러 지점을 터치하여 복잡한 패턴을 그려야 하기 때문에, 한 손만 이용 가능한 상황에서는 사용자 조작이 어렵다는 불편한 점이 있었다.However, in the conventional user interface method using a touch, a user has to take a complex touch gesture or draw a complicated pattern by touching a plurality of points, so that it is inconvenient that a user is difficult to operate in a situation where only one hand is available.

또한, 터치 제스처 또는 터치 패턴을 취하고, 이를 인식하는데 소정의 시간이 소요되기 때문에, 세밀하고 조작 및 즉각적인 반응을 제공하는데는 한계가 있었다.Further, since it takes a certain time to take a touch gesture or a touch pattern and recognize it, there are limitations in providing detailed and operation and immediate response.

본 발명은 상술한 종래의 문제점을 해결하기 위하여 제안된 것으로서, 사용자가 드래그(drag), 태핑(tapping), 슬라이딩(sliding). 핀칭(pinching)과 같은 복잡한 터치 제스처를 수행하거나 소정의 패턴을 그릴 필요없이 한번의 터치 동작으로 다양한 사용자 명령을 실행할 수 있는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치를 제공하고자 한다.Disclosure of Invention Technical Problem [8] The present invention has been proposed in order to solve the above-described problems of the related art. A method of providing a user interface using a multi-point touch capable of executing various user commands in a single touch operation without performing a complex touch gesture such as pinching or drawing a predetermined pattern, and an apparatus therefor.

특히, 본 발명은 터치 영역 상에서 동시 접촉된 셋 이상의 다른 지점에 대하여 가해지는 힘의 방향을 변화시킴으로써 다양한 사용자 명령을 즉각적으로 실행할 수 있는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치를 제공하고자 한다.In particular, the present invention provides a user interface providing method using a multi-point touch capable of instantaneously executing various user commands by changing a direction of a force applied to three or more other points simultaneously touching on a touch area, and an apparatus therefor do.

본 발명은 상술한 과제를 해결하기 위한 수단으로서, 접촉 감지가 가능한 터치 영역을 포함하는 장치가, 터치 영역 내에서 셋 이상의 서로 지점에 대한 접촉을 감지하는 단계; 접촉을 감지한 지점들에 대해 접촉이 고정된 상태에서 각 지점에 대하여 가해지는 힘의 방향을 검출하는 단계; 및 상기 지점들에서 검출된 힘의 방향의 조합에 따라서, 기 설정된 사용자 명령을 실행하는 단계를 포함하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법을 제공한다.According to the present invention, there is provided a device for solving the aforementioned problems, comprising: a device including a touch-sensitive touch area; Detecting a direction of a force applied to each point in a state in which the contact is fixed with respect to points at which the contact is sensed; And executing a predetermined user command according to a combination of directions of forces detected at the points and a direction of a force detected at the points.

본 발명의 실시 예에 따른 사용자 인터페이스 제공 방법에 있어서, 상기 힘의 방향을 검출하는 단계는, 접촉을 감지한 각 지점에 대하여 일정 면적을 갖는 접촉 영역을 추출하는 단계; 추출한 접촉 영역 내의 다수 감지점에서 검출된 힘의 세기를 확인하는 단계; 다수 감지점에서의 힘의 세기 분포에 근거하여, 해당 지점에 대하여 가해지는 힘의 방향을 결정하는 단계를 포함할 수 있으며, 이때, 상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정할 수 있다.In the method of providing a user interface according to an embodiment of the present invention, the step of detecting the direction of the force may include extracting a contact area having a predetermined area for each point of contact sensing; Confirming the strength of the detected force at a plurality of sensing points in the extracted contact area; Determining the direction of the force applied to the point based on the intensity distribution of the force at the multiple sensing points, wherein the strength of the largest force is detected relative to the center of the contact region The direction of the sensing point can be determined as the direction of the force.

또한, 본 발명의 실시 예에 따른 사용자 인터페이스 제공 방법은, 일정 시간 동안 검출된 힘의 방향의 시간에 따른 조합 패턴을 추출하는 단계를 더 포함하고, 상기 사용자 명령을 실행하는 단계에서, 상기 힘의 방향의 조합 및 상기 조합 패턴에 따라서 사용자 명령을 실행하도록 할 수 있다.In addition, the method of providing a user interface according to an embodiment of the present invention may further include extracting a combination pattern according to a time of direction of a detected force for a predetermined time, Direction combination, and the combination pattern.

그리고, 본 발명의 실시 예에 따른 사용자 인터페이스 제공 방법은, 상기 지점들에서 검출된 힘의 방향을 일정 순서로 연결하여 나타낸 힘의 조합 패턴을 추출하는 단계를 더 포함하고, 상기 사용자 명령을 실행하는 단계에서 상기 추출한 힘의 조합 패턴에 따라서 상기 사용자 명령을 실행하도록 할 수 있다.The method of providing a user interface according to an embodiment of the present invention may further include extracting a combination pattern of forces represented by connecting the directions of forces detected at the points in a predetermined order, The user command can be executed according to the combination pattern of the extracted forces.

그리고, 본 발명의 실시 예에 따른 사용자 인터페이스 제공 방법에 있어서, 상기 사용자 명령을 실행하는 단계는, 특정 객체 또는 화면에 대한 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting) 중 하나 이상을 포함하는 사용자 명령을 실행할 수 있다.In the method of providing a user interface according to an exemplary embodiment of the present invention, the step of executing the user command may include rotating, moving, zooming in, zooming out, panning ), And tilting. ≪ / RTI >

특히, 본 발명의 실시 예에 따른 사용자 인터페이스 제공 방법은, 상기 사용자 명령을 실행하는 단계에서, 셋 이상의 지점들에 대한 위치, 상기 검출된 셋 이상의 힘의 방향을 조합하여, 3차원 공간 상에서 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting)을 수행할 수 있다.In particular, in a method of providing a user interface according to an exemplary embodiment of the present invention, in the step of executing the user command, a position of three or more points and a direction of three or more detected forces are combined, Move, zoom in, zoom out, panning, and tilting can be performed.

더하여, 본 발명은 상술한 과제를 해결하기 위한 다른 수단으로서, 접촉 감지가 가능한 터치 영역을 포함하고, 상기 터치 영역에 대한 접촉 여부, 접촉 위치, 접촉 시의 힘의 세기 및 힘의 방향 중에서 하나 이상을 감지하는 터치 입력부; 및 상기 터치 입력부를 통하여, 상기 터치 영역의 셋 이상의 서로 다른 지점에 대한 접촉을 감지하면, 접촉된 상태에서 상기 지점들에 가해지는 힘의 방향을 검출하고, 상기 힘의 방향들의 조합에 따라서 기 설정된 사용자 명령을 실행하는 제어부를 포함하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치를 제공한다.In addition, the present invention provides, as another means for solving the above-mentioned problems, a touch sensing device comprising a touch area capable of touch sensing, and comprising at least one of contact with the touch area, contact position, A touch input unit for detecting the touch input; And detecting a direction of a force applied to the points in a touched state when sensing contact with at least three different points of the touch region through the touch input unit, And a controller for executing a user command. The apparatus for a user interface using a multi-point touch is provided.

본 발명의 실시 예에 따른 장치에 있어서, 상기 제어부는 상기 셋 이상의 서로 다른 지점에서 검출된 힘의 방향을 기 설정된 순서로 연결하여, 힘의 조합 패턴을 확인하는 패턴 추출 모듈을 더 포함하고, 상기 확인된 힘의 조합 패턴에 따라서 상기 사용자 명령을 실행할 수 있다.The apparatus further includes a pattern extracting module for confirming a combination pattern of forces by connecting the directions of forces detected at the different points on the three or more points in a predetermined order, The user command can be executed according to the combination pattern of the identified forces.

또한, 본 발명의 실시 예에 따른 장치에 있어서, 상기 제어부는 상기 접촉을 감지한 지점에 대하여 일정 면적을 갖는 접촉 영역을 설정하고, 상기 접촉 영역 내에 존재하는 다수 감지점의 힘의 세기를 비교하여, 해당 지점에 대하여 가해지는 힘의 방향을 결정하는 터치 이벤트 처리 모듈을 더 포함할 수 있다. Further, in the apparatus according to the embodiment of the present invention, the controller sets a contact area having a predetermined area with respect to a point at which the contact is sensed, compares strengths of the plurality of sensing points existing in the contact area And a touch event processing module for determining a direction of a force applied to the point.

본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치는, 터치 영역에서 셋 이상의 서로 다른 지점에 대한 접촉을 감지하면, 상기 지점들이 접촉된 상태에서 상기 지점들에 대하여 각각 가해지는 힘의 방향을 검출하고, 그 힘의 방향의 조합에 따라서 사용자 명령을 실행함으로써, 사용자가 특정 지점을 터치 한 상태에서 이동이나 복잡한 패턴을 그리지 않고, 단지 접촉 지점에 가하는 힘의 방향만을 조절함으로써, 다양한 사용자 명령을 실행할 수 있는 우수한 효과가 있다.A method and apparatus for providing a user interface using a multi-point touch according to the present invention is a method for providing a user interface using a multi-point touch when detecting touches on at least three different points in a touch region, By executing a user command in accordance with a combination of the directions of the forces, by adjusting only the direction of the force applied to the contact point without drawing a movement or complicated pattern while the user touches a specific point, There is an excellent effect of executing a user command.

특히, 본 발명은 특정 지점에 대하여 접촉한 후, 접촉 위치 이동 없이 힘의 방향 만을 조절함으로써 조작이 가능해지므로, 스마트 폰과 같은 휴대형 장치를 쉽게 조작할 수 있도록 할 수 있으며, 그 결과, 사용자의 편의성을 향상시킬 수 있다.Particularly, since the present invention can be operated by adjusting only the direction of the force without contacting the contact point after making contact with a specific point, it is possible to easily operate the portable device such as a smart phone, Can be improved.

또한, 본 발명은 고정 접촉된 복수의 지점들에 가해지는 힘의 방향의 조합에 따라서 사용자 명령을 실행함으로써, 회전, 틸팅, 패닝, 줌인, 줌 아웃을 포함하는 다양한 사용자 명령을 효과적으로 실행할 수 있게 한다. Further, the present invention enables to execute various user commands including rotation, tilting, panning, zooming in and zooming out by executing a user command according to a combination of directions of forces applied to a plurality of fixedly contacted points .

아울러, 본 발명은 사용자 인터페이스를 수행하는데 있어서, 터치 제스처나 터치 패턴을 인식하는데 소요되는 시간을 줄일 수 있으므로, 좀더 미세하고 빠른 조작 및 응답을 가능하게 한다.In addition, since the present invention can reduce the time required to recognize a touch gesture or a touch pattern in performing a user interface, it enables finer and quick operation and response.

도 1은 본 발명의 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법에 있어서 힘의 방향을 검출하는 과정을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 화면의 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 복수의 접촉 지점에 대한 힘의 방향의 조합을 검출하는 과정을 설명하기 위한 모식도이다.
도 6은 본 발명의 일 실시 예에 따른 힘의 방향의 조합 패턴 및 사용자 명령의 매핑 테이블이다.
도 7 및 도 8은 본 발명의 실시 예에 따른 힘의 방향의 조합 패턴 별 사용자 명령 실행 상태에 대한 예시도이다.
1 is a block diagram illustrating an apparatus for a user interface using a multi-point touch according to an embodiment of the present invention.
2 is a flowchart illustrating a method of providing a user interface using a multi-point touch according to an embodiment of the present invention.
3 is a flowchart illustrating a process of detecting a force direction in a method of providing a user interface using a multi-point touch according to an embodiment of the present invention.
4 is an exemplary view of a user interface screen using a multi-point touch according to an embodiment of the present invention.
5 is a schematic diagram for explaining a process of detecting a combination of directions of forces on a plurality of contact points according to an embodiment of the present invention.
FIG. 6 is a mapping table of a combination pattern of directions of forces and a user command according to an embodiment of the present invention.
FIGS. 7 and 8 are exemplary diagrams of a user command execution state according to a combination pattern of directions of forces according to an embodiment of the present invention.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings.

본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법은, 사용자의 신체 일부(예를 들어, 손가락) 또는 터치 펜과 같은 접촉 수단에 의해 접촉을 감지할 수 있는 터치 영역을 포함하는 장치에 의하여 구현될 수 있다. 상기 장치는, 터치 감지 및 화면 출력이 동시에 이루어질 수 있는 터치 스크린 또는 터치 동작을 감지할 수 있는 터치 패드와 같은 터치 입력 수단을 포함하는 장치라면 어떠한 장치라도 적용될 수 있다. 예를 들어, 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 제공하는 장치는, 터치 스크린 혹은 터치 패드를 구비한 스마트 폰, 휴대폰, 태블릿 PC, 노트북 PC, 데스크 탑 PC, PDA(Personal Digital Assistant)등이 될 수 있다.A method for providing a user interface using a multi-point touch according to the present invention is implemented by an apparatus including a touch area capable of sensing contact by a user's body part (e.g., a finger) or a contact part such as a touch pen . The apparatus may be applied to any apparatus including a touch screen such as a touch screen capable of simultaneous touch detection and screen output or a touch input means such as a touch pad capable of sensing a touch operation. For example, an apparatus for providing a user interface using a multi-point touch according to the present invention may be a smart phone, a mobile phone, a tablet PC, a notebook PC, a desktop PC, a PDA (Personal Digital Assistant) And the like.

도 1은 이와 같이 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 제공하는 장치의 구성을 나타낸 블록도이다. 여기서, 상기 장치의 구성 요소로는, 본 발명에 따른 사용자 인터페이스 제공과 관련된 구성만을 개시한 것으로서, 상기 장치는 기능에 따라서 다양한 다른 구성을 더 포함할 수 있다. 아울러 이하에서 설명하는 구성은, 단순히 설명의 편의를 위하여 기능 단위로 나타내는 것으로서, 실제 구현 시, 하드웨어 또는 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있음을 이해하여야 할 것이다.FIG. 1 is a block diagram showing a configuration of an apparatus for providing a user interface using a multi-point touch according to the present invention. Here, the components of the apparatus only disclose configurations related to providing a user interface according to the present invention, and the apparatus may further include various other configurations according to functions. In addition, it is to be understood that the structure described below is expressed in functional units merely for convenience of description, and may be implemented in hardware or software or a combination of hardware and software in actual implementation.

도 1을 참조하면, 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치(100)는, 터치 입력부(110)와, 제어부(120)와, 저장부(130)와, 출력부(140)를 포함하여 이루어질 수 있다.Referring to FIG. 1, an apparatus 100 for a user interface using a multi-point touch according to the present invention includes a touch input unit 110, a control unit 120, a storage unit 130, an output unit 140, . ≪ / RTI >

상기 터치 입력부(110)는, 접촉 감지가 가능한 터치 영역을 포함하고, 상기 터치 영역에 대한 접촉 동작과 관련된 다양한 정보를 감지하는 수단이다. 특히, 상기 터치 입력부(110)는, 접촉 여부, 접촉 위치, 접촉 시의 힘의 세기 및 힘의 방향 중에서 하나 이상을 감지할 수 있다. 이러한 터치 입력부(110)는, 터치 패드 혹은 터치 스크린 중 하나로 구현될 수 있으며, 더하여, 감압식, 정전식, 광학식 및 초음파 방식 중 하나 이상의 방식으로 상기 접촉 동작과 관련된 다양한 정보를 감지할 수 있다. 또한, 상기 터치 입력부(110)는 터치 영역의 서로 다른 셋 이상의 지점에 대한 동시 접촉을 감지할 수 있다. 본 발명에 있어서 동시 접촉은, 기 설정된 오차 범위 내에서 서로 다른 지점에서 접촉이 이루어지는 것을 의미한다. 즉, 상기 터치 입력부(110)는 터치 영역 상의 서로 다른 셋 이상의 지점에 대한 동시 접촉을 감지하고, 상기 셋 이상의 지점에 대한 위치, 접촉 시의 힘의 세기, 및 힘의 방향 중에서 하나 이상을 검출할 수 있다.The touch input unit 110 includes a touch area capable of sensing touch, and is a unit for sensing various information related to the touch operation with respect to the touch area. In particular, the touch input unit 110 may sense at least one of contact, contact, contact force, and force direction. The touch input unit 110 may be implemented as one of a touch pad or a touch screen. In addition, the touch input unit 110 may sense various information related to the touch operation in at least one of a depressurization type, an electrostatic type, an optical type, and an ultrasonic type. In addition, the touch input unit 110 may sense simultaneous touches on three or more different points of the touch region. In the present invention, simultaneous contact means that contact is made at different points within a predetermined error range. That is, the touch input unit 110 detects simultaneous touches to three or more different points on the touch area, and detects at least one of a position, a force at the time of contact, and a force direction of the three or more points .

상기 터치 입력부(110)에 의해 검출된 터치 영역의 지점들에 대한 접촉 여부, 접촉 위치, 접촉 시의 힘의 세기 및 힘의 방향 중 하나 이상에 대응하는 정보는 제어부(120)로 전달된다.Information corresponding to at least one of contact, contact, contact force, and force direction with respect to points of the touch region detected by the touch input unit 110 is transmitted to the controller 120. [

상기 제어부(120)는, 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 처리를 수행하는 장치로서, 터치 방식의 사용자 입력을 인식하여 사용자 입력에 대응하는 기능 또는 서비스를 수행하도록 제어한다. 특히, 본 발명에 있어서, 제어부(120)는, 상기 터치 입력부(110)를 통하여 상기 터치 영역에서 셋 이상의 서로 다른 지점에 대한 동시 접촉을 감지하면, 상기 지점들에 접촉이 있는 상태에서 상기 지점에 대하여 가해지는 힘의 방향의 조합에 따라서 기 설정된 사용자 명령을 실행하도록 제어한다. 더하여, 상기 제어부(120)는 상기 힘의 방향의 조합에 상기 터치 입력부(110)로부터 전달된 감지 신호로부터 상기 터치 영역에서 동시 접촉된 셋 이상의 지점에 대한 위치 정보를 더 고려하여, 사용자 명령을 실행한다. 더하여, 상기 제어부(120)는 상기 셋 이상의 지점의 힘의 방향 또는 상기 셋 이상의 지점의 위치 및 힘의 방향을 결합하여, 힘의 조합 패턴을 추출할 수 있다. 이러한 힘의 조합 패턴은, 사용자가 셋 이상의 지점에 접촉하여 실행하려는 동작을 추출할 수 있는 정보로서, 구체적으로, 회전 동작, 오므리는 동작, 벌리는 동작중 어떠한 동작인지 및 그 정도(회전 각도, 줌인/줌아웃 비율 등) 중에서 하나 이상을 나타낼 수 있다. 특히, 본 발명은 사용자 명령을 실행하는데 있어서, 세 지점의 위치, 세 지점에서 검출된 힘의 방향을 조합함으로써, 3차원 기반의 동작 제어가 가능해진다.The controller 120 is a device for performing a user interface process using a multi-point touch according to the present invention, and recognizes a touch-type user input and controls the function or service corresponding to a user input. Particularly, in the present invention, when the controller 120 detects simultaneous contact of at least three different points in the touch area through the touch input unit 110, So as to execute a predetermined user command according to a combination of the directions of the forces applied to the two sides. In addition, the control unit 120 further considers position information of three or more points simultaneously contacted in the touch area from the sensing signal transmitted from the touch input unit 110 to the combination of the directions of the forces, do. In addition, the control unit 120 may combine the directions of the forces of the three or more points or the positions of the three or more points and the direction of the force to extract a combination pattern of forces. The combination pattern of the forces is information capable of extracting an operation to be performed by the user in contact with three or more points, and more specifically, information indicating a rotation operation, an unmoving operation, / Zoom out ratio, etc.). In particular, in executing the user command, the present invention combines the positions of three points and the directions of forces detected at three points to enable three-dimensional motion control.

아울러, 힘의 방향의 조합 패턴에 따라서 실행되는 사용자 명령은 다양하게 설정될 수 있는데, 예를 들면, 도 6에 도시된 바와 같이 매핑되어 설정될 수 있다. 도 6을 참조하여 예를 들면, 사용자가 세 지점에 동시 접촉하여 접촉 위치의 변화 없이 왼쪽으로 돌리는 동작을 취할 경우, 도 6의 ① 번과 같은 조합 패턴이 검출될 수 있으며, 이 경우, 사용자 명령으로서 "좌측 방향으로 회전"이 수행될 수 있다. 이때, 회전 각도는 상기 세 지점에서 검출된 힘의 세기, 접촉 시간, 세 지점의 거리, 위치 등의 정보를 기반으로 조정 가능하다. 반대로, 사용자가 세 지점에 동시 접촉하여 접촉 위치의 변화 없이 오른쪽으로 돌리는 동작을 취할 경우, 도 6의 ②번과 같은 조합 패턴이 검출되고, 사용자 명령으로 "우측 방향으로 회전"이 실행될 수 있다. 마찬가지로, 사용자가 세 지점에 동시 접촉하여 접촉 위치의 변화 없이 윗 방향 또는 아랫 방향으로 돌리는 모션을 취할 경우 도 6의 ③번 또는 ④번과 같은 조합 패턴이 검출되고, 이에 따라서 "윗 방향 또는 아랫 방향으로의 회전"이 실행된다. 또한, 사용자가 세 지점에 동시 접촉하여 접촉 위치의 변화 없이 세 지점의 안쪽 방향으로 오므리는 동작 또는 바깥쪽 방향으로 벌리는 동작을 취할 경우, 도 6의 ⑤번 또는 ⑥번과 같은 조합 패턴이 검출되며, 줌인 또는 줌아웃이 실행될 수 있다. 즉, 세 지점에 접촉하여 줌인을 직관적으로 나타낼 수 있는 벌리는 동작을 취하면, 줌인이 실행되고, 반대로 세 지점에 접촉하여 줌아웃을 직관적으로 나타내는 오므리는 동작을 취하면, 줌아웃일 실행된다. 상기 도 6에 보인 힘의 조합 패턴과 사용자 명령들은 예시에 불과하며 이에 한정되지 않고 다양한 형태로 응용될 수 있다.In addition, the user command executed according to the combination pattern of the direction of the force may be variously set, for example, mapped and set as shown in FIG. Referring to Fig. 6, for example, when a user simultaneously touches three points and takes an operation to turn to the left without changing the contact position, a combination pattern as shown by? In Fig. 6 may be detected. In this case, Quot; rotation in the leftward direction " At this time, the rotation angle can be adjusted based on the information such as the intensity of the force detected at the three points, the contact time, the distance of three points, and the position. On the contrary, when the user touches the three points simultaneously and takes an operation to turn right without changing the contact position, the combination pattern as shown by 2 in Fig. 6 is detected and the "rotation in the rightward direction" Likewise, when a user simultaneously touches three points and takes a motion to turn upward or downward without changing the contact position, a combination pattern as shown in (3) or (4) in FIG. 6 is detected, Rotation " In addition, when the user touches three points simultaneously and moves inward in three directions without changing the contact position or widening in the outward direction, a combination pattern such as ⑤ or ⑥ in FIG. 6 is detected , Zoom in or zoom out can be performed. In other words, zooming in is performed when a widening operation in which the zooming in can be intuitively expressed by touching three points is performed. Conversely, when the zooming operation is performed, the zooming operation is performed on the zooming-out side. The combination patterns and user commands shown in FIG. 6 are merely examples, but the present invention is not limited thereto and can be applied in various forms.

더하여, 상기 제어부(120)는, 상기 터치 입력부(110)가 힘의 방향을 검출할 수 없는 경우, 상기 터치 입력부(110)로부터 검출된 정보를 기준으로 힘의 방향을 결정하기 위한 터치 이벤트 처리 모듈(121)을 포함할 수 있다.In addition, when the touch input unit 110 can not detect the direction of the force, the controller 120 controls the touch event processing module 110 to determine the direction of the force based on the information detected from the touch input unit 110, (121).

상기 터치 이벤트 처리 모듈(121)은, 상기 터치 입력부(110)의 터치 영역 내의 접촉을 감지한 지점에 대하여 일정 면적을 갖는 접촉 영역을 설정하고, 상기 접촉 영역 내에 존재하는 다수 감지점의 힘의 세기를 비교하여, 상기 지점에 대하여 가해지는 힘의 방향을 결정한다. 더 구체적으로, 상기 터치 이벤트 처리 모듈(121)은 상기 접촉 영역에 포함된 다수의 감지점에서 검출된 힘의 세기 분포에 따라서 힘의 방향을 결정할 수 있는데, 예를 들어, 접촉 영역의 좌측에서 검출된 힘의 세기가 더 큰 경우, 힘의 방향을 좌측 방향으로 결정하고, 접촉 영역의 우측에서 검출된 힘의 세기가 더 큰 경우, 힘의 방향을 우측 방향으로 결정할 수 있다. 또한, 상기 터치 이벤트 처리 모듈(121)은 상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정할 수 있다. 상기 터치 이벤트 처리 모듈(121)은 동시 접촉된 셋 이상의 지점에 대한 힘의 방향을 각각 검출할 수 있다.The touch event processing module 121 sets a contact area having a predetermined area with respect to a point at which a touch in the touch area of the touch input unit 110 is sensed and determines a strength of a plurality of sensing points existing in the contact area To determine the direction of the force exerted against the point. More specifically, the touch event processing module 121 can determine the direction of the force in accordance with the intensity distribution of the force detected at a plurality of sensing points included in the contact area. For example, The direction of the force is determined to the left direction and the direction of the force is determined to be the right direction when the intensity of the detected force on the right side of the contact region is larger. In addition, the touch event processing module 121 may determine the direction of the force as the direction of the sensing point at which the greatest strength of force is detected with respect to the center of the contact area. The touch event processing module 121 may detect the direction of the force with respect to three or more points in simultaneous contact.

더하여, 상기 제어부(120)는 동시 접촉된 셋 이상의 지점에 가해지는 힘의 방향의 조합 패턴을 추출하기 위하여 패턴 추출 모듈(122)을 더 포함할 수 있다.In addition, the control unit 120 may further include a pattern extracting module 122 for extracting a combination pattern of directions of forces applied to the three or more simultaneously contacted points.

상기 패턴 추출 모듈(122)은 상기 터치 이벤트 처리 모듈(121)을 통해 검출된 셋 이상의 지점에 대한 힘의 방향을 일정 순서로 배열하여 힘의 조합 패턴을 추출할 수 있으며, 이때, 접촉 시간, 위치 중에서 하나 이상을 더 고려하여 힘의 방향의 조합 패턴을 추출할 수 있다.The pattern extracting module 122 extracts a combination pattern of forces by arranging directions of forces with respect to three or more points detected through the touch event processing module 121 in a predetermined order. At this time, It is possible to extract a combination pattern of the directions of the forces.

저장부(130)는 상기 장치(100)의 동작을 위한 프로그램 및 데이터를 저장하기 위한 구성으로서, 특히, 상기 제어부(120)에 의해 실행되는 터치 이벤트 처리를 위한 프로그램 및 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 실행하도록 구현된 프로그램을 저장할 수 있으며, 아울러, 힘의 방향의 조합 패턴과 해당 조합 패턴의 검출 시 실행할 사용자 명령을 매핑한 설정 정보를 더 저장할 수 있다.The storage unit 130 stores a program and data for operation of the apparatus 100. In particular, the storage unit 130 stores a program for touch event processing executed by the control unit 120 and a multi- And can further store setting information in which a combination pattern of direction of force and a user command to be executed when detecting the combination pattern are mapped.

상기 제어부(120)는 상기 저장부(130)에 저장된 프로그램 및 데이터를 기반으로 실행하여 본 발명에 따른 사용자 인터페이스를 제공할 수 있다.The controller 120 may execute the program and data stored in the storage unit 130 to provide a user interface according to the present invention.

마지막으로, 출력부(140)는 상기 제어부(120)의 제어에 따라서 사용자 인터페이스 화면을 출력하는 구성으로서, 예를 들어, 액정 표시 장치(Liquid Crystal Display), OLED(Organic Light Emitted Diode) 등의 다양한 종류의 표시 패널로 형성될 수 있으며, 또한, 제조 형태에 따라 표시 패널과 터치 패널을 포함하는 구조, 예를 들면, 터치스크린(touch screen)으로 구현될 수 있다. 터치스크린 형태로 표시 장치가 형성된 경우, 상기 출력부(140)와 터치 입력부(110)는 일체로 구현될 수 있다.The output unit 140 outputs the user interface screen under the control of the controller 120. The output unit 140 may include a liquid crystal display (LCD), an organic light emitting diode (OLED) Type display panel, and may be implemented with a structure including a display panel and a touch panel according to a manufacturing form, for example, a touch screen. When the display device is formed in the form of a touch screen, the output unit 140 and the touch input unit 110 may be integrally formed.

이와 같이 구성된 본 발명에 따른 사용자 인터페이스 제공을 위한 장치(100)의 동작은 도 2 및 도 3을 참조한 본 발명에 따른 사용자 인터페이스 제공 방법의 설명으로부터 더 쉽게 이해될 수 있을 것이다.The operation of the apparatus 100 for providing a user interface according to the present invention constructed as above can be more easily understood from the description of the method for providing a user interface according to the present invention with reference to FIG. 2 and FIG.

여기서, 도 2는 본 발명의 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법을 나타낸 순서도이며, 도 3은 본 발명의 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법에 있어서, 힘의 방향을 검출하는 과정의 일 예를 설명하기 위한 순서도이다.FIG. 2 is a flowchart illustrating a method for providing a user interface using a multi-point touch according to an embodiment of the present invention. FIG. 3 is a flowchart illustrating a method for providing a user interface using a multi-point touch according to an exemplary embodiment of the present invention. FIG. 2 is a flowchart for explaining an example of a process of detecting a direction.

도 2를 참조하면, 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 위한 장치(100)는, S110 단계에서, 감지 가능한 셋 이상의 힘의 방향에 대한 조합 패턴을 설정하고, 각 조합 패턴 별로 서로 다른 소정의 기능을 수행하도록 지시하는 사용자 명령을 매핑하여 설정할 수 있다. 상기 S110 단계는, 사용자 선택에 따라서 이루어질 수 도 있고, 사용자 선택과 관계없이 제조 또는 판매 단계에서 상기 장치(100)에 디폴트 동작으로 기 설정될 수 있다. 즉, 상기 장치(100)에, 힘의 방향의 조합 패턴에 따른 사용자 명령이 기 설정되어 있는 경우, 상기 S110 단계는 생략될 수 있다. Referring to FIG. 2, the apparatus 100 for a user interface using a multi-point touch according to the present invention sets a combination pattern for directions of three or more detectable forces in step S110, A user command for instructing to perform a predetermined function can be mapped and set. The step S110 may be performed according to the user's selection, and may be preset to the device 100 as a default operation in the manufacturing or sales stage regardless of the user selection. That is, if the user command according to the combination pattern of the direction of the force is previously set in the apparatus 100, the step S110 may be omitted.

이어서 S120 단계에서, 상기 장치(100)는, 터치 입력부(110)를 통하여 터치 영역의 셋 이상의 지점에 대한 동시 접촉을 감지한다. 여기서, 터치 영역의 접촉 감지는, 감압식, 정전식, 광학식 및 초음파 방식 중 하나의 방식을 통해 이루어질 수 있다. 또한, 상기 S120 단계는, 제어부(120)가 감압식, 정전식, 광학식 및 초음파 방식 중 하나의 방식을 통하여 접촉을 감지하는 터치 스크린 또는 터치 패드 등으로 구현되는 터치 입력부(110)를 통해서 터치 감지를 확인하는 과정으로 이해될 수 있다. 여기서, 접촉이 이루어지는 지점은, 터치 입력부(110)에서 제공하는 터치 영역 내에서 사용자가 조작하고자 하는 객체 또는 화면이 표시된 영역, 또는 터치 영역 중 힘의 방향에 따른 사용자 조작을 위한 영역으로 기 설정된 지점이 될 수 있다.Then, in step S120, the apparatus 100 detects simultaneous touches to three or more points of the touch area through the touch input unit 110. [ Here, touch detection of the touch area can be performed through one of a depressurization type, an electrostatic type, an optical type, and an ultrasonic type. In step S120, the controller 120 may perform touch detection through a touch input unit 110 implemented by a touch screen or a touch pad that senses contact through one of a depressurization type, an electrostatic type, an optical type, and an ultrasonic type. It can be understood as a confirmation process. Here, the point at which the touch is performed may be an area for displaying an object or a screen to be operated by the user in the touch area provided by the touch input unit 110, or an area for user operation in accordance with the direction of force in the touch area .

이와 같이, 터치 영역의 셋 이상의 지점에 대한 동시 접촉이 감지되면, 본 발명에 의한 장치(100)의 제어부(120)는, S130 단계에서, 상기 터치 영역의 셋 이상의 지점에 접촉된 상태에서 상기 지점들에 대하여 가해지는 힘의 방향을 각각 검출한다. 여기서, 힘의 방향은, 상기 터치 영역의 특정 지점에 대하여 접촉함에 따라서, 해당 지점의 터치 면에 가해지는 힘의 방향을 의미하는 것으로서, 드래그, 슬라이딩 등과 같은 터치 제스처에서와 같이 접촉 지점이 바뀌는 터치 방향과는 다른 것이다. 통상적으로, 터치 방향은, 최초 접촉 위치에서 일정 시간후의 접촉 위치 또는 최종 접촉 위치로의 방향을 의미하는 것으로서, 시간 변화에 따른 감지되는 접촉 위치가 달라진다. 반면에, S130 단계에서 감지하는 힘의 방향은, 터치가 발생한 접촉 지점의 위치값이 변화되지 않는다. 이러한 힘의 방향은, 접촉이 발생한 지점을 중심으로 방사형으로 뻗어나가는 형태로 표현될 수 있으며, 기 설정된 기준축을 기준으로 한 0~360도 범위의 각도값 또는 동서 및/또는 남북 또는 전후 및/또는 좌우로 표현될 수 있다. 아울러, 상기 S130 단계에서 힘의 방향의 검출은 상기 지점들에 대하여 고정 접촉된 동안, 기 설정된 샘플링 간격으로 반복하여 이루어질 수 있다. In this manner, when simultaneous contact of at least three points of the touch area is detected, the control unit 120 of the apparatus 100 according to the present invention, at step S130, And the direction of the force applied to each of the plurality of contact portions. Here, the direction of the force refers to the direction of the force applied to the touch surface of the corresponding point as it contacts the specific point of the touch area. The direction of the force is a touch that changes the contact point as in the touch gesture such as drag, It is different from the direction. Typically, the touch direction refers to a contact position after a predetermined time at an initial contact position or a direction to a final contact position, and a contact position sensed according to a time change is changed. On the other hand, in the direction of the force sensed in the step S130, the position value of the contact point where the touch occurs is not changed. The direction of this force may be expressed in the form of extending radially around the point at which the contact occurs, and may be an angular value in the range of 0 to 360 degrees relative to a predetermined reference axis, or an angular value in the east-west and / Can be expressed on the left and right. In addition, the detection of the direction of the force in the step S130 may be repeated at a predetermined sampling interval while the fixed contact is made with respect to the points.

이렇게 접촉이 발생한 지점에 가해지는 힘의 방향을 검출하면, S140 단계에서, 본 발명에 따른 장치(100)의 제어부(120)는 상기 셋 이상의 지점에서 검출된 힘의 방향의 조합 패턴을 추출한다. 상기 S140 단계는 제어부(120)의 패턴 추출 모듈(122)에 의해 수행될 수 있으며, 구체적으로 동시 접촉된 셋 이상의 지점에 대하여 검출된 힘의 방향들을 기 설정된 순서로 배열하고 연결함에 의하여 이루어질 수 있다. 더하여, 상기 패턴 추출 모듈(122)은 힘의 방향과 함께 셋 이상의 지점에 대한 위치 정보를 더 고려하여 상기 조합 패턴을 추출할 수 있다. 즉, 상기 셋 이상의 지점에서 검출된 힘의 방향들을 각각의 검출된 위치에 배치하고, 이렇게 배치된 힘의 방향들을 일정 순서로 연결함에 의해 이루어질 수 있다. In step S140, the controller 120 of the apparatus 100 according to the present invention extracts a combination pattern of directions of forces detected at the three or more points. The step S140 may be performed by the pattern extracting module 122 of the control unit 120. Specifically, the pattern extracting module 122 may arrange and connect the directions of the detected forces with respect to three or more points simultaneously in contact with each other in a predetermined order . In addition, the pattern extracting module 122 may extract the combined pattern by considering position information about three or more points along with the direction of the force. That is, the directions of the forces detected at the three or more points may be arranged at respective detected positions, and the directions of the arranged forces may be connected in a predetermined order.

이와 같이, 접촉 지점에 가해지는 힘의 방향의 조합 패턴이 추출되면, S150 단계에서 본 발명에 의한 장치(100)의 제어부(120)는 상기 검출된 힘의 방향의 조합(조합 패턴)에 따라서 기 설정된 사용자 명령을 실행한다. 여기서 실행되는 사용자 명령은, 화면 또는 사용자 인터페이스 화면 상에 출력된 특정 객체에 대하여 이루어지는 소정 동작을 수행하도록 지시하는 것으로서, 예를 들어, 특정 객체 또는 화면에 대한 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting) 중 하나 이상이 될 수 있다. 이때, 상기 셋 이상의 접촉 지점의 위치, 셋 이상의 접촉 지점에 가해지는 힘의 방향을 조합하여, 상기 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting)에 대한 방향, 각도, 거리 등을 조정할 수 있으며, 이 경우, 3차원 공간에서는 회전, 이동, 줌인, 줌아웃, 패닝, 틸팅을 구현할 수 있다.When the combination pattern of the direction of the force applied to the contact point is extracted as described above, the control unit 120 of the apparatus 100 according to the present invention, in step S150, Execute the set user command. The user command to be executed here instructs to perform a predetermined operation to be performed on a specific object displayed on a screen or a user interface screen. For example, the user command may be rotation, movement, zoom in, Zooming out, panning, or tilting. [0035] At this time, the rotation, movement, zoom in, zoom out, panning, and tilting are performed by combining the positions of the three or more contact points and the directions of forces applied to the three or more contact points. Angle, distance, and the like with respect to the three-dimensional space. In this case, rotation, movement, zoom in, zoom out, panning, and tilting can be implemented in the three-dimensional space.

더하여, 본 발명은 힘의 방향의 조합 패턴뿐만 아니라, 다른 정보, 예를 들어, 힘의 세기, 접촉 지점간의 거리, 접촉 시간 등을 더 고려하여 사용자 명령을 실행할 수 있다.In addition, the present invention is capable of executing user commands in consideration of other information, such as strength of force, distance between points of contact, contact time, etc., as well as a combination pattern of directions of forces.

상술한 바에 따르면, 사용자는 터치 영역에서 셋 이상의 지점을 접촉 한 상태에서, 드래그나 슬라이딩 등 터치 제스처를 취하거나 접촉 위치를 이동할 필요없이, 특정 동작을 취하는 행위를 통해 각 지점에 가해지는 힘의 방향을 변화시킴으로써, 다양한 사용자 명령을 실행할 수 있게 된다.According to the above description, the user does not need to take a touch gesture, such as dragging or sliding, or move the contact position while touching at least three points in the touch area, Quot ;, various user commands can be executed.

더하여, 본 발명에 따른 사용자 인터페이스 제공 방법의 S130 단계에 있어서, 접촉 지점에 대하여 가해지는 힘의 방향의 검출은 다양한 방법으로 이루어질 수 있는데, 예를 들어, 터치 동작에 따라서 접촉 지점에 가해지는 힘의 방향을 검출할 수 있는 센서를 통하여 감지할 수 도 있으나, 상기 장치(100)에 구비된 터치 입력부(110)가 힘의 방향을 검출할 수 없는 경우, 본 발명은 터치 입력부(110)에서 감지 가능한 정보를 이용하여 힘의 방향을 결정할 수 있다.In addition, in step S130 of the method for providing a user interface according to the present invention, the detection of the direction of the force applied to the contact point may be performed in various ways. For example, the force applied to the contact point In the case where the touch input unit 110 provided in the apparatus 100 can not detect the direction of the force, the present invention can be detected by the touch input unit 110, Information can be used to determine the direction of force.

도 3은 본 발명의 일 실시 예에 따라서 접촉 지점에 가해지는 힘의 방향을 검출하는 과정을 설명하기 위한 순서도이다.3 is a flowchart for explaining a process of detecting a direction of a force applied to a contact point according to an embodiment of the present invention.

도 3을 참조하면, 본 발명에 따른 장치(100)의 제어부(120)는, 상기 S130 단계에서 접촉이 감지된 지점에 대하여 가해지는 힘의 방향을 검출하기 위하여, 우선 S210 단계와 같이, 상기 접촉이 감지된 지점에 대하여 일정 면적을 갖는 접촉 영역을 설정한다. 상기 S210 단계는, 상기 지점을 기준으로 기 설정된 면적의 범위를 접촉 영역으로 설정함에 이루어질 수도 있고, 터치 영역 내에서 실제 접촉이 감지되고 서로 인접한 하나 이상의 감지점을 연결하여 설정할 수도 있다. 이에 대하여 더 구체적으로 설명하면, 통상 터치 영역은 일정 간격으로 배치된 다수의 감지점을 포함하는데, 이러한 감지점의 수 혹은 감지점의 간격 또는 단위 면적에 따라서 터치 감도가 달라질 수 있다. 본 발명에서는, 사용자의 손가락 또는 터치 펜과 같은 접촉 수단에 의해 터치 영역을 접촉할 때, 다수의 감지점에서 상기 접촉을 감지할 수 있도록 상기 손가락 또는 터치 펜의 크기보다 작은 간격으로 배치할 수 있으며, 이 경우, 터치 영역에서 사용자의 손가락 또는 접촉 수단에 의한 접촉을 감지한 다수의 감지점을 연결한 영역 또는 상기 다수의 감지점을 기준으로 기 설정된 면적의 영역을 접촉 영역으로 설정할 수 있다.Referring to FIG. 3, in order to detect the direction of a force applied to a point where the contact is detected in step S130, the controller 120 of the apparatus 100 according to the present invention first detects the direction of the force And sets a contact area having a predetermined area with respect to the detected point. The step S210 may be performed by setting the range of the predetermined area based on the point as the contact area or by connecting one or more sensing points adjacent to each other in the touch area. More specifically, the touch region usually includes a plurality of sensing points arranged at regular intervals, and the touch sensitivity may vary depending on the number of sensing points or the interval or unit area of sensing points. In the present invention, when the touch area is contacted by a contact means such as a user's finger or a touch pen, the contact area can be arranged at an interval smaller than the size of the finger or the touch pen so that the touch can be detected at a plurality of sensing points In this case, it is possible to set a region where a plurality of sensing points sensing touch by the user's finger or contact means in the touch region are connected or a region of a predetermined area based on the plurality of sensing points as the contact region.

이와 같이, 접촉 영역이 설정되면, 본 발명에 따른 장치(100)의 제어부(120)는, S220 단계에서 상기 접촉 영역에 포함된 다수의 감지점에서 힘의 세기를 검출한다. 여기서, 힘의 세기는 접촉에 의하여 가해지는 압력의 크기로 표현될 수 있다. In this manner, when the contact area is set, the controller 120 of the apparatus 100 according to the present invention detects the strength of the force at the plurality of sensing points included in the contact area in step S220. Here, the strength of the force can be expressed by the magnitude of the pressure applied by the contact.

그리고, 본 발명에 따른 장치(100)의 제어부(120)는, S230 단계에서, 상기 접촉 영역에 포함된 다수의 감지점에서 검출된 힘의 세기 분포에 따라서 힘의 방향을 결정한다. 더 구체적으로, 힘의 세기 분포에 따라서 힘의 방향을 결정하는 것은, 상기 접촉 영역 상에서 더 큰 세기의 힘의 가해진 방향을 힘의 방향으로 검출하는 것으로서, 예를 들어, 상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정할 수 있다. 여기서, 힘의 방향은, 전후 및/또는 좌우, 동서 및/또는 남북 중에서 하나로 표현되거나, 기준축을 기준으로 한 각도로 표현될 수 있다. 또한, 상기 힘의 방향은, 상기 터치 영역을 기준으로 한 2차원 평면 또는 상기 터치 영역에 대하여 하부로 수직한 방향까지 포함하는 3차원 공간 상에서의 방향이 될 수 있다.The controller 120 of the apparatus 100 determines the direction of the force according to the intensity distribution of the force detected at the plurality of sensing points included in the contact area in step S230. More specifically, determining the direction of the force in accordance with the intensity distribution of the force is to detect the applied direction of the force of greater intensity on the contact area in the direction of the force, for example, The direction of the sensing point at which the intensity of the greatest force is detected can be determined as the direction of the force. Here, the direction of the force may be represented by one of forward and backward and / or left / right, east-west and / or north-south, or may be expressed by an angle with respect to the reference axis. Further, the direction of the force may be a direction in a two-dimensional plane with respect to the touch region or a three-dimensional space including a direction perpendicular to the lower portion with respect to the touch region.

상술한 본 발명의 사용자 인터페이스 제공 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The user interface providing method of the present invention may be implemented in a form of software readable by various computer means and recorded in a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a recording medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. For example, the recording medium may be an optical recording medium such as a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, a compact disk read only memory (CD-ROM), a digital video disk (DVD) Includes a hardware device that is specially configured to store and execute program instructions such as a magneto-optical medium such as a floppy disk and a ROM, a random access memory (RAM), a flash memory, do. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상에서 설명한 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법은, 도 4 내지 도 8의 도면을 참조함으로써 더 쉽게 이해될 수 있다.The user interface providing method using the multi-point touch according to the present invention can be more easily understood by referring to the drawings of FIGS.

도 4는 본 발명의 실시 예에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 화면의 예시도이다. 여기서, 부호 40은 본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스를 제공하는 장치로서, 스마트 폰과 같은 터치 스크린을 포함하는 휴대형 단말 장치를 나타낸다. 그리고, 41은 상기 휴대형 단말 장치(40)에 구비된 사용자 인터페이스 화면을 나타낸다. 상기 사용자 인터페이스 화면(41)은 사용자가 조작하고자 하는 대상, 즉, 사용자 명령의 실행 대상이 되는 객체(42) 및 상기 객체(42)를 조작하기 위한 터치 영역(43)을 포함한다.4 is an exemplary view of a user interface screen using a multi-point touch according to an embodiment of the present invention. Here, reference numeral 40 denotes a portable terminal device including a touch screen such as a smart phone, which provides a user interface using a multi-point touch according to the present invention. Reference numeral 41 denotes a user interface screen provided in the portable terminal device 40. The user interface screen 41 includes an object 42 to be operated by a user, that is, an object to be executed by a user command, and a touch area 43 for operating the object 42.

상기 터치 영역(43)은 상기 사용자 인터페이스 화면(41)의 전체 또는 일부 영역으로 설정될 수 있으며, 상기 사용자 인터페이스 화면(41)과는 독립되어 형성될 수 도 있다. 또한, 상기 터치 영역(43)은 사용자 명령의 실행 대상이 되는 객체(42)와 매핑되는 영역으로 설정될 수도 있다. 후자의 경우, 상기 객체(42)를 터치함에 의해 사용자 명령의 실행 대상에 대한 선택 및 힘의 방향에 따른 사용자 명령 실행이 동시에 이루어질 수 있다.The touch area 43 may be formed as a whole or a partial area of the user interface screen 41 and may be formed independently of the user interface screen 41. Also, the touch area 43 may be set as an area mapped to the object 42 to be executed by the user command. In the latter case, by touching the object 42, selection of an execution target of the user command and execution of the user command according to the direction of the force can be performed at the same time.

상기 상태에서, 사용자가 터치 영역(43)에서 세 지점을 손가락으로 접촉하면, 상기 휴대형 단말 장치(40)는 이를 감지하고, 상기 세 지점의 위치 및 셋 지점에 대하여 사용자에 의해 가해지는 힘의 방향을 각각 검출한다. 여기서 부호 44a, 44b, 44c는 상기 손가락이 접촉된 세 지점에 설정되거나 검출된 접촉 영역을 나타낸다. 상기 세 지점에 가해지는 힘의 방향은 상기 터치 입력부(110)에 구비되는 소정의 센서를 통해 검출될 수 있으며, 상기 사용자의 손가락과 접촉되는 접촉 영역(44a, 44b, 44c)의 힘의 세기 분포를 기준으로 검출될 수 있다.In this state, when the user touches three points in the touch area 43 with his fingers, the portable terminal device 40 senses it, and detects the direction of the force applied by the user with respect to the position of the three points and the set point Respectively. Here, reference numerals 44a, 44b, and 44c represent contact areas set or detected at three points where the finger is contacted. The direction of the force applied to the three points can be detected through a predetermined sensor included in the touch input unit 110 and the force intensity distribution of the contact areas 44a, 44b, 44c in contact with the user's finger As shown in FIG.

특히, 터치 입력부(110)가 힘의 방향을 검출할 수 없는 경우, 상기 휴대 단말 장치(40)는 터치 입력부(110)에서 검출한 감지 정보(힘의 세기)를 이용하여 힘의 방향을 결정할 수 있다.Particularly, when the touch input unit 110 can not detect the direction of the force, the portable terminal device 40 can determine the direction of the force using the sensed information (intensity of the force) detected by the touch input unit 110 have.

도 5는 본 발명의 일 실시 예에 따라서, 힘의 방향 및 조합 패턴을 검출하는 과정을 나타낸 모식도이다.5 is a schematic diagram illustrating a process of detecting a force direction and a combination pattern according to an embodiment of the present invention.

먼저 도 5의 (a)를 참조하면, 상기 터치 영역(43)의 세 지점에 대한 사용자 접촉이 이루어지면, 상기 터치 영역(43)의 표면과 사용자의 손가락이 접촉한 지점을 기준으로 소정의 면적을 갖는 접촉 영역(44a, 44b, 44c)이 각각 설정되거나 추출된다. 상기 접촉 영역(44a, 44b, 44c)은 각 지점의 특정 좌표(예를 들어, 중심 좌표)를 기준으로 기 설정된 면적의 범위로 설정되거나, 상기 터치 영역(43)에 포함된 다수의 감지점 줌에서 사용자 접촉을 감지한 다수의 인접한 감지점을 연결하여 설정할 수 있다. Referring to FIG. 5A, when a user touches three points of the touch area 43, a predetermined area (hereinafter, referred to as " area " The contact areas 44a, 44b, and 44c having the contact areas 44a, 44b, and 44c, respectively, are set or extracted. The contact areas 44a, 44b and 44c are set to a predetermined area range based on a specific coordinate (for example, a center coordinate) of each point, or a plurality of sensing point zoom A plurality of adjacent sensing points that detect user touches can be connected and set.

그리고, 도 5의 (b)에 도시된 바와 같이, 상기 접촉 영역(44a, 44b, 44c)의 다수 감지점에서 검출된 힘의 세기를 확인한다. 사용자가 힘의 가하는 방향에 따라서 접촉 영역(44a, 44b, 44c)의 다수 감지점에서 검출되는 힘의 세기는 달라지며, 특히, 사용자가 힘의 가하는 방향의 감지점에서 힘의 세기가 더 크게 검출될 수 있다.Then, as shown in FIG. 5 (b), the intensity of the force detected at a plurality of sensing points of the contact areas 44a, 44b, 44c is confirmed. The strength of the force detected at a plurality of sensing points of the contact areas 44a, 44b, 44c varies depending on the direction in which the user applies the force, and in particular, the strength of the force at the sensing point in the direction in which the user applies the force is detected .

그리고, 도 5의 (c)에 도시된 바와 같이, 본 발명에 따른 휴대형 단말 장치(40)는, 상기 접촉 영역(44a, 44b, 44c)의 중심점으로부터 상기 다수의 감지점 중에서 가장 힘의 세기가 큰 감지점의 방향을 상기 접촉 영역(44a, 44b, 44c)에 가해지는 힘의 방향(

Figure 112012107569577-pat00001
,
Figure 112012107569577-pat00002
,
Figure 112012107569577-pat00003
)으로 검출한다.5 (c), the portable terminal device 40 according to the present invention is configured such that the strength of the greatest force among the plurality of sensing points from the center of the contact areas 44a, 44b, 44c is The direction of the large sensing point is defined as the direction of the force applied to the contact areas 44a, 44b, 44c
Figure 112012107569577-pat00001
,
Figure 112012107569577-pat00002
,
Figure 112012107569577-pat00003
).

마지막으로 도 5의 (c)에서 검출된 힘의 방향(

Figure 112012107569577-pat00004
,
Figure 112012107569577-pat00005
,
Figure 112012107569577-pat00006
)을 기 설정된 순서로 연결하여 도 5의 (d)와 같이 반시계 방향으로의 회전이라는 조합 패턴을 도출한다. 그리고, 조합 패턴에 따라서 객체(42)를 반시계 방향으로 회전시키게 된다.Finally, the direction of the force detected in Fig. 5 (c)
Figure 112012107569577-pat00004
,
Figure 112012107569577-pat00005
,
Figure 112012107569577-pat00006
) In a predetermined order to derive a combination pattern of rotation in the counterclockwise direction as shown in Fig. 5 (d). Then, the object 42 is rotated counterclockwise according to the combination pattern.

더하여, 도 7 및 도 8은 본 발명의 사용자 인터페이스 제공 방법에 있어서, 다른 실시 형태를 예시한 것으로서, 도 7에 도시된 바와 같이, 사용자가 접촉 영역(43a, 43b, 43c)에 접촉한 상태에서, 화면의 윗 방향으로 미는 동작을 취하면, 도 6의 ③번과 같은 조합 패턴이 검출되며, 이 경우, 화면에 표시된 객체(42)가 화면 위쪽만으로 밀리는 동작이 실행된다. 반대로, 도 8에 도시된 바와 같이, 사용자가 접촉 영역(43a, 43b, 43c)에 접촉한 상태에서, 화면의 아랫 방향으로 당기는 동작을 취하면, 도 6의 ④번과 같은 조합 패턴이 검출되며, 이 경우, 화면에 표시된 객체(42)가 화면의 아랫쪽으로 당겨지는 동작이 실행될 수 있다.7 and 8 illustrate another embodiment of the method for providing a user interface of the present invention. As shown in FIG. 7, in a state where the user touches the contact areas 43a, 43b, and 43c 6, the combination pattern is detected. In this case, the operation of pushing the object 42 displayed on the screen to only the upper part of the screen is executed. On the contrary, when the user pulls down the screen in the state in which the user is in contact with the contact areas 43a, 43b, and 43c, a combination pattern as shown by 4 in Fig. 6 is detected In this case, an operation of pulling the object 42 displayed on the screen to the lower side of the screen can be executed.

이상과 같이 셋 이상의 지점에 가해지는 힘의 방향의 조합 패턴을 이용하는 경우, 셋 이상의 위치 정보와 힘의 방향을 조합하는 방법에 따라서, 2차원 및 3차원 공간 상에서의 조합 패턴을 도출할 수 있으며, 이를 이용함으로써, 2차원적인 조작뿐만 아니라 3차원적인 조작까지 가능케할 수 있다.As described above, in the case of using the combination pattern of the direction of the force applied to three or more points, the combination pattern in the two-dimensional and three-dimensional space can be derived according to the method of combining the position information and the force direction of three or more, By using this, it is possible to perform not only two-dimensional manipulation but also three-dimensional manipulation.

이상에서 본 발명의 실시 예에 따른 장치 및 방법을 기술하였으나, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.While the apparatus and method according to embodiments of the present invention have been described above, it will be appreciated that the functional operations and subject matter implementations described herein may be implemented with other types of digital electronic circuitry, or with the structures disclosed herein and their structural equivalents Firmware, or hardware, or any combination of the foregoing. Implementations of the subject matter described herein may be embodied in one or more computer program products, i. E. One for computer program instructions encoded on a program storage medium of the type for < RTI ID = 0.0 & And can be implemented as a module as described above. The computer-readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter that affects the machine readable propagation type signal, or a combination of one or more of the foregoing.

본 명세서는 다수의 특정한 구현물의 세부 설명들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 발명의 특정한 실시 예에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. While the specification contains a detailed description of a number of specific implementations, it should be understood that they are not to be construed as limitations on the scope of any invention or claimable, and should be understood as an explanation of features that may be specific to a particular embodiment of the invention do.

아울러, 본 명세서에서, 특정한 순서로 도면 및 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. In addition, while the drawings and operations are depicted herein in a specific order, it should be understood that it should be understood that all such depicted operations should be performed in order to achieve the desired result, . In certain cases, multitasking and parallel processing may be advantageous.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art. Furthermore, although specific terms are used in this specification and the drawings, they are used in a generic sense only to facilitate the description of the invention and to facilitate understanding of the invention, and are not intended to limit the scope of the invention.

본 발명에 따른 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치는, 터치 영역의 한 지점에 대한 접촉을 감지하면, 상기 지점에 대한 접촉이 고정된 상태에서 상기 지점에 대하여 가해지는 힘의 방향을 검출하고, 검출된 힘의 방향에 따라서 사용자 명령을 실행함으로써, 사용자가 특정 지점을 터치 한 상태에서 이동이나 복잡한 패턴을 그리지 않고, 단지 접촉 지점에 가하는 힘의 방향만을 조절함으로써, 다양한 사용자 명령을 실행할 수 있는 우수한 효과가 있다.A method and apparatus for providing a user interface using a multi-point touch according to the present invention is a method for providing a user interface using a multi-point touch, comprising the steps of: detecting a contact with a point of a touch region; And by executing a user command in accordance with the detected direction of the force, by adjusting only the direction of the force applied to the contact point without drawing a movement or complicated pattern while the user touches a specific point, There is an excellent effect that can be executed.

특히, 본 발명은 특정 지점에 대하여 접촉 후 힘의 방향 만을 조절함으로써 조작이 가능해지므로, 스마트 폰과 같은 휴대형 장치를 사용자가 한손으로 쉽게 조작할 수 있도록 할 수 있으며, 그 결과, 사용자의 편의성을 향상시킬 수 있다.In particular, since the present invention can be operated by adjusting only the direction of the force after contact with a specific point, the portable device such as a smart phone can be easily operated by the user with one hand. As a result, .

또한, 본 발명은 고정 접촉된 지점에 가해지는 힘의 방향의 조합 패턴에 따라서 사용자 명령을 실행함으로써, 회전, 틸팅, 패닝, 줌인, 줌 아웃 등을 보다 효과적으로 조작할 수 있게 한다. 예를 들어, 객체를 회전시키고자 하는 경우, 고정 접촉 지점에 대하여 회전하고자 하는 방향으로 회전하는 모션을 취함으로써, 회전시키고자 하는 방향으로 힘의 방향을 변화시켜 객체의 회전을 조작할 수 있다.Further, according to the present invention, rotation, tilting, panning, zooming in, zooming out, etc. can be more effectively operated by executing a user command according to a combination pattern of directions of forces applied to fixed contact points. For example, when the object is to be rotated, the rotation of the object can be manipulated by changing the direction of the force in the direction in which the object is to be rotated, by taking a rotation that rotates in a direction to rotate with respect to the fixed contact point.

아울러, 본 발명은 사용자 인터페이스를 수행하는데 있어서, 이동 거리나 위치를 이용함으로써, 좀더 미세하고 빠른 조작 및 응답을 가능하게 한다.In addition, the present invention utilizes the movement distance and position in performing a user interface, thereby enabling a finer and quick operation and response.

110: 터치 입력부
120: 제어부
130: 저장부
140: 출력부
110: Touch input unit
120:
130:
140:

Claims (10)

접촉 감지가 가능한 터치 영역을 포함하는 장치가,
터치 영역 내에서 셋 이상의 서로 다른 지점에 대한 접촉을 감지하는 단계;
접촉이 감지된 셋 이상의 접촉 위치에 대하여 가해지는 힘의 방향을 검출하는 단계;
상기 접촉 위치들에서 검출된 힘의 방향의 조합에 따라서, 기 설정된 사용자 명령을 실행하는 단계;
를 포함하고,
상기 힘의 방향을 검출하는 단계는
접촉 위치를 기준으로 일정 면적을 갖는 접촉 영역을 추출하는 단계;
추출한 접촉 영역 내의 다수 감지점에서 검출된 힘의 세기를 확인하는 단계;
다수 감지점에서의 힘의 세기 분포에 근거하여, 해당 접촉 위치에 대하여 가해지는 힘의 방향을 결정하는 단계;
를 포함하며,
상기 힘의 방향을 결정하는 단계는
상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 결정하고,
상기 사용자 명령을 실행하는 단계는
상기 접촉 위치에 가해지는 힘의 방향을 일정 순서로 연결하여 나타낸 힘의 조합 패턴에 따라서 상기 사용자 명령을 실행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
An apparatus including a touch-sensitive touch area,
Sensing contact with at least three different points within the touch region;
Detecting a direction of a force applied to at least three contact positions where contact is sensed;
Executing a predetermined user command according to a combination of directions of forces detected at the contact positions;
Lt; / RTI >
The step of detecting the direction of the force
Extracting a contact area having a predetermined area based on the contact position;
Confirming the strength of the detected force at a plurality of sensing points in the extracted contact area;
Determining a direction of a force applied to the contact position based on a force intensity distribution at a plurality of sensing points;
/ RTI >
The step of determining the direction of the force
The direction of the sensing point at which the intensity of the largest force is detected with respect to the center of the contact region is determined as the direction of the force,
The step of executing the user command
Wherein the user command is executed in accordance with a combination pattern of forces represented by connecting a direction of a force applied to the contact position in a predetermined order.
삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 사용자 명령을 실행하는 단계는
특정 객체 또는 화면에 대한 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting) 중 하나 이상을 포함하는 사용자 명령을 실행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
2. The method of claim 1, wherein the step of executing the user command further comprises:
Executing a user command including at least one of rotation, movement, zoom in, zoom out, panning, and tilting for a specific object or screen. A method for providing a user interface.
제6항에 있어서, 상기 사용자 명령을 실행하는 단계는
셋 이상의 접촉 위치를 기준으로, 상기 검출된 셋 이상의 힘의 방향을 조합하여, 3차원 공간 상에서 회전, 이동, 줌인(zoom in), 줌아웃(zoom out), 패닝(panning), 틸팅(tilting)을 수행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법.
7. The method of claim 6, wherein executing the user command further comprises:
Moving, zooming in, zooming out, panning, and tilting in three-dimensional space by combining the detected directions of three or more forces based on three or more contact positions The method of claim 1, further comprising:
접촉 감지가 가능한 터치 영역을 포함하고, 상기 터치 영역에서 하나 이상의 접촉이 감지되면, 접촉 위치, 접촉 위치에 가해지는 힘의 세기 및 힘의 방향 중에서 하나 이상을 감지하는 터치 입력부;
상기 터치 영역의 셋 이상의 서로 다른 지점에 대한 접촉을 감지하면, 상기 터치 입력부의 감지 결과로부터 셋 이상의 접촉 위치에 가해지는 힘의 방향을 확인하고, 상기 힘의 방향들의 조합에 따라서 기 설정된 사용자 명령을 실행하는 제어부;
를 포함하고,
상기 제어부는
접촉 위치를 기준으로 일정 면적을 갖는 접촉 영역을 설정하고, 상기 접촉 영역 내에 존재하는 다수 감지점의 힘의 세기를 비교하여, 해당 지점에 대하여 가해지는 힘의 방향을 결정하는 터치 이벤트 처리 모듈;
을 더 포함하고,
상기 터치 이벤트 처리 모듈은
상기 접촉 영역의 중앙을 기준으로 가장 큰 힘의 세기가 검출된 감지점의 방향을 상기 힘의 방향으로 검출하며,
상기 제어부는
상기 셋 이상의 서로 다른 접촉 위치에 가해지는 힘의 방향을 기 설정된 순서로 연결하여, 힘의 조합 패턴을 확인하는 패턴 추출 모듈을 더 포함하고, 상기 확인된 힘의 조합 패턴에 따라서 상기 사용자 명령을 실행하는 것을 특징으로 하는 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 장치.
A touch input unit for detecting at least one of a contact position, an intensity of a force applied to the contact position, and a force direction when at least one contact is sensed in the touch area;
A touch direction detecting unit for detecting a direction of a force applied to three or more contact positions from the sensed result of the touch input unit when sensing touches to different points of the touch region, A control unit for executing;
Lt; / RTI >
The control unit
A touch event processing module for setting a contact area having a predetermined area based on a contact position, comparing strengths of a plurality of sensing points existing in the contact area, and determining a direction of a force applied to the corresponding point;
Further comprising:
The touch event processing module
Detecting a direction of the sensing point at which the intensity of the largest force is detected with respect to the center of the contact region in the direction of the force,
The control unit
Further comprising a pattern extraction module for verifying a combination pattern of forces by connecting the directions of forces applied to the three or more different contact positions in a predetermined order so as to execute the user command according to the identified combination pattern of forces Wherein the user interface is provided with a multi-point touch.
삭제delete 삭제delete
KR1020120152888A 2012-12-26 2012-12-26 Method for providing user interface using one point touch, and apparatus therefor KR101436588B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120152888A KR101436588B1 (en) 2012-12-26 2012-12-26 Method for providing user interface using one point touch, and apparatus therefor
US14/655,242 US9778780B2 (en) 2012-12-26 2013-12-24 Method for providing user interface using multi-point touch and apparatus for same
PCT/KR2013/012137 WO2014104727A1 (en) 2012-12-26 2013-12-24 Method for providing user interface using multi-point touch and apparatus for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120152888A KR101436588B1 (en) 2012-12-26 2012-12-26 Method for providing user interface using one point touch, and apparatus therefor

Publications (2)

Publication Number Publication Date
KR20140083303A KR20140083303A (en) 2014-07-04
KR101436588B1 true KR101436588B1 (en) 2014-09-02

Family

ID=51733764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120152888A KR101436588B1 (en) 2012-12-26 2012-12-26 Method for providing user interface using one point touch, and apparatus therefor

Country Status (1)

Country Link
KR (1) KR101436588B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047929A1 (en) * 2015-09-17 2017-03-23 주식회사 한컴플렉슬 Touch screen device capable of executing gesture combination-based event and operating method thereof
KR101718070B1 (en) 2015-09-17 2017-03-20 주식회사 한컴플렉슬 Touchscreen device for executing an event based on a combination of gestures and operating method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090066670A1 (en) 2004-05-06 2009-03-12 Steve Hotelling Multipoint touchscreen
US20100020025A1 (en) 2008-07-25 2010-01-28 Intuilab Continuous recognition of multi-touch gestures
KR20100105545A (en) * 2007-10-26 2010-09-29 안드레아 스테인하우저 Single-touch or multi-touch capable touch screens or touch pads comprising an array of pressure sensors and the production of such sensors
KR20110086501A (en) * 2010-01-22 2011-07-28 전자부품연구원 Method for providing ui according to single touch pressure and electronic device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090066670A1 (en) 2004-05-06 2009-03-12 Steve Hotelling Multipoint touchscreen
KR20100105545A (en) * 2007-10-26 2010-09-29 안드레아 스테인하우저 Single-touch or multi-touch capable touch screens or touch pads comprising an array of pressure sensors and the production of such sensors
US20100020025A1 (en) 2008-07-25 2010-01-28 Intuilab Continuous recognition of multi-touch gestures
KR20110086501A (en) * 2010-01-22 2011-07-28 전자부품연구원 Method for providing ui according to single touch pressure and electronic device using the same

Also Published As

Publication number Publication date
KR20140083303A (en) 2014-07-04

Similar Documents

Publication Publication Date Title
US10444989B2 (en) Information processing apparatus, and input control method and program of information processing apparatus
JP6907005B2 (en) Selective rejection of touch contact in the edge area of the touch surface
EP2474896B1 (en) Information processing apparatus, information processing method, and computer program
US9569106B2 (en) Information processing apparatus, information processing method and computer program
EP2631766B1 (en) Method and apparatus for moving contents in terminal
US9507507B2 (en) Information processing apparatus, information processing method and program
US10114485B2 (en) Keyboard and touchpad areas
US9035883B2 (en) Systems and methods for modifying virtual keyboards on a user interface
JP5407950B2 (en) Information processing apparatus, information processing method, and program
US9588613B2 (en) Apparatus and method for controlling motion-based user interface
US20110227947A1 (en) Multi-Touch User Interface Interaction
US20100149099A1 (en) Motion sensitive mechanical keyboard
US9778780B2 (en) Method for providing user interface using multi-point touch and apparatus for same
CN108733303B (en) Touch input method and apparatus of portable terminal
EP2657811A1 (en) Touch input processing device, information processing device, and touch input control method
KR20120050971A (en) Display control device, display control method, and computer program
US20140123051A1 (en) Graphic object selection by way of directional swipe gestures
JP2012141869A (en) Information processing apparatus, information processing method, and computer program
TW201523420A (en) Information processing device, information processing method, and computer program
US20150355769A1 (en) Method for providing user interface using one-point touch and apparatus for same
KR101436585B1 (en) Method for providing user interface using one point touch, and apparatus therefor
US20120050171A1 (en) Single touch process to achieve dual touch user interface
KR101436588B1 (en) Method for providing user interface using one point touch, and apparatus therefor
KR102145824B1 (en) Inferface method of smart touch pad and device therefor
US20110119579A1 (en) Method of turning over three-dimensional graphic object by use of touch sensitive input device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 5