KR101866417B1 - Processing method based on multi-touch of terminal and device thereof - Google Patents
Processing method based on multi-touch of terminal and device thereof Download PDFInfo
- Publication number
- KR101866417B1 KR101866417B1 KR1020160064986A KR20160064986A KR101866417B1 KR 101866417 B1 KR101866417 B1 KR 101866417B1 KR 1020160064986 A KR1020160064986 A KR 1020160064986A KR 20160064986 A KR20160064986 A KR 20160064986A KR 101866417 B1 KR101866417 B1 KR 101866417B1
- Authority
- KR
- South Korea
- Prior art keywords
- text area
- touch
- points
- selected text
- reduced
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Abstract
본 발명은 단말기의 다중 터치 조작에 따른 처리방법 및 그를 위한 제어장치로서, 스마트폰, 태블릿 등 터치 입력 기기 환경에서 문서 내 일정 범위의 텍스트(글 또는 글자) 선택시 유용하게 활용할 수 있다. 본 발명은, 모바일 기기의 폼 팩터(Form factor), 기기의 터치 정밀도, 문서의 레이아웃과 무관하게 신속 정확하게 원하는 만큼의 텍스트를 선택할 수 있는 조작 방법을 제공하는 인간-컴퓨터 상호작용(Human-Computer Interaction) 기술이다. The present invention relates to a processing method according to a multi-touch operation of a terminal and a control device for the same, and is useful when selecting a certain range of texts (texts or letters) in a document in a touch input device environment such as a smart phone or a tablet. The present invention relates to a method and apparatus for providing a manipulation method for quickly and accurately selecting a desired text regardless of a form factor of a mobile device, a touch accuracy of a device, a layout of a document, a human-computer interaction ) Technology.
Description
본 발명은 스마트폰(Smartphone), 태블릿(Tablet) 등 터치 입력 기기(Touch-input device) 환경에서 문서 내 일정 범위(영역)의 텍스트(글 또는 글자) 선택시 유용하게 활용할 수 있는 단말기의 다중 터치 조작에 따른 처리방법 및 그 장치에 관한 것이다. The present invention relates to a touch-input device, such as a smartphone, a tablet, and the like, which can be usefully used when a text (a text or a letter) A processing method according to an operation and an apparatus thereof.
본 발명은 더 구체적으로, 모바일 기기의 폼 팩터(Form factor), 기기의 터치 정밀도, 문서의 레이아웃과 무관하게 신속 정확하게 원하는 만큼의 텍스트를 선택할 수 있는 조작 방법을 제공하는 인간-컴퓨터 상호작용(Human-Computer Interaction) 기술이다. More specifically, the present invention relates to a method and apparatus for providing a manipulation method for selecting a desired amount of text quickly and accurately regardless of a form factor of a mobile device, a touch accuracy of a device, -Computer Interaction technology.
정전식 멀티터치 기술(Capacitive Multi-touch Technology)은, 미세하게 전하가 흐르는 패널에 예를 들어, 손가락 등의 유전체를 터치 조작하였을 때 발생하는 전하의 변화를 감지하여 터치 조작을 인식하는 기술이다. 이 기술은, 두 군데 이상의 동시 터치 조작 또한 인식할 수 있어 핀치-줌(Pinch-zoom) 등 멀티 터치 조작을 인식할 수 있도록 하는 이점이 있다. 현재 각종 스마트 기기의 터치 조작 인식 기술로 사용되고 있다. The capacitive multi-touch technology is a technology for recognizing a touch operation by detecting a change in electric charge generated when a dielectric such as a finger is touched to a finely charged panel, for example. This technique has the advantage of being able to recognize two or more simultaneous touch operations and to recognize multi-touch operations such as pinch-zoom. Currently, it is used as a touch operation recognition technology of various smart devices.
직접적 조작 인터페이스(Direct Manipulation Interface)는, 인간-컴퓨터 상호작용(Human-Computer Interaction) 분야에서 사용되는 인터렉션(Interation) 스타일로서, 사용자에게 제시된 객체들을 물리 세계에 대응되는 액션을 통해 마치 직접 조작하듯이 입력과 출력, 그리고 상호작용을 구성하는 것을 말한다. The Direct Manipulation Interface is an Interaction style used in the field of Human-Computer Interaction, in which the objects presented to the user are directly manipulated through actions corresponding to the physical world Input, output, and interaction.
Fat-finger problem은, 터치 스크린 환경에서 일정 크기 이하의 인터페이스 터치 조작시 사용자의 손가락 두께에 의하여 정확하게 터치 조작을 인식하지 못하는 현상을 말한다. The fat-finger problem refers to a phenomenon in which a touch operation is not accurately recognized due to the finger thickness of a user during an interface touch operation of a certain size or less in a touch screen environment.
터치 입력 기반의 휴대용 스마트 기기 보급에 따라 스마트 기기에서 간편하게 웹 서핑과 문서 편집 등을 수행하는 빈도가 증가하였으며, 이에 따라 종래에는 마우스 또는 키보드로 수행하던 텍스트 영역 선택 및 조정을 손가락을 통한 터치 조작으로 직접 수행해야 할 필요가 생겼다. With the spread of portable smart devices based on touch input, the frequency of web surfing and document editing has been increased easily in a smart device. Thus, in the past, the selection and adjustment of a text area performed using a mouse or a keyboard I need to do it myself.
현재 텍스트 영역 선택 및 조정은, 사용자가 화면상에 디스플레이되고 있는 임의의 텍스트 영역을 터치하면, 일정 부분의 텍스트 영역이 선택되어 강조(highlight)되고, 이와 동시에 선택된 텍스트 영역에 인접하여 이를 조정할 수 있는 핸들이 나타나면, 이 핸들을 손가락의 직접적 조작(direct manipulation)을 통해 이동(drag)시키는 식으로 이루어지는 것이 대부분이다. 기기나 운영체제, 어플리케이션마다 다소 다르지만, 기본적으로 위와 같은 방식에서 크게 벗어나지 않는다. The current text area selection and adjustment is performed such that when a user touches an arbitrary text area being displayed on the screen, a text area of a certain portion is selected and highlighted, and at the same time, When the handle appears, most of it is done by dragging the handle through direct manipulation of the finger. It differs slightly depending on the device, operating system, and application, but basically does not deviate much from the above method.
그러나 이와 같은 텍스트 영역 선택 및 조정은, 사용자가 원하는 영역을 정확하게 제어할 수 있는 확률에 있어, 스마트 기기의 폼 팩터(Form factor), 기기의 터치 정밀도 또는 문서의 텍스트 레이아웃이나 텍스트 영역의 크기별로 편차가 큰 편이다. However, the selection and adjustment of the text area can be performed by using a form factor of the smart device, a touch accuracy of the device, a text layout of the document, Is big.
보다 구체적으로는, 본래 의도와는 다르게 터치시와 터치 해제시의 손가락 터치 영역의 변화에 따라 의도하지 않게 캐럿 핸들이 움직이는 오동작, 줄 넘김 및 다단 구조의 글에서 의도하지 않았던 영역까지 선택되는 오동작, 사용자의 일반적인 손가락 터치 영역 대비 텍스트 영역간 간격이 작을 경우 발생하는 선택의 오동작 등을 예로 들 수 있다. More specifically, unlike the original intention, malfunctions such as unintentional movement of the karat handle due to a change of the finger touch area at the time of touch and release of the touch, a line break, and a malfunction, And erroneous selection caused when the interval between the text areas is smaller than the general finger touch area of the user.
이러한 오동작들은 매우 빈번히 발생하는 편으로 사용자에게 많은 불편을 주고 있음에도 불구하고, 현재의 인터페이스가 개선됨이 없이 모바일 터치 조작 기반 스마트 기기의 사용 초창기부터 지금까지 큰 변화없이 사용되고 있는 실정이다.Although the malfunctions occur very frequently, the smart interface has not been improved, and the smart touch operation based smart device has been used without any significant change since the use of the smart device.
또한, 핸들을 직접적 조작 방식으로 이동시켜야 하는 종래의 방식은, 사용자가 선택하고자 하는 텍스트 영역이 한 화면 내에 디스플레이하기 어려운 긴 영역인 경우, 즉 여러 문단이나 여러 쪽 단위의 텍스트 영역 선택이 필요한 경우에는, 선택하고자 하는 마지막 텍스트 영역까지 지속적으로 이동시켜야 하거나(drag) 또는 화면을 움직일(scroll) 필요가 있으므로, 사용자가 신속 정확하게 텍스트 영역을 선택하기에는 여러모로 어려움이 따르는 것이 사실이다. In the conventional method of moving the handle in a direct operation mode, when the text area to be selected by the user is a long area that is difficult to display within one screen, that is, when a text area of several paragraphs or several units is required to be selected , It is necessary to continuously move (drag) or scroll the screen to the last text area to be selected. Therefore, it is actually difficult for the user to select the text area quickly and accurately.
본 발명은 상기와 같은 종래 기술에 관련된 문제점을 개선하기 위하여 이루어진 것으로써, 본 발명의 목적은, 정밀한 터치 조작을 하지 않고도 원하는 텍스트 영역을 신속 정확하게 선택 및 조정할 수 있도록 하는, 단말기의 다중 터치 조작에 따른 처리방법 및 그 장치를 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the problems associated with the related art as described above, and it is an object of the present invention to provide a multi-touch operation of a terminal which can quickly and accurately select and adjust a desired text area without performing a precise touch operation And a method for processing the same.
본 발명의 다른 목적은, 드래그와 같은 별도의 손의 이동동작이 없이도, 원하는 만큼 텍스트 영역을 조정할 수 있도록 변형된 다중 손가락 탭 제스처(Multi finger tap gesture)를 활용한, 단말기의 다중 터치 조작에 따른 처리방법 및 그 장치를 제공하는데 있다.It is a further object of the present invention to provide a method and apparatus for multi-touch manipulation of a terminal that utilizes a modified multi-finger tap gesture so that the text area can be adjusted as much as desired without the need for a separate hand- And a method for processing the same.
본 발명의 다른 목적들은 이하에서 설명되는 바에 따라 유추 가능할 것이다.Other objects of the present invention will be apparent from the following description.
상기 목적을 달성하기 위한 본 발명의 단말기의 다중 터치 조작에 따른 처리방법은, 단말기 화면의 터치 위치에 해당하는 텍스트 영역을 선택하는 제1단계; 선택된 텍스트 영역을 다중 터치에 의해 드래그 또는 탭함에 따라 확대 또는 축소되도록 제어하는 제2단계; 및 선택된 텍스트 영역과, 선택된 텍스트 영역이 확대 또는 축소되는 상태를 강조하여 디스플레이하는 제3단계로 이루어진 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of processing a multi-touch operation of a terminal, the method comprising: a first step of selecting a text area corresponding to a touch position of a terminal screen; A second step of controlling the selected text area to be enlarged or reduced by dragging or tapping by multi-touch; And a third step of highlighting and displaying a selected text area and a state in which the selected text area is enlarged or reduced.
텍스트 영역은, 터치 지점의 개수에 따라 단어, 문장, 문단 중 어느 하나의 단위로 선택되는 것을 특징으로 한다.The text area is selected in units of words, sentences and paragraphs according to the number of touch points.
선택된 텍스트 영역은, 드래그를 위한 터치 지점의 개수에 따라 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 제어되는 것을 특징으로 한다.The selected text area is controlled to be enlarged or reduced in units of words, sentences, or paragraphs according to the number of touch points for dragging.
터치가, 한 지점에 이루어진 상태에서 드래그하는 경우에는. 선택된 텍스트 영역이 터치 위치에 맞추어 글자 단위로 확장 또는 축소되도록 제어되고, 두 지점에 이루어진 상태에서 드래그하는 경우에는, 선택된 텍스트 영역이 두 지점 중 왼쪽 위치에 해당하는 단어 단위로 확장 또는 축소되도록 제어되고, 세 지점에 이루어진 상태에서 드래그하는 경우에는, 선택된 텍스트 영역이 세 지점 중 두 번째 터치 위치에 해당하는 문장 단위로 확장 또는 축소되도록 제어되며, 네 지점에 이루어진 상태에서 드래그하는 경우에는, 선택된 텍스트 영역이 네 지점 중 가장 왼쪽의 터치 위치에 해당하는 문단 단위로 확장 또는 축소되도록 제어되는 것을 특징으로 한다. If a touch is dragged while it is in one point. The selected text area is controlled to be expanded or contracted in units of characters in accordance with the touch position, and when dragging is performed in a state in which the selected text area is formed at two points, the selected text area is controlled to expand or contract in units of words corresponding to the left position among the two points The selected text area is controlled to be expanded or contracted in units of sentences corresponding to the second touch position among the three points, and in the case where dragging is performed in the state in which the four text points are positioned at four points, Is expanded or reduced in a paragraph unit corresponding to the leftmost touch position among the four points.
드래그가 화면의 상하 양단에 도달하면, 화면이 해당 방향으로 스크롤되며, 지속적으로 추가 텍스트가 글자, 단어, 문장, 문단 중 어느 하나의 단위로 선택된 텍스트 영역에 포함되는 것을 특징으로 한다.When the drag reaches the upper and lower ends of the screen, the screen is scrolled in the corresponding direction, and the additional text is continuously included in the text area selected by any one of letters, words, sentences and paragraphs.
드래그하는 동안 터치 지점의 개수를 달리하는 경우에는, 터치 지점의 개수에 해당하는 단위로 변화되어 선택된 텍스트 영역이 확장 또는 축소되는 것을 특징으로 한다. When the number of touch points is changed during dragging, the selected text area is enlarged or reduced by changing the unit corresponding to the number of touch points.
선택된 텍스트 영역은, 터치 지점의 개수 및 탭의 횟수에 따라 글자, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 터치 지점의 개수와 탭의 횟수가 서로 연계되어 처리되는 것을 특징으로 한다.The selected text area is processed in association with the number of touch points and the number of tabs to be enlarged or reduced in units of any one of letters, words, sentences and paragraphs according to the number of touch points and the number of tabs .
터치 및 탭은, 선택된 텍스트 영역이 본래 터치 지점의 개수에 따라 글자, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 서로 연계되어 처리되는 것을 특징으로 한다.The touch and tab are processed in association with each other so that the selected text area is enlarged or reduced in units of one of letters, words, sentences and paragraphs according to the number of touch points originally.
상기 목적을 달성하기 위한 본 발명의 단말기의 다중 터치 조작에 따른 처리장치는, 다중 터치 조작에 의한 텍스트 영역 선택 및 선택된 텍스트 영역 제어를 총괄적으로 처리하는 제어부; 화면 디스플레이 영역의 경계로부터 시작하여 화면 디스플레이 영역까지 사용자의 터치 조작을 감지하고, 터치 조작에 의해 텍스트 영역이 선택되며, 선택된 텍스트 영역이 확대 또는 축소되면서 디스플레이되는 화면을 제공하는 터치 스크린; 화면상에서 이루어지는 다중 터치 조작을 감지하는 감지 모듈; 화면상에서 이루어지는 다중 터치 조작이 감지되면, 이를 처리하여 텍스트 영역이 단어, 문장, 문단 중 어느 하나의 단위로 선택되도록 하고, 선택된 텍스트 영역이 글자, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 처리하는 처리 모듈; 화면상에서 이루어지는 다중 터치 조작이 감지되어 처리됨에 따라 텍스트 영역을 단어, 문장, 문단 중 어느 하나의 단위로 선택하고, 선택된 텍스트 영역이 확대 또는 축소 처리되면, 텍스트 영역에 추가 포함되는 텍스트와 제거되는 텍스트를 글자, 단어, 문장, 문단 중 어느 하나의 단위로 선택하는 선택 모듈; 및 처리 모듈에 의해 처리되어 선택된 텍스트 영역과, 선택 모듈에 의해 선택되어 추가되는 텍스트 영역을 강조하여 디스플레이하는 시각적 구현모듈로 이루어진 것을 특징으로 한다.According to an aspect of the present invention, there is provided a processing apparatus according to the multi-touch operation of a terminal, comprising: a control unit for collectively processing a text area selection and a selected text area control by a multi-touch operation; A touch screen for detecting a user's touch operation starting from a border of a screen display area to a screen display area, selecting a text area by a touch operation, and providing a screen to be displayed while the selected text area is enlarged or reduced; A sensing module for sensing a multi-touch operation on the screen; When a multi-touch operation on the screen is detected, it is processed to select a text area as a unit of a word, a sentence, or a paragraph, and the selected text area is enlarged or expanded in units of a character, a word, a sentence, A processing module for processing the data to be reduced; When a multi-touch operation on the screen is detected and processed, the text area is selected as a unit of a word, a sentence, or a paragraph. When the selected text area is enlarged or reduced, the text included in the text area and the text A selection module for selecting one of a letter, a word, a sentence, and a paragraph; And a visual implementation module for highlighting and displaying the selected text area processed by the processing module and the text area selected and added by the selection module.
처리 모듈은, 텍스트 영역을 최초의 터치 지점의 개수에 따라 단어, 문장, 문단 중 어느 하나의 단위로 구분하고, 이를 텍스트 영역으로 선택되도록 처리하는 것을 특징으로 한다.The processing module divides the text area into any one of a word, a sentence, and a paragraph according to the number of the first touch points, and processes the selected text area as a text area.
처리 모듈은, 터치 지점의 개수와 드래그에 의하여 글자, 단어, 문장, 문단 중 어느 하나의 단위로 텍스트 영역을 확대 또는 축소 처리하는 것을 특징으로 한다.The processing module is characterized in that the text area is enlarged or reduced in units of a character, a word, a sentence, and a paragraph by dragging and the number of touch points.
처리 모듈은, 터치가 한 지점에 이루어진 상태에서 드래그하는 경우에는. 선택된 텍스트 영역이 터치 위치에 맞추어 글자 단위로 확장 또는 축소되도록 처리하고, 두 지점에 이루어진 상태에서 드래그하는 경우에는, 선택된 텍스트 영역이 두 지점 중 왼쪽 터치 위치에 해당하는 단어 단위로 확장 또는 축소되도록 처리하고, 세 지점에 이루어진 상태에서 드래그하는 경우에는, 선택된 텍스트 영역이 세 지점 중 가운데 터치 위치에 해당하는 문장 단위로 확장 또는 축소되도록 처리하며, 네 지점에 이루어진 상태에서 드래그하는 경우에는, 선택된 텍스트 영역이 네 지점 중 가장 왼쪽의 터치 위치에 해당하는 문단 단위로 확장 또는 축소되도록 처리하는 것을 특징으로 한다. When the touch module is dragged in a state where the touch is made at one point, The selected text area is processed so as to be expanded or contracted in units of characters in accordance with the touch position, and when dragging is performed in a state where the two areas are formed, the selected text area is enlarged or reduced in units of words corresponding to the left touch position When dragging in a state in which the selected text area is dragged at the four points, the selected text area is enlarged or reduced in units of sentences corresponding to the middle touch position among the three points, And a process of expanding or reducing a stroke unit corresponding to the leftmost touch position among the four points.
처리 모듈은, 드래그가 화면의 상하 양단에 도달하면, 화면이 해당 방향으로 스크롤되며, 지속적으로 추가 텍스트가 단어, 문장, 문단 중 어느 하나의 단위로, 선택된 텍스트 영역에 포함되도록 처리하는 것을 특징으로 한다. The processing module scrolls the screen in the corresponding direction when the drag reaches the upper and lower ends of the screen and continuously processes the additional text so that the additional text is included in the selected text area in any one of words, do.
처리 모듈은, 드래그하는 동안 터치 지점의 개수를 달리하는 경우에는, 터치 지점의 개수에 해당하는 단위로 변화되어, 선택된 텍스트 영역이 확장 또는 축소되도록 처리하는 것을 특징으로 한다.When the number of touch points is different during dragging, the processing module is changed in units corresponding to the number of touch points, so that the selected text area is expanded or contracted.
처리 모듈은, 선택된 텍스트 영역이 본래 터치 지점의 개수에 따라 글자, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 처리하는 것을 특징으로 한다.The processing module is characterized in that the processing is performed so that the selected text area is enlarged or reduced in units of one of letters, words, sentences and paragraphs according to the number of touch points originally.
처리 모듈은, 선택된 텍스트 영역이 글자, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 터치 지점의 개수와 탭의 횟수를 서로 연계하여 처리하는 것을 특징으로 한다.The processing module processes the number of touch points and the number of tabs in association with each other so that the selected text area is enlarged or reduced in units of letters, words, sentences, and paragraphs.
본 발명의 단말기의 다중 터치 조작에 따른 처리방법 및 그 장치에 따르면, 정밀한 터치 조작을 하지 않고도 원하는 텍스트 영역을 정확히 선택 및 조정할 수 있도록 하는 사용자 인터페이스를 이용한 것이다. 본 발명에 따르면, 종래 한 손가락으로 터치 및 드래그시에는 예를 들어, 글자 단위로 텍스트 영역이 조정되던 것을, 각각 두 개, 세 개, 네 개 손가락의 다중 터치에 의해 텍스트 영역의 조정이 단어, 문장, 문단이라는 의미적 단위로 수행됨으로써 반드시 사용자의 정밀한 터치조작을 요하지 않는다. According to a processing method and apparatus according to a multi-touch operation of a terminal of the present invention, a user interface is used that allows a desired text area to be accurately selected and adjusted without performing precise touch operation. According to the present invention, when a finger is touched and dragged with a finger, for example, the text area is adjusted in units of letters, and the adjustment of the text area by multiple touches of two, three, Sentences, and paragraphs, it does not necessarily require precise touch operation by the user.
또한, 본 발명에 따르면, 터치 해제시 조작 오차로 인한 오작동 역시 발생하지 않으므로 사용자는 신속 정확하게 텍스트 영역을 선택 및 제어할 수 있다.In addition, according to the present invention, since malfunction due to an operation error does not occur when a touch is released, the user can quickly and accurately select and control the text area.
또한, 본 발명에 따르면, 드래그 동작과 같은 별도의 손의 이동 없이도 원하는 만큼 텍스트 영역을 조정할 수 있도록 변형된 다중 손가락 탭 제스처를 활용함으로써, 기기의 터치 인식 능력 및 사용자의 터치 정확도와 무관하게 정밀한 단위의 텍스트 영역 선택이 가능하다.Further, according to the present invention, by utilizing a modified multi-finger tap gesture so that the text area can be adjusted as much as desired without moving a separate hand such as a drag operation, a precision unit Can be selected.
도 1은 본 발명의 단말기의 다중 터치 조작에 의해 텍스트 영역이 선택되는 동작 흐름도.
도 2는 본 발명의 단말기의 다중 터치 조작에 의해 텍스트 영역을 제어하기 위한 기본적인 동작 흐름도.
도 3은 본 발명의 단말기의 다중 터치 조작에 의해 텍스트 영역을 제어하기 위한 동작 흐름도.
도 4는 다중 터치 조작에 의해 텍스트 영역을 제어하는 예시도로써, 도 4a는 두 지점이 터치된 상태, 도 4b는 세 지점이 터치된 상태, 도 4c는 네 지점이 터치된 상태에서 각각 텍스트 영역이 제어되는 것을 나타낸 도면.
도 5는 우-손가락 탭/좌-손가락 탭에 의해 텍스트 영역을 제어하기 위한 동작 흐름도.
도 6은 우-손가락 탭/좌-손가락 탭에 의해 텍스트 영역을 제어하는 예시도로써, 도 6a는 우-손가락 탭, 도 6b는 좌-손가락 탭에 의해 각각 텍스트 영역이 제어되는 것을 나타낸 도면.
도 7은 본 발명의 단말기의 다중 터치 조작에 따른 처리방법을 수행하기 위한 제어장치 구성도.1 is a flowchart illustrating an operation in which a text area is selected by a multi-touch operation of a terminal of the present invention.
2 is a flowchart illustrating a basic operation for controlling a text area by a multi-touch operation of the terminal of the present invention.
3 is a flowchart illustrating an operation for controlling a text area by a multi-touch operation of the terminal of the present invention.
FIG. 4A shows a state in which two points are touched, FIG. 4B shows a state in which three points are touched, FIG. 4C shows a state in which four points are touched, Fig.
5 is an operational flow chart for controlling a text area by a right-finger tap / left-finger tap;
FIG. 6 illustrates an example of controlling a text area by a right-finger tap / left-finger tap, FIG. 6A being a right-finger tap, and FIG.
7 is a block diagram of a control device for performing a processing method according to a multi-touch operation of a terminal of the present invention.
이하, 본 발명의 실시예를 첨부 도면을 참조하여 상세히 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.
그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.
1. 텍스트 영역 선택 및 제어 활성화1. Enable selection and control of text areas
본 발명에서 텍스트 영역 선택은, 예를 들어 편집을 위하여 최초 터치 조작에 따라 강조되어 디스플레이되는 부분을 의미하고, 텍스트 영역의 조정(제어)은 상기 선택된 텍스트 영역을 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소하는 것을 의미한다. 여기서 확대는 단어, 문장, 문단 중 어느 하나가 상기 선택된 텍스트 영역에 추가로 포함되는 것이고, 축소는 단어, 문장, 문단 중 어느 하나가 상기 선택된 텍스트 영역으로부터 제외되는 것을 의미한다.In the present invention, the text area selection means, for example, a portion that is highlighted and displayed in accordance with the first touch operation for editing, and the adjustment (control) of the text area is performed by selecting one of the words, And the like. The enlargement means that any one of a word, a sentence, and a paragraph is further included in the selected text region, and the reduction means that any one of a word, a sentence, and a paragraph is excluded from the selected text region.
도 1은 본 발명의 단말기의 다중 터치 조작에 의해 텍스트 영역이 선택되는 동작 흐름도이다.1 is a flowchart illustrating an operation in which a text area is selected by a multi-touch operation of the terminal of the present invention.
도 1에 도시된 바와 같이, 스텝 S110, 120, 130은 단말기 화면의 다중 터치 조작에 따라 선택된 텍스트 영역을 단어, 문장, 문단 중 어느 하나로 판단하는 동작이다.As shown in FIG. 1, steps S110, 120, and 130 are operations for determining a text area selected as a word, a sentence, or a paragraph according to a multi-touch operation on a terminal screen.
먼저, 단말기 화면에 디스플레이되는 전체 텍스트에서 소정 부분을 터치하면 텍스트 선택모드(Text Selection Mode)가 활성화된다. 터치는 예를 들어, 손가락으로 이루어지며, 하나 혹은 그 이상의 손가락에 의해 이루어진다. First, a text selection mode is activated by touching a predetermined portion of the entire text displayed on the terminal screen. The touch is made of, for example, a finger and is made by one or more fingers.
이때, 확대 또는 축소되는 형태로 제어될 텍스트 영역의 범위는 화면에 터치되는 손가락 개수에 따라 달라진다. 즉 터치한 손가락의 개수, 즉 터치된 지점의 개수에 따라 선택되는 텍스트 영역의 단위가 단어, 문장, 문단으로 구분되고 강조된다.At this time, the range of the text area to be controlled in the form of being enlarged or reduced depends on the number of fingers touched on the screen. That is, a unit of a text area selected according to the number of touched fingers, that is, the number of touched points, is divided into words, sentences, and paragraphs and emphasized.
예를 들어, 한 손가락이나 두 손가락을 이용하여 텍스트 영역을 선택하는 경우에는(S110, S120) 터치한 위치에 해당하는 단어가 텍스트 영역으로 선택된다(S115). For example, when a text area is selected using one finger or two fingers (S110, S120), a word corresponding to the touched position is selected as a text area (S115).
반면에, 세 개의 손가락을 사용하여 터치하는 경우에는(S130) 터치한 위치에 해당하는 문장이 선택되며(S140), 네 개 이상의 손가락을 사용하여 터치하는 경우에는 터치한 위치에 해당하는 문단이 각각 텍스트 영역으로 선택된다(S135). 이들 선택된 단어, 문장, 문단은 각각 강조되는 형태로 디스플레이된다.On the other hand, when three fingers are touched (S130), a sentence corresponding to the touched position is selected (S140). When four or more fingers are touched, Is selected as a text area (S135). These selected words, sentences, and paragraphs are each displayed in an emphasized form.
이들 단어, 문장, 문단 중 어느 하나가 텍스트 영역으로 선택되어 강조되면, 양단에 선택된 텍스트 영역을 제어할 수 있는 핸들이 나타난다(S150). If any one of these words, sentences, or paragraphs is selected and highlighted as a text area, a handle for controlling the selected text area appears at both ends (S150).
2. 선택된 텍스트 영역 제어2. Control the selected text area
도 2는 본 발명의 단말기의 다중 터치 조작에 의해 텍스트 영역을 제어하기 위한 기본적인 동작 흐름도이다.2 is a basic operation flowchart for controlling a text area by a multi-touch operation of the terminal of the present invention.
도 1에 도시된 바와 같이 텍스트 영역이 단어, 문장, 문단 중 어느 하나로 선택되어 강조된 상태에서, 선택된 텍스트 영역 이외의 화면을 터치할 경우에는 이미 행해졌던 텍스트 영역 선택이 해제된다(S230). As shown in FIG. 1, in a state where the text area is highlighted by one of a word, a sentence, and a paragraph, when a screen other than the selected text area is touched, the text area selection that has been done is canceled (S230).
선택된 텍스트 영역 해제는 이외에도 여러 가지 다양한 조건하에 이루어지도록 설정할 수 있을 것이다. 예를 들어, 선택된 텍스트 영역을 대상으로 복사, 잘라내기 등의 임의의 명령어를 수행하는 경우에도 선택된 텍스트 영역이 해제되는 것으로 설정할 수 있을 것이다. 이를 지원하는 명령어 및 그 수행 방법 등은 본 발명에서 설명하지 않는다. The selected text area release may be set to be performed under various other conditions as well. For example, even when an arbitrary command such as copying or cutting is performed on a selected text area, the selected text area can be set to be released. A command for supporting this and a method of performing the same are not described in the present invention.
상기와 같이 단어, 문장, 문단 중 어느 하나가 텍스트 영역으로 선택되어 강조되고, 그 양단에 상기 선택된 텍스트 영역을 제어할 수 있도록 핸들이 나타나면, 이 핸들을 터치하여 잡아끌거나(Drag) 또는 상기 선택된 텍스트 영역 내에서 이후 정의되는 터치 조작들을 수행하면, 이들 터치 조작들을 수행하고 있는 손가락의 개수에 따라 텍스트 영역이 확장 또는 축소되는 형태로 제어된다.If either the word, the sentence or the paragraph is highlighted as a text area and a handle is displayed on both ends of the text area to control the selected text area, the user can touch or drag the handle, If touch operations to be defined later in the text area are performed, the text area is controlled to be expanded or contracted according to the number of fingers performing the touch operations.
즉 도 2에 도시된 바와 같이, 상기 선택된 텍스트 영역 또는 핸들을 드래그하였는지를 판단한다(S210). 이러한 동작이 행해졌으면 도 3에 도시된 바와 같이 선택된 텍스트 영역을 제어하게 된다. That is, as shown in FIG. 2, it is determined whether the selected text area or handle is dragged (S210). When this operation is performed, the selected text area is controlled as shown in FIG.
반면에, 상기 선택된 텍스트 영역 또는 핸들을 드래그하지 않았을 경우에는, 두 손가락 이상을 터치한 상태에서 가장 우측 또는 가장 좌측 손가락으로 화면을 탭하였는지를 판단한다(S220).On the other hand, if the selected text area or handle is not dragged, it is determined whether the user has touched the screen with the right or left finger while touching two or more fingers (S220).
이러한 동작이 행하여졌으면 상기 선택된 텍스트 영역을 도 5 및 도 6에 도시된 바와 같이 제어하게 된다. When this operation is performed, the selected text area is controlled as shown in FIGS. 5 and 6.
반면에, 두 손가락 이상을 터치한 상태에서 가장 우측 또는 가장 좌측 손가락으로 화면을 탭하지 않았을 경우에는(S220), 상기 선택된 텍스트 영역 이외의 화면을 터치하였는지를 판단하고(S230), 그 판단결과에 따라 상기 선택된 텍스트 영역을 해제하거나 또는 상기 선택된 텍스트 영역을 편집 등 용도로 사용하였는지를 판단하여(S240) 그 판단결과에 따라 종료하거나 스텝 S210로 복귀한다. On the other hand, if the user has not touched the screen with the rightmost or leftmost finger while touching two or more fingers (S220), it is determined whether or not a screen other than the selected text area is touched (S230) It is determined whether the selected text area is released or the selected text area is used for editing or the like (S240), and the process is terminated according to the determination result or the process returns to step S210.
3. 다중 터치 조작 및 드래그에 의한 텍스트 영역 제어3. Text area control by multi-touch operation and drag
도 3은 본 발명의 단말기의 다중 터치 조작에 의해 텍스트 영역을 제어하기 위한 동작 흐름도이고, 도 4는 다중 터치 조작에 의해 텍스트 영역을 제어하는 예시도이다.FIG. 3 is an operation flow chart for controlling a text area by a multi-touch operation of the terminal of the present invention, and FIG. 4 is an exemplary view for controlling a text area by a multi-touch operation.
도 3에 도시된 바와 같이, 상기 선택된 텍스트 영역을 제어하는 것은, 선택된 텍스트 영역의 양단에 나타난 핸들을 터치하여 드래그하거나, 도 1에 도시된 바와 같이 텍스트 영역 선택을 활성화한 상태에서 적어도 하나 이상의 손가락으로 드래그하면서 바뀌는 손가락의 실제 위치에 따라 구현된다. As shown in FIG. 3, the selected text area is controlled by touching and dragging the handles displayed at both ends of the selected text area, or by activating the text area selection as shown in FIG. 1, In accordance with the actual position of the finger being changed.
먼저, 상기 선택된 텍스트 영역 또는 핸들을 한 손가락으로 터치 및 드래그하는 경우에는(S310), 상기 선택된 텍스트 영역은 손가락의 터치 위치에 맞추어 글자 단위로 확장 또는 축소된다(S315). If the selected text area or handle is touched and dragged with one finger at step S310, the selected text area is enlarged or reduced in units of characters according to the touch position of the finger at step S315.
또한, 두 손가락으로 터치 및 드래그하는 경우에는(S320), 상기 선택된 텍스트 영역은 두 손가락 중 검지의 터치 위치에 해당하는 단어 단위로 확장 또는 축소된다(S325). 도 4a가 이에 해당하는 경우로써, 두 손가락을 터치한 상태에서 횡으로 손가락을 이동시킴에 따라 추가적으로 단어가 텍스트 영역에 포함됨을 알 수 있다. 즉 텍스트 영역이 확장되는 것이다.If the finger is touched and dragged with two fingers (S320), the selected text area is expanded or reduced in units of words corresponding to the touch position of the finger of the two fingers (S325). In FIG. 4A, it can be seen that the word is further included in the text area as the finger is moved laterally while the two fingers are touched. That is, the text area is expanded.
또한, 세 손가락으로 터치 및 드래그하는 경우에는(S330), 상기 선택된 텍스트 영역은 세 손가락 중 검지의 터치 위치에 해당하는 문장 단위로 확장 또는 축소된다(S335). 도 4b가 이에 해당하는 경우로써, 세 손가락을 터치한 상태에서 종으로 손가락을 이동시킴에 따라 추가적으로 문장이 텍스트 영역에 포함됨을 알 수 있다.If the finger is touched and dragged with three fingers (S330), the selected text area is expanded or reduced in units of sentences corresponding to the touch position of the three fingers (S335). FIG. 4B shows a case where a text is included in a text area by moving a finger to a bell under the condition that three fingers are touched.
또한, 네 손가락으로 터치 및 드래그하는 경우에는(S330), 상기 선택된 텍스트 영역은 네 손가락 중 검지의 터치 위치에 해당하는 문단 단위로 확장 또는 축소된다(S340). 도 4c가 이에 해당하는 경우로써, 네 손가락을 터치한 상태에서 종으로 손가락을 이동시킴에 따라 추가적으로 문단이 텍스트 영역에 포함됨을 알 수 있다.In addition, in the case of touching and dragging with four fingers (S330), the selected text area is expanded or reduced in units of paragraphs corresponding to the touch position of the four fingers (S340). In FIG. 4C, it can be seen that the text is further included by moving the finger to the bell under the condition that four fingers are touched.
한편, 상기 선택된 텍스트 영역을 손가락으로 드래그하는 동안 화면의 상하 양단에 도달하면, 화면이 해당 방향으로 스크롤되며, 지속적으로 추후 상기 선택된 텍스트 영역이 확장된다. On the other hand, when the selected text area reaches the upper and lower ends of the screen while being dragged with a finger, the screen scrolls in the corresponding direction, and the selected text area is continuously extended later.
또한, 드래그하는 동안 터치하는 손가락의 개수를 달리하는 경우에는 터치하는 손가락 개수에 해당하는 단위로 상기 선택된 텍스트 영역이 확장 또는 축소된다. 예를 들어, 상기 선택된 텍스트 영역을 스텝 S325와 같이 검지와 중지 두 손가락으로 드래그하는 경우에는 단어 단위로 선택되다가, 약지를 추가로 터치하여 세 손가락으로 드래그하는 경우에는, 약지의 터치와 동시에 스텝 S335와 같이 문장 단위로 상기 선택된 텍스트 영역이 확장 또는 축소된다. If the number of fingers to be touched during dragging is different, the selected text area is expanded or reduced in units corresponding to the number of touched fingers. For example, in the case of dragging the selected text area with two fingers detected and stopped as in step S325, if the finger is further touched and dragged with three fingers while touching the finger ring, The selected text area is expanded or reduced on a sentence unit basis.
반대로 검지, 중지 및 약지 세 손가락으로 드래그하다가 약지를 들어올려 검지와 중지의 두 손가락으로만 드래그하는 상태로 전환하는 경우에는, 다시 스텝 S325와 같이 단어 단위로 상기 선택된 텍스트 영역이 확장 또는 축소된다. On the contrary, if the finger is dragged while being dragged with three fingers, and the finger is dragged and dragged with only the two fingers of the detection and stop, the selected text area is enlarged or reduced in word units as in step S325.
4. 다중 터치 조작 및 탭에 의한 텍스트 영역 제어4. Text area control by multi-touch operation and tab
도 5는 우-손가락 탭/좌-손가락 탭에 의해 텍스트 영역을 제어하기 위한 동작 흐름도이고, 도 6은 우-손가락 탭/좌-손가락 탭에 의해 텍스트 영역을 제어하는 예시도이다.FIG. 5 is an operation flowchart for controlling a text area by a right-finger tap / left-finger tap, and FIG. 6 is an example of controlling a text area by a right-finger tap / left-finger tap.
본 발명에서는 다중 손가락 터치 조작에 의한 드래그 이외에도 선택된 텍스트 영역을 효과적으로 제어하기 위하여, 2 개 이상의 손가락을 활용한 다중 터치 조작시, 터치하고 있는 손가락 중 가장 우측과 가장 좌측 손가락을 이용한 터치 조작에 부합하는 확장 또는 축소 등의 제어동작을 지원한다. 이를 우-손가락 탭(Right-Finger Tap)과 좌-손가락 탭(Left-Finger Tap)이라 칭한다. In the present invention, in order to effectively control a selected text area in addition to dragging by a multi-finger touch operation, in a multi-touch operation using two or more fingers, a touch operation corresponding to a touch operation using the rightmost and leftmost fingers And supports control operations such as expansion or contraction. This is called a Right-Finger Tap and a Left-Finger Tap.
예를 들어, 도 1에 도시된 바와 같이 텍스트 영역이 단어, 문장, 문단 중 어느 하나로 선택되어 강조되고, 예를 들어 검지와 중지 두 손가락으로 상기 선택된 텍스트 영역을 터치하고 있는 상태에서, 도 6a와 같이 중지를 들어올렸다가 다시 화면을 탭하는 경우가 우-손가락 탭이고, 도 6b와 같이 검지를 들어올렸다가 다시 화면을 탭하는 경우가 좌-손가락 탭이다. 이러한 동작이 도 3에서 C 분기로 빠지는 경우이며, 이후의 동작 흐름은 도 5에 도시된 바와 같다. For example, as shown in FIG. 1, in a state in which the text area is highlighted by one of a word, a sentence, and a paragraph, and for example, the selected text area is touched with two fingers Similarly, the case where the stop is lifted and then the screen is tapped again is the right-finger tap, and the case where the index finger is lifted as shown in FIG. 6B and then the screen is tapped again is the left-finger tap. This operation is the case where the operation goes to the C branch in FIG. 3, and the operation flow thereafter is as shown in FIG.
터치된 지점의 개수가 둘인 상태에서(S510) 우-손가락 탭을 하는 경우에는(S515), 터치하고 있던 손가락의 개수에 해당하는 단위만큼 상기 선택된 텍스트 영역이 확장된다(S516). 즉 터치된 지점의 개수가 둘인 상태는 도 2 및 도 3에서 한 손가락 또는 두 손가락을 이용하여 상기 선택된 텍스트 영역을 제어하는 경우로서 단어가 제어되는 것이므로, 상기 선택된 텍스트 영역이 한 단어만큼 확장된다.If the number of touched points is two (S510), the selected text area is expanded by a unit corresponding to the number of touched fingers (S515). That is, a state in which the number of touched points is two is controlled when the selected text area is controlled using one or two fingers in Figs. 2 and 3, so that the selected text area is expanded by one word.
반면에, 좌-손가락 탭을 하는 경우에는(S515), 터치하고 있던 손가락의 개수에 해당하는 단위만큼 상기 선택된 텍스트 영역이 축소된다(S517). 즉 도 2 및 도 3에서 한 손가락 또는 두 손가락을 이용하여 상기 선택된 텍스트 영역을 제어하는 경우로서 단어가 제어되는 것이므로, 상기 선택된 텍스트 영역이 한 단어만큼 축소된다.On the other hand, when the left-finger tap is performed (S515), the selected text area is reduced by a unit corresponding to the number of touched fingers (S517). That is, in FIG. 2 and FIG. 3, the selected text area is controlled by using one finger or two fingers, so that the selected text area is reduced by one word.
이러한 상태에서 여러 번 탭할 경우에는, 탭한 횟수만큼의 단어수가 상기 선택된 텍스트 영역에 포함(확장)되거나 또는 제외(축소)된다. 예를 들어, 두 손가락을 터치한 상태에서 우-손가락 탭을 세 번 하면, 세 개의 단어가 상기 선택된 텍스트 영역에 추가로 포함되는 것이다. 반면에, 두 손가락을 터치한 상태에서 좌-손가락 탭을 세 번 하면, 세 개의 단어가 상기 선택된 텍스트 영역에서 제외되는 것이다.In this case, when the user taps several times, the number of words corresponding to the number of taps is included (expanded) or excluded (reduced) in the selected text area. For example, when three finger-tapes are touched while two fingers are touched, three words are additionally included in the selected text area. On the other hand, if two left-finger tapes are touched three times while two fingers are touched, three words are excluded from the selected text area.
또한, 터치된 지점의 개수가 셋인 상태에서(S520) 우-손가락 탭을 하는 경우에는(S525), 터치하고 있던 손가락의 개수에 해당하는 단위만큼 상기 선택된 텍스트 영역이 확장된다(S526). 즉 터치된 지점의 개수가 셋인 상태는 도 2 및 도 3에서 세 손가락을 이용하여 상기 선택된 텍스트 영역을 제어하는 경우로서 문장이 제어되는 것이므로, 상기 선택된 텍스트 영역이 한 문장만큼 확장된다.If the number of touched points is set at S520 and the right-finger tap is performed at S525, the selected text area is expanded by a unit corresponding to the number of touched fingers at S526. That is, the state in which the number of touched points is set is controlled when the selected text area is controlled by using three fingers in FIGS. 2 and 3, so that the selected text area is expanded by one sentence.
좌-손가락 탭을 하는 경우에는(S525), 터치하고 있던 손가락의 개수에 해당하는 단위만큼 상기 선택된 텍스트 영역이 축소되도록 제어된다(S527). 즉 도 2 및 도 3에서 세 손가락을 이용하여 상기 선택된 텍스트 영역을 제어하는 경우로서 문장이 제어되는 것이므로, 상기 선택된 텍스트 영역이 한 문장만큼 축소된다.If the left-finger tap is performed (S525), the selected text area is controlled to be reduced by a unit corresponding to the number of touched fingers (S527). That is, in the case of controlling the selected text area using three fingers in FIGS. 2 and 3, the sentence is controlled, so that the selected text area is reduced by one sentence.
이러한 상태에서도 여러 번 탭할 경우에는 탭한 횟수만큼의 문장이 상기 선택된 텍스트 영역에 포함되거나 또는 제외된다. 예를 들어, 세 손가락을 터치한 상태에서 우-손가락 탭을 세 번 하면, 세 개의 문장이 상기 선택된 텍스트 영역에 추가로 포함되는 것이다. 반면에, 세 손가락을 터치한 상태에서 좌-손가락 탭을 세 번 하면, 세 개의 문장이 상기 선택된 텍스트 영역에서 제외되는 것이다.In such a state, when the user taps several times, the number of taps is included or excluded in the selected text area. For example, when three-fingers are touched with three fingers touched, three sentences are further included in the selected text area. On the other hand, when the left-finger tap is touched three times while three fingers are touched, three sentences are excluded from the selected text area.
또한, 터치된 지점의 개수가 넷 이상인 상태에서(S530) 우-손가락 탭을 하는 경우에는(S535), 상기 선택된 텍스트 영역을 터치하고 있던 손가락의 개수에 해당하는 단위만큼 확장된다(S536). 즉 터치된 지점의 개수가 넷인 상태는 도 2 및 도 3에서 네 손가락을 이용하여 상기 선택된 텍스트 영역을 터치 조작하는 경우로서 문단이 제어되는 것이므로, 상기 선택된 텍스트 영역이 한 문단만큼 확장된다.If the number of touched points is equal to or greater than five in step S530, the selected text area is expanded by a unit corresponding to the number of touched fingers in step S536. That is, in the state where the number of touched points is four, the selected text area is controlled by using four fingers as shown in FIGS. 2 and 3, and the selected text area is expanded by one paragraph.
좌-손가락 탭을 하는 경우에는(S535), 터치하고 있던 손가락의 개수에 해당하는 단위만큼 상기 선택된 텍스트 영역이 축소된다(S537). 즉 도 2 및 도 3에서 네 손가락을 이용하여 상기 선택된 텍스트 영역을 터치 조작하는 경우로서 문단이 제어되는 것이므로, 상기 선택된 텍스트 영역이 한 문단만큼 축소된다.If the left-finger tap is performed (S535), the selected text area is reduced by a unit corresponding to the number of touched fingers (S537). In other words, in FIG. 2 and FIG. 3, the selected text area is reduced by one paragraph because the paragraph is controlled as a case of touching the selected text area with four fingers.
이러한 상태에서도 여러 번 탭할 경우, 탭한 횟수만큼의 문단이 상기 선택된 텍스트 영역에 추가로 포함되거나 제외된다. 예를 들어, 네 손가락을 터치한 상태에서 우-손가락 탭을 세 번 하면, 세 개의 문단이 상기 선택된 텍스트 영역에 추가로 포함되는 것이다. 반면에, 네 손가락을 터치한 상태에서 좌-손가락 탭을 세 번 하면, 세 개의 문단이 상기 선택된 텍스트 영역에서 제외되는 것이다.In this state, if the user taps several times, paragraphs of the number of taps are additionally included or excluded in the selected text area. For example, if three finger-tapes are touched while four fingers are touched, three paragraphs are additionally included in the selected text area. On the other hand, if the left-finger tap is touched three times while touching four fingers, three paragraphs are excluded from the selected text area.
이와 같이 본 발명의 다중 탭에 의한 텍스트 영역 제어는, 상기 다중 드래그를 통한 텍스트 영역 제어와 혼용이 가능하다. 즉 드래그를 하다가 우-손가락 탭이나 좌-손가락 탭을 하는 것도 가능하며, 반대로 우-손가락 탭이나 좌-손가락 탭 후에 터치한 손가락들로 드래그하면서 텍스트 영역을 확장 또는 축소하는 것이 가능하다.As described above, the multi-tap text area control of the present invention can be mixed with the text area control through the multiple dragging. In other words, it is possible to use a right-handed finger or a left-handed finger while dragging. On the contrary, it is possible to expand or contract the text area while dragging with fingers touched after the right-handed finger or the left-handed finger.
도 7은 본 발명의 단말기의 다중 터치 조작에 따른 처리방법을 위한 제어장치 구성도이다.FIG. 7 is a block diagram of a control apparatus for a processing method according to the multi-touch operation of the terminal of the present invention.
일실시예에서 제어부(110)는, 본 발명의 다중 터치 조작에 의한 텍스트 영역 선택 및 선택된 텍스트 영역 제어를 총괄적으로 처리하는 수단이다. 이를 위해 제어부(110)는, 터치 스크린(120)을 통해 사용자가 편집 어플(141)의 실행을 요청하면, 저장부(130)에 저장되어 있던 편집 어플(141)을 시스템 메모리(140) 상에 로딩한다.In one embodiment, the
일실시예에서 터치 스크린(120)은, 화면 디스플레이 영역의 경계로부터 시작하여 화면 디스플레이 영역까지 사용자의 터치 조작을 감지하고, 터치 조작에 의해 텍스트 영역이 선택되며, 선택된 텍스트 영역이 확대 또는 축소되면서 디스플레이되는 화면을 제공하는 수단이다.In one embodiment, the
일실시예에서 편집 어플(141)은, 상기 제어부(110)의 제어에 의해 시스템 메모리(140)에 로딩되어 실행됨에 따라, 편집 화면을 초기 상태로 터치 스크린(120)상에 디스플레이한다. 이와 같이 터치 스크린(120)상에 디스플레이된 편집 화면에서 사용자의 각종 터치 조작이 이루어지고, 그에 따라 문서 편집이 이루어지도록 한다.In one embodiment, the
감지 모듈(150)은 화면상에서 사용자의 터치 조작을 감지하는 수단이다. 여기에서 언급된 사용자의 터치 조작은, 최초 텍스트 영역 선택, 선택된 텍스트 영역의 제어를 위한 드래그, 탭 등을 모두 포함하는 의미이다.The
처리 모듈(160)은 화면상에서 사용자의 터치 조작이 감지 모듈(150)에 의해 감지되면, 텍스트 영역이 선택되도록 하고, 선택된 텍스트 영역이 예를 들어, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 처리하는 수단이다. 여기에서 언급된 사용자의 터치 조작 역시, 최초 텍스트 영역 선택, 선택된 텍스트 영역의 제어를 위한 드래그, 탭 등을 모두 포함하는 의미이다.The
선택 모듈(170)은 화면상에서 사용자의 터치 조작이 감지 모듈(150)에 의해 감지되고, 처리모듈(160)에 의해 텍스트 영역이 선택된 후, 선택된 텍스트 영역이 예를 들어, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 처리되면, 이와 같이 확대 또는 축소되는 텍스트 영역을 선택하는 수단이다. The
시각적 구현모듈(180)은 화면상에서 사용자의 터치 조작이 감지 모듈(150)에 의해 감지되고, 처리모듈(160)에 의해 텍스트 영역이 선택된 후, 선택된 텍스트 영역이 예를 들어, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 처리되어, 이와 같이 확대 또는 축소되는 텍스트 영역이 선택 모듈(170)에 의해 선택되면, 이를 강조하는 식으로 디스플레이하는 수단이다. The
도 7에 도시된 장치를 이용한 텍스트 영역 선택 및 선택된 텍스트 영역 제어를 위한 동작 및 기술적 효과는 상기에서 설명한 방법 실시예와 유사하므로 여기에서는 별도의 설명을 하지 않는다.The operation and technical effects for the selection of the text area using the apparatus shown in FIG. 7 and the control of the selected text area are similar to those of the above-described method embodiment, and will not be described here.
110 : 제어부 120 : 터치스크린
130 : 저장부 140 : 시스템 메모리
150 : 감지모듈 160 : 처리모듈
170 : 선택모듈 180 : 시각적 구현모듈 110: control unit 120: touch screen
130: storage unit 140: system memory
150: detection module 160: processing module
170: selection module 180: visual implementation module
Claims (16)
상기 선택된 텍스트 영역을 적어도 하나 이상의 터치에 의해 드래그 또는 탭함에 따라 확대 또는 축소되도록 제어하는 제2단계; 및
상기 제2단계는 상기 선택된 텍스트 영역이 본래 터치 지점의 개수에 따라 글자, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 처리되되, 터치 지점의 개수 및 터치하고 있는 손가락 중 가장 좌측-손가락 탭 또는 가장 우측-손가락 탭의 횟수에 따라 글자, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되도록 터치 지점의 개수와 가장 좌측-손가락 또는 가장 우측-손가락에 의한 탭의 횟수가 서로 연계되어 처리되는 것,
상기 선택된 텍스트 영역과, 상기 선택된 텍스트 영역이 확대 또는 축소되는 상태를 강조하여 디스플레이하는 제3단계로 이루어진 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법.A first step of selecting a text area corresponding to a touch position of the terminal screen;
A second step of controlling the selected text area to be enlarged or reduced by dragging or tapping the selected text area with at least one touch; And
The second step is performed such that the selected text area is enlarged or reduced in units of any one of letters, words, sentences and paragraphs according to the number of original touch points, and the number of touch points and the left- The number of touch points and the number of tabs by the left-most or right-most fingers are selected to be enlarged or reduced in units of letters, words, sentences or paragraphs according to the number of fingers or right- Linked, processed,
And a third step of emphasizing and displaying the selected text area and a state in which the selected text area is enlarged or reduced.
상기 선택된 텍스트 영역은, 드래그를 위한 터치 지점의 개수에 따라 글자, 단어, 문장, 문단 중 어느 하나의 단위로 확대 또는 축소되는 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법.The method according to claim 1,
Wherein the selected text area is enlarged or reduced in units of one of letters, words, sentences and paragraphs according to the number of touch points for dragging.
상기 터치가
한 지점에 이루어진 상태에서 드래그하는 경우에는. 상기 선택된 텍스트 영역이 터치 위치에 맞추어 글자 단위로 확장 또는 축소되고,
두 지점에 이루어진 상태에서 드래그하는 경우에는, 상기 선택된 텍스트 영역이 두 지점 중 왼쪽 터치 위치에 해당하는 단어 단위로 확장 또는 축소되고,
세 지점에 이루어진 상태에서 드래그하는 경우에는, 상기 선택된 텍스트 영역이 세 지점 중 가운데 터치 위치에 해당하는 문장 단위로 확장 또는 축소되며,
네 지점에 이루어진 상태에서 드래그하는 경우에는, 상기 선택된 텍스트 영역이 네 지점 중 가장 왼쪽의 터치 위치에 해당하는 문단 단위로 확장 또는 축소되는 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법. The method according to claim 1,
The touch
If dragging is done at a point. The selected text area is expanded or reduced in units of characters in accordance with the touch position,
In the case of dragging in a state in which two points are made, the selected text area is expanded or reduced in units of words corresponding to the left touch position of the two points,
When dragging is performed at three points, the selected text area is expanded or reduced in units of sentences corresponding to the middle touch position among the three points,
Wherein the selected text area is expanded or reduced in units of paragraphs corresponding to the leftmost touch position of the four points when dragging is performed at four points.
상기 드래그가 화면의 상하 양단에 도달하면, 화면이 해당 방향으로 스크롤되며, 지속적으로 추가 텍스트가 글자, 단어, 문장, 문단 중 어느 하나의 단위로 상기 선택된 텍스트 영역에 포함되는 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법. The method according to claim 1,
When the drag reaches the upper and lower ends of the screen, the screen is scrolled in the corresponding direction, and the additional text is continuously included in the selected text area in any one of letters, words, sentences and paragraphs. A method for processing according to multi-touch operation.
상기 드래그하는 동안 터치 지점의 개수를 달리하는 경우에는, 터치 지점의 개수에 해당하는 단위로 변화되어 상기 선택된 텍스트 영역이 확장 또는 축소되는 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법. The method according to claim 1,
Wherein when the number of touch points is changed during the dragging, the selected text area is changed in units corresponding to the number of touch points, and the selected text area is expanded or reduced.
화면상에서 이루어지는 터치 조작을 감지하고, 터치 조작에 의해 텍스트 영역이 선택되며, 선택된 텍스트 영역이 확대 또는 축소되면서 디스플레이되는 화면을 제공하는 터치 스크린;
상기 화면상에서 이루어지는 적어도 하나 이상의 터치 조작을 감지하는 감지 모듈;
상기 화면상에서 이루어지는 적어도 하나 이상의 터치 조작이 감지되면, 이를 처리하여 텍스트 영역이 소정 단위로 선택되도록 처리하고, 상기 선택된 텍스트 영역이 소정 단위로 확대 또는 축소되도록 처리하는 처리 모듈;
상기 화면상에서 이루어지는 적어도 하나 이상의 터치 조작이 감지되어 처리됨에 따라 텍스트 영역을 소정 단위로 선택하고, 선택된 텍스트 영역이 확대 또는 축소 처리되면, 텍스트 영역에 추가 포함되는 텍스트와 제거되는 텍스트를 소정 단위로 선택하는 선택 모듈; 및
상기 처리 모듈에 의해 처리되어 선택된 텍스트 영역과, 선택 모듈에 의해 선택되어 추가되는 텍스트 영역을 강조하여 디스플레이하는 시각적 구현모듈로 이루어진 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법을 수행하기 위한 제어장치.The control unit controls the text area selection by the multi-touch operation and the selected text area control so that the selected text area is enlarged or reduced in units of any one of letters, words, sentences and paragraphs according to the number of original touch points Wherein the selected text area is enlarged or reduced in units of any one of letters, words, sentences and paragraphs according to the number of touch points and the number of the left-finger tap or the right-most finger tap among the touching fingers, A controller for controlling the number of touch points and the number of taps by the left-most finger or the right-most finger to be processed in association with each other;
A touch screen for sensing a touch operation on the screen, selecting a text area by a touch operation, and providing a screen to be displayed while the selected text area is enlarged or reduced;
A sensing module for sensing at least one touch operation performed on the screen;
A processing module configured to process the text area in a predetermined unit by processing at least one touch operation on the screen, and to process the selected text area to be enlarged or reduced in a predetermined unit;
When at least one touch operation on the screen is detected and processed, the text area is selected as a predetermined unit, and when the selected text area is enlarged or reduced, the text included in the text area and the text to be removed are selected in a predetermined unit An optional module; And
And a visual implementation module for emphasizing and displaying the selected text area processed by the processing module and the text area selected and added by the selection module. Device.
상기 처리 모듈은, 터치 지점의 개수와 드래그에 의하여 글자, 단어, 문장, 문단 중 어느 하나의 단위로 텍스트 영역을 확대 또는 축소 처리하는 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법을 위한 제어장치.10. The method of claim 9,
Wherein the processing module enlarges or reduces a text area in units of any one of letters, words, sentences and paragraphs by the number of touch points and dragging. Device.
상기 처리 모듈은
터치가 한 지점에 이루어진 상태에서 드래그하는 경우에는. 상기 선택된 텍스트 영역이 터치 위치에 맞추어 글자 단위로 확장 또는 축소되도록 처리하고,
두 지점에 이루어진 상태에서 드래그하는 경우에는, 상기 선택된 텍스트 영역이 두 지점 중 왼쪽 터치 위치에 해당하는 단어 단위로 확장 또는 축소되도록 처리하고,
세 지점에 이루어진 상태에서 드래그하는 경우에는, 상기 선택된 텍스트 영역이 세 지점 중 가운데 터치 위치에 해당하는 문장 단위로 확장 또는 축소되도록 처리하며,
네 지점에 이루어진 상태에서 드래그하는 경우에는, 상기 선택된 텍스트 영역이 네 지점 중 가장 왼쪽의 터치 위치에 해당하는 문단 단위로 확장 또는 축소되도록 처리하는 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법을 수행하기 위한 제어장치. 10. The method of claim 9,
The processing module
If the touch is dragged while it is in place. The selected text area is enlarged or reduced in units of characters in accordance with the touch position,
When dragging is performed in a state in which it is made at two points, processing is performed such that the selected text area is expanded or reduced in units of words corresponding to the left touch position of the two points,
When dragging is performed in a state in which the cursor is positioned at three points, the selected text area is enlarged or reduced in units of sentences corresponding to the middle touch position among the three points,
Wherein when dragging is performed at four points, the selected text area is expanded or reduced in units of paragraphs corresponding to the leftmost touch position among the four points. A control device for performing.
상기 처리 모듈은, 드래그가 화면의 상하 양단에 도달하면, 화면이 해당 방향으로 스크롤되며, 지속적으로 추가 텍스트가 단어, 문장, 문단 중 어느 하나의 단위로 상기 선택된 텍스트 영역에 포함되도록 처리하는 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법을 수행하기 위한 제어장치. 10. The method of claim 9,
The processing module scrolls the screen in the corresponding direction when the drag reaches both the upper and lower ends of the screen, and continuously processes the additional text so that the additional text is included in the selected text area in units of words, sentences, or paragraphs The method comprising the steps of: (a)
상기 처리 모듈은, 드래그하는 동안 터치 지점의 개수를 달리하는 경우에는, 터치 지점의 개수에 해당하는 단위로 변화되어 상기 선택된 텍스트 영역이 확장 또는 축소되도록 처리하는 것을 특징으로 하는 단말기의 다중 터치 조작에 따른 처리방법을 수행하기 위한 제어장치. 10. The method of claim 9,
Wherein when the number of touch points is varied during dragging, the processing module changes the unit corresponding to the number of touch points so that the selected text area is expanded or contracted. And a control unit for controlling the processing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160064986A KR101866417B1 (en) | 2016-05-26 | 2016-05-26 | Processing method based on multi-touch of terminal and device thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160064986A KR101866417B1 (en) | 2016-05-26 | 2016-05-26 | Processing method based on multi-touch of terminal and device thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170133776A KR20170133776A (en) | 2017-12-06 |
| KR101866417B1 true KR101866417B1 (en) | 2018-06-11 |
Family
ID=60922242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160064986A KR101866417B1 (en) | 2016-05-26 | 2016-05-26 | Processing method based on multi-touch of terminal and device thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101866417B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11379099B2 (en) | 2018-11-15 | 2022-07-05 | Samsung Electronics Co., Ltd. | Method and device for selecting text in electronic terminal |
| CN109683798B (en) * | 2018-12-28 | 2021-10-29 | 咪咕音乐有限公司 | Text determination method, terminal and computer readable storage medium |
| CN113760123A (en) * | 2021-07-26 | 2021-12-07 | 杭州逗酷软件科技有限公司 | Screen touch optimization method and device, terminal device and storage medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090228842A1 (en) | 2008-03-04 | 2009-09-10 | Apple Inc. | Selecting of text using gestures |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955617B (en) * | 2011-06-03 | 2019-07-12 | 谷歌有限责任公司 | For selecting the gesture of text |
| KR101990036B1 (en) * | 2012-10-31 | 2019-06-17 | 엘지전자 주식회사 | Mobile terminal and control method thereof |
-
2016
- 2016-05-26 KR KR1020160064986A patent/KR101866417B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090228842A1 (en) | 2008-03-04 | 2009-09-10 | Apple Inc. | Selecting of text using gestures |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170133776A (en) | 2017-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102123089B1 (en) | Automatically expanding panes | |
| US10275152B2 (en) | Advanced methods and systems for text input error correction | |
| US9223471B2 (en) | Touch screen control | |
| JP5249788B2 (en) | Gesture using multi-point sensing device | |
| US9594432B2 (en) | Electronic device, control setting method and program | |
| EP2442222A2 (en) | Information processing apparatus, and input control method and program of information processing apparatus | |
| JP2017224318A (en) | Touch input cursor manipulation | |
| JP2010517197A (en) | Gestures with multipoint sensing devices | |
| WO2011027611A1 (en) | Operation control device, operation control method and computer program | |
| EP2309370A2 (en) | Information processing apparatus, information processing method, and information processing program | |
| AU2012309121B2 (en) | Formula entry for limited display devices | |
| KR20140136500A (en) | Touch screen hover input handling | |
| JP2012515975A (en) | Multi-screen interaction with two modes | |
| US20100194702A1 (en) | Signal processing apparatus, signal processing method and selection method of uer interface icon for multi-touch panel | |
| US11379650B2 (en) | Systems and methods for gesture-based formatting | |
| US11112965B2 (en) | Advanced methods and systems for text input error correction | |
| US9747002B2 (en) | Display apparatus and image representation method using the same | |
| EP2613228A1 (en) | Display apparatus and method of editing displayed letters in the display apparatus | |
| KR101866417B1 (en) | Processing method based on multi-touch of terminal and device thereof | |
| KR20140067861A (en) | Method and apparatus for sliding objects across touch-screen display | |
| EP2851776A1 (en) | Information processing device with a touch screen, control method and program | |
| JP2017016594A (en) | Information processing apparatus, information display program, and information display method | |
| KR20090089707A (en) | Method and apparatus for zoom in/out using touch-screen | |
| CN110727388B (en) | Method and device for controlling input method keyboard | |
| US9804777B1 (en) | Gesture-based text selection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |