KR20150040825A

KR20150040825A - User interface method and apparatus using successive touches

Info

Publication number: KR20150040825A
Application number: KR20150039819A
Authority: KR
Inventors: 이기혁; 허성국; 한재현; 구지성
Original assignee: 한국과학기술원
Priority date: 2013-07-17
Filing date: 2015-03-23
Publication date: 2015-04-15
Also published as: KR20150010553A; KR101553119B1; KR102040798B1

Abstract

Provide are a method for executing functions of zoom-in, zoom-out and rotation by fingers through successive touches on the display on a terminal having a touch screen and an apparatus using the same. The method controlling touch screens comprises the steps of: determining whether or not a previous tab and a current tab are input at two sites separated by more than or equal to a preset distance threshold value on the touch screen within the preset time threshold value; converting into successive tab operation mode by analyzing the previous tab and the current tab; and conducting an operation according to the successive tab instruction defined previously in the successive tab operation mode.

Description

[0001] USER INTERFACE METHOD AND APPARATUS USING SUCCESSIVE TOUCHES [0002]

아래의 설명은 연속적인 터치를 이용하여 확대, 축소, 회전 등의 다양한 입력을 수행할 수 있게 하는 터치를 이용한 입력 방법 및 장치에 관한 것이다.
The following description relates to an input method and apparatus using a touch that enables various inputs such as enlargement, reduction, rotation, and the like to be performed using a continuous touch.

최근 출시되는 많은 휴대기기에는 다점의 터치를 감지할 수 있는 멀티터치 터치스크린이 탑재되고 있다. 이러한 멀티터치 터치스크린을 이용하면 그림의 회전이나 확대, 축소 등의 기능을 별도의 버튼 조작 등을 이용하지 않고도 쉽게 수행할 수 있다. 일상생활에서 이러한 멀티 터치 조작을 한 손으로 사용해야 할 상황을 접하는 경우가 종종 있다. 종래 기술에서 한 손으로 동작이 가능한 경우는 단일 탭 또는 더블 탭이 있다. 하지만, 그밖에 다양한 멀티 터치 조작을 한 손으로 수행하기에는 어려움이 있었다. Many of today's mobile devices are equipped with a multi-touch touchscreen that can detect multiple touches. With such a multi-touch touch screen, functions such as rotation, enlargement, and reduction of pictures can be easily performed without using any button operation. In everyday life, it is often the case that you need to use this multi-touch operation with one hand. In the prior art, there is a single tap or a double tap when one-handed operation is possible. However, it was difficult to perform various multi-touch operations with one hand.

한 손가락으로도 기존의 터치 입력 외에 확대/축소 등 추가적인 입력을 가능하게 하기 위해 가속도 정보를 함께 사용하여 화면을 터치하는 힘을 추정하거나 (한국등록특허: 10-1173400), 여러 손가락의 움직임을 함께 사용하는 방법(한국공개특허: 10-2008-0091502) 등이 연구되었다.In order to enable additional input such as enlargement / reduction in addition to the conventional touch input with one finger, acceleration information is used together to estimate the force of touching the screen (Korean Patent Registration No. 10-1173400) (Korean Patent Laid-Open Publication No. 10-2008-0091502).

또한, 특정 시간만큼 대기하였을 때 가상의 손가락을 표시하여 멀티터치 조작을 할 수 있도록 한 발명(한국공개특허: 10-2010-0121785)도 제시되었다.
In addition, an invention (Korean Patent Laid-open Patent Application No. 10-2010-0121785) is also proposed in which a virtual finger is displayed when a user stands by for a specific time, thereby enabling multi-touch operation.

일 실시예에 따르는 터치를 이용한 사용자 인터페이스 방법은, 이전 탭(previous tap) 및 현재 탭(current tap) 간의 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하는 단계 및 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격(time difference) 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드(operation mode)를 결정하는 단계를 포함할 수 있다.A user interface method using a touch according to an embodiment includes the steps of calculating a time interval between a previous tap and a current tap and a distance between the previous tap and the current tap, And determining an operation mode according to the time difference between the taps and the distance between the previous tap and the current tap.

일 실시예에 따르면, 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드를 결정하는 단계는, 상기 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값(time threshold)보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값(distance threshold)보다 큰 경우 상기 동작 모드를 연속 탭 조작 모드(successive tap operation mode)로 변경하는 단계를 포함할 수 있다.According to one embodiment, the step of determining the operating mode according to the time interval between the previous tap and the current tap and the distance between the previous tap and the current tap may include: Changing the operation mode to a successive tap operation mode when the distance between the previous tap and the current tap is less than a set time threshold and greater than a predetermined distance threshold . &Lt; / RTI >

상기 시간 임계값은 500ms이고, 상기 거리 임계값은 9.6mm일 수 있다.The time threshold may be 500ms, and the distance threshold may be 9.6mm.

또한, 일 실시예에 따르면, 상기 터치를 이용한 사용자 인터페이스 방법은, 상기 현재 탭에 연속되는 드래그(drag) 입력에 따라 미리 결정된 처리를 수행하는 단계를 더 포함할 수 있다. According to an embodiment of the present invention, the touch-based user interface method may further include performing a predetermined process according to a drag input successive to the current tap.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 핸들 이미지(handle image)를 표시하는 단계 및 상기 현재 탭의 위치를 상기 이전 탭을 중심으로 상기 드래그 입력을 이용하여 회전시킨 위치로 이동시키는 경우, 상기 핸들 이미지를 기준으로 표시 영상을 회전시키는 단계를 더 포함할 수 있다.According to an embodiment, the step of performing a predetermined process according to a drag input successive to the current tap may include displaying a handle image corresponding to the previous tab and the current tab in the continuous tap operation mode And rotating the display image based on the handle image when moving the position of the current tab to a position rotated by using the drag input around the previous tab.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 핸들 이미지를 표시하는 단계 및 상기 현재 탭의 위치를 상기 이전 탭의 반대 방향으로 상기 드래그 입력을 이용하여 이동시키는 경우, 표시 영상을 확대시키는 단계를 더 포함할 수 있다.According to an embodiment, performing the predetermined process in accordance with the drag input successive to the current tap may include displaying the handle image corresponding to the previous tab and the current tab in the continuous tap operation mode, And enlarging the display image when moving the position of the current tab in the direction opposite to the previous tab using the drag input.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 핸들 이미지를 표시하는 단계 및 상기 현재 탭의 위치를 상기 이전 탭 쪽 방향으로 상기 드래그 입력을 이용하여 이동시키는 경우, 표시 영상을 축소시키는 단계를 더 포함할 수 있다.According to an embodiment, performing the predetermined process in accordance with the drag input successive to the current tap may include displaying the handle image corresponding to the previous tab and the current tab in the continuous tap operation mode, And reducing the display image when moving the position of the current tab to the previous tab direction using the drag input.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 원형 핸들 이미지를 표시하는 단계 및 상기 드래그 입력을 이용하여 상기 현재 탭의 위치를 상기 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 표시 영상을 스크롤 시키는 단계를 더 포함할 수 있다.According to one embodiment, performing the predetermined processing in accordance with the drag input successive to the current tap may include displaying the circular handle image corresponding to the previous tab and the current tab in the continuous tap operation mode, The method may further include scrolling the display image according to the rotation angle when the position of the current tab is moved to a position rotated around the previous tab using the drag input.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 파이 형태의 메뉴를 표시하는 단계 및 상기 드래그 입력을 이용하여 상기 현재 탭의 위치를 상기 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 상기 메뉴의 항목을 선택하도록 단계를 더 포함할 수 있다.According to an embodiment, the step of performing predetermined processing according to a drag input successive to the current tap may include displaying a pie-shaped menu corresponding to the previous tab and the current tab in the continuous tap operation mode And selecting the item of the menu according to the rotation angle when the position of the current tab is moved to a position rotated around the previous tab using the drag input.

일 실시예에 따르면, 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드를 결정하는 단계는, 상기 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우 상기 동작 모드를 더블 탭 조작 모드(double tap operation mode)로 변경하는 단계를 포함할 수 있다.According to one embodiment, the step of determining the operating mode according to the time interval between the previous tap and the current tap and the distance between the previous tap and the current tap may include: And changing the operation mode to a double tap operation mode when the distance between the previous tap and the current tap is smaller than or equal to a predetermined distance threshold value.

일 실시예에 따르면, 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드를 결정하는 단계는, 상기 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 크거나 같은 경우 상기 동작 모드를 단일 탭 조작 모드(single tap operation mode)로 변경하는 단계를 포함할 수 있다.According to one embodiment, the step of determining the operating mode according to the time interval between the previous tap and the current tap and the distance between the previous tap and the current tap may include: And changing the operation mode to a single tap operation mode if the set time threshold is greater than or equal to the set time threshold.

일 실시예에 따르면, 상기 터치를 이용한 사용자 인터페이스 방법은, 탭 입력을 수신한 경우, 이전 입력이 탭 입력인지 판단하는 단계를 더 포함하고, 상기 이전 탭 및 현재 탭 간의 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하는 단계는, 상기 이전 입력이 탭 입력인 경우, 이전 탭 및 현재 탭 간의 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하는 단계를 포함할 수 있다.According to another embodiment of the present invention, there is provided a method of using a touch, the method comprising the steps of: determining whether a previous input is a tap input when a tap input is received, wherein the time interval between the previous tap and the current tap, The calculating the distance between the current taps may include calculating a time interval between the previous tap and the current tap and a distance between the previous tap and the current tap when the previous input is a tap input.

일 실시예에 따르면, 상기 터치를 이용한 사용자 인터페이스 방법은, 상기 이전 입력이 탭 입력이 아닌 경우, 현재 탭의 위치 및 시간을 저장하는 단계를 더 포함할 수 있다.According to an exemplary embodiment, the method may further include storing a position and a time of a current tap when the previous input is not a tap input.

또 다른 실시예에 따른 터치를 이용한 사용자 인터페이스 방법은, 이전 탭 및 현재 탭을 수신하는 단계, 단계와, 상기 이전 탭 및 상기 현재 탭을 분석하여 연속 탭 조작 모드로 전환하는 단계 및 상기 연속 탭 조작 모드에서 미리 정해진(predetermined) 연속 탭 명령에 따라 동작을 수행하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of using a touch, the method comprising: receiving a previous tap and a current tap; analyzing the previous tap and the current tap to switch to a continuous tap operation mode; And performing an operation according to a predetermined continuous tap command in a mode.

일 실시예에 따르면, 상기 연속 탭 조작 모드로 전환하는 단계는, 상기 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내에 포함되는지 확인하는 단계 및 상기 이전 탭 및 현재 탭 간 거리 간격이 미리 설정된 거리 이상인지 확인하는 단계를 포함할 수 있다. 또한, 일 실시예에 따르면, 상기 탭 간 시간 간격이 미리 설정된 시간 이내이고, 상기 탭 간 거리 간격이 미리 설정된 거리 이상일 경우, 연속 탭 조작 모드로 전환될 수 있다.According to an embodiment, the step of switching to the continuous tap operation mode may include a step of checking whether a time interval between the previous tab and the current tab is included within a predetermined time, Or more. According to an embodiment, when the time interval between taps is within a preset time and the distance between taps is equal to or greater than a predetermined distance, the continuous tap operation mode can be switched.

일 실시예에 따르면, 상기 연속 탭 조작 모드에서 미리 정해진 동작을 수행하는 단계는, 상기 이전 탭 및 상기 현재 탭의 터치 지점을 잇는 핸들 이미지를 표시하고, 상기 핸들 이미지의 길이 및 각도의 변화량에 대응하는 상기 연속 탭 명령에 따라 동작을 수행하는 단계를 포함할 수 있다.According to an embodiment, the step of performing the predetermined operation in the continuous tap operation mode may include displaying a handle image connecting the touch point of the previous tab and the current tab and corresponding to the change amount of the length and angle of the handle image And performing an operation according to the continuous tap command.

일 실시예에 따르면, 상기 미리 정해진 연속 탭 명령은 상기 핸들 이미지의 길이 및 각도의 변화량에 따라 확대, 축소, 회전, 스크롤, 문자열 선택, 파이 형태의 메뉴의 실행 중 적어도 하나를 포함할 수 있다.According to one embodiment, the predetermined continuous tap command may include at least one of enlargement, reduction, rotation, scrolling, string selection, and execution of a pie type menu according to the variation of the length and angle of the handle image.

또 다른 실시예에 따르는 터치를 이용한 사용자 인터페이스 장치는, 이전 탭 및 현재 탭을 입력 받는 입력부, 상기 이전 탭 및 현재 탭 간의 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하는 분석부, 및 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 결정된 동작 모드에 따라 동작을 수행하는 수행부를 포함할 수 있다.According to another embodiment of the present invention, there is provided a user interface apparatus using a touch, comprising: an input unit for receiving a previous tap and a current tap; an analyzing unit for calculating a time interval between the previous tap and the current tap; And an execution unit configured to perform an operation according to an operation mode determined according to the time interval between the previous tab and the current tab and the distance between the previous tab and the current tab.

일 실시예에 따르면, 상기 분석부는, 이전 입력이 탭 입력인지 판단하는 탭 확인부와, 상기 이전 탭 및 상기 현재 탭 간 시간 간격이 미리 설정된 시간 이내인지 확인하는 시간 간격 확인부 및 상기 이전 탭 및 상기 현재 탭 간 시간 간격이 미리 설정된 시간 이내에 포함될 경우, 상기 이전 탭 및 상기 현재 탭 간 거리 간격이 미리 설정된 거리 이상인지 확인하는 거리 간격 확인부를 포함할 수 있다.According to an embodiment, the analyzing unit may include a tab checking unit for determining whether a previous input is a tab input, a time interval checking unit for checking whether a time interval between the previous tab and the current tab is within a preset time, And a distance interval checking unit for checking whether the distance between the previous tab and the current tab is greater than a predetermined distance when the time interval between the current tabs is included within a predetermined time.

일 실시예에 따르면, 상기 수행부는, 상기 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우 상기 동작 모드를 더블 탭 조작 모드로 변경할 수 있다.According to an embodiment, when the time interval between the previous tab and the current tab is less than a preset time threshold and the distance between the previous tab and the current tab is less than or equal to a preset distance threshold, Mode can be changed to the double tap operation mode.

일 실시예에 따르면, 상기 수행부는, 상기 탭 간 시간 간격이 미리 설정된 시간 이내이고, 상기 탭 간 거리 간격이 미리 설정된 거리 이상일 경우, 상기 동작 모드를 연속 탭 조작 모드로 변경할 수 있다.According to an embodiment, the execution unit may change the operation mode to the continuous tap operation mode when the time interval between taps is within a preset time and the interval between taps is equal to or greater than a preset distance.

일 실시예에 따르면, 상기 입력부는, 터치 스크린, 프로젝션 입력 장치, 프로젝션 키패드, 및 홀로그램 사용자 인터페이스 장치 중 적어도 하나를 포함할 수 있다.
According to one embodiment, the input unit may include at least one of a touch screen, a projection input device, a projection keypad, and a hologram user interface device.

도 1은 일 실시예에 따른 터치를 이용한 사용자 인터페이스 방법의 순서도이다.
도 2는 일 실시예에 따른 터치를 이용한 사용자 인터페이스 방법의 순서도이다.
도 3은 일 실시예에 따른 터치를 이용한 사용자 인터페이스 장치의 블록도이다.
도 4a 및 도 4b는 일 실시예에 따른 터치를 이용한 사용자 인터페이스 장치를 도시한 도면이다.
도 5는, 일 실시예에 따라, 연속 탭 조작 모드의 실행을 설명하기 위한 도면이다.
도 6a 내지 도 6c는, 일 실시예에 따라, 연속 탭 조작 모드에서 핸들 조작 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는, 일 실시예에 따라, 현재 탭에 연속되는 드래그 입력에 따라 핸들을 조작할 때, 회전 각도 및 확대 배율을 계산하기 위해 사용하는 파라미터들을 설명하기 위한 도면이다.
도 8은, 일 실시예에 따라, 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 스크롤을 실행하는 방법을 설명하기 위한 도면이다.
도 9는, 일 실시예에 따라, 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 문자열 선택 및/또는 조작을 실행하는 방법을 설명하기 위한 도면이다.
도 10은, 일 실시예에 따라, 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 파이 형태의 메뉴의 호출 및 실행하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따라 프로젝션 입력 장치(1110)에서 연속 탭 입력을 이용하는 경우를 설명하기 위한 도면이다.1 is a flowchart of a user interface method using a touch according to an embodiment.
2 is a flowchart of a user interface method using a touch according to an embodiment.
3 is a block diagram of a user interface device using a touch according to an embodiment.
4A and 4B illustrate a user interface device using a touch according to an exemplary embodiment of the present invention.
5 is a diagram for explaining the execution of the continuous tap operation mode according to one embodiment.
6A to 6C are views for explaining a method of operating the handle in the continuous tap operation mode according to an embodiment.
7A and 7B are diagrams for explaining parameters used for calculating a rotation angle and an enlargement magnification when operating a handle according to a drag input successive to a current tap, according to an embodiment.
FIG. 8 is a diagram for explaining a method of performing scrolling according to a drag input successive to a current tap in the continuous tap operation mode, according to an embodiment.
FIG. 9 is a diagram for explaining a method of performing a string selection and / or an operation according to a drag input successive to a current tap in a continuous tap operation mode, according to an embodiment.
10 is a diagram for explaining a method of calling and executing a pie-shaped menu according to a drag input successive to a current tap in a continuous tap operation mode, according to an embodiment.
11 is a diagram for explaining a case where a continuous tap input is used in the projection input apparatus 1110 according to an embodiment.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

터치스크린에서 일반적으로 사용되는 입력 및/또는 제스처(gesture)로는 탭(tap), 더블 탭(double tap), 드래그(drag) 및 멀티 터치 제스처(multi-touch gesture)가 알려져 있다. 탭(tap)은 터치스크린을 한번 터치하는 제스처이다. 더블 탭(double tap)은 짧은 시간 내(일반적으로 500ms 이내)에 실질적으로 동일한 위치를 두 번 터치하는 제스처이다. 드래그(drag)는 터치스크린을 한번 터치한 후 상기 터치를 터치스크린에서 떼지 않고 상기 터치를 이동시키는 제스처이다. 멀티 터치 제스처(multi-touch gesture)는 터치스크린의 서로 다른 복수의 위치를 동시에 터치하는 제스처이다.Tap, double tap, drag and multi-touch gestures are commonly known as input and / or gestures commonly used in touch screens. A tap is a gesture that touches the touch screen once. A double tap is a gesture that touches the same position twice in a short time (typically within 500ms). A drag is a gesture that touches the touch screen once and then moves the touch without detaching the touch from the touch screen. A multi-touch gesture is a gesture that simultaneously touches different positions of the touch screen.

짧은 시간 내에 실질적으로 동일한 위치를 두 번 터치하는 더블 탭은 이용되고 있지만, 일정한 시간 간격 내에 서로 다른 복수의 위치(예를 들어, 서로 다른 2개의 위치)를 터치하는 입력은 아직 이용되고 있지 않다. 이하에서는, 미리 정해진 시간 간격 내에 미리 정해진 거리 이상 떨어져 입력되는 2개 이상의 탭을 연속 탭(successive tap)으로 참조(refer)한다. 예를 들어, 터치스크린에서 첫 번째 탭을 입력한 후 짧은 시간 내에 다른 위치에 두 번째 탭을 입력하는 경우가 연속 탭에 포함될 수 있다.A double tap that touches the same position twice in a short time is used but an input which touches a plurality of different positions (for example, two different positions) within a predetermined time interval is not yet used. Hereinafter, two or more taps inputted at a predetermined distance or more within a predetermined time interval are referred to as successive taps. For example, a series tab may include a case where a first tab is input on a touch screen and a second tab is input in another position within a short time.

또한, 아래에 설명되는 많은 실시예들이 터치스크린을 이용하는 경우를 예로 들어 설명하지만, 본 발명은 터치스크린에 제한되지 않으며, 터치를 이용한 사용자 인터페이스에 모두 적용 가능하다. 예를 들어, 프로젝션 키패드(projection keypad)를 사용하는 경우에도 본 발명이 적용될 수 있다.In addition, although many embodiments described below use a touch screen as an example, the present invention is not limited to a touch screen, and can be applied to a user interface using a touch. For example, the present invention can be applied to the case of using a projection keypad.

도 1은 일 실시예에 따른 터치를 이용한 사용자 인터페이스 방법의 순서도이다. 도 1을 참고하면, 터치를 이용한 사용자 인터페이스 방법은 이전 탭 및 현재 탭 입력 판단 단계(110), 연속 탭 조작 모드로 전환하는 단계(120), 연속 탭 명령에 따라 동작을 수행하는 단계(130)를 포함할 수 있다.1 is a flowchart of a user interface method using a touch according to an embodiment. Referring to FIG. 1, a user interface method using a touch includes a previous tab and current tab input determination step 110, a transition to a continuous tap operation mode 120, an operation 130 according to a continuous tab command, . &Lt; / RTI >

단계(110)에서, 터치 입력과 관련하여, 이전 탭 및 현재 탭이 입력되었는지 판단할 수 있다. At step 110, with respect to the touch input, it may be determined whether the previous tab and the current tab have been entered.

단계(120)에서, 이전 탭 및 현재 탭을 분석하여 연속 탭 조작 모드로 전환할 수 있다. 연속 탭 조작 모드(successive tap operation mode)는, 미리 정해진 시간 간격 내에 미리 정해진 거리 이상 떨어진 위치를 터치하는 제스처인 연속 탭에 따른 처리를 수행하는 모드로, 연속 탭을 처리하는 모드로, 단일 탭 조작 모드(single tap operation mode) 및 더블 탭 조작 모드(double tap operation mode)와 구별된다. 단일 탭 조작 모드는, 한번 터치하는 제스처인 탭 입력에 따른 처리를 수행하는 모드이다. 더블 탭 조작 모드는, 짧은 시간 내(예를 들어, 500ms 이내)에 실질적으로 동일한 위치를 두 번 터치하는 제스처인 더블 탭에 따른 처리를 수행하는 모드이다.In step 120, the previous tab and the current tab may be analyzed to switch to a continuous tap operation mode. The successive tap operation mode is a mode for performing processing in accordance with a continuous tap that is a gesture for touching a position distant by a predetermined distance or more within a predetermined time interval and is a mode for processing a continuous tap, Mode (single tap operation mode) and a double tap operation mode (double tap operation mode). The single-tap operation mode is a mode for performing a process according to a tap input, which is a gesture to be touched once. The double tap operation mode is a mode for performing processing according to a double tap which is a gesture for touching a substantially same position twice within a short time (for example, within 500 ms).

이때, 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내에 포함되는지 확인하고, 이전 탭 및 현재 탭 간 거리 간격이 미리 설정된 거리 이상인지 확인할 수 있다. 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내에 포함되고, 상기 탭 간 거리 간격이 미리 설정된 거리 이상일 경우, 연속 탭 조작 모드로 전환할 수 있다.At this time, it is possible to check whether the time interval between the previous tab and the current tab is included within a preset time, and whether the distance between the previous tab and the current tab is longer than a predetermined distance. When the time interval between the previous tab and the current tab is included within a predetermined time and the distance between the taps is equal to or greater than a predetermined distance, the continuous tap operation mode can be switched.

이후, 단계(130)에서, 연속 탭 조작 모드에서 미리 정해진 연속 탭 명령에 따라 동작을 수행할 수 있다. 예를 들어, 연속 탭 명령에 따라 동작을 수행하기 위해 이전 탭 및 현재 탭의 터치 지점을 잇는 핸들 이미지를 표시할 수 있다. 그리고, 핸들 이미지의 길이 및 각도의 변화량에 대응하는 연속 탭 명령에 따라 동작을 수행할 수 있다. 예를 들면, 핸들 이미지의 길이 및 각도의 변화량에 따라 확대, 축소, 회전, 스크롤, 문자열 선택, 파이 형태의 메뉴의 실행 등을 수행할 수 있다. 연속 탭을 이용한 사용자 인터페이스 동작 및 연속 탭 명령의 예들에 대해서는 도 5 내지 도 10을 참조하여 뒤에서 상세하게 설명한다.Thereafter, in step 130, an operation may be performed according to a predetermined continuous tap command in the continuous tap operation mode. For example, a handle image may be displayed that connects the touch points of the previous tab and the current tab to perform an action in accordance with a continuous tab command. Then, an operation can be performed according to a continuous tab command corresponding to the variation amount of the length and the angle of the handle image. For example, enlargement, reduction, rotation, scrolling, string selection, pie-type menu execution, and the like can be performed according to the variation of the length and angle of the handle image. Examples of the user interface operation using the continuous tap and the continuous tap command will be described later in detail with reference to FIGS. 5 to 10. FIG.

도 2는 일 실시예에 따른 터치를 이용한 사용자 인터페이스 방법의 순서도이다.2 is a flowchart of a user interface method using a touch according to an embodiment.

단계(210)에서, 터치 사용자 인터페이스 장치(touch user interface device)를 현재 탭(current tap)을 수신할 수 있다. 터치 사용자 인터페이스 장치는 터치를 이용한 사용자 인터페이스 장치로, 예를 들어, 터치 스크린, 프로젝션 입력 장치, 프로젝션 키패드, 홀로그램 사용자 인터페이스 장치 등을 포함할 수 있다. 예를 들어, 상기 터치 사용자 인터페이스 장치가 터치 스크린인 경우, 상기 터치 스크린 상의 탭 입력(터치 입력)을 수신한다. 또한, 상기 터치 사용자 인터페이스 장치가 프로젝션 키패드인 경우, 프로젝션된(projected) 키패드 상의 사용자의 탭 입력을 수신한다. 또한, 상기 터치 사용자 인터페이스 장치가 홀로그램 사용자 인터페이스 장치인 경우, 홀로그램 상의 사용자의 탭 입력을 수신한다.In step 210, the touch user interface device may receive a current tap. The touch user interface device may be a user interface device using a touch, for example, a touch screen, a projection input device, a projection keypad, a hologram user interface device, and the like. For example, when the touch user interface device is a touch screen, the touch input device receives a tap input (touch input) on the touch screen. Also, when the touch user interface device is a projection keypad, it receives a user's tab input on a projected keypad. In addition, when the touch user interface device is a hologram user interface device, the user's tap input on the hologram is received.

탭 입력을 수신한 경우, 단계(220)에서, 터치 사용자 인터페이스 장치(touch user interface device)는, 이전 입력(previous input)이 탭 입력인지 판단할 수 있다.If a tap input is received, in step 220, the touch user interface device may determine whether the previous input is a tap input.

단계(220)의 판단 결과 이전 입력이 탭 입력인 경우, 터치 사용자 인터페이스 장치(touch user interface device)는, 이전 탭(previous tap) 및 현재 탭(current tap) 간의 시간 간격(time difference)을 계산할 수 있다. 또한, 터치 사용자 인터페이스 장치(touch user interface device)는, 상기 이전 탭 및 상기 현재 탭 간의 거리(distance)를 계산할 수 있다. 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드가 결정될 수 있다. 예를 들어, 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 복수의 동작 모드(단일 탭 조작 모드, 더블 탭 조작 모드 및/또는 연속 탭 조작 모드) 중 하나의 동작 모드가 선택될 수 있다. 입력되는 두 개의 탭 입력이 단일 탭 입력인지, 더블 탭 입력인지 또는 연속 탭 입력인지에 따라 동작 모드가 결정될 수 있다.If it is determined in step 220 that the previous input is a tap input, the touch user interface device may calculate a time difference between a previous tap and a current tap have. Also, a touch user interface device may calculate a distance between the previous tap and the current tap. An operation mode may be determined according to the time interval between the previous tab and the current tab, and the distance between the previous tab and the current tab. (A single tap operation mode, a double tap operation mode and / or a continuous tap operation mode) according to the time interval between the previous tap and the current tap, and the distance between the previous tap and the current tap, One operation mode can be selected. The operation mode can be determined according to whether the input two tap inputs are a single tap input, a double tap input, or a continuous tap input.

단계(220)의 판단 결과 이전 입력이 탭 입력이 아닌 경우, 터치 사용자 인터페이스 장치는, 단계(225)에서, 현재 탭의 위치 및/또는 시간을 저장할 수 있다. 이는 현재 탭 이후에 다음 탭이 입력된 경우, 현재 탭과 다음 탭 간의 시간 간격 및 거리를 계산하기 위해서이다.If it is determined in step 220 that the previous input is not a tap input, the touch user interface device may store the current tab position and / or time in step 225. This is to calculate the time interval and distance between the current tab and the next tab when the next tab is input after the current tab.

단계(240)에서, 터치 사용자 인터페이스 장치는, 이전 탭 및 현재 탭 간의 시간 간격을 미리 설정된(predetermined) 시간 임계값과 비교할 수 있다. 예를 들어, 상기 미리 설정된 시간 임계값은 500ms일 수 있다.In step 240, the touch user interface device may compare the time interval between the previous tab and the current tab to a predetermined time threshold. For example, the predetermined time threshold may be 500 ms.

단계(240)의 비교 결과 이전 탭 및 현재 탭 간의 시간 간격이 미리 설정된 시간 임계값보다 크거나 같은 경우, 터치 사용자 인터페이스 장치는, 단계(245)에서, 상기 동작 모드를 단일 탭 조작 모드로 변경할 수 있다. 단일 탭 조작 모드는, 한번 터치하는 제스처인 탭 입력에 따른 처리를 수행하는 모드이다. 단일 탭 조작 모드에서는 종래의 단일 탭 처리와 동일한 처리를 수행할 수 있다. 예를 들어, 단일 탭 조작 모드에서, 단일 탭을 통하여 어플리케이션의 선택 또는 이미지의 선택 등을 수행할 수 있다.If the time interval between the previous tab and the current tab is greater than or equal to a preset time threshold as a result of comparison in step 240, the touch user interface device may change the operation mode to a single tap operation mode in step 245 have. The single-tap operation mode is a mode for performing a process according to a tap input, which is a gesture to be touched once. In the single tap operation mode, the same processing as the conventional single tap processing can be performed. For example, in a single tap operation mode, selection of an application or selection of an image can be performed through a single tap.

단계(240)의 비교 결과 이전 탭 및 현재 탭 간의 시간 간격이 미리 설정된 시간 임계값보다 작은 경우, 터치 사용자 인터페이스 장치는, 단계(250)에서, 상기 이전 탭 및 현재 탭 간의 거리를 미리 설정된 거리 임계값과 비교할 수 있다. 예를 들어, 상기 미리 설정된 거리 임계값은 9.6mm일 수 있다. 또 다른 실시예에 따르면, 상기 미리 설정된 거리 임계값은 50픽셀일 수 있다.If the time interval between the previous tab and the current tab is less than the preset time threshold as a result of the comparison in step 240, the touch user interface device sets the distance between the previous tab and the current tab to a preset distance threshold Value. &Lt; / RTI > For example, the preset distance threshold may be 9.6 mm. According to another embodiment, the preset distance threshold may be 50 pixels.

단계(250)의 비교 결과 이전 탭 및 현재 탭 간의 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우, 터치 사용자 인터페이스 장치는, 단계(255)에서, 상기 동작 모드를 더블 탭 조작 모드로 변경할 수 있다. 따라서, 단계(255)에서는, 이전 탭 및 현재 탭 간의 시간 간격이 미리 설정된 시간 임계값보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우, 동작 모드를 더블 탭 조작 모드로 변경할 수 있다. 더블 탭 조작 모드는, 짧은 시간 내(일반적으로 500ms 이내)에 실질적으로 동일한 위치를 두 번 터치하는 제스처인 더블 탭에 따른 처리를 수행하는 모드이다. 더블 탭 조작 모드에서는 종래의 더블 탭 처리와 동일한 처리를 수행할 수 있다. 예를 들면, 더블 탭 조작 모드에서 이미지에 대해 더블 탭을 함으로써 상기 이미지에 대한 확대 등을 수행할 수 있다.If the comparison result of step 250 indicates that the distance between the previous tap and the current tap is less than or equal to a predetermined distance threshold value, then the touch user interface device may change the operation mode to the double tap operation mode, . Thus, in step 255, if the time interval between the previous tab and the current tab is less than a preset time threshold and the distance between the previous tab and the current tab is less than or equal to the preset distance threshold, The operation mode can be changed. The double-tap operation mode is a mode for performing processing according to the double tap, which is a gesture that touches substantially the same position twice within a short time (generally within 500 ms). In the double tap operation mode, the same processing as the conventional double tap processing can be performed. For example, in the double tap operation mode, enlargement or the like for the image can be performed by double-tapping the image.

단계(250)의 비교 결과 이전 탭 및 현재 탭 간의 거리가 미리 설정된 거리 임계값보다 큰 경우, 터치 사용자 인터페이스 장치는, 단계(260)에서, 상기 동작 모드를 연속 탭 조작 모드로 변경할 수 있다. 연속 탭 조작 모드(successive tap operation mode)는, 미리 정해진 시간 간격(예를 들어, 500ms) 내에 미리 정해진 거리(예를 들어, 9.6mm 또는 50픽셀) 이상 떨어진 위치를 터치하는 제스처인 연속 탭에 따른 처리를 수행하는 모드이다. 연속 탭 조작 모드에서는 다양하고 새로운 사용자 인터페이스가 가능해진다.If the comparison result in step 250 indicates that the distance between the previous tap and the current tap is greater than a preset distance threshold, the touch user interface device may change the operation mode to a continuous tap operation mode in step 260. The successive tap operation mode is a gesture that touches a position away from a predetermined distance (for example, 9.6 mm or 50 pixels) within a predetermined time interval (for example, 500 ms) Processing mode. In the continuous tap operation mode, various new user interfaces are possible.

예를 들어, 이전 탭 및 현재 탭을 연결하는 선(line)을 표시하여 이를 이용할 수 있다. 첫 번째 탭 입력 후 시간 임계값 이내의 시간에 거리 임계값보다 먼 거리에 두 번째 탭을 입력하면, 첫 번째 탭과 두 번째 탭을 연결하는 핸들 이미지(handle image)를 표시한다. 그리고, 현재 탭의 위치를 이전 탭을 중심으로 회전시킨 위치로 드래그하여 이동시키는 경우, 핸들 이미지를 기준으로 표시 영상을 회전하여 표시하도록 할 수 있다. 그러면, 사용자는 매우 편하게 표시 영상을 회전시킬 수 있게 된다. 또한, 현재 탭의 위치를 이전 탭의 반대 방향으로 이동시키는 경우, 표시 영상을 확대시킬 수 있다. 또한, 현재 탭의 위치를 이전 탭 쪽 방향으로 이동시키는 경우, 표시 영상을 축소시킬 수 있다. 이러한 핸들 이미지 조작 방법에 관하여는 도 5 내지 도 7을 참조하여 뒤에서 상세히 설명한다.For example, you can use it by displaying a line connecting the previous tab and the current tab. If a second tap is input at a distance within a time threshold value after inputting the first tap at a distance greater than the distance threshold, a handle image is displayed to connect the first tap and the second tap. When the current tab position is dragged and moved to a position rotated around the previous tab, the display image can be rotated and displayed based on the handle image. Then, the user can rotate the display image very easily. Further, when the position of the current tab is moved in the direction opposite to the previous tab, the display image can be enlarged. In addition, when the position of the current tab is shifted toward the previous tab, the display image can be reduced. The method of operating the handle image will be described later in detail with reference to Figs. 5 to 7. Fig.

또 다른 실시예에 따르면, 이전 탭 및 현재 탭에 대응하여 원형 핸들 이미지를 표시할 수 있다. 이때, 현재 탭의 위치를 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 터치 스크린의 표시 영상을 스크롤시킬 수 있다. 이러한 실시예에 관하여는 도 8을 참조하여 뒤에서 상세히 설명한다.According to another embodiment, a circular handle image may be displayed corresponding to the previous tab and the current tab. At this time, when the position of the current tab is moved to the position rotated around the previous tab, the display image of the touch screen can be scrolled according to the rotation angle. This embodiment will be described in detail later with reference to Fig.

또 다른 실시예에 따르면, 이전 탭 및 현재 탭에 대응하여 문자열을 선택할 수 있다. 이전 탭을 시작점으로 하여 현재 탭까지의 문자열을 선택할 수 있다. 이후, 문자열이 선택되면 선택된 문자열을 이용하여 잘라내기, 복사, 글꼴 변형 등의 동작을 수행할 수 있다. 이러한 실시예에 관하여는 도 9를 참조하여 뒤에서 상세히 설명한다.According to another embodiment, a string may be selected corresponding to the previous tab and the current tab. You can select a string up to the current tab with the previous tab as the starting point. Thereafter, when a character string is selected, the selected character string can be used to perform operations such as trimming, copying, and font modification. Such an embodiment will be described later in detail with reference to Fig.

또 다른 실시예에 따르면, 이전 탭 및 현재 탭에 대응하여 파이 형태의 메뉴를 표시할 수 있다. 현재 탭의 위치를 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 메뉴의 항목을 선택할 수 있다. 이러한 실시예에 관하여는 도10을 참조하여 뒤에서 상세히 설명한다.According to another embodiment, a pie-shaped menu may be displayed corresponding to the previous tab and the current tab. When the position of the current tab is moved to the position rotated around the previous tab, the item of the menu can be selected according to the rotation angle. This embodiment will be described in detail later with reference to FIG.

도 3은 터치 사용자 인터페이스 장치(touch user interface device)(300)의 블록도이다.FIG. 3 is a block diagram of a touch user interface device 300. FIG.

터치 사용자 인터페이스 장치(touch user interface device)(300)는 입력부(input unit)(310), 분석부(analyzing unit)(320), 수행부(execution unit)(330)를 포함할 수 있다.The touch user interface device 300 may include an input unit 310, an analyzing unit 320, and an execution unit 330.

입력부(310)는 이전 탭 및 현재 탭을 입력 받는다. 입력부(310)는 터치 입력을 받을 수 있는 장치로, 예를 들어, 터치 스크린, 프로젝션 입력부, 프로젝션 키패드, 홀로그램 사용자 입력부 등을 포함할 수 있다. 예를 들어, 입력부(310)는 터치스크린일 수 있다. 이 경우, 입력부(310)는 터치스크린 상의 탭(tap) 입력을 수신한다. 또 다른 실시예에 따르면, 입력부(310)는 프로젝션 입력 장치일 수 있다. 이 경우, 입력부(310)는, 프로젝트된 영상 상의 탭 입력을 수신한다. 또 다른 실시예에 따르면, 입력부(310)는 프로젝션 키패드(projection keypad)일 수 있다. 이 경우, 입력부(310)는, 프로젝트된 키패드(projected keypad) 상의 탭 입력을 수신한다. 또 다른 실시예에 따르면, 입력부(310)는 홀로그램 사용자 인터페이스 장치일 수 있다. 이 경우, 입력부(310)는, 홀로그램 상의 탭 입력을 수신한다.The input unit 310 receives the previous tab and the current tab. The input unit 310 may receive a touch input, and may include, for example, a touch screen, a projection input unit, a projection keypad, a hologram user input unit, and the like. For example, the input unit 310 may be a touch screen. In this case, the input unit 310 receives a tap input on the touch screen. According to another embodiment, the input unit 310 may be a projection input device. In this case, the input unit 310 receives the tab input on the projected image. According to another embodiment, the input 310 may be a projection keypad. In this case, the input unit 310 receives the tab input on the projected keypad. According to another embodiment, the input 310 may be a hologram user interface device. In this case, the input unit 310 receives the tab input on the hologram.

분석부(320)는 이전 탭 및 현재 탭 간의 시간 차이 및 이전 탭 및 현재 탭 간의 거리를 계산할 수 있다. 그리고, 이전 탭 및 현재 탭 간의 시간 차이 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하여 계산 결과에 따라 동작 모드를 결정할 수 있다. 예를 들어, 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 복수의 동작 모드(단일 탭 조작 모드, 더블 탭 조작 모드 및/또는 연속 탭 조작 모드) 중 하나의 동작 모드가 선택될 수 있다. 입력되는 두 개의 탭 입력이 단일 탭 입력인지, 더블 탭 입력인지 또는 연속 탭 입력인지에 따라 동작 모드가 결정될 수 있다.The analyzer 320 may calculate the time difference between the previous tab and the current tab and the distance between the previous tab and the current tab. A time difference between the previous tap and the current tap and a distance between the previous tap and the current tap are calculated and the operation mode can be determined according to the calculation result. (A single tap operation mode, a double tap operation mode and / or a continuous tap operation mode) according to the time interval between the previous tap and the current tap, and the distance between the previous tap and the current tap, One operation mode can be selected. The operation mode can be determined according to whether the input two tap inputs are a single tap input, a double tap input, or a continuous tap input.

분석부(320)는, 탭 확인부(tap verification module)(321), 시간 간격 확인부(time difference determining unit)(322), 거리 간격 확인부(distance determining unit)(323), 및 저장부(storing unit)(324)를 포함할 수 있다.The analysis unit 320 includes a tap verification module 321, a time difference determining unit 322, a distance determining unit 323, and a storage unit storing unit (324).

탭 확인부(321)는 현재 입력이 탭 입력인지 확인할 수 있다. 또한, 현재 입력이 탭 입력인 경우, 이전 입력이 탭 입력인지 확인할 수 있다. 예를 들어, 모든 형태의 사용자 입력은 큐(queue)에 저장될 수 있고, 탭 확인부(321)는 상기 큐(queue)를 확인함으로써 이전 입력이 탭 입력인지 확인할 수 있다.The tab checking unit 321 can confirm whether the current input is a tap input. In addition, if the current input is a tap input, it can be confirmed that the previous input is a tap input. For example, all types of user input can be stored in a queue, and the tab checking unit 321 can check whether the previous input is a tab input by checking the queue.

저장부(324)는 입력된 탭들의 위치 및 시간을 저장할 수 있다. 일 실시예에 따르면, 저장부(324)는 복수 개(예를 들어, 10개)의 최근에 입력된 탭들의 위치 및 시간을 저장할 수 있다. 또 다른 실시예에 따르면, 저장부(324)는, 이전 입력이 탭 입력이 아닌 경우, 현재 탭의 위치 및 시간을 저장할 수 있다.The storage unit 324 may store the position and time of the input taps. According to one embodiment, the storage 324 may store the location and time of a plurality of (e.g., ten) recently entered taps. According to another embodiment, the storage unit 324 may store the location and time of the current tab if the previous input is not a tap input.

시간 간격 확인부(322)는 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내인지 판단할 수 있다. 시간 간격 확인부(322)는 현재 탭의 입력 시간과 저장부(324)에 저장된 이전 탭의 입력 시간을 비교함으로써, 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내인지 판단할 수 있다.The time interval checking unit 322 can determine whether the time interval between the previous tab and the current tab is within a preset time. The time interval checking unit 322 can determine whether the time interval between the previous tab and the current tab is within a predetermined time by comparing the input time of the current tab and the input time of the previous tab stored in the storage unit 324. [

거리 간격 확인부(323)는 이전 탭 및 현재 탭 간 거리가 미리 설정된 거리 이상인지 판단할 수 있다. 거리 간격 확인부(323)는 현재 탭의 위치와 저장부(324)에 저장된 이전 탭의 위치를 비교함으로써, 이전 탭 및 현재 탭 간 거리가 미리 설정된 시간 이내인지 판단할 수 있다.The distance interval checking unit 323 can determine whether the distance between the previous tab and the current tab is equal to or greater than a predetermined distance. The distance interval check unit 323 can determine whether the distance between the previous tab and the current tab is within a preset time by comparing the current tab position with the previous tab position stored in the storage unit 324. [

분석부(analyzing unit)(320)는 또한, 처리부(도시되지 않음)를 포함할 수 있다. 처리부는 시간 간격 확인부(322) 및 거리 간격 확인부(323)의 판단 결과에 따라 동작 모드를 결정할 수 있다The analyzing unit 320 may also include a processing unit (not shown). The processing unit can determine the operation mode according to the determination result of the time interval checking unit 322 and the distance interval checking unit 323

수행부(330)는 이전 탭 및 현재 탭 간의 시간 간격 및 이전 탭 및 현재 탭 간의 거리에 따라 결정된 동작 모드에 따라 동작을 수행한다. 수행부(330)는, 이전 탭 및 현재 탭 간의 시간 간격이 미리 설정된 시간 임계값보다 작고 이전 탭 및 현재 탭 간의 거리가 미리 설정된 거리 임계값보다 큰 경우, 연속 탭 조작 모드를 수행할 수 있다. 연속 탭 조작 모드에서, 수행부(330)는, 연속 탭 조작 모드에서 이전 탭 및 현재 탭의 터치 지점을 잇는 핸들 이미지를 표시할 수 있다. 그리고, 핸들 이미지의 길이 및 각도의 변화량에 대응하는 미리 정해진 연속 탭 명령에 따라 동작을 수행할 수 있다. 예를 들면, 핸들 이미지는 이전 탭 및 현재 탭 지점을 연결하는 선으로서 나타낼 수 있다. 그리고, 수행부(330)는, 핸들 이미지를 기준으로 터치 스크린의 표시 영상을 이동 시킴으로써 회전, 확대, 축소 등을 실행할 수 있다.The performance unit 330 performs an operation according to the operation mode determined according to the time interval between the previous tab and the current tab, and the distance between the previous tab and the current tab. The execution unit 330 may perform the continuous tap operation mode when the time interval between the previous tab and the current tab is smaller than a predetermined time threshold value and the distance between the previous tab and the current tab is greater than a predetermined distance threshold value. In the continuous tap operation mode, the execution unit 330 can display a handle image connecting the touch point of the current tab and the previous tab in the continuous tap operation mode. Then, an operation can be performed according to a predetermined continuous tap command corresponding to the variation amount of the length and the angle of the handle image. For example, the handle image can be represented as a line connecting the previous tab and the current tab point. The execution unit 330 can perform rotation, enlargement, reduction, and the like by moving the display image of the touch screen based on the handle image.

또한, 수행부(330)는, 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 크거나 같은 경우 단일 탭 조작 모드를 수행할 수 있다. 예를 들면, 단일 탭 조작 모드에서 수행부(330)는, 단일 탭 입력에 응답하여(in response to single tap input) 어플리케이션의 선택, 또는 이미지의 선택 등을 수행할 수 있다.The execution unit 330 may perform a single tap operation mode when the time interval between the previous tab and the current tab is greater than or equal to a predetermined time threshold value. For example, in the single tap operation mode, the performance unit 330 may perform selection of an application or selection of an image in response to a single tap input.

또한, 수행부(330)는, 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우 상기 동작 모드를 더블 탭 조작 모드를 수행할 수 있다. 예를 들면, 더블 탭 조작 모드에서 수행부(330)는, 더블 탭 입력에 응답하여(in response to double tap input) 이미지의 확대 등을 수행할 수 있다.If the time interval between the previous tab and the current tab is smaller than a predetermined time threshold and the distance between the previous tab and the current tab is smaller than or equal to a preset distance threshold value, A double tap operation mode can be performed. For example, in the double tap operation mode, the performance unit 330 may perform enlargement of an image in response to a double tap input in response to a double tap input.

도 4a 내지 도 4b는 일 실시예에 따른 터치를 이용한 사용자 인터페이스 장치(410)를 도시 도면이다. 4A and 4B illustrate a user interface device 410 using a touch according to an embodiment.

도 4a를 참조하면, 터치 사용자 인터페이스 장치(410)는, 입력부(420)로서 터치스크린이 장착된 휴대폰이다. 여기에서 설명되는 실시예들은 터치스크린이 장착된 휴대폰에서 실시될 수 있지만, 이에 한정되지는 않는다. 터치스크린은 표시부로도 동작할 수 있다.Referring to FIG. 4A, the touch user interface device 410 is a mobile phone having a touch screen as an input unit 420. Embodiments described herein may be practiced in a mobile phone with a touch screen, but are not limited thereto. The touch screen can also be operated as a display unit.

도 4b는 일 실시예에 따른 터치 사용자 인터페이스 장치(410)에서 수행되는 어플리케이션의 모습을 나타낸 도면이다. 예를 들어, 어플리케이션 화면은 문자 입력이 필요할 경우, 문자를 입력 받기 위한 화상 키보드(440)를 표시부 하단에 표시할 수 있다. 반면에, 문자 입력이 필요하지 않은 경우에는 정보 표시 및 조작 영역(430)을 표시부 전체에 표시할 수 있다. 종래기술에서 연속 탭 조작은 화상 키보드 영역(440)에서 문자 입력을 위해 사용될 수 있다. 하지만, 정보 표시 및 조작 영역(430)에서는 연속 탭 조작은 사용되지 않았다.4B is a diagram illustrating an application performed by the touch user interface device 410 according to an exemplary embodiment of the present invention. For example, when a character input is required, the application screen can display an on-screen keyboard 440 for receiving a character on the bottom of the display unit. On the other hand, when no character input is required, the information display and operation area 430 can be displayed on the entire display unit. Continuous tapping in the prior art can be used for character input in the on-screen keyboard area 440. [ However, in the information display and operation area 430, the continuous tap operation is not used.

일 실시예에 따르면, 터치 사용자 인터페이스 장치(410)는 연속 탭이 입력된 위치가 화상 키보드 영역(440)인지 아닌지 판단할 수 있다. 연속 탭이 입력된 위치가 화상 키보드 영역(440)이면 통상의 키보드 입력을 처리할 수 있다. 그러나, 연속 탭이 입력된 위치가 화상 키보드 영역(440)이 아니라면, 터치 사용자 인터페이스 장치(410)는 연속 탭 조작 모드로 동작 모드를 변경하고, 연속 탭 조작 모드를 수행할 수 있다.According to one embodiment, the touch user interface device 410 may determine whether the position at which the continuous tab is entered is the on-screen keyboard area 440 or not. If the input position of the continuous tap is the image keyboard area 440, normal keyboard input can be processed. However, if the input position of the continuous tap is not the on-screen keyboard area 440, the touch UI device 410 can change the operation mode to the continuous tap operation mode and perform the continuous tap operation mode.

도 5는, 일 실시예에 따라, 연속 탭 조작 모드의 실행을 설명하기 위한 도면이다. 도 5를 참조하여, 터치 사용자 인터페이스 장치에서 연속 탭 명령을 이용하여 한 손으로 동작을 수행하는 예를 설명한다. 5 is a diagram for explaining the execution of the continuous tap operation mode according to one embodiment. 5, an example in which a touch user interface device performs an operation with one hand using a continuous tap command will be described.

예를 들면, 터치 사용자 인터페이스 장치를 한 손으로 잡은 상태에서 입력부 상에 거리 임계값(예를 들어, 9.6mm 또는 50 픽셀) 이상의 거리 간격을 갖는 두 지점(510, 520)을 시간 임계값(예를 들어, 500ms) 내에 연속으로 터치할 경우, 두 지점(510, 520)에 대한 탭 입력은 연속 탭 입력(successive tap input)으로 판단될 수 있다. 따라서, 터치 사용자 인터페이스 장치는 연속 탭 조작 모드로 동작 모드를 변경하고, 연속 탭 조작 모드를 수행할 수 있다. 예를 들어, 터치 사용자 인터페이스 장치는, 두 지점(510, 520) 및 두 지점 사이를 잇는 핸들 이미지(530)를 표시할 수 있다.For example, two points (510, 520) with distance distances greater than or equal to a distance threshold (e.g., 9.6 mm or 50 pixels) on the input with the touch user interface device held in one hand may be referred to as a time threshold For example, 500ms, the tap input for the two points 510 and 520 may be determined as a successive tap input. Thus, the touch user interface device can change the operation mode to the continuous tap operation mode and perform the continuous tap operation mode. For example, the touch user interface device may display a handle image 530 connecting two points 510, 520 and two points.

도 6a 내지 도 6c는, 일 실시예에 따라, 연속 탭 조작 모드에서 핸들 이미지 조작 방법을 설명하기 위한 도면이다.6A to 6C are views for explaining a method of operating a handle image in the continuous tap operation mode according to an embodiment.

도 6a는 표시부에 표시된 이미지 상에 거리 임계값(예를 들어, 9.6mm 또는 50 픽셀) 이상의 거리 간격을 갖는 두 지점을 시간 임계값(예를 들어, 500ms) 내에 연속으로 터치한 경우, 터치 사용자 인터페이스 장치는 연속 탭 조작 모드를 실행할 수 있다. 그리고, 터치 사용자 인터페이스 장치는 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 핸들 이미지(610a)를 표시할 수 있다. 예를 들어, 터치 사용자 인터페이스 장치는, 도 6a와 같이, 자신의 표시부에 이전 탭과 현재 탭의 사이를 잇는 핸들 이미지(610a)를 표시할 수 있다. 사용자는 이 핸들 이미지(610a)를 이용하여 여러 가지 조작을 수행할 수 있다. 핸들 이미지(610a)는 사용자가 직관적으로 조작 형태를 인식하는 것을 돕는 역할을 한다.6A shows a case where, when touching two points successively within a time threshold value (for example, 500 ms) with a distance interval of a distance threshold value (for example, 9.6 mm or 50 pixels) or more on the image displayed on the display unit, The interface device can execute the continuous tap operation mode. Then, in the continuous tap operation mode, the touch user interface device can display the handle image 610a corresponding to the previous tab and the current tab. For example, the touch user interface device may display a handle image 610a connecting the previous tab and the current tab on its display unit, as shown in FIG. 6A. The user can perform various operations using the handle image 610a. The handle image 610a serves to help the user intuitively recognize the operation mode.

터치 사용자 인터페이스 장치는 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행할 수 있다. 예를 들어, 현재 탭의 위치를 이전 탭을 중심으로 드래그 입력을 이용하여 회전시킨 위치로 이동시키는 경우, 핸들 이미지(610a)를 기준으로 터치 스크린의 표시 영상을 회전시킬 수 있다. 예를 들어, 첫 번째 탭에 이어 두 번째 탭을 입력하면 도 6a와 같은 핸들 이미지(610a)가 도시된다. 그리고, 두 번째 탭을 터치스크린으로부터 떼지 않은 상태에서 드래그하여 이동시키면, 이전 탭을 중심으로 드래그 입력에 대응하여 핸들 이미지(610b)가 회전하여 표시되며, 동일한 각도만큼 표시 영상도 회전하여 표시된다. 이렇게 회전되어 표시된 예가 도 6b에 도시되어 있다. 또 다른 실시예에서는 핸들 이미지를 표시하지 않고, 상기와 같은 형태의 연속 탭 입력에 응답하여 상기 회전 동작을 수행할 수 있다.The touch user interface device can perform predetermined processing according to the drag input successive to the current tap. For example, when the position of the current tab is moved to a position rotated by using the drag input around the previous tab, the display image of the touch screen can be rotated based on the handle image 610a. For example, if a second tab is entered after the first tab, a handle image 610a as shown in FIG. 6A is shown. When the second tap is dragged and moved away from the touch screen, the handle image 610b is rotated and displayed corresponding to the drag input with respect to the previous tab, and the display image is rotated and displayed by the same angle. An example of this rotated display is shown in FIG. 6B. In another embodiment, the rotation operation can be performed in response to the continuous tap input of the above-described type without displaying the handle image.

또 다른 실시예에 따르면, 연속 탭 입력 모드에서, 상기 현재 탭의 위치를 상기 이전 탭의 반대 방향으로 상기 드래그 입력을 이용하여 이동시키는 경우, 터치 스크린의 표시 영상을 확대시킬 수 있다. 예를 들어, 첫 번째 탭에 이어 두 번째 탭을 입력하면 도 6a와 같은 핸들 이미지(610a)가 도시된다. 그리고, 두 번째 탭을 터치스크린으로부터 떼지 않은 상태에서 드래그하여 이전 탭의 반대 방향으로 이동시키면, 핸들 이미지(610c)는 드래그 된 만 큼 확대되어 표시된다. 또한, 표시 영상도 핸들 이미지(610c)의 확대 정도에 비례하여 확대되어 표시될 수 있다. 이렇게 확대되어 표시된 예가 도 6c에 도시되어 있다. 또 다른 실시예에서는 핸들 이미지를 표시하지 않고, 상기와 같은 형태의 연속 탭 입력에 응답하여 상기 확대 동작을 수행할 수 있다.According to another embodiment, in the continuous tap input mode, when the position of the current tab is moved in the opposite direction of the previous tap using the drag input, the display image of the touch screen can be enlarged. For example, if a second tab is entered after the first tab, a handle image 610a as shown in FIG. 6A is shown. If the second tab is dragged in the opposite direction of the previous tab without releasing the second tab from the touch screen, the handle image 610c is enlarged as much as the dragged image is displayed. Also, the display image can be enlarged and displayed in proportion to the degree of enlargement of the handle image 610c. An example thus enlarged is shown in Fig. 6C. In another embodiment, the enlargement operation can be performed in response to the continuous tap input of the above-described type without displaying the handle image.

또 다른 실시예에 따르면, 연속 탭 입력 모드에서, 상기 현재 탭의 위치를 상기 이전 탭 쪽 방향으로 상기 드래그 입력을 이용하여 이동시키는 경우, 표시 영상을 축소시킬 수 있다. 예를 들어, 첫 번째 탭에 이어 두 번째 탭을 입력하면 도 6a와 같은 핸들 이미지(610a)가 도시된다. 그리고, 두 번째 탭을 터치스크린으로부터 떼지 않은 상태에서 드래그하여 이전 탭 쪽 방향으로 이동시키면, 핸들 이미지는 드래그 된 만 큼 축소되어 표시된다. 또한, 표시 영상도 핸들 이미지의 축소 정도에 비례하여 축소되어 표시될 수 있다. 또 다른 실시예에서는 핸들 이미지를 표시하지 않고, 상기와 같은 형태의 연속 탭 입력에 응답하여 상기 축소 동작을 수행할 수 있다.According to another embodiment, in the continuous tap input mode, when moving the position of the current tab toward the previous tab direction using the drag input, the display image can be reduced. For example, if a second tab is entered after the first tab, a handle image 610a as shown in FIG. 6A is shown. Then, if you drag the second tab away from the touch screen and move it toward the previous tab, the handle image is reduced as much as it is dragged. Also, the display image can be reduced in proportion to the reduction degree of the handle image. In another embodiment, the shrinking operation can be performed in response to a continuous tap input of the above-described type without displaying a handle image.

이와 같이, 핸들 이미지를 나타내는 현재 탭을 드래그하여 이동함으로써, 두 지점 간의 상대적인 각도 변화(회전), 확대 및 축소 비율을 이용하여 표시부에 표시된 이미지를 변형할 수 있다.Thus, by dragging and moving the current tab representing the handle image, the image displayed on the display unit can be transformed using the relative angle change (rotation), enlargement and reduction ratio between the two points.

도 7a 및 도 7b는 일 실시예에 따라 현재 탭에 연속되는 드래그 입력에 따라 핸들을 조작할 때, 회전 각도 및 확대 배율을 계산하기 위해 사용하는 파라미터들을 설명하기 위한 도면이다.7A and 7B are diagrams for explaining parameters used for calculating a rotation angle and an enlargement magnification when operating a handle according to a drag input successive to a current tap according to an embodiment.

연속 탭 조작 모드에서 연속 탭 명령 중 하나의 실시예에 따르면, 현재 탭의 위치를 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 핸들 이미지를 기준으로 현재 탭에 연속되는 드래그 입력을 이용하여 터치 스크린의 표시 영상을 회전시킬 수 있다. 그리고, 현재 탭의 위치를 이전 탭의 반대 방향으로 이동시키는 경우, 터치 스크린의 표시 영상을 확대시킬 수 있다. 또한, 현재 탭의 위치를 이전 탭 쪽 방향으로 이동시키는 경우, 터치 스크린의 표시 영상을 축소시킬 수 있다.According to one embodiment of the continuous tap command in the continuous tap operation mode, when the position of the current tab is moved to the position rotated around the previous tab, the touch operation is performed by using the drag input continuous to the current tab, The display image of the screen can be rotated. When the position of the current tab is moved in the direction opposite to the previous tab, the display image of the touch screen can be enlarged. In addition, when the position of the current tab is moved toward the previous tab, the display image of the touch screen can be reduced.

도 7a는 연속 탭 조작 모드로 전환하여 핸들 이미지를 표시하였으나 아직 그 중 하나를 이동하지 않은 조작 이전의 핸들 이미지(710a)를 나타내는 도면이다. 이때, 핸들 이미지의 길이는 d₁, 핸들 이미지의 각도를 θ₁로 나타낼 수 있다.FIG. 7A is a view showing a handle image 710a prior to an operation that has been switched to the continuous tap operation mode to display a handle image but has not yet moved one of them. At this time, the length of the handle image is denoted by d ₁ , and the angle of the handle image is denoted by θ ₁ .

도 7b는 핸들 이미지의 두 점 중 하나를 드래그하여 두 지점 간의 각도 및 거리가 변경된 조작 이후의 핸들 이미지(710b)를 나타낸 도면이다. 도 7a 및 도 7b를 참조하면, 조작 이전의 핸들 이미지(710a) 각도가 θ₁, 조작 이후의 핸들 이미지(710b) 각도가 θ₂이고, 조작 이전의 핸들 이미지(710a) 길이가 d₁, 조작 이후의 핸들 이미지(710b) 길이가 d₂ 일 수 있다. 이때, 초기 회전 각도가 θ₀인 핸들 이미지의 회전 각도 θ 는 수학식 1과 같이 나타낼 수 있다.7B is a view showing a handle image 710b after an operation in which one of two points of a handle image is dragged to change an angle and a distance between two points. 7A and 7B, when the angle of the handle image 710a before the operation is θ ₁ , the angle of the handle image 710b after the operation is θ ₂ , the length of the handle image 710a before the operation is d ₁ , The length of the subsequent handle image 710b may be d ₂ . At this time, the rotation angle? Of the steering wheel image having the initial rotation angle? ₀ can be expressed by Equation (1).

또한, 조작 이전의 핸들 이미지(710a) 길이가 d1, 조작 이후의 핸들 이미지(710b) 길이가 d2 일 경우, 초기 확대 배율이 S₀ 인 핸들 이미지의 확대 배율 S 는 수학식 2와 같이 나타낼 수 있다.In addition, the handle image of the previous operation (710a) of length d1, when the handle subsequent image operation (710b) of length d2, the magnification S of the handle images, the initial magnification S ₀ can be represented as equation (2) .

도 8은 일 실시예에 따라 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 스크롤을 실행하는 방법을 설명하기 위한 도면이다.또 다른 실시예에 따르면, 터치 사용자 인터페이스 장치는, 이전 탭(810) 및 현재 탭(820)에 대응하여 원형 핸들 이미지(830)를 표시할 수 있다. 이때, 드래그 입력을 이용하여 현재 탭(820)의 위치를 이전 탭(810)을 중심으로 회전시킨 위치로 이동(840)시키는 경우, 회전각에 따라 터치 스크린의 표시 영상을 스크롤시킬 수 있다.8 is a view for explaining a method of performing scrolling according to a drag input successive to a current tap in a continuous tap operation mode according to an embodiment. According to yet another embodiment, 810) and the current tab 820 to display the circular handle image 830. At this time, when the position of the current tab 820 is moved to the position rotated around the previous tab 810 using the drag input, the display image of the touch screen can be scrolled according to the rotation angle.

예를 들면, 연속 탭 조작 모드에서 이전 탭(810) 지점을 원의 중심으로 하고 이전 탭(810)과 현재 탭(820) 지점까지의 거리를 반지름으로 하는 원형 핸들 이미지(830)를 표시할 수 있다. 원형 핸들 이미지(830) 위에서 현재 탭(820)의 위치를 현재 탭에 연속되는 드래그 입력을 이용하여 회전시킨 위치로 이동(840)하면 스크롤 조작으로 사용할 수 있다. 이 때, 처음 스크롤 지점이 P₀, 각도 변화에 따른 스크롤 변화량이 Pinterval 일 때, 각도의 변화에 따른 스크롤 지점 P 는 수학시 3과 같이 나타낼 수 있다.For example, in the continuous tapping mode, a circular handle image 830 can be displayed with the previous tab 810 point as the center of the circle and the distance from the previous tab 810 to the current tab 820 as radius have. The position of the current tab 820 on the circular handle image 830 can be used as a scroll operation by moving the position of the current tab 820 to a position rotated 840 by using a drag input continuous to the current tab. At this time, when the first scroll point is P ₀ and the scroll change amount according to the angle change is Pinterval, the scroll point P according to the change of the angle can be expressed as Mathematical Expression 3.

여기에서, 스크롤 변화량 Pinterval 은 사용자가 설정할 수 있다. 이와 같이, 현재 탭에 연속되는 드래그 입력을 이용하여 스크롤을 실행할 수 있다.Here, the scroll change amount Pinterval can be set by the user. In this manner, scrolling can be performed using a drag input successive to the current tab.

도 9은 일 실시예에 따라 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 문자열 선택 및 조작을 실행하는 방법을 설명하기 위한 도면이다. 9 is a diagram for explaining a method of performing string selection and operation according to a drag input successive to a current tap in a continuous tap operation mode according to an embodiment.

연속 탭 조작 모드에서 연속 탭 명령 중 또 다른 실시예에 따르면, 이전 탭(910) 및 현재 탭(920)에 대응하여 문자열을 선택(930)할 수 있다. 이전 탭(910)을 시작점으로 하여 현재 탭(920)까지의 문자열을 선택(930)할 수 있다. 이후, 문자열이 선택되면 선택된 문자열을 을 이용하여 잘라내기, 복사, 글꼴 변형 등의 동작(910)을 수행할 수 있다. 따라서, 현재 탭에 연속되는 드래그 입력을 이용하여 문자열 선택 및 조작을 실행할 수 있다.According to another embodiment of the continuous tap command in the continuous tap operation mode, a character string may be selected (930) corresponding to the previous tab 910 and the current tab 920. The character string up to the current tab 920 can be selected (930) with the previous tab 910 as the starting point. Thereafter, when a character string is selected, the selected character string can be used to perform an operation 910 such as cutting, copying, and font transformation. Therefore, string selection and manipulation can be performed using the drag input successive to the current tap.

도 10은 일 실시예에 따라 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 파이 형태의 메뉴의 호출 및 실행하는 방법을 설명하기 위한 도면이다.10 is a diagram for explaining a method of calling and executing a pie-shaped menu according to a drag input successive to a current tap in a continuous tap operation mode according to an embodiment.

또 다른 실시예에 따르면, 연속 탭 조작 모드에서, 이전 탭(1010) 및 현재 탭(1020)에 대응하여 파이 형태의 메뉴(1030)를 표시할 수 있다. 드래그 입력을 이용하여 현재 탭(1020)의 위치를 이전 탭(1010)을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 메뉴의 항목을 선택할 수 있다. 예를 들면, 파이 형태의 메뉴(1030)는 Home, Forward, Back, Reload 등을 포함할 수 있다. 현재 탭(1020)의 위치를 파이 형태의 메뉴(1030)들 중 하나의 위치로 이동한 후 터치를 뗌으로써 메뉴를 선택할 수 있다. 또한 현재 탭(1020)의 위치를 이전 탭(1010)의 위치로 끌어 놓음으로써 파이 형태의 메뉴(1030)의 취소가 가능할 수 있다. 따라서, 현재 탭에 연속되는 드래그 입력을 이용하여 파이 형태의 메뉴의 호출 및 실행할 수 있다.According to another embodiment, in the continuous tapping mode, a pie-shaped menu 1030 may be displayed corresponding to the previous tab 1010 and the current tab 1020. [ When the position of the current tab 1020 is moved to the position rotated around the previous tab 1010 using the drag input, the item of the menu can be selected according to the rotation angle. For example, the pie-shaped menu 1030 may include Home, Forward, Back, Reload, and the like. The menu can be selected by moving the position of the current tab 1020 to one of the pie-shaped menus 1030 and then touching. Also, the pie-shaped menu 1030 can be canceled by dragging the position of the current tab 1020 to the position of the previous tab 1010. Therefore, a pie-shaped menu can be called and executed using a drag input successive to the current tab.

도 11은 일 실시예에 따라 프로젝션 입력 장치(1110)에서 연속 탭 입력을 이용하는 경우를 설명하기 위한 도면이다.11 is a diagram for explaining a case where a continuous tap input is used in the projection input apparatus 1110 according to an embodiment.

이상에서는 터치 사용자 인터페이스 장치로 터치스크린이 장착된 장치를 이용하는 경우로 설명하였으나, 터치 사용자 인터페이스 장치는 이에 한정되지 않으며, 다양한 터치를 이용한 사용자 인터페이스 장치를 포함한다. 예를 들어, 도 11에 도시된 바와 같은 형태의 프로젝션 입력 장치(1110)에서도 연속 탭을 이용할 수 있다.Although a touch-screen-equipped device is used as the touch-user interface device, the touch-user interface device is not limited thereto and includes a user interface device using various touches. For example, a continuous tab may be used in the projection input device 1110 of the type shown in FIG.

도 11에서, 프로젝션 입력 장치(1110)는 디스플레이 장치(1120)와 연결된다. 프로젝션 입력 장치(1110)는 디스플레이 장치(1120)에 표시되는 영상과 동일한 영상을 프로젝션을 이용하여 프로젝션된 영상(projected image)(1130)으로 표시할 수 있다. 또한, 프로젝션 입력 장치(1110)는 카메라(도시되지 않음) 등을 이용하여 프로젝션된 영상(projected image)(1130) 위에 사용자가 손으로 입력하는 동작을 인식할 수 있다. 이때, 사용자는 프로젝션된 영상(projected image)(1130) 위에 연속 탭을 입력할 수 있다. 이 경우, 앞에서 설명한 여러 실시예들과 동일한 형태의 인터페이스를 수행할 수 있다.In Fig. 11, the projection input device 1110 is connected to the display device 1120. Fig. The projection input device 1110 may display the same image as the image displayed on the display device 1120 as a projected image 1130 using a projection. In addition, the projection input device 1110 can recognize an operation input by the user on the projected image 1130 using a camera (not shown) or the like. At this time, the user can input a continuous tab on the projected image 1130. [ In this case, the same type of interface as the above-described various embodiments can be performed.

예를 들어, 사용자가 프로젝션된 영상(projected image)(1130) 위에 첫 번째 탭(1131)을 입력한 후, 미리 설정된 시간 임계값 이내에 첫 번째 탭(1131)으로부터 미리 설정된 거리 임계값 이내의 거리에 두 번째 탭(1132)을 입력할 수 있다. 그러면, 프로젝션 입력 장치(1110)는, 상기 입력을 연속 탭으로 판단하고, 연속 탭 조작 모드로 동작한다. 그러면, 도 5 내지 도 10에서 설명된 것과 같은 인터페이스 동작을 수행할 수 있다.For example, after the user inputs the first tab 1131 on the projected image 1130, the first tab 1131 is positioned within a predetermined distance threshold value from the first tab 1131 A second tap 1132 can be input. Then, the projection input device 1110 determines the input as a continuous tap, and operates in the continuous tap operation mode. Then, the interface operation as described in FIGS. 5 to 10 can be performed.

또 다른 실시예에 따르면, 프로젝션 입력 장치(1110)는 프로젝션 키패드일 수 있다. 이 경우, 프로젝션된 영상(projected image)(1130)은 키패드이다. 키패드 상에서는 드래그 동작은 의미 없는 동작이므로, 프로젝션된 키패드 위에 첫 번째 탭(1131)을 입력한 후, 미리 설정된 시간 임계값 이내에 첫 번째 탭(1131)으로부터 미리 설정된 거리 임계값 이내의 거리에 두 번째 탭(1132)을 입력하고, 두 번째 탭(1132)에 이어서 드래그 동작이 입력되면, 프로젝션 입력 장치(1110)는, 상기 입력을 연속 탭으로 판단하고, 연속 탭 조작 모드로 동작할 수 있다. 드래그 입력이 개입되지 않는 단순한 두 개의 연속한 탭 입력은 통상적인 키보드 입력이므로, 이 경우는 프로젝션 입력 장치(1110)가 키보드 입력 동작을 수행할 수 있다.According to another embodiment, the projection input device 1110 may be a projection keypad. In this case, the projected image 1130 is a keypad. Since the drag operation is meaningless on the keypad, a first tap 1131 is input on the projected keypad, and a second tap 1131 is positioned within a predetermined threshold time value from a first tap 1131, The projection input device 1110 determines that the input is a continuous tap and can operate in the continuous tap operation mode when the drag operation is input following the second tap 1132. [ The simple two consecutive tab inputs without the drag input are typical keyboard inputs, so that the projection input device 1110 can perform a keyboard input operation in this case.

이상 설명된 터치 사용자 인터페이스 장치는 설명의 목적으로 제시된 것으로, 본 발명의 터치 사용자 인터페이스 장치는 이에 한정되지 않으며 사용자의 터치 동작을 이용하여 입력을 수행하는 모든 장치를 포함한다.The touch user interface device described above is presented for the purpose of explanation, and the touch user interface device of the present invention is not limited thereto and includes all devices that perform input using the touch operation of the user.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims

A user interface method using a touch,
Receiving a tap input; And
Determining an operation mode according to the tap input
The user interface method using a touch.