KR101491056B1 - Touch screen terminal apparatus and method for supporting mouse user interface in server based computing system of terminal environment - Google Patents

Touch screen terminal apparatus and method for supporting mouse user interface in server based computing system of terminal environment Download PDF

Info

Publication number
KR101491056B1
KR101491056B1 KR20130083793A KR20130083793A KR101491056B1 KR 101491056 B1 KR101491056 B1 KR 101491056B1 KR 20130083793 A KR20130083793 A KR 20130083793A KR 20130083793 A KR20130083793 A KR 20130083793A KR 101491056 B1 KR101491056 B1 KR 101491056B1
Authority
KR
South Korea
Prior art keywords
mouse
button
server
screen
user
Prior art date
Application number
KR20130083793A
Other languages
Korean (ko)
Other versions
KR20150009376A (en
Inventor
최백준
Original Assignee
주식회사 틸론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 틸론 filed Critical 주식회사 틸론
Priority to KR20130083793A priority Critical patent/KR101491056B1/en
Publication of KR20150009376A publication Critical patent/KR20150009376A/en
Application granted granted Critical
Publication of KR101491056B1 publication Critical patent/KR101491056B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 터미널 환경의 서버 기반 컴퓨팅 시스템에서 서버로부터 실행된 어플리케이션의 화면상에서 마우스 UI를 지원하는 터치 스크린 단말 장치 및 마우스 UI 지원 방법을 개시한다. 본 발명에 따르는 마우스 UI 지원을 위한 터치 스크린 단말 장치는, 서버로부터 제공되는 터미널 서비스에 의해 서버측의 어플리케이션이 개시되면, 마우스 포인터와 선택 버튼을 포함하는 마우스의 컨트롤 정보를 생성하는 마우스 생성부; 발생된 마우스 이벤트에 대응하여 마우스의 컨트롤 정보를 화면에 표시하는 마우스 표시부; 사용자가 화면을 터치한 정보를 입력받는 마우스 입력부; 및 마우스 생성부로 마우스 생성 이벤트를 전달하고, 마우스 입력부로부터 전달된 사용자의 터치 정보에 대응하여 마우스의 선택 또는 드래그 입력의 마우스 이벤트를 발생시키고, 마우스 표시부로 대응하는 마우스 표시 이벤트를 전달하여 마우스의 동작 및 화면 표시를 제어하는 마우스 제어부를 포함한다. 본 발명에 따르면, 서버로부터 실행된 어플리케이션의 화면상에 마우스 UI를 제공하여 마우스 명령을 이용하여 어플리케이션을 편리하고 정확하게 조작할 수 있다.The present invention discloses a touch screen terminal device and a mouse UI support method for supporting a mouse UI on a screen of an application executed from a server in a server-based computing system in a terminal environment. A touch screen terminal device for supporting a mouse UI according to the present invention includes a mouse generating unit for generating control information of a mouse including a mouse pointer and a selection button when an application on the server side is started by a terminal service provided from a server; A mouse display unit for displaying control information of the mouse on the screen in response to the generated mouse event; A mouse input unit for receiving information on which a user has touched the screen; And generates a mouse event of a mouse selection or a drag input corresponding to the touch information of the user transmitted from the mouse input unit and transmits a corresponding mouse display event to the mouse display unit, And a mouse control unit for controlling the screen display. According to the present invention, the mouse UI can be provided on the screen of the application executed from the server, and the application can be conveniently and accurately operated using the mouse command.

Description

터미널 환경의 서버 기반 컴퓨팅 시스템에서 마우스 UI 지원을 위한 터치 스크린 단말 장치 및 마우스 UI 지원 방법{Touch screen terminal apparatus and method for supporting mouse user interface in server based computing system of terminal environment}[0001] The present invention relates to a touch screen terminal device and a mouse UI supporting method for supporting a mouse UI in a server-based computing system in a terminal environment,

본 발명은 터미널 환경의 서버 기반 컴퓨팅 시스템에 관한 것으로, 보다 구체적으로, 터치 스크린 단말에 마우스 UI(User Interface)를 제공하여 사용자의 터치 입력으로 마우스 명령을 실행하는 터치 스크린 단말 장치 및 마우스 UI 지원 방법에 관한 것이다.The present invention relates to a server-based computing system in a terminal environment, and more particularly, to a touch screen terminal device and a mouse UI support method for providing a mouse UI (User Interface) to a touch screen terminal, .

터미널 환경의 서버 기반 컴퓨팅 시스템이란 터미널 클라이언트를 이용하여 서버에 원격 접속하여 서버의 리소스를 클라이언트에서 사용할 수 있도록 하는 시스템이다. 클라이언트는 화면 출력과 데이터 입력의 기능을 담당하고, 서버는 데이터의 저장과 처리 기능을 담당한다. 따라서, 클라이언트의 응용 프로그램이 클라이언트 단말에 설치되지 않고 서버에 설치되고, 서버의 응용 프로그램 실행 결과 화면만이 클라이언트 단말로 전송된다.A server-based computing system in a terminal environment is a system that makes a server's resources available to a client by remotely accessing the server using a terminal client. The client is responsible for screen output and data input, and the server is responsible for storing and processing data. Therefore, the application program of the client is not installed in the client terminal but installed in the server, and only the application program execution result screen of the server is transmitted to the client terminal.

클라이언트가 원격으로 서버에 접속하게 되면, 서버는 접속된 사용자 환경을 세션과 프로필로 구분하여 세션 간에 상호 간섭 없이 독립된 환경을 유지하며 터미널 서비스를 제공한다. 터미널 서비스의 제공 과정에서 프로그램의 작업은 서버에서 처리되고 클라이언트로는 서버 작업의 결과값만 비트맵 형태로 프레임이 나뉘어 전달된다. 작업이 서버에서 처리되기 때문에 실행된 프로그램이 사용하는 CPU, 메모리 등은 서버의 자원을 사용하며 클라이언트의 자원은 클라이언트의 화면 표시 및 데이터 입력의 구동에만 필요한 최소한의 자원이 사용된다.When a client accesses a server remotely, the server divides the connected user environment into sessions and profiles, and maintains an independent environment without interfering with each other and provides a terminal service. In the process of provisioning terminal services, the operation of the program is processed by the server, and as a result, only the result of the server operation is transmitted as a bitmap to the client. Since the task is processed by the server, the CPU, memory, etc. used by the executed program uses the resources of the server, and the resources of the client use the minimum resources required only for display of the client's screen and data input.

그런데 터미널 서비스 환경의 클라이언트는 컴퓨터 단말 및 터치 스크린 단말(예 : 스마트 폰, 스마트 패드 및 태블릿 PC 등)이 될 수 있다. 만약, 스마트 폰과 같은 터치 스크린 단말이 클라이언트로서 가상 서버에 설치된 어플리케이션의 실행 서비스를 제공받는 경우라 가정하면, 상기 스마트 폰은 컴퓨터 단말(예 : 데스크 탑)과 같이 키보드 장치 및 마우스 장치가 없어도 터치 입력을 통해 사용자로부터 상기 어플리케이션의 명령 및 데이터를 입력받을 수 있다. 다만, 스마트 폰은 소형의 터치 스크린 단말이라서, 키보드 및 마우스 명령을 대신하여 사용자의 터치 명령을 입력받는 것은 다소 불편하다. 가상 서버에서 실행된 상기 어플리케이션은 키보드 및 마우스의 입력 장치를 갖는 상기 컴퓨터 단말을 대상으로 개발되었기 때문이다.The client in the terminal service environment may be a computer terminal and a touch screen terminal (e.g., a smart phone, a smart pad, and a tablet PC). Assuming that a touch screen terminal such as a smart phone is provided with an execution service of an application installed in a virtual server as a client, the smart phone may be a touch terminal such as a computer terminal (e.g., a desktop) And receive commands and data of the application from the user through the input. However, since the smartphone is a small touch screen terminal, it is somewhat inconvenient for the user to input the touch command in place of the keyboard and mouse commands. This is because the application executed in the virtual server has been developed for the computer terminal having an input device of a keyboard and a mouse.

예를 들어, 스마트 폰의 화면에 표시된 가상화 환경의 어플리케이션의 윈도우는 오른쪽 상단의 모서리에 최소화 버튼, 최대화 버튼, 닫기 버튼을 표시하고 있다. 여기서, 사용자가 터치 조작을 하여 상기 최소화 버튼을 실행하려고 했으나, 버튼을 정확하게 선택하지 못하여 최대화 버튼이 실행될 수 있다.For example, a window of an application in a virtualization environment displayed on a screen of a smartphone displays a minimize button, a maximize button, and a close button in an upper right corner. Here, the user tries to perform the minimizing button by performing a touch operation, but the maximize button can be executed because the button can not be selected correctly.

또한, 상기 스마트 폰에서 사용자가 마우스의 오른쪽 버튼 또는 왼쪽 버튼에 배정된 기능을 실행하거나 마우스 동작의 기능(예 : drag and drop, copy and paste)을 실행할 경우, 터치 방식을 통해 마우스 기능에 대응하는 메뉴 또는 버튼을 찾아서 선택하는 불편이 따른다. 사용자는 스마트 폰에서 마우스 입력을 대신하여 터치 명령으로 어플리케이션의 기능을 실행해야만 하기에 불편이 가중된다.In addition, when the user performs a function assigned to the right button or left button of the mouse or performs a function (e.g., drag and drop, copy and paste) of a mouse operation, There are inconveniences to find and select menus or buttons. The user is inconvenienced to perform the function of the application with the touch command in place of the mouse input in the smartphone.

본 발명은 상기와 같은 종래 기술의 인식 하에 창출된 것으로서, 터미널 서비스에서 터치 스크린 단말에 마우스 UI를 제공하여 마우스 명령이 실행되는 터치 스크린 단말 장치 및 마우스 UI 지원 방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a method of supporting a touch screen terminal and a mouse UI in which a mouse command is executed by providing a mouse UI to a touch screen terminal in a terminal service.

본 발명의 다른 목적은 터치 스크린 단말에서 마우스 포인터의 주변에 특정 기능의 버튼을 표시하고, 마우스 버튼처럼 버튼의 선택에 의해 대응되는 기능을 바로 실행할 수 있게 하는데 있다.Another object of the present invention is to display a button of a specific function in the vicinity of a mouse pointer in a touch screen terminal and to directly execute a corresponding function by selecting a button like a mouse button.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 터미널 환경의 서버 기반 컴퓨팅 시스템에서 마우스 UI 지원을 위한 터치 스크린 단말 장치는, 서버에 네트워크를 통해 원격으로 접속하여 서버측에서 실행되는 어플리케이션의 실행 화면을 수신하는 터미널 서비스를 제공받는 터치 스크린 단말 장치에 있어서, 상기 터미널 서비스의 제공에 의해 상기 서버로부터 어플리케이션의 실행이 개시되면, 마우스 포인터와 상기 마우스 포인터에 인접하여 표시되는 선택 버튼을 포함하는 마우스의 컨트롤 정보를 생성하는 마우스 생성부; 발생된 마우스 이벤트에 대응하여 상기 마우스의 컨트롤 정보를 상기 어플리케이션의 실행 화면에 표시하는 마우스 표시부; 사용자가 화면을 터치한 정보를 입력받는 마우스 입력부; 및 상기 마우스 생성부로 마우스 생성 이벤트를 전달하고, 상기 마우스 입력부를 통해 입력된 사용자의 터치 조작에 대응하여 마우스의 선택 또는 드래그의 마우스 이벤트를 발생시키고, 상기 마우스 표시부로 대응하는 마우스 표시 이벤트를 전달하여 마우스의 동작 및 화면 표시를 제어하는 마우스 제어부를 포함한다.According to an aspect of the present invention, there is provided a touch screen terminal device for supporting a mouse UI in a server-based computing system in a terminal environment. The touch screen terminal device connects remotely to a server via a network and displays an execution screen of an application When the execution of an application from the server is started by providing the terminal service, the touch screen terminal device receives the control information of the mouse including the mouse pointer and a selection button displayed adjacent to the mouse pointer, A mouse generating unit for generating a mouse; A mouse display unit for displaying control information of the mouse on an execution screen of the application in response to a generated mouse event; A mouse input unit for receiving information on which a user has touched the screen; And transmits a mouse generation event to the mouse generation unit, generates a mouse event of a mouse selection or dragging in response to a touch operation of the user input through the mouse input unit, and transmits a corresponding mouse display event to the mouse display unit And a mouse control unit for controlling operations of the mouse and screen display.

본 발명에 있어서, 상기 컨트롤 정보는, 마우스 왼쪽 버튼, 마우스 오른쪽 버튼 및 마우스 휠 버튼을 더 포함한다.In the present invention, the control information further includes a left mouse button, a right mouse button, and a mouse wheel button.

여기서, 상기 마우스 제어부는, 마우스의 버튼이 사용자에 의해 터치되는 동안 터치된 버튼의 색상을 반전하여 선택 여부를 표시하는 표시 이벤트를 상기 마우스 표시부로 전달한다.Here, the mouse control unit transmits to the mouse display unit a display event indicating whether to select or not by reversing the color of the touched button while the mouse button is being touched by the user.

본 발명의 일 측면에 따르면, 상기 마우스 제어부는, 상기 선택 버튼이 설정된 시간 이상으로 터치되는 경우, 상기 마우스 표시부로 상기 선택 버튼에 인접하여 표시되는 복수개 기능 버튼의 표시 이벤트를 전달하고, 상기 기능 버튼은 사용자의 터치가 해제되면 설정된 시간 이후 화면에서 사라진다.According to an aspect of the present invention, when the selection button is touched for more than a set time, the mouse control unit delivers a display event of a plurality of function buttons displayed adjacent to the selection button to the mouse display unit, Disappears from the screen after the set time when the user's touch is released.

여기서, 상기 기능 버튼은, 복사 버튼, 붙여넣기 버튼, 잘라내기 버튼, 삭제 버튼, 기능 키 버튼, 드래그 버튼, 키 패드 표시 버튼 중 적어도 하나를 포함한다.Here, the function button includes at least one of a copy button, a paste button, a cut button, a delete button, a function key button, a drag button, and a key pad display button.

대안적으로, 상기 마우스 제어부는, 사용자의 터치 정보가 상기 선택 버튼의 위치가 아닌 다른 위치의 터치이면, 사용자가 터치한 위치로 마우스 이동의 이벤트를 발생시킨다.Alternatively, if the touch information of the user is a touch at a position other than the position of the selection button, the mouse control unit generates an event of mouse movement to a position touched by the user.

더욱이, 상기 마우스 제어부는, 마우스 조작에 의해 발생된 마우스의 입력 데이터를 상기 서버로 전송하여 마우스 입력 데이터의 처리를 요청한다.Further, the mouse control unit transmits input data of the mouse generated by the mouse operation to the server, and requests the processing of the mouse input data.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 터미널 환경의 서버 기반 컴퓨팅 시스템에서 마우스 UI 지원을 위한 마우스 UI 지원 방법은, 서버에 네트워크를 통해 원격으로 접속하여 터미널 서비스를 제공받는 터치 스크린 단말 장치가 하기의 단계들을 실행하는 마우스 UI(User Interface) 지원 방법으로서, (a)상기 서버에 접속한 후, 상기 서버에 생성된 터미널 세션을 통해 터미널 서비스의 접속이 유지되는 서버 접속 단계; (b)상기 서버로부터 제공된 어플리케이션의 목록 중에서 특정 어플리케이션의 실행 요청을 전송하여 상기 프로그램의 실행 화면을 수신하는 프로그램 실행 단계; (c)마우스 포인터와 상기 마우스 포인터에 인접하여 표시되는 선택 버튼을 포함하는 마우스의 컨트롤 정보를 생성하는 마우스 생성 단계; (d)상기 어플리케이션의 실행 화면을 표시하면, 생성된 상기 마우스의 컨트롤 정보를 상기 실행 화면상에서 표시하는 마우스 표시 단계; (e)사용자가 화면을 터치한 정보를 입력받는 마우스 입력 단계; 및 (f)사용자의 터치 정보가 상기 선택 버튼의 터치이면 입력된 마우스의 선택 또는 드래그 명령에 대응하는 이벤트를 발생시켜 마우스 동작 및 화면 표시를 제어하는 마우스 제어 단계를 포함한다.According to another aspect of the present invention, there is provided a method for supporting a mouse UI in a server-based computing system in a terminal environment, the method comprising: receiving a terminal service through a network; (A) a server connecting step of connecting to the server, the connection of the terminal service being maintained through a terminal session created in the server after connecting to the server; (b) a program executing step of receiving an execution screen of the program by transmitting an execution request of a specific application from a list of applications provided from the server; (c) a mouse generating step of generating control information of a mouse including a mouse pointer and a selection button displayed adjacent to the mouse pointer; (d) a mouse displaying step of displaying the generated control information of the mouse on the execution screen when displaying an execution screen of the application; (e) a mouse input step of receiving information on which a user has touched the screen; And a mouse control step of controlling the mouse operation and the screen display by generating an event corresponding to the selection or drag instruction of the input mouse when the touch information of the user is the touch of the selection button.

본 발명의 일 측면에 따르면, 터치 스크린 단말 장치가 서버로부터 터미널 서비스를 제공받아 서버측 어플리케이션의 실행 화면을 표시하는 동안에 마우스 UI를 제공하여 사용자가 마우스를 이용하여 어플리케이션을 정확하고 편리하게 조작할 수 있다.According to an aspect of the present invention, a touch screen terminal device receives a terminal service from a server and provides a mouse UI while displaying an execution screen of a server-side application, so that a user can accurately and conveniently operate an application using a mouse have.

또한, 화면상의 마우스에 복수개의 기능 버튼을 표시하고, 사용자는 상기 기능 버튼을 통해 즐겨 실행하는 버튼 명령, 키 조작 명령을 커스토마이징할 수 있다.In addition, a plurality of function buttons are displayed on the screen mouse, and the user can customize the favorite button commands and key operation commands through the function buttons.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술한 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예에 따른 터미널 환경의 서버 기반 컴퓨팅 시스템의 개략적 구성도이다.
도 2는 도 1의 터치 스크린 단말 장치가 실행하는 접속 프로그램의 개략적 내부 구조도이다.
도 3 내지 도 5는 도 1의 터치 스크린 단말 장치에서 마우스를 표시하는 화면의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 터미널 환경의 서버 기반 컴퓨팅 시스템에서 마우스 UI 지원 방법의 개략적 순서도이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are incorporated in and constitute a part of the specification, illustrate preferred embodiments of the invention and, together with the description of the invention below, And should not be construed as interpretation.
1 is a schematic block diagram of a server-based computing system in a terminal environment according to an embodiment of the present invention.
2 is a schematic internal structure diagram of a connection program executed by the touch screen terminal device of FIG.
FIGS. 3 to 5 are diagrams illustrating examples of a screen displaying a mouse in the touch screen terminal device of FIG. 1. FIG.
6 is a schematic flowchart of a mouse UI support method in a server-based computing system in a terminal environment according to an exemplary embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms, and the inventor should appropriately interpret the concepts of the terms appropriately It should be interpreted in accordance with the meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.

<1. 시스템 구성><1. System configuration>

도 1은 본 발명의 일 실시예에 따른 터미널 환경의 서버 기반 컴퓨팅 시스템(1)의 개략적 구성도이다.1 is a schematic block diagram of a server-based computing system 1 in a terminal environment according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 서버 기반 컴퓨팅 시스템(1)은 유, 무선 네트워크를 통해 접속된 터치 스크린 단말 장치(3)로 터미널 서비스를 제공하는 서버(2) 및 상기 서버(2)로부터 서버(2) 측의 프로그램이 원격 실행되는 터미널 서비스를 제공받는 터치 스크린 단말 장치(3)를 포함하여 구성된다.The server-based computing system 1 according to an embodiment of the present invention includes a server 2 providing a terminal service to a touch screen terminal 3 connected via a wired or wireless network and a server 2 And a touch screen terminal device (3) provided with a terminal service in which a program on the terminal (2) side is remotely executed.

본 발명에서의 상기 유, 무선 네트워크는 대표적으로 이동통신망, 인터넷과 같은 유, 무선 공중망이나 전용망 등과 같이 다양한 프로토콜을 이용하여 데이터 통신이 가능한 모든 통신망을 포괄한다.The wired and wireless networks in the present invention typically include all communication networks capable of data communication using various protocols such as a mobile communication network, a wired and wireless public network such as the Internet, and a private network.

상기 서버(2)는 데스크 탑의 가상화 환경이 구축된 가상 서버로서 원격 접속된 터치 스크린 단말 장치(3)들을 상대로 서버(2) 측에 설치된 어플리케이션의 원격 실행 서비스를 제공한다. 상기 데스크 탑의 가상화 환경이란, 물리적 데스크 탑이 범용 컴퓨터로서 입력, 처리 및 출력의 기능을 갖는데, 상기 처리 기능을 데스크 탑으로부터 분리하여 서버(2)에 분리된 상기 처리 기능을 구축한 것을 말한다. 따라서, 물리적 데스크 탑은 입력 및 출력 기능을 가지며, 서버(2) 측의 가상 데스크 탑은 처리 기능을 갖는다.The server 2 provides a remote execution service of an application installed on the server 2 side against the touch-screen terminal devices 3 remotely connected as a virtual server on which a desktop virtualization environment is built. The virtualization environment of the desktop means that the physical desktop has functions of input, processing, and output as general-purpose computers, and separates the processing functions from the desktop to construct the processing functions separated in the server 2. Thus, the physical desktop has input and output functions, and the virtual desktop on the server 2 side has processing functions.

상기 터치 스크린 단말 장치(3)는 유, 무선 네트워크 기능과 터치 입력 기능을 갖는 스마트 폰, 스마트 패드 등으로서 특별한 제한은 없다. 터치 스크린 단말 장치(3)가 서버(2)로부터 터미널 서비스를 제공받는 동안에는 상기 물리적 데스크 탑이 되어 입력 기능과 출력 기능을 갖는다. 상기 입력 기능은 사용자에 의한 데이터 입력 기능에 해당하고, 상기 출력 기능은 화면 및 음성의 데이터 출력을 말한다. 또한, 예를 들어, 터치 스크린 단말 장치(3)가 스마트 폰일 경우, 상기 입력 기능은 사용자의 터치 기능에 해당된다.The touch screen terminal device 3 is not particularly limited as a smart phone, a smart pad, and the like having a function of a wireless network and a touch input function. While the touch screen terminal device 3 is provided with the terminal service from the server 2, the touch screen terminal device 3 becomes the physical desktop and has an input function and an output function. The input function corresponds to a data input function by a user, and the output function refers to a data output of a screen and a voice. Further, for example, when the touch screen terminal device 3 is a smart phone, the input function corresponds to the touch function of the user.

여기서, 상기 터치 스크린 단말 장치(3)는 접속 프로그램(300)이 설치되고, 상기 접속 프로그램(300)의 실행에 의해 씬-클라이언트(thin-client)로서 서버(2)로부터 터미널 서비스를 제공받는다.Here, the touch screen terminal apparatus 3 is provided with a connection program 300, and is provided with a terminal service from the server 2 as a thin-client by execution of the connection program 300. [

상기 접속 프로그램(300)은 서버(2)로부터 어플리케이션의 실행 화면을 제공받아 터치 스크린 단말 장치(3)의 화면에 출력한다. 접속 프로그램(300)은 화면을 통해 사용자로부터 터치 입력된 데이터를 서버(2)로 전송하여 처리를 요청한다. 이후, 서버(2)는 터치 스크린 단말 장치(3)로부터 수신된 사용자의 입력 데이터를 터치 명령으로 해석하여 어플리케이션의 처리를 수행한 후 처리 결과의 어플리케이션 실행 화면을 접속 프로그램(300)으로 제공한다. 그러면, 터미널 서비스를 통해 클라이언트측 입력, 서버측 처리 및 클라이언트측 처리 결과 출력의 일련의 처리가 반복된다.The connection program 300 receives an application execution screen from the server 2 and outputs it to the screen of the touch screen terminal device 3. [ The connection program 300 transmits data touch input from the user to the server 2 via the screen and requests processing. After that, the server 2 interprets the input data of the user received from the touch screen terminal device 3 as a touch command, performs processing of the application, and provides the application execution screen of the processing result to the connection program 300. Then, a series of processes of client-side input, server-side processing, and client-side processing result output are repeated through the terminal service.

여기서, 상기 접속 프로그램(300)은 서버(2) 측에서 실행되는 어플리케이션의 화면을 출력하는데, 상기 어플리케이션은 ms-office 등의 기타 응용 프로그램으로서 특별한 제한은 없다. 그리고 상기 어플리케이션은 컴퓨터 단말 기반의 어플리케이션으로서 키보드 및 마우스 입력을 기반으로 개발된 프로그램이 대부분이다. 따라서, 사용자의 터치 명령에 의해 서버(2) 측의 어플리케이션이 조작될 경우 발생되는 사용자의 입력에 대한 불편을 해소하고자 접속 프로그램(300)은 터치 스크린 단말 장치(3)의 화면상에 표시된 상기 어플리케이션의 화면 위에 마우스를 생성하여 표시한다. 그러면, 터치 스크린 단말 장치(3)는 사용자의 터치 명령은 물론이며 상기 마우스를 통해 사용자가 마우스를 조작하는 명령을 입력받을 수 있다. 따라서, 사용자가 손으로 터치하여 어플리케이션을 조작할 때보다 마우스를 조작하여 정확하게 객체를 선택할 수 있어 어플리케이션의 실행이 보다 편리해진다.Here, the connection program 300 outputs a screen of an application executed on the server 2 side, and the application is not limited to any other application program such as ms-office. In addition, most of the applications are computer terminal based applications developed on the basis of keyboard and mouse input. Therefore, in order to solve the inconvenience to the user's input which occurs when the application on the side of the server 2 is operated by the touch instruction of the user, the connection program 300 is displayed on the screen of the touch screen terminal device 3, A mouse is generated and displayed on the screen of FIG. Then, the touch screen terminal device 3 can receive a touch command of the user, as well as a command for the user to operate the mouse through the mouse. Therefore, it is possible to select the object more accurately by operating the mouse than when the user operates the application by touching with the hand, thereby making the execution of the application more convenient.

도 2는 도 1의 터치 스크린 단말 장치(3)가 실행하는 접속 프로그램(300)의 개략적 내부 구조도이다.Fig. 2 is a schematic internal structure diagram of a connection program 300 executed by the touch screen terminal device 3 of Fig.

본 발명의 일 실시예에 따른 터치 스크린 단말 장치(3)는 접속 프로그램(300)을 실행하며, 상기 접속 프로그램(300)은 마우스의 생성, 표시, 사용자 입력의 처리를 제어하는 마우스 제어부(31), 화면에 표시되는 마우스를 생성하는 마우스 생성부(32), 생성된 마우스를 화면상에서 표시하는 마우스 표시부(33) 및 상기 마우스를 통해 입력되는 사용자의 터치 입력을 마우스 명령으로 생성하는 마우스 입력부(34)를 포함하여 구성된다.The touch screen terminal device 3 according to an embodiment of the present invention executes a connection program 300. The connection program 300 includes a mouse control unit 31 for controlling generation, display, and user input of a mouse, A mouse generating unit 32 for generating a mouse displayed on the screen, a mouse display unit 33 for displaying the generated mouse on the screen, and a mouse input unit 34 for generating a touch input of the user input through the mouse by a mouse command ).

상기 마우스 제어부(31)는 접속 프로그램(300)이 서버(2)에 접속하여 터미널 서비스를 제공받는 과정에서 어플리케이션의 실행이 개시되면, 마우스 생성 이벤트를 발생시킨다. 그리고 상기 마우스 생성 이벤트에 의해 생성된 마우스에 대해 마우스 표시 이벤트를 발생시킨다. 상기 마우스 표시 이벤트에 의해 화면에 마우스가 표시된 이후로 사용자에 의해 마우스의 터치가 감지되면, 대응하는 마우스 선택 또는 마우스 이동의 화면 표시 이벤트를 발생시킨다. The mouse control unit 31 generates a mouse creation event when the execution of the application is started in the process of the connection program 300 being connected to the server 2 and receiving the terminal service. And generates a mouse display event for the mouse generated by the mouse creation event. When a mouse is touched by the user after the mouse is displayed on the screen by the mouse display event, a corresponding mouse selection or mouse movement display event is generated.

상기 마우스 생성부(32)는 마우스 제어부(31)에 의해 발생된 상기 마우스 생성 이벤트를 전달받고, 화면에 마우스 UI를 표시하기 위한 마우스 컨트롤을 생성한다.The mouse generating unit 32 receives the mouse generation event generated by the mouse control unit 31 and generates a mouse control for displaying a mouse UI on the screen.

여기서, 상기 마우스 컨트롤은 마우스 포인터와 상기 마우스 포인터에 인접하여 표시되는 선택 버튼을 포함하는 화면 표시 객체에 해당한다. 상기 마우스 포인터는 서버(2) 측 어플리케이션의 객체(예 : 버튼, 메뉴 등)보다 더 작게 표시된다. 때문에 사용자가 마우스 포인터를 정확하게 선택하는데 어려움이 있을 수 있다. 이를 해소하기 위해 상기 선택 버튼이 터치되면 사용자에 의해 마우스 포인터가 선택된 것으로 간주하여 마우스 명령을 인식할 수 있다.Here, the mouse control corresponds to a screen display object including a mouse pointer and a selection button displayed adjacent to the mouse pointer. The mouse pointer is displayed smaller than an object (e.g., button, menu, etc.) of the application on the server 2 side. Therefore, it may be difficult for the user to accurately select the mouse pointer. When the selection button is touched to solve this problem, it is recognized that the mouse pointer is selected by the user and the mouse command can be recognized.

또한, 상기 마우스 컨트롤은 마우스 왼쪽 버튼, 마우스 오른쪽 버튼 및 마우스 휠 버튼을 더 포함할 수 있다. 여기서, 마우스 포인터와 선택 버튼은 사용자의 마우스 조작에 따라 화면상에서 이동하는 객체 속성을 가진다. 반면에, 마우스 왼쪽 버튼, 마우스 오른쪽 버튼 및 마우스 휠 버튼은 이동 속성이 배제되어 화면상의 고정 위치에 있어도 무방하다.In addition, the mouse control may further include a left mouse button, a right mouse button, and a mouse wheel button. Here, the mouse pointer and the selection button have object properties that move on the screen according to the user's mouse operation. On the other hand, the left mouse button, the right mouse button, and the mouse wheel button may be in a fixed position on the screen excluding the movement attribute.

더욱이, 상기 마우스 컨트롤은 복수개 기능 버튼을 더 포함할 수 있다. 상기 기능 버튼은 복사 버튼, 붙여넣기 버튼, 잘라내기 버튼, 삭제 버튼, 기능 키 버튼(예 : function key, alt, ctrl의 키 조합 등), 드래그 버튼, 키 패드 표시 버튼 중에 적어도 하나를 포함할 수 있다.Further, the mouse control may further include a plurality of function buttons. The function button may include at least one of a copy button, a paste button, a cut button, a delete button, a function key button (e.g., a function key, a key combination of alt and ctrl), a drag button, have.

상기 마우스 표시부(33)는 마우스 제어부(31)에 의해 발생된 상기 마우스 표시 이벤트를 전달받으면, 화면에 마우스 UI를 표시한다. 서버(2)에서 어플리케이션이 초기 실행되어 초기 화면이 터치 스크린 단말 장치(3)의 화면에 표시되면, 마우스 표시부(33)는 마우스 생성부(32)에 의해 생성된 마우스 컨트롤을 화면에 표시한다. 이후, 사용자가 선택 버튼을 터치하여 화면상의 마우스를 조작할 경우, 마우스 표시부(33)는 마우스 제어부(31)의 제어에 의해 마우스의 선택 또는 이동을 화면에 표시한다. 예를 들어, 상기 선택 버튼이 터치되어 드래그되는 경우(예 : 객체 이동, 블럭 지정 등) 마우스의 이동에 따라 발생되는 마우스 표시 이벤트를 전달받아 화면에 마우스를 표시한다. 그러면, 사용자는 화면상에서 마우스 포인터가 이동하는 효과를 시각적으로 인식할 수 있다.When the mouse display unit 33 receives the mouse display event generated by the mouse control unit 31, the mouse display unit 33 displays a mouse UI on the screen. When the application is initially executed on the server 2 and an initial screen is displayed on the screen of the touch screen terminal device 3, the mouse display unit 33 displays the mouse control generated by the mouse generating unit 32 on the screen. Then, when the user touches the selection button to operate the mouse on the screen, the mouse display unit 33 displays the selection or movement of the mouse on the screen under the control of the mouse control unit 31. [ For example, when the selection button is touched and dragged (for example, object movement, block designation, etc.), a mouse display event generated according to movement of the mouse is received and the mouse is displayed on the screen. Then, the user can visually recognize the effect that the mouse pointer moves on the screen.

상기 마우스 입력부(34)는 사용자가 터치 스크린 단말 장치(3)의 화면상에서 터치 입력을 하면, 입력 이벤트의 정보를 감지한다. 그리고 감지된 입력 이벤트의 터치 정보(예 : 터치 위치값)를 마우스 제어부(31)로 전달한다. 여기서, 마우스 제어부(31)가 상기 터치 정보를 수신하면, 사용자의 터치 위치가 마우스의 위치(예 : 상기 선택 버튼의 위치)에 해당하는지 판단한다. 판단된 터치 위치가 마우스의 컨트롤(예 : 버튼)을 선택하는 위치이면, 마우스의 컨트롤이 유효하게 선택되었음을 표시하기 위해 반전 표시 이벤트를 발생시킬 수 있다. 터치 스크린 단말 장치(3)는 스마트 폰과 같은 소형의 단말일 수 있기에 마우스 컨트롤을 손으로 정확히 터치하는 것이 어려울 수 있다. 따라서, 사용자가 마우스의 컨트롤을 정확하게 터치하는 경우 해당 마우스 컨트롤을 반전 표시하여 사용자에게 유효하게 마우스가 조작되고 있음을 알리는 것이 선호된다. 그리고 판단된 터치 위치가 선택 버튼의 위치가 아니면, 마우스 제어부(31)는 사용자가 서버(2) 측 어플리케이션의 객체를 직접 터치한 것으로 판단하여 사용자에 의해 터치된 위치로 마우스를 이동하여 표시하는 마우스 표시 이벤트를 발생시킨다. 그러면, 화면상에는 사용자의 터치 위치로 마우스가 이동되어 표시된다. The mouse input unit 34 senses information of an input event when the user touch input on the screen of the touch screen terminal device 3. And transmits touch information (e.g., touch position value) of the sensed input event to the mouse control unit 31. [ Here, when the mouse control unit 31 receives the touch information, it determines whether the touch position of the user corresponds to the position of the mouse (e.g., the position of the selection button). If the determined touch position is a position to select a mouse control (e.g., a button), an inversion display event may be generated to indicate that the mouse control has been effectively selected. Since the touch screen terminal device 3 may be a small terminal such as a smart phone, it may be difficult to precisely touch the mouse control by hand. Accordingly, when the user correctly touches the control of the mouse, it is preferable that the mouse control is highlighted to inform the user that the mouse is being operated effectively. If the determined touch position is not the position of the selection button, the mouse control unit 31 determines that the user directly touches the object of the application on the server 2 side and moves the mouse to the position touched by the user, And generates a display event. Then, the mouse is displayed on the screen by moving the mouse to the touch position of the user.

또한, 마우스 제어부(31)는 선택 버튼이 고정된 위치에서 설정된 시간(예 : 3초) 이상 터치되는 경우, 상기 기능 버튼의 표시 이벤트를 발생시킨다. 그러면, 상기 마우스 표시부(33)는 발생된 기능 버튼의 표시 이벤트를 전달받고 기능 버튼을 화면에 표시한다. 나아가, 기능 버튼이 화면에 표시된 이후로 설정된 시간 동안 마우스 버튼의 입력이 없을 경우, 기능 버튼의 종료 이벤트를 발생시킬 수 있다. 그러면, 마우스 표시부(33)는 화면에 표시된 기능 버튼의 표시를 종료하고, 화면상에서 기능 버튼이 사라진다.The mouse control unit 31 generates a display event of the function button when the selection button is touched for a predetermined time (e.g., 3 seconds) at a fixed position. Then, the mouse display unit 33 receives the display event of the generated function button and displays the function button on the screen. Further, when there is no input of the mouse button for a predetermined time after the function button is displayed on the screen, the end event of the function button can be generated. Then, the mouse display unit 33 finishes displaying the function buttons displayed on the screen, and the function buttons disappear on the screen.

한편, 마우스 제어부(31)는 사용자의 마우스 터치 입력에 따라서 대응하는 마우스 입력 데이터를 생성하여 서버(2)로 전송한다. 그러면, 서버(2)는 수신된 상기 마우스 입력 데이터를 마우스 명령으로 해석하여 대응하는 마우스 명령을 처리하고, 처리된 프로그램의 결과 화면을 리턴한다.On the other hand, the mouse control unit 31 generates corresponding mouse input data in accordance with the mouse-touch input of the user and transmits it to the server 2. Then, the server 2 interprets the received mouse input data as a mouse command, processes the corresponding mouse command, and returns a result screen of the processed program.

도 3 내지 도 5는 도 1의 터치 스크린 단말 장치(3)에서 마우스를 표시하는 화면의 예시도이다.Figs. 3 to 5 are diagrams illustrating examples of a screen displaying a mouse in the touch screen terminal device 3 of Fig.

설명의 편의상 상기 터치 스크린 단말 장치(3)가 스마트 단말이고, 서버(2)에서 실행되는 어플리케이션이 ms-word라 가정한다. 스마트 단말은 서버에서 실행된 ms-word의 어플리케이션 화면을 수신하여 스마트 단말의 화면에 표시한다. 사용자가 터치 입력을 통해 스마트 단말의 소형 화면에서 ms-word의 메뉴, 아이콘, 기능키 등을 선택하는 것은 매우 불편하다. 이때, 도 3 내지 도 5의 예시처럼 마우스가 표시되면, 사용자는 터치 입력으로 마우스를 조작하여 ms-word의 어플리케이션을 편리하게 사용할 수 있다.For convenience of explanation, it is assumed that the touch screen terminal device 3 is a smart terminal and the application executed in the server 2 is ms-word. The smart terminal receives the application screen of ms-word executed on the server and displays it on the screen of the smart terminal. It is very inconvenient for a user to select a menu, an icon, a function key, etc. of ms-word on a small screen of a smart terminal through touch input. At this time, if a mouse is displayed as in the example of FIGS. 3 to 5, the user can conveniently use the ms-word application by operating the mouse with touch input.

도 3을 참조하면, 접속 프로그램(300)의 실행에 의해 터치 스크린 단말 장치(3)가 서버(2) 측에서 실행되는 어플리케이션의 초기 화면을 수신하여 화면에 표시하면, 상기 어플리케이션의 화면상에서 마우스 포인터(301) 및 선택 버튼(302)이 표시된다. 아울러, 화면의 하단에는 고정된 위치에서 마우스 왼쪽 버튼(311), 마우스 오른쪽 버튼(312) 및 마우스 휠 버튼(313)이 표시될 수 있다. 사용자가 마우스 조작을 하려면, 선택 버튼(302)을 터치하여 마우스를 선택해야만 한다.3, when the touch screen terminal device 3 receives an initial screen of an application executed on the side of the server 2 and displays it on the screen by executing the connection program 300, A selection button 301 and a selection button 302 are displayed. In addition, a mouse left button 311, a right mouse button 312, and a mouse wheel button 313 may be displayed at a fixed position on the bottom of the screen. In order for the user to perform the mouse operation, the user must touch the selection button 302 to select the mouse.

도 4를 참조하면, 사용자가 선택 버튼(302)을 유효하게 터치하면, 선택 버튼(302)은 반전 표시(도면상에 음영으로 표시)되어 마우스가 유효하게 선택되었음을 표시한다. 선택 버튼(302)이 반전된 상태는 사용자가 마우스를 유효하게 조작하고 있는 상태를 나타낸다. 따라서, 사용자는 마우스의 선택 및 이동의 조작을 할 수 있다.Referring to FIG. 4, when the user effectively touches the selection button 302, the selection button 302 indicates that the mouse has been effectively selected by reversing the display (indicated by shading on the drawing). The state in which the selection button 302 is inverted indicates a state in which the user is effectively operating the mouse. Therefore, the user can manipulate the selection and movement of the mouse.

도 5를 참조하면, 사용자가 마우스의 기능키 조작을 하고 싶을 경우, 사용자가 선택 버튼(302)을 설정된 시간 동안 터치하고 있으면, 기능 버튼(303)이 표시된다. 기능 버튼은 복수개 버튼으로 구성될 수 있고 각각의 버튼마다 고유한 기능이 배정될 수 있다. 기능 버튼(303)은 사용자가 실행된 어플리케이션을 고려하여 즐겨 이용하는 명령으로 직접 기능을 설정하여도 무방하다. 따라서, 도 5에 도시된 "Copy", "Paste", "Cut", "Delete", "Alt+Tab", "Drag" 기능 이외에 다양한 기능으로 구성될 수 있음은 물론이다.
Referring to FIG. 5, when the user desires to perform the function key operation of the mouse, if the user touches the selection button 302 for the set time, the function button 303 is displayed. The function button may be composed of a plurality of buttons, and a function unique to each button may be assigned. The function button 303 may set the function directly to the favorite command in consideration of the application executed by the user. Therefore, it is needless to say that various functions other than the functions "Copy", "Paste", "Cut", "Delete", "Alt + Tab", and "Drag" shown in FIG.

<2. 방법 구성><2. Method composition>

본 발명의 일 실시예에 따른 터미널 환경의 서버 기반 컴퓨팅 시스템(1)에서 마우스 UI 지원 방법은 상기 터치 스크린 단말 장치(3)를 통하여 바람직하게 실현될 수 있다.The mouse UI support method in the server-based computing system 1 of the terminal environment according to the embodiment of the present invention can be preferably realized through the touch screen terminal device 3. [

도 6은 본 발명의 일 실시예에 따른 터미널 환경의 서버 기반 컴퓨팅 시스템(1)에서 마우스 UI 지원 방법의 개략적 순서도이다.6 is a schematic flowchart of a mouse UI support method in a server-based computing system 1 in a terminal environment according to an embodiment of the present invention.

사용자는 터치 스크린 단말 장치(3)에 접속 프로그램(300) 다운받아 설치한다. 스마트 폰에서는 앱 스토어 또는 마켓에 접속하여 상기 접속 프로그램(300)을 다운받아 설치할 수 있다. The user downloads and installs the connection program 300 on the touch screen terminal device 3. In the smartphone, the access program 300 can be downloaded and installed by accessing an app store or a market.

터치 스크린 단말 장치(3)에서 접속 프로그램(300)이 실행되면, 접속 프로그램(300)은 서버(2)에 접속하여 로그인을 요청한다(S311). 로그인 과정에서 서버(2)는 사용자의 회원 가입을 요구할 수 있다. 그러면, 서버(2)는 사용자 계정에 대한 로그인 인증을 수행할 수 있다. 로그인 인증이 성공되면, 서버(2)는 터미널 세션(200)을 생성하여 접속된 터치 스크린 단말 장치(3)를 상대로 할당한다. 이후, 터치 스크린 단말 장치(3)는 서버(2)로부터 상기 터미널 세션(200)을 통해 실행 가능한 어플리케이션의 목록을 제공받아 화면에 표시할 수 있다.When the connection program 300 is executed in the touch screen terminal device 3, the connection program 300 accesses the server 2 to request a login (S311). In the login process, the server 2 can request the user's membership. Then, the server 2 can perform login authentication for the user account. If the login authentication is successful, the server 2 creates a terminal session 200 and assigns it to the connected touch screen terminal device 3. Then, the touch screen terminal device 3 can receive a list of applications executable through the terminal session 200 from the server 2, and display the list on the screen.

접속 프로그램(300)은 서버(2)로 화면의 상기 어플리케이션의 목록에서 사용자에 의해 요청된 어플리케이션의 실행을 요청하고, 요청된 어플리케이션의 실행 화면을 수신한다(S312).The connection program 300 requests the server 2 to execute the application requested by the user from the list of the applications on the screen, and receives the execution screen of the requested application (S312).

사용자의 실행 요청에 의해 서버(2)에서 실행되는 어플리케이션의 화면이 수신되면, 접속 프로그램(300)은 어플리케이션상에서 표시할 마우스 컨트롤을 생성하여 마우스의 화면 표시를 준비한다(S32). 여기서, 상기 마우스 컨트롤은 마우스 포인터(301), 선택 버튼(302), 마우스 왼쪽 버튼(311), 마우스 오른쪽 버튼(312), 휠 버튼(313) 등을 포함할 수 있다.When the screen of the application executed in the server 2 is received by the execution request of the user, the connection program 300 generates a mouse control to be displayed on the application and prepares the screen display of the mouse (S32). The mouse control may include a mouse pointer 301, a selection button 302, a left mouse button 311, a right mouse button 312, a wheel button 313, and the like.

접속 프로그램(300)이 서버(2)로부터 수신된 어플리케이션의 실행 화면을 터치 스크린 단말 장치(3)에 표시하면(S313), 접속 프로그램(300)은 생성된 상기 마우스 컨트롤을 어플리케이션의 실행 화면상에 표시한다(S33). 그러면, 사용자는 터치 스크린 단말 장치(3)의 화면에서 원하는 객체를 직접 터치하거나 또는 마우스 선택 버튼(302)을 이용하여 객체 선택 또는 드래그 동작 등의 마우스 조작을 할 수 있다.When the connection program 300 displays the execution screen of the application received from the server 2 on the touch screen terminal device 3 in S313, the connection program 300 displays the generated mouse control on the execution screen of the application (S33). The user can directly touch a desired object on the screen of the touch screen terminal device 3 or can perform a mouse operation such as object selection or drag operation using the mouse selection button 302. [

사용자에 의해 터치 입력이 발생되면(S314), 접속 프로그램(300)은 터치 입력된 위치를 이용하여 대응하는 마우스 이벤트를 발생시킨다(S34). 예를 들어, 사용자의 터치가 마우스의 선택 버튼(302)을 선택한 것이면, 접속 프로그램(300)은 선택 버튼(302)의 반전 표시 이벤트를 발생시키고 대응하는 마우스 조작의 이벤트를 발생시킨다. 반면에, 사용자의 터치가 마우스의 선택 버튼(302)을 선택한 것이 아니라 직접 객체에 대해 터치 입력을 한 경우, 접속 프로그램(300)은 사용자가 터치한 화면상의 위치로 마우스 포인터(301)가 이동되는 마우스 이동의 이벤트를 발생시킨다.When a touch input is generated by the user (S314), the connection program 300 generates a corresponding mouse event using the touch input position (S34). For example, if the user's touch selects the mouse select button 302, the connect program 300 generates an inverted display event of the select button 302 and generates a corresponding mouse operation event. On the other hand, when the user touches the direct object rather than selecting the mouse select button 302, the access program 300 moves the mouse pointer 301 to a position on the screen touched by the user And generates an event of mouse movement.

이후, 접속 프로그램(300)은 사용자의 터치 입력 및 마우스 입력 데이터를 서버(2)로 전송한다(S315). 서버(2)가 마우스 입력 데이터를 수신하는 경우, 수신된 입력 데이터를 어플리케이션의 마우스 명령으로 처리한다.Then, the connection program 300 transmits the touch input of the user and the mouse input data to the server 2 (S315). When the server 2 receives the mouse input data, it processes the received input data as a mouse command of the application.

그러면, 접속 프로그램(300)은 서버(2)로부터 사용자의 터치 입력 또는 마우스 입력된 입력 데이터가 처리되어 반영된 어플리케이션의 실행 처리 결과를 수신한다(S316). 여기서, 수신된 상기 실행 처리 결과는 어플리케이션의 화면 정보를 포함할 수 있다.Then, the connection program 300 receives the user's touch input from the server 2 or input data input by the mouse, and receives the execution processing result of the reflected application (S316). Here, the received execution processing result may include screen information of the application.

이후, 사용자의 터치 입력이 어플리케이션을 종료하는 명령이 아니면, 상기 단계(S313)를 통해 수신된 어플리케이션의 화면이 표시될 수 있고, 상기 단계(S33)를 통해 어플리케이션상에서 발생된 마우스 이벤트의 화면이 표시된다.Thereafter, if the touch input of the user is not an instruction to end the application, the screen of the application received through the step S313 may be displayed. If the screen of the mouse event generated on the application is displayed through the step S33 do.

여기서, 상기 선택 버튼(302)이 반전 표시되어 설정된 시간 이상으로 터치되는 경우, 접속 프로그램(300)은 선택 버튼(302)의 인접되는 위치에 복수개의 기능 버튼(303)을 표시한다. 상기 기능 버튼(303)은 사용자의 터치가 해제되어 설정된 소정 시간이 경과되면 화면에서 사라진다. 상기 기능 버튼(303)은, 사용자의 커스토마이징 설정에 따라서 다양한 기능이 배정될 수 있으며, 복사 버튼, 붙여넣기 버튼, 잘라내기 버튼, 삭제 버튼, 기능 키 버튼, 드래그 버튼, 키 패드 표시 버튼 중 적어도 하나를 포함할 수 있다.If the selection button 302 is highlighted and touched for more than the set time, the connection program 300 displays a plurality of function buttons 303 at adjacent positions of the selection button 302. The function button 303 disappears from the screen when a predetermined time set by the user's touch is released. The function button 303 may be assigned various functions according to the customization setting of the user and may include at least one of a copy button, a paste button, a cut button, a delete button, a function key button, a drag button, . &Lt; / RTI &gt;

한편, 상기 단계(S314)에서 사용자의 터치 입력에 의해 어플리케이션의 종료가 선택된 경우, 상기 단계(S34) 내지 상기 단계(S316)를 거쳐서 종료 이벤트가 서버(2)로 전송되고, 서버(2)는 어플리케이션의 실행을 종료하고 처리 결과를 전송한다. 그러면, 접속 프로그램(300)은 어플리케이션의 화면 표시를 종료하고 마우스의 화면 표시를 종료한다.If the termination of the application is selected by the touch input of the user in step S314, the end event is transmitted to the server 2 through the steps S34 to S316, and the server 2 The execution of the application is terminated and the processing result is transmitted. Then, the connection program 300 ends the screen display of the application and ends the screen display of the mouse.

상술한 실시예에서, "~부"라는 용어는 터미널 환경의 서버 기반 컴퓨팅 시스템(1)에서 마우스 UI 지원을 위한 터치 스크린 단말 장치(3)의 하드웨어적 구분을 의미하는 용어로 사용된 것이 아니다. 따라서 복수의 구성부가 하나의 구성부로 통합될 수도 있고, 하나의 구성부가 복수의 구성부로 분할될 수도 있다. 또한, 구성부는 하드웨어 구성부를 의미할 수도 있지만, 소프트웨어의 구성부를 의미할 수도 있다. 따라서 본 발명은 "~부"라는 용어에 의해 특별히 한정되지 않음을 이해하여야 할 것이다.In the above-described embodiment, the term "part" is not used to denote the hardware division of the touch screen terminal device 3 for mouse UI support in the server-based computing system 1 in the terminal environment. Accordingly, a plurality of constituent parts may be integrated into one constituent part, and one constituent part may be divided into a plurality of constituent parts. Also, the constituent unit may mean a hardware constituent unit, but may mean a constituent unit of software. Therefore, it should be understood that the present invention is not particularly limited by the term "part ".

본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It goes without saying that various modifications and variations are possible within the scope of equivalence of the scope.

1 : 서버 기반 컴퓨팅 시스템 2 : 서버
3 : 터치 스크린 단말 장치 200 : 터미널 세션
300 : 접속 프로그램1: Server-based computing system 2: Server
3: Touch screen terminal device 200: Terminal session
300: Access program

Claims (14)

서버에 네트워크를 통해 원격으로 접속하고, 서버측에서 실행되는 어플리케이션의 실행 화면을 수신하는 접속 프로그램의 실행에 의해 상기 서버로부터 터미널 서비스를 제공받는 터치 스크린 단말 장치에 있어서,
상기 터미널 서비스의 제공에 의해 상기 서버로부터 어플리케이션의 실행이 개시되면, 마우스 포인터와 상기 마우스 포인터에 인접하여 표시되는 선택 버튼을 포함하는 마우스의 컨트롤 정보를 생성하고, 실행된 어플리케이션이 종료되면 생성된 마우스 컨트롤 정보를 소멸하는 마우스 생성부;
발생된 마우스 이벤트에 대응하여 상기 마우스의 컨트롤 정보를 상기 어플리케이션의 실행 화면에 표시하는 마우스 표시부;
사용자가 화면에서 상기 선택 버튼을 터치한 정보를 입력받는 마우스 입력부; 및
상기 마우스 생성부로 상기 생성 또는 상기 소멸의 이벤트를 전달하고, 마우스의 상기 선택 버튼이 사용자에 의해 터치되는 동안 터치된 버튼의 색상을 반전하여 선택 여부를 표시하는 표시 이벤트를 상기 마우스 표시부로 전달하고, 상기 마우스 입력부를 통해 입력된 사용자의 터치 조작에 대응하여 마우스의 선택 또는 드래그의 마우스 이벤트를 발생시키고, 상기 마우스 표시부로 대응하는 마우스 표시 이벤트를 전달하여 마우스의 동작 및 화면 표시를 제어하고, 발생된 마우스 이벤트에 대응하는 마우스의 입력 데이터를 상기 서버로 전송하여 처리를 요청하고, 상기 서버로부터 상기 마우스의 입력 데이터가 처리된 어플리케이션의 실행 화면을 포함하는 처리 결과를 수신하여 화면에 표시하는 마우스 제어부
를 포함하는 상기 접속 프로그램을 실행하는 것을 특징으로 하는 터치 스크린 단말 장치.A touch screen terminal device which is connected to a server remotely via a network and receives a terminal service from the server by executing an access program for receiving an execution screen of an application executed on the server side,
When the execution of the application from the server is started by the provision of the terminal service, generates control information of a mouse including a mouse pointer and a selection button displayed adjacent to the mouse pointer, A mouse generating unit for destroying control information;
A mouse display unit for displaying control information of the mouse on an execution screen of the application in response to a generated mouse event;
A mouse input unit for receiving information that the user touches the selection button on the screen; And
And transmits a display event for indicating whether the selected button is touched by the user while reversing the color of the touched button to the mouse display unit, A controller for controlling the operation of the mouse and the display of the mouse by transmitting a corresponding mouse display event to the mouse display unit to generate a mouse event for selecting or dragging the mouse in accordance with a touch operation of the user input through the mouse input unit, A mouse control unit for transmitting input data of a mouse corresponding to a mouse event to the server and requesting processing thereof, receiving a processing result including an execution screen of an application processing input data of the mouse from the server,
The terminal device executing the connection program including the connection program. 제 1항에 있어서,
상기 컨트롤 정보는,
마우스 왼쪽 버튼, 마우스 오른쪽 버튼 및 마우스 휠 버튼을 더 포함하는 것을 특징으로 하는 터치 스크린 단말 장치.The method according to claim 1,
The control information includes:
Further comprising a left mouse button, a right mouse button, and a mouse wheel button. 삭제delete 제 1항에 있어서,
상기 마우스 제어부는,
상기 선택 버튼이 설정된 시간 이상으로 터치되는 경우, 상기 마우스 표시부로 상기 선택 버튼에 인접하여 표시되는 복수개 기능 버튼의 표시 이벤트를 전달하고, 상기 기능 버튼은 사용자의 터치가 해제되면 설정된 시간 이후 화면에서 사라지는 것을 특징으로 하는 터치 스크린 단말 장치.The method according to claim 1,
The mouse control unit includes:
When the selection button is touched for more than a predetermined time, transmits a display event of a plurality of function buttons displayed adjacent to the selection button to the mouse display unit, and the function button disappears from the screen after the set time when the user's touch is released Wherein the touch screen terminal device is a touch screen terminal device. 제 4항에 있어서,
상기 기능 버튼은,
복사 버튼, 붙여넣기 버튼, 잘라내기 버튼, 삭제 버튼, 기능 키 버튼, 드래그 버튼, 키 패드 표시 버튼 중 적어도 하나를 포함하는 것을 특징으로 하는 터치 스크린 단말 장치.5. The method of claim 4,
The function button includes:
A copy button, a paste button, a cut button, a delete button, a function key button, a drag button, and a key pad display button. 제 1항에 있어서,
상기 마우스 제어부는,
사용자의 터치 정보가 상기 선택 버튼의 위치가 아닌 다른 위치의 터치이면, 사용자가 터치한 위치로 마우스 이동의 이벤트를 발생시키는 것을 특징으로 하는 터치 스크린 단말 장치.The method according to claim 1,
The mouse control unit includes:
When the touch information of the user is a touch at a position other than the position of the selection button, generates a mouse movement event to a position touched by the user. 삭제delete 터치 스크린 단말 장치가 접속 프로그램을 실행하여, 서버에 네트워크를 통해 접속하고, 서버측에서 실행되는 어플리케이션의 실행 화면을 수신하여 상기 서버로부터 터미널 서비스를 제공받아 하기의 단계들을 실행하는 마우스 UI(User Interface) 지원 방법으로서,
(a)상기 서버에 접속한 후, 상기 서버에 생성된 터미널 세션을 통해 터미널 서비스의 접속이 유지되는 서버 접속 단계;
(b)상기 서버로부터 제공된 어플리케이션의 목록 중에서 특정 어플리케이션의 실행 요청을 전송하여 상기 어플리케이션의 실행 화면을 수신하는 어플리케이션 실행 단계;
(c)상기 어플리케이션의 실행이 개시되면, 마우스 포인터와 상기 마우스 포인터에 인접하여 표시되는 선택 버튼을 포함하는 마우스의 컨트롤 정보를 생성하는 마우스 생성 단계;
(d)상기 어플리케이션의 실행 화면을 표시하면, 생성된 상기 마우스의 컨트롤 정보를 상기 실행 화면상에서 표시하는 마우스 표시 단계;
(e)마우스의 상기 선택 버튼이 사용자에 의해 터치되는 동안 터치된 버튼의 색상을 반전하여 선택 여부를 표시하고 사용자가 화면을 터치한 정보를 입력받는 마우스 입력 단계;
(f)사용자의 터치 정보가 상기 선택 버튼의 터치이면 입력된 마우스의 선택 또는 드래그 명령에 대응하는 이벤트를 발생시켜 마우스 동작 및 화면 표시를 제어하는 마우스 제어 단계;
(g)발생된 마우스의 이벤트에 대응하는 마우스의 입력 데이터를 상기 서버로 전송하여 처리를 요청하는 마우스 처리 요청 단계;
(h)상기 서버로부터 상기 마우스의 입력 데이터가 마우스 명령으로 처리된 상기 어플리케이션의 실행 화면을 포함하는 처리 결과를 수신하여 화면에 표시하는 어플리케이션 표시 단계; 및
(i)실행된 어플리케이션이 종료되면, 생성된 상기 마우스의 컨트롤 정보를 소멸하는 마우스 소멸 단계
를 포함하는 것을 특징으로 하는 마우스 UI 지원 방법.A touch screen terminal device executes a connection program, connects to the server through a network, receives an execution screen of an application executed on the server side, receives a terminal service from the server, and executes a mouse UI As a support method,
(a) a server connecting step of connecting to the server and maintaining connection of the terminal service through a terminal session created in the server;
(b) transmitting an execution request of a specific application from a list of applications provided from the server and receiving an execution screen of the application;
(c) a mouse generating step of generating control information of a mouse including a mouse pointer and a selection button displayed adjacent to the mouse pointer when execution of the application is started;
(d) a mouse displaying step of displaying the generated control information of the mouse on the execution screen when displaying an execution screen of the application;
(e) a mouse input step of displaying whether the selected button of the mouse is selected by reversing the color of the touched button while the selection button of the mouse is touched by the user, and receiving the information that the user touches the screen;
(f) controlling a mouse operation and a screen display by generating an event corresponding to a selection or a drag instruction of the input mouse when the touch information of the user is the touch of the selection button;
(g) sending a mouse input data corresponding to an event of the generated mouse to the server to request a process;
(h) receiving the processing result including the execution screen of the application, in which the input data of the mouse is processed by the mouse command, from the server, and displaying the processing result on the screen; And
(i) a mouse extinction step of destroying the generated control information of the mouse when the executed application is terminated
The method of claim 1, 제 8항에 있어서,
상기 단계(c)는,
상기 터치 스크린 단말 장치가 마우스 왼쪽 버튼, 마우스 오른쪽 버튼 및 마우스 휠 버튼을 더 포함하는 상기 컨트롤 정보를 생성하는 단계인 것을 특징으로 하는 마우스 UI 지원 방법.9. The method of claim 8,
The step (c)
Wherein the touch screen terminal device generates the control information further including a left mouse button, a right mouse button, and a mouse wheel button. 삭제delete 제 8항에 있어서,
상기 단계(e) 이후에,
(e1)상기 선택 버튼이 설정된 시간 이상으로 터치되는 경우, 상기 선택 버튼에 인접하여 표시되는 복수개 기능 버튼을 표시하는 단계; 및
(e2)상기 기능 버튼이 표시된 상태에서 화면으로부터 사용자의 터치가 해제되면 설정된 시간 이후 상기 기능 버튼의 화면 표시를 종료하는 단계를 포함하는 것을 특징으로 하는 마우스 UI 지원 방법.9. The method of claim 8,
After the step (e)
(e1) displaying a plurality of function buttons displayed adjacent to the selection button when the selection button is touched for more than a set time; And
(e2) when the user's touch is released from the screen in the state that the function button is displayed, ending the screen display of the function button after the set time. 제 11항에 있어서,
상기 단계(e1)는,
복사 버튼, 붙여넣기 버튼, 잘라내기 버튼, 삭제 버튼, 기능 키 버튼, 드래그 버튼, 키 패드 표시 버튼 중 적어도 하나를 포함하는 기능 버튼을 표시하는 단계인 것을 특징으로 하는 마우스 UI 지원 방법.12. The method of claim 11,
The step (e1)
A function button including at least one of a copy button, a paste button, a cut button, a delete button, a function key button, a drag button, and a key pad display button. 제 8항에 있어서,
상기 단계(f)는,
사용자의 터치 정보가 상기 선택 버튼의 위치가 아닌 다른 위치의 터치이면, 사용자가 터치한 위치로 마우스 이동의 이벤트를 발생하는 단계인 것을 특징으로 하는 마우스 UI 지원 방법.9. The method of claim 8,
The step (f)
And generating a mouse movement event to a position touched by the user if the touch information of the user is a touch at a position other than the position of the selection button. 삭제delete
KR20130083793A 2013-07-16 2013-07-16 Touch screen terminal apparatus and method for supporting mouse user interface in server based computing system of terminal environment KR101491056B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130083793A KR101491056B1 (en) 2013-07-16 2013-07-16 Touch screen terminal apparatus and method for supporting mouse user interface in server based computing system of terminal environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130083793A KR101491056B1 (en) 2013-07-16 2013-07-16 Touch screen terminal apparatus and method for supporting mouse user interface in server based computing system of terminal environment

Publications (2)

Publication Number Publication Date
KR20150009376A KR20150009376A (en) 2015-01-26
KR101491056B1 true KR101491056B1 (en) 2015-02-10

Family

ID=52572623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130083793A KR101491056B1 (en) 2013-07-16 2013-07-16 Touch screen terminal apparatus and method for supporting mouse user interface in server based computing system of terminal environment

Country Status (1)

Country Link
KR (1) KR101491056B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3353629B1 (en) * 2015-09-23 2021-10-27 Razer (Asia-Pacific) Pte. Ltd. Trackpads and methods for controlling a trackpad

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4339760A1 (en) * 2021-05-11 2024-03-20 LG Electronics Inc. Display device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088604A (en) * 2010-01-26 2011-08-04 알서포트 주식회사 Virtual mouse display method on touchscreen and computer readable recording medium storing program performing the method
KR20120075839A (en) * 2010-12-29 2012-07-09 삼성전자주식회사 Method and apparatus for providing mouse right click function in touch screen terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088604A (en) * 2010-01-26 2011-08-04 알서포트 주식회사 Virtual mouse display method on touchscreen and computer readable recording medium storing program performing the method
KR20120075839A (en) * 2010-12-29 2012-07-09 삼성전자주식회사 Method and apparatus for providing mouse right click function in touch screen terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3353629B1 (en) * 2015-09-23 2021-10-27 Razer (Asia-Pacific) Pte. Ltd. Trackpads and methods for controlling a trackpad

Also Published As

Publication number Publication date
KR20150009376A (en) 2015-01-26

Similar Documents

Publication Publication Date Title
TWI533192B (en) Graphical user interface with customized navigation
US9575649B2 (en) Virtual touchpad with two-mode buttons for remote desktop client
US9146672B2 (en) Multidirectional swipe key for virtual keyboard
US9185172B2 (en) System and method for rendering a remote view at a client device
CN105378634B (en) Long-range or localization virtualization client Agency touch gestures
US8892782B1 (en) System for and method of translating motion-based user input between a client device and an application host computer
US9189124B2 (en) Custom pointer features for touch-screen on remote client devices
US10970101B2 (en) System and method for dynamically configuring virtual displays and virtual inputs for different remote sessions that each present content for a virtual machine
EP2419810B1 (en) System and method for scrolling a remote application
US10528252B2 (en) Key combinations toolbar
US10635296B2 (en) Partitioned application presentation across devices
WO2014078804A2 (en) Enhanced navigation for touch-surface device
JP5882279B2 (en) Information processing apparatus, method, and program
TW201627849A (en) Processing application interface
US9395826B1 (en) System for and method of translating motion-based user input between a client device and an application host computer
CN110389704A (en) One-handed performance method, mobile terminal and the storage medium of mobile terminal
WO2016183912A1 (en) Menu layout arrangement method and apparatus
KR101491056B1 (en) Touch screen terminal apparatus and method for supporting mouse user interface in server based computing system of terminal environment
KR101506006B1 (en) Touch screen terminal apparatus and method for supporting dynamically displayed mouse user interface in server based computing system of terminal environment
EP3423939B1 (en) Automatic virtual input device
US20180090027A1 (en) Interactive tutorial support for input options at computing devices
TW201514838A (en) Operation method for electronic apparatus
US20190041997A1 (en) Pointer control in a handheld computer by way of hid commands
US20170228207A1 (en) System and method for providing visual feedback related to cross device gestures
US20210105306A1 (en) Dynamically switching between pointer modes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190225

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 6