KR100926175B1 - User interface method for controlling remote computer - Google Patents
User interface method for controlling remote computer Download PDFInfo
- Publication number
- KR100926175B1 KR100926175B1 KR1020080105527A KR20080105527A KR100926175B1 KR 100926175 B1 KR100926175 B1 KR 100926175B1 KR 1020080105527 A KR1020080105527 A KR 1020080105527A KR 20080105527 A KR20080105527 A KR 20080105527A KR 100926175 B1 KR100926175 B1 KR 100926175B1
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- user terminal
- remote computer
- user
- data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기를 이용하여 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망 환경에서도 원격지에 있는 컴퓨터를 효율적으로 제어할 수 있는 사용자 인터페이스 방법에 관한 것이다. 본 발명에 따른 사용자 인터페이스 방법은, 단말기의 제한된 입력 장치에 최적화된 입력 방식, 단말기의 작은 화면에 최적화된 화면 표시 방식, 통신망 속도와 전송 비용 및 단말기의 제한된 메모리 용량에 최적화된 화면 데이터 전송 기능을 포함한다. The present invention relates to a user interface method capable of efficiently controlling a remote computer even in a communication network environment having a limited data transmission speed and a high transmission cost by using an input / output device and a remote communication terminal having limited memory capacity. The user interface method according to the present invention provides an input method optimized for a limited input device of a terminal, a screen display method optimized for a small screen of a terminal, a screen data transmission function optimized for a communication network speed and transmission cost and a limited memory capacity of a terminal. Include.
저속 통신망, 원격 제어, 사용자 인터페이스, 원격지 컴퓨터, 원격 통신 단말기 Low Speed Network, Remote Control, User Interface, Remote Computer, Telecommunication Terminal
Description
본 발명은 사용자 인터페이스 방법에 관한 것으로, 더욱 상세하게는 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기를 이용하여 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망 환경에서도 원격지에 있는 컴퓨터를 효율적으로 제어할 수 있는 사용자 인터페이스 방법에 관한 것이다. The present invention relates to a user interface method, and more particularly, by using an input / output device and a remote communication terminal with limited memory capacity, it is possible to efficiently control a remote computer even in a network environment where data transmission speed is limited and transmission cost is high. It is about the user interface method.
원격지 컴퓨터와 사용자의 단말기 사이는 유선 또는 무선 통신망을 통해 사용 환경의 동기화를 이룰 수 있다. 종래의 원격 제어에서는 양자 간의 원래 형태 그대로의, 정확하고, 신속한 동기화가 중요시된다. 그에 따라, 원격지 컴퓨터의 화면이 원래 형태 그대로 실시간으로 사용자의 단말기에 표시되고, 사용자의 단말기에서 입력한 사항이 그대로 원격지 컴퓨터에 적용된다. The remote computer and the user's terminal can achieve synchronization of the usage environment through a wired or wireless communication network. In conventional remote control, accurate, rapid synchronization of the original form between the two is important. Accordingly, the screen of the remote computer is displayed on the user's terminal in real time in its original form, and the information input from the user's terminal is applied to the remote computer as it is.
이것이 가능한 것은 통신망의 데이터 전송 속도가 충분히 높으며, 데이터 전송 비용이 낮고, 원격지 컴퓨터와 사용자의 단말기의 형태와 성능이 유사하기 때문이다. 통신망으로 전송되는 데이터 양을 줄이려는 시도는 있지만, 어디까지나 양자 간의 원래 형태 그대로의 정확한 동기화라는 조건을 만족하는 범위 내에서 화면 색상 수 감소, 데이터 압축 등의 단순한 방법을 사용한 것이다. 입력의 경우는 양자의 입력 장치가 거의 유사하다는 가정을 하고 있으며, 그에 따라 입력 장치의 상이함에 따른 변환은 고려되고 있지 않다.This is possible because the data transmission speed of the communication network is sufficiently high, the data transmission cost is low, and the shape and performance of the remote computer and the user's terminal are similar. While attempts have been made to reduce the amount of data sent to the network, they have simply used simple methods such as reducing the number of screen colors and compressing data within the range that satisfies the exact synchronization between the two. In the case of input, it is assumed that both input devices are almost similar, and therefore, conversion due to different input devices is not considered.
따라서 이동통신망의 경우와 같이 데이터 전송 속도가 충분히 높지 않고, 데이터 전송 비용이 높으며, 원격지 컴퓨터와 사용자의 단말기의 성능과 입출력 장치의 형태의 차이가 큰 경우에는 종래 기술을 적용하기에는 문제가 있다.Therefore, as in the case of a mobile communication network, when the data transmission speed is not high enough, the data transmission cost is high, and the difference between the performance of the remote computer and the user's terminal and the form of the input / output device is large, there is a problem in applying the prior art.
예를 들어, 종래의 원격 제어에서는 원격지 컴퓨터의 화면을 사용자 단말기에서 보기 위해 원격지 컴퓨터의 화면 내용이 변경될 때마다 변경된 데이터를 즉시 사용자 단말기로 전송한다. 하지만 이동통신망의 경우는 전송 속도가 변경된 데이터를 실시간으로 전송할 만큼 충분하지 않아서 실시간 제어가 어려우며, 방대한 데이터 양에 의해 높은 비용이 소모되고, 화면 데이터가 전송되더라도 그것을 원래의 형태대로 표시하기에는 사용자 단말기 화면의 크기가 너무 작으므로 정보의 낭비가 일어나게 된다.For example, in the conventional remote control, the changed data is immediately transmitted to the user terminal whenever the screen contents of the remote computer are changed in order to view the screen of the remote computer in the user terminal. However, in the case of mobile communication network, it is difficult to control the real time because it is not enough to transmit the changed data in real time, high cost is consumed by the huge amount of data, and even if the screen data is transmitted, it is not possible to display it in its original form. Since the size of is too small, information is wasted.
입력의 경우, 이동통신망의 사용자 단말기의 대부분을 차지하는 휴대폰은 숫자 버튼과 몇 개의 특수 버튼만으로 구성되어 있어서, 일반 컴퓨터 키보드의 100여개의 키와 마우스를 그대로 에뮬레이트하는 것은 사실상 불가능하다.In the case of input, the mobile phone, which occupies most of the user terminal of the mobile communication network, consists of only a number buttons and a few special buttons, so it is virtually impossible to emulate about 100 keys and a mouse of a general computer keyboard.
따라서, 본 발명의 목적은 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기를 이용하여 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망 환경에 서도 원격지에 있는 컴퓨터를 효율적으로 제어할 수 있는 컴퓨터 원격 제어 사용자 인터페이스를 제공함에 있다.Accordingly, an object of the present invention is to provide a computer remote control user interface capable of efficiently controlling a remote computer even in a network environment with limited data transmission speed and high transmission cost by using an input / output device and a remote communication terminal with limited memory capacity. In providing.
상기 목적을 달성하기 위한 본 발명에 따른 컴퓨터 원격 제어 사용자 인터페이스는, 통신망에 접속된 원격지 컴퓨터의 화면을 추출하는 단계, 추출한 화면을 사용자 단말기의 사양에 맞게 변환하는 단계, 원격지 컴퓨터에서 실행 중인 응용 프로그램의 화면 제어 관련 정보를 추출하는 단계, 변환된 화면 데이터와 추출된 화면 제어 관련 정보를 사용자 단말기에 전송하는 단계, 전송받은 데이터와 정보를 사용자 단말기에 적절히 표시하는 단계, 표시된 화면을 기반으로 사용자로부터 입력을 받는 단계, 입력 정보를 원격지 컴퓨터로 전송하는 단계, 입력을 원격지 컴퓨터의 규격에 맞도록 변환하는 단계, 변환된 입력을 원격지 컴퓨터에 입력해서 실제로 구동시키는 단계, 화면 데이터와 화면 제어 관련 정보, 입력 데이터의 전송 주기와 전송 양을 통신망 환경에 따라 적절히 조절하는 단계, 데이터의 전송이 완료되지 않았을 때에도 최대한 유사한 결과를 사용자 단말기에 표시하는 단계를 포함한다.Computer remote control user interface according to the present invention for achieving the above object, the step of extracting the screen of the remote computer connected to the communication network, converting the extracted screen to the specifications of the user terminal, the application program running on the remote computer Extracting the screen control related information of the user; transmitting the converted screen data and the extracted screen control related information to the user terminal; displaying the received data and information on the user terminal accordingly; Receiving input, transmitting the input information to the remote computer, converting the input to meet the specifications of the remote computer, inputting the converted input to the remote computer to actually drive it, screen data and screen control related information, Communicate the transmission cycle and transmission amount of input data Step appropriately adjusted according to the environment, even when the transmission of data is not complete, and a step of displaying the most similar results to the user terminal.
본 발명은, 사용자 단말기에 맞는 입력 방식을 제시하며, 원격지 컴퓨터와 사용자 단말기 간의 형태와 사양 차이에 따라 화면 데이터와 입력 데이터를 적절히 변환하고, 사용자의 화면 인지를 적절히 보장하는 수준에서 데이터 전송 양을 줄이고 적절한 전송 지연을 도입함으로써, 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기와 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망에서 효율적 으로 동작하는 원격 제어 환경을 제공한다.The present invention provides an input method suitable for a user terminal, and properly converts screen data and input data according to the shape and specification difference between the remote computer and the user terminal, and adjusts the amount of data transmission at a level that adequately ensures user's screen recognition. By reducing and introducing an appropriate transmission delay, it provides a remote control environment that operates efficiently in a communication terminal with limited input / output device and memory capacity and a communication network with limited data transmission speed and high transmission cost.
본 발명에 따르면, 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기를 이용하여 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망 환경에서도 원격지에 있는 컴퓨터를 효율적으로 제어할 수 있는 컴퓨터 원격 제어 사용자 인터페이스를 제공하게 되므로, 사용자는 어디에서나 통신망 접속만 지원된다면 PDA 또는 휴대폰 등의 단말기로 사내 컴퓨터 또는 가정의 컴퓨터에 접근하여 필요한 작업을 효율적으로 수행할 수 있게 된다.According to the present invention, a computer remote control user interface capable of efficiently controlling a remote computer even in a network environment having a limited data transmission rate and a high transmission cost by using an input / output device and a remote communication terminal having limited memory capacity is provided. Therefore, the user can efficiently perform necessary tasks by accessing the company computer or the home computer with a terminal such as a PDA or a mobile phone if only a network connection is supported anywhere.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.
도 1은 대표적인 저속 통신망인 무선 통신망에서 통상적으로 사용되는 단말기인 휴대폰의 입력 장치로, 본 발명이 제시하는 사용자 단말기에 적합한 입력 방법을 설명하기 위한 것이다.1 is an input device of a mobile phone which is a terminal commonly used in a wireless communication network, which is a typical low speed communication network, and illustrates an input method suitable for a user terminal according to the present invention.
일반적인 컴퓨터의 입력 장치는 100여개의 키를 가진 키보드와 마우스로 구성되어 있는데, 최근의 운영체제에서는 문장 입력을 제외하면 대부분의 조작을 마우스로 수행하게 된다. 따라서 본 발명에서는 마우스 조작을 효율적으로 지원할 수 있도록 휴대폰의 키를 비열한다. 먼저, 숫자 키패드 영역을 마우스 커서의 이동을 수행하는 기능으로 할당한다. 2, 4, 6, 8키는 각각 마우스 커서를 상, 좌, 우, 하로 이동시키며, 1, 3, 7, 9키는 각각 마우스 커서를 좌상, 우상, 좌하, 우하로 이동시킨다. 각 키들을 누르면 마우스 커서 이동이 시작되며, 떼면 마우스 커 서 이동이 중지된다. 또한, 각 키들을 눌렀을 때, 처음에는 마우스 커서가 천천히 이동하다가 시간이 지나면서 점점 빨라지는 방식을 지원해서, 세밀한 조작과 먼 거리를 빠르게 이동하는 조작을 동시에 가능하도록 한다. 또한, 사용자 단말기에서 컴퓨터 화면을 축소해서 보여주거나, 사용자 단말기의 사양의 한계로 단위 시간 당 화면 갱신 횟수가 제한될 때, 마우스의 위치가 한 위치에서 다른 위치로 멀리 뛰어 넘게 될 수가 있는데, 이 경우 컴퓨터 측에서는 이동 전 지점과 이동 후 지점 간에 중간 지점들을 적절히 계산하여 지정하여 마우스가 그 지점들을 거쳐서 통과하도록 함으로써, 마우스가 멀리 뛰어 넘어서 생기는 부작용, 예를 들어 마우스가 위를 지나가야 활성화되는 버튼이 반응을 하지 않는 현상 등을 없앤다.The input device of a general computer is composed of a keyboard and a mouse having about 100 keys. In recent operating systems, most operations are performed with a mouse except for sentence input. Therefore, in the present invention, the key of the mobile phone is described so that the mouse can be efficiently supported. First, assign the numeric keypad area to the function that performs the movement of the mouse cursor. The 2, 4, 6, and 8 keys move the mouse cursor up, left, right, and down, respectively, and the 1, 3, 7, and 9 keys move the mouse cursor up, down, right, left, and bottom, respectively. Press each key to start the mouse cursor movement, release to stop the mouse cursor movement. In addition, when each key is pressed, the mouse cursor is initially moved slowly and gradually gets faster as time passes, so that detailed operations and operations for moving a long distance can be performed at the same time. In addition, when the screen of the computer is reduced in the user terminal or the number of screen refreshes per unit time is limited due to the limitation of the user terminal specification, the position of the mouse may jump far from one position to another. On the computer side, the intermediate points between the pre- and post-movement points are properly calculated and assigned so that the mouse passes through them, so that side effects caused by the mouse jumping farther, such as a button that is activated when the mouse passes over it, respond Eliminate the phenomenon of not doing.
방향키 영역은 숫자 키패드 영역을 보조하는 역할에 할당한다. 숫자 키패드 영역이 대각선 이동까지 지원하므로 보다 편하지만, 번호를 이용한 메뉴 선택이나 문자 입력 등을 수행하는 상황에서는 사용할 수 없으므로, 방향키 영역이 추가로 필요하다. 방향키는 2, 4, 6, 8 키와 같은 기능을 한다. 중앙의 OK 키는 눌렀을 때 현재 화면에 선택된 개체가 제공하는 기능의 목록을 메뉴로 표시한다. 이것은 컴퓨터의 입력 장치 중 마우스의 오른쪽 버튼 역할과 유사하다. 이 기능의 목록 중 사용자들이 가장 많이 사용하는 기능은 숫자 키패드 영역의 5키에 할당한다. 따라서 5키는 마우스의 왼쪽 버튼 역할과 유사하다. 그 밖에 메뉴 키는 현재 화면에 선택된 개체와는 무관한, 전체적인 메뉴를 표시하는데 할당하며, 취소는 키보드의 Esc키와 같은 역할을 하도록 할당하고, 확인키는 상황에 따라 방향키 영역 중앙의 OK 키나 숫자 키패드 영역의 5키와 같은 역할을 하도록 할당한다. 쉬프트-클릭 등 특수한 형태로 마우스 버튼을 누르는 기능은 중앙의 OK 키를 눌러 나오는 메뉴의 일부로 제공하도록 한다.The direction key area is assigned to the role of assisting the numeric keypad area. Although the numeric keypad area supports diagonal movement, it is more convenient, but it cannot be used in the case of menu selection or character input using numbers, and thus, an additional direction key area is required. The arrow keys function like the 2, 4, 6, and 8 keys. The center OK key displays a list of functions provided by the object selected on the current screen when pressed. This is similar to the role of the right button of a mouse among the input devices of a computer. The most frequently used function in the list of functions is assigned to the 5 keys of the numeric keypad area. Thus, the 5 key is similar to the left button of a mouse. In addition, the menu key is assigned to display the entire menu irrespective of the object currently selected on the screen, and the cancel key is assigned to act like the Esc key on the keyboard. Assign it to act like the 5 keys in the keypad area. A special form of pressing the mouse button, such as shift-click, is provided as part of the menu that appears by pressing the center OK key.
이와 같이 키와 메뉴를 할당하고, 해당 입력들을 원격지 컴퓨터에 전송, 적절한 시스템 이벤트로 변환하여 입력시킴으로써, 휴대폰에서 컴퓨터의 마우스를 효율적으로 조작할 수 있게 된다.In this way, by assigning keys and menus, transmitting the inputs to a remote computer, and converting the inputs into appropriate system events, the mobile phone can be operated efficiently.
한편, 컴퓨터 화면 중 일부 구역이 사용자 단말기 화면에 일정 배율로 확대되어 표시되도록 하는 경우, 마우스 커서 이동 외에도 다른 구역을 보기 위해 화면을 이동시키는 기능이 필요한데, 이 기능을 별도로 할당할 키가 모자라므로, 숫자 키패드 영역의 모드를 전환하여 첫 번째 모드에서는 마우스 커서 이동을, 두 번째 모드에서는 화면 이동을 지원하도록 한다. 이때 모드 전환 기능은 숫자 키패드 영역 아래의 ‘*’ 키나 '#' 키 등의 특수키에 할당하거나, 별도의 메뉴로 표시한다. 이로써 사용자는 컴퓨터 화면 중 자신이 원하는 일부를 확대한 뒤 보이는 구역을 자유롭게 이동하며 볼 수 있게 된다. 화면 확대와 축소는 볼륨 증가키와 볼륨 감소키를 사용하는 것이 직관적인데, 휴대폰에 따라 해당 키가 존재하지 않는 경우가 있어 메뉴에도 추가시키는 것이 바람직하다.On the other hand, when some areas of the computer screen are enlarged and displayed on the user terminal screen at a certain magnification, a function for moving the screen to view other areas in addition to moving the mouse cursor is required. Switch the mode of the numeric keypad area to support mouse cursor movement in the first mode and screen movement in the second mode. At this time, the mode switching function is assigned to a special key such as '*' key or '#' key under the numeric keypad area or displayed as a separate menu. This allows the user to freely move and view the visible area after enlarging a portion of the computer screen that he / she wants. It is intuitive to use the volume up key and the volume down key to enlarge or reduce the screen. Depending on the mobile phone, the key may not exist.
도 2는 문자열의 입력과 입력 대상 개체 검색을 수행하는 방법을 설명하기 위한 것이다.2 is a diagram for describing a method of inputting a string and searching an input target object.
문자열의 입력은 별도의 입력창을 통해 수행하도록 한다. 상기 메뉴 항목 중 하나로 문자열 입력 메뉴 항목이 제공되며, 사용자가 이 메뉴 항목을 선택하면 별도의 입력창이 화면에 표시되고, 사용자는 방향키 영역을 방향키로, 숫자 키패드 영역은 문자 입력키로 사용해서 휴대폰에서 일반적으로 입력하는 방법으로 원하는 문자열을 입력한다. 별도의 입력창이 표시되어 있으므로, 사용자는 숫자 키패드 영역을 혼동 없이 문자열 입력에 사용할 수 있다. 입력된 문자열은 방향키 영역 중앙의 OK키나 확인키를 눌러 컴퓨터에 전송할 수 있는데, 이때 문자열만을 전송하거나, 문자열 마지막에 Enter키를 추가해서 전송할 수 있다. Enter키는 컴퓨터에서 표시되는 대부분의 한줄 입력 창에서 입력 결과를 실행하는 기능을 하므로, 사용자는 Enter키 추가 기능을 사용함으로써 마우스를 조작해서 컴퓨터 화면에 표시된 별도의 실행 버튼을 누르는 수고를 덜 수 있다. 이렇게 함으로써 사용자는 사용자 단말기의 제한된 입력 장치를 통해 컴퓨터의 키보드를 효율적으로 제어할 수 있게 된다.Input of string is done through a separate input window. As one of the menu items, a text input menu item is provided, and when the user selects this menu item, a separate input window is displayed on the screen, and the user uses the direction key area as the direction key and the numeric keypad area as the character input key. Enter the desired character string by typing. Since a separate input window is displayed, the user can use the numeric keypad area for text input without confusion. Input character string can be transmitted to computer by pressing OK key or OK key in the center of direction key area. The Enter key executes the input result in most single-line input windows displayed on the computer, so the user can use the Enter key addition function to save the user from having to press the separate execute button displayed on the computer screen by operating the mouse. . This allows the user to efficiently control the keyboard of the computer through the limited input device of the user terminal.
문자열을 입력하려면 문자열을 입력할 수 있는 개체를 컴퓨터 화면에서 찾아서 선택해야 한다. 컴퓨터에서 직접 작업하는 경우에는 해당 개체를 마우스로 선택해서 키보드로 입력하면 간단하지만, 개인용 단말기에서 해상도가 충분하지 않아서 컴퓨터 화면 중 일부만을 확대해서 보고 있는 경우는 해당 개체를 찾아 선택하는 작업이 오래 걸리게 된다. 이 불편함을 해소하기 위해, 숫자 키패드 영역 아래의 ‘*’ 키나 '#' 키 등의 특수키나 메뉴에서 다음 입력 개체 찾기 기능을 제공해서, 해당 기능을 수행하면 다음 입력 개체를 컴퓨터 전체 화면이나 현재 선택된 응용 프로그램 창에서 찾아서 그 개체가 개인용 단말기 화면의 적절한 위치에 보이도록 하고, 해당 개체에 focus를 지정한다. 여기서 키나 메뉴 이외에도, 상기 마우스 커서 이동 모드와 화면 이동 모드에 더해 입력 개체 간 이동 모드를 추가로 제 공하는 방법을 사용할 수도 있다. 이렇게 함으로써 사용자는 위에서 설명한 문자열 입력 기능을 즉시 사용할 수 있게 된다. 이 기능은 컴퓨터의 탭 키가 갖는 기능과 유사하다고 볼 수 있는데, 웹 페이지의 경우 탭 키는 입력 개체 뿐 아니라 하이퍼링크까지 모두 포함해서 선택하므로, 하이퍼링크가 많은 페이지의 경우 탭 키를 그대로 지원하는 방식으로는 사용자가 입력 개체를 빠른 시간 내에 찾을 수 없다. 따라서 이 기능에서는 현재 제어하는 대상이 웹 페이지인 경우 웹 페이지의 DOM(Document Object Model)을 분석, 입력 개체만을 선별해서 선택하도록 한다. 일반 윈도우즈 화면에서도 윈도우 컨트롤 분석을 통해 사용자가 중요하게 여길 개체만을 선별하는 것이 바람직하다. 따라서 본 발명에서는 단순한 화면 캡처와 입력 장치 에뮬레이션 뿐 아니라, 현재 사용자가 사용하고 있는 프로그램이나 웹 페이지를 감지, 분석해서 화면 제어 관련 정보를 추출함으로써 현재 상황에 맞게 사용자 인터페이스를 제공하게 된다.To enter a string, you must find and select an object on the computer screen where you can enter a string. If you are working directly on a computer, selecting the object with a mouse and typing it on the keyboard is simple, but if you are zooming in on a part of the computer screen because the resolution is not sufficient on a personal device, it may take a long time to find and select the object. do. To alleviate this inconvenience, a special key such as the '*' key or the '#' key below the numeric keypad area or a menu for finding the next input object can be used to perform the function. Find in the selected application window and make the object visible on the screen of the personal terminal and give focus to the object. In addition to the key or menu, a method of providing a movement mode between input objects may be used in addition to the mouse cursor movement mode and the screen movement mode. This allows the user to immediately use the string input function described above. This function is similar to that of a computer's tab key. For a web page, the tab key selects not only an input object but also a hyperlink. In this way, the user cannot find the input object quickly. Therefore, this function analyzes the DOM (Document Object Model) of the web page and selects only the input object when the target currently controlled is the web page. In general Windows screens, it is desirable to analyze only the objects that are important to the user through window control analysis. Therefore, in the present invention, as well as simple screen capture and input device emulation, by detecting and analyzing the program or web page currently used by the user to extract the screen control-related information to provide a user interface according to the current situation.
본 발명이 제시하는 원격지 컴퓨터의 화면 데이터를 사용자 단말기로 효율적으로 전송하고 표시하는 방법에는 화면의 일부만을 전송하기, 화면 데이터를 캐시하기, 화면 전송을 지연하기가 있다.The method for efficiently transmitting and displaying screen data of a remote computer proposed by the present invention includes transmitting only a part of a screen, caching screen data, and delaying screen transmission.
이중 화면의 일부만을 전송하는 방법은 일반 사용자 단말기의 화면 해상도가 원격지 컴퓨터의 화면 해상도보다 작은 경우 유용하다. 이 경우 사용자 단말기에서 원격지 컴퓨터 화면을 원래 크기대로 보려면 화면의 일부만을 볼 수밖에 없다. 이 경우 사용자가 보는 구역의 화면 데이터만을 사용자 단말기에 전송, 업데이트해 주며, 보는 구역이 변경되는 경우 해당 구역의 화면 데이터를 다시 사용자 단말기 에 전송, 업데이트해 줌으로써 전체 화면 데이터의 일부만으로 원격 제어를 수행하도록 한다. The method of transmitting only a part of the dual screen is useful when the screen resolution of the general user terminal is smaller than the screen resolution of the remote computer. In this case, only a part of the screen can be viewed if the user terminal views the remote computer screen at its original size. In this case, only the screen data of the viewing zone is transmitted and updated to the user terminal. If the viewing zone is changed, the screen data of the corresponding zone is transmitted to the user terminal again and updated to perform remote control with only a part of the full screen data. Do it.
화면 데이터 캐시는 데이터의 전송 양을 최소화하며 원격지 컴퓨터와 사용자 단말기의 메모리 사용을 절약할 수 있도록 한다. 종래의 원격 제어 시스템은 사용자 단말기가 원격지 컴퓨터의 화면 전체를 메모리에 가지고 있을 수 있다는 가정 하에 동작하지만, 본 발명은 사용자 단말기의 메모리에 제약이 있을 수 있다는 것을 고려한다.The screen data cache minimizes the amount of data sent and saves memory on remote computers and user terminals. Conventional remote control systems operate under the assumption that the user terminal may have the entire screen of the remote computer in memory, but the present invention contemplates that the memory of the user terminal may be limited.
도 3은 본 발명의 화면 데이터 캐시의 구성도이다. 사용자 단말기는 사용자의 요청에 따라 원격지 컴퓨터의 화면을 여러 종류의 배율로 표시할 수 있다. 원격지 컴퓨터에서는 화면을 사용자 단말기가 요구하는 배율별로 캡처해 두고, 현재 사용자 단말기가 보고 있는 구역에 대한 데이터가 변경되는 경우, 변경된 부분을 현재 사용자 단말기에서 지정한 배율로 셀 단위로 분할하여 사용자 단말기에 전송한다. 이때 변경 여부는 배율별 화면 캐시와 현재 화면을 셀 단위로 분할하여 비교함으로써 판단한다. 만일 사용자 단말기가 요구하는 배율의 종류가 많아서 원격지 컴퓨터에서 모든 배율에 대한 화면 캐시를 동시에 메모리에 가지고 있을 수 없게 되면, 가장 오랫동안 사용하지 않은 배율에 대한 화면 캐시를 삭제하여 메모리 공간을 확보한다. 추후에 사용자 단말기가 해당 배율에 대한 화면 데이터를 요구하는 경우, 새롭게 화면 캐시를 생성한 뒤, 모든 영역이 변경된 것과 같이 동작한다.3 is a block diagram of a screen data cache of the present invention. The user terminal may display the screen of the remote computer at various types of magnifications according to a user's request. The remote computer captures the screen by the magnification required by the user terminal, and if the data about the area currently viewed by the user terminal is changed, the changed part is divided into cells by the magnification specified by the current user terminal and transmitted to the user terminal. do. In this case, the change is determined by comparing the screen cache for each magnification and the current screen by dividing it by cell unit. If the user terminal requires so many types of magnification that the remote computer cannot have screen caches for all magnifications in memory at the same time, the screen cache for the longest unused magnification is deleted to free memory space. If the user terminal later requests screen data for the corresponding magnification, the screen cache is newly created and then behaves as if all areas have been changed.
사용자 단말기에서는 각 배율별로 셀 단위로 캐시를 한다. 셀의 크기는 화면 전체의 크기보다 훨씬 작아서, 원격지 컴퓨터 화면 데이터 전체를 가지고 있지 않은 경우에도 원격지 컴퓨터 화면의 일부를 사용자 단말기에 표시할 수 있다. 사용자 단말기도 상기 원격지 컴퓨터의 경우와 마찬가지로 새로운 셀 데이터를 수용하기에 메모리가 모자라는 경우 가장 오랫동안 사용하지 않은 셀들을 메모리에서 삭제하여 메모리 공간을 확보하며, 추후에 화면 표시를 위해 해당 셀이 요구되는 경우 원격지 컴퓨터에 요구해서 다시 받아온다. 따라서 원격지 컴퓨터의 입장에서는 사용자 단말기에 전송한 뒤 변경되지 않은 셀에 대한 요구를 받을 수 있으며, 그 경우 다시 사용자 단말기에 해당 셀을 전송해야 한다. 반대로 원격지 컴퓨터에서 캐시를 삭제한 경우 사용자 단말기는 이미 받은 셀을 다시 받을 수도 있다. 그러나 원격지 컴퓨터는 상대적으로 메모리가 충분하므로 이런 경우가 생기는 일은 거의 없을 것이다.The user terminal caches the cell for each magnification. The size of the cell is much smaller than the size of the entire screen, so that a part of the remote computer screen can be displayed on the user terminal even if the remote computer screen does not have all the data. As in the case of the remote computer, if the user terminal does not have enough memory to accommodate the new cell data, the user terminal deletes the cells that have not been used for the longest time from the memory to secure the memory space. In case of requesting remote computer, it gets back. Therefore, the remote computer may receive a request for a cell that has not been changed after being transmitted to the user terminal. In this case, the cell should be transmitted to the user terminal again. On the contrary, if the cache is deleted from the remote computer, the user terminal may receive the received cell again. However, this is unlikely because the remote computer has enough memory.
상기와 같이 원격지 컴퓨터와 사용자 단말기가 별도로 캐시를 관리함으로써 메모리 한계를 고려하면서도 데이터 전송 양을 최소화하는 원격 제어 시스템을 제공할 수 있다.As described above, the remote computer and the user terminal separately manage the cache, thereby providing a remote control system that minimizes the amount of data transmission while considering the memory limit.
그러나 원격지 컴퓨터에서 화면 내용이 자주 변경되는 경우는 여전히 데이터 전송 양이 많다는 문제가 있다. 본 발명은 화면 데이터의 전송을 지연시키고, 지연되는 기간동안 사용자 단말기에서 이미 가지고 있는 데이터를 이용해서 적절하게 화면을 표시하는 방법으로 화면 내용 변경 양으로 인한 데이터 전송 양 증가를 최소화한다. 원격지 컴퓨터에서는 사용자 단말기로부터 전달되는 보는 구역 변경 요청과 화면 데이터 요청을 직접 응답하지 않고 내부적으로 기록해 두었다가, 일정 주기마다 화면 변경 여부를 검사하여 그 결과로 선택된 화면 부분과 함께 요청된 데이터를 전송한다. 이때 화면이 많이 변경된 관계로 전송할 화면 데이터가 너무 많으면, 그중 일부만 전송하고 나머지는 다음 주기에 다시 검사해서 보내도록 할 수 있다. 사용자 단말기는 원격지 컴퓨터로부터 화면 데이터가 올 때까지 캐시 등의 이미 가지고 있는 데이터를 이용해서 화면을 표시하고, 나중에 화면 데이터가 왔을 때 나머지 화면을 표시한다. 이렇게 해도 통신망 속도와 사용자 단말기의 처리 속도의 한계 때문에 단위 시간당 사용자 단말기가 전송받아 처리할 수 있는 양을 초과하는 화면 데이터를 원격지 컴퓨터가 전송할 수 있으므로, 일정 주기마다 원격지 컴퓨터가 사용자 단말기로부터 화면 데이터를 받아서 처리 완료했다는 응답을 받은 뒤 다음 주기를 진행하도록 한다. 여기서, 전송 주기와 주기 당 전송 양은 사용자 옵션 입력으로 처리하거나, 구동 중 데이터 전송 속도에 따라 자동으로 조절할 수 있다.However, if the screen contents change frequently at the remote computer, there is still a problem that a large amount of data is transmitted. The present invention delays the transmission of screen data and minimizes the increase in the amount of data transmission due to the amount of screen content change by displaying the screen appropriately using the data already present in the user terminal during the delay period. The remote computer records the viewing zone change request and the screen data request transmitted from the user terminal internally without directly responding, and then checks whether the screen is changed at regular intervals and transmits the requested data with the selected screen portion as a result. At this time, if there is too much screen data to be transmitted because the screen has changed so much, only some of them can be transmitted and the rest can be checked and sent again in the next cycle. The user terminal displays the screen using data already present, such as a cache, until the screen data comes from the remote computer, and displays the remaining screens later when the screen data arrives. In this case, the remote computer can transmit the screen data exceeding the amount that the user terminal can receive and process per unit time due to the limitation of the network speed and the processing speed of the user terminal. After receiving a response saying that it has been processed, proceed to the next cycle. Here, the transmission period and the transmission amount per cycle can be processed as a user option input or can be automatically adjusted according to the data transmission speed during driving.
위와 같이 화면 데이터의 전송을 지연하는 경우 사용자 단말기의 화면이 실시간으로 업데이트 되지 않으므로 불편할 수 있으나, 과도한 전송 양으로 인한 비용 상승과 통신망 속도의 한계에 따른 지연을 완화할 수 있다는 이점으로 불편함을 상쇄시킬 수 있다.Delaying the transmission of the screen data as described above may be inconvenient because the screen of the user terminal is not updated in real time, but offset the inconvenience by the advantage that the cost increase due to excessive transmission amount and the delay due to the limitation of the network speed can be alleviated. You can.
화면 데이터 전송 외에 사용자 입력 정보도 실시간으로 전송하지 않고 일정 주기마다 전송하는 방법을 사용할 수 있다. 마우스 커서 위치 이동과 같이 단시간에 많은 입력 데이터가 생성되는 경우 이 방법을 사용하면 데이터 전송 양을 상당히 줄일 수 있다. 이 경우 실제 입력 데이터의 전송은 지연되더라도 입력 데이터 에 따른 화면 변화는 사용자 단말기에서 미리 표시함으로써 지연으로 인한 사용자의 불편을 최소화할 수 있다.In addition to screen data transmission, user input information may also be transmitted at regular intervals instead of in real time. If a lot of input data is generated in a short time, such as moving the mouse cursor, this method can significantly reduce the amount of data transfer. In this case, although the actual transmission of the input data is delayed, the screen change according to the input data is displayed in advance on the user terminal, thereby minimizing user inconvenience caused by the delay.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
도 1은 입출력 장치와 메모리 용량이 제한된 대표적인 단말기인 휴대폰의 입력 장치로, 본 발명이 제시하는 사용자 단말기에 맞는 입력 방법을 설명하기 위한 도면, 1 is an input device of a mobile phone which is a representative terminal having a limited input / output device and a memory capacity, and for explaining an input method suitable for a user terminal according to the present invention;
도 2는 문자열의 입력과 입력 대상 개체 검색을 수행하는 방법을 설명하기 위한 도면, 그리고2 is a view for explaining a method of inputting a string and searching an input target object; and
도 3은 본 발명의 화면 데이터 캐시의 구성도이다.3 is a block diagram of a screen data cache of the present invention.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
100 : 휴대폰 입력 장치 200 : 원격지 컴퓨터100: mobile phone input device 200: remote computer
300 : 사용자 단말기300: user terminal
Claims (13)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080105527A KR100926175B1 (en) | 2008-10-27 | 2008-10-27 | User interface method for controlling remote computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080105527A KR100926175B1 (en) | 2008-10-27 | 2008-10-27 | User interface method for controlling remote computer |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060080148A Division KR20080018061A (en) | 2006-08-23 | 2006-08-23 | User interface method for controlling remote computer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080106496A KR20080106496A (en) | 2008-12-08 |
| KR100926175B1 true KR100926175B1 (en) | 2009-11-10 |
Family
ID=40367216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080105527A KR100926175B1 (en) | 2008-10-27 | 2008-10-27 | User interface method for controlling remote computer |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100926175B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030012520A (en) * | 2001-08-01 | 2003-02-12 | 주식회사 모빌탑 | A remote control method of long distant computer from mobile using mobile set and system thereof |
| KR20040108028A (en) * | 2003-06-16 | 2004-12-23 | 엘지전자 주식회사 | Remote login method for mobile communication terminal |
| KR20050119368A (en) * | 2004-06-16 | 2005-12-21 | 엠엘 테크놀로지 인코포레이티드 | Method and system for controlling computer using mobile communication terminal |
| JP2006155327A (en) * | 2004-11-30 | 2006-06-15 | Hitachi Systems & Services Ltd | Remote operation system for computer |
-
2008
- 2008-10-27 KR KR1020080105527A patent/KR100926175B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030012520A (en) * | 2001-08-01 | 2003-02-12 | 주식회사 모빌탑 | A remote control method of long distant computer from mobile using mobile set and system thereof |
| KR20040108028A (en) * | 2003-06-16 | 2004-12-23 | 엘지전자 주식회사 | Remote login method for mobile communication terminal |
| KR20050119368A (en) * | 2004-06-16 | 2005-12-21 | 엠엘 테크놀로지 인코포레이티드 | Method and system for controlling computer using mobile communication terminal |
| JP2006155327A (en) * | 2004-11-30 | 2006-06-15 | Hitachi Systems & Services Ltd | Remote operation system for computer |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080106496A (en) | 2008-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20080018061A (en) | User interface method for controlling remote computer | |
| CN103324436B (en) | A kind of task processing method and device | |
| US10901614B2 (en) | Method and terminal for determining operation object | |
| CN105975190B (en) | Graphical interface processing method, device and system | |
| CN103076942A (en) | Apparatus and method for changing an icon in a portable terminal | |
| US9280266B2 (en) | Apparatus and method for displaying information as background of user interface | |
| KR20220127334A (en) | Table browsing methods, devices, electronic devices and storage media in documents | |
| CN111913675A (en) | Display control method and apparatus, electronic device, and computer-readable storage medium | |
| JP3623403B2 (en) | Web document display system and method | |
| CN113032068A (en) | Display method and electronic device | |
| WO2022242586A1 (en) | Application interface method and apparatus, and electronic device | |
| CN113050863A (en) | Page switching method and device, storage medium and electronic equipment | |
| EP2775390A1 (en) | Web Page Providing Method and Apparatus | |
| CN111309934A (en) | Collected resource processing method and electronic equipment | |
| KR100926175B1 (en) | User interface method for controlling remote computer | |
| CN101911001A (en) | Information processor and program | |
| CN112199019A (en) | Interaction method, terminal and computer readable storage medium | |
| KR20120005094A (en) | Method for controlling scroll screen area of touch type mobile terminal and touch type mobile terminal having screen area scroll function | |
| KR102242455B1 (en) | System for providing wireless keyboard for computer using smart-phone typing keyboard | |
| KR101800209B1 (en) | System and method for contents scrap using wire terminal and wireless terminal, and wire terminal thereof | |
| CN111327957B (en) | Media content switching method and related device | |
| WO2019056388A1 (en) | Content selection method, electronic device, storage medium and computer program product | |
| WO2023050917A1 (en) | Icon area management method, and intelligent terminal and storage medium | |
| KR100632122B1 (en) | Mobile communication terminal having a scroll function and method for controlling the scroll rate | |
| KR101680329B1 (en) | System and method for contents scrap using wire terminal and wireless terminal, and wire terminal thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120816 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20131031 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |