KR20080018061A - 원격지 컴퓨터 제어를 위한 사용자 인터페이스 방법 - Google Patents
원격지 컴퓨터 제어를 위한 사용자 인터페이스 방법 Download PDFInfo
- Publication number
- KR20080018061A KR20080018061A KR1020060080148A KR20060080148A KR20080018061A KR 20080018061 A KR20080018061 A KR 20080018061A KR 1020060080148 A KR1020060080148 A KR 1020060080148A KR 20060080148 A KR20060080148 A KR 20060080148A KR 20080018061 A KR20080018061 A KR 20080018061A
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- user terminal
- user
- remote computer
- key
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Information Transfer Between Computers (AREA)
- Input From Keyboards Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기를 이용하여 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망 환경에서도 원격지에 있는 컴퓨터를 효율적으로 제어할 수 있는 사용자 인터페이스 방법에 관한 것이다. 본 발명에 따른 사용자 인터페이스 방법은, 단말기의 제한된 입력 장치에 최적화된 입력 방식, 단말기의 작은 화면에 최적화된 화면 표시 방식, 통신망 속도와 전송 비용 및 단말기의 제한된 메모리 용량에 최적화된 화면 데이터 전송 기능을 포함한다.
저속 통신망, 원격 제어, 사용자 인터페이스, 원격지 컴퓨터, 원격 통신 단말기
Description
도 1은 입출력 장치와 메모리 용량이 제한된 대표적인 단말기인 휴대폰의 입력 장치로, 본 발명이 제시하는 사용자 단말기에 맞는 입력 방법을 설명하기 위한 도면,
도 2는 문자열의 입력과 입력 대상 개체 검색을 수행하는 방법을 설명하기 위한 도면, 그리고
도 3은 본 발명의 화면 데이터 캐시의 구성도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
100 : 휴대폰 입력 장치 200 : 원격지 컴퓨터
300 : 사용자 단말기
본 발명은 사용자 인터페이스 방법에 관한 것으로, 더욱 상세하게는 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기를 이용하여 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망 환경에서도 원격지에 있는 컴퓨터를 효율적으로 제어할 수 있는 사용자 인터페이스 방법에 관한 것이다.
원격지 컴퓨터와 사용자의 단말기 사이는 유선 또는 무선 통신망을 통해 사용 환경의 동기화를 이룰 수 있다. 종래의 원격 제어에서는 양자 간의 원래 형태 그대로의, 정확하고, 신속한 동기화가 중요시된다. 그에 따라, 원격지 컴퓨터의 화면이 원래 형태 그대로 실시간으로 사용자의 단말기에 표시되고, 사용자의 단말기에서 입력한 사항이 그대로 원격지 컴퓨터에 적용된다.
이것이 가능한 것은 통신망의 데이터 전송 속도가 충분히 높으며, 데이터 전송 비용이 낮고, 원격지 컴퓨터와 사용자의 단말기의 형태와 성능이 유사하기 때문이다. 통신망으로 전송되는 데이터 양을 줄이려는 시도는 있지만, 어디까지나 양자 간의 원래 형태 그대로의 정확한 동기화라는 조건을 만족하는 범위 내에서 화면 색상 수 감소, 데이터 압축 등의 단순한 방법을 사용한 것이다. 입력의 경우는 양자의 입력 장치가 거의 유사하다는 가정을 하고 있으며, 그에 따라 입력 장치의 상이함에 따른 변환은 고려되고 있지 않다.
따라서 이동통신망의 경우와 같이 데이터 전송 속도가 충분히 높지 않고, 데이터 전송 비용이 높으며, 원격지 컴퓨터와 사용자의 단말기의 성능과 입출력 장치의 형태의 차이가 큰 경우에는 종래 기술을 적용하기에는 문제가 있다.
예를 들어, 종래의 원격 제어에서는 원격지 컴퓨터의 화면을 사용자 단말기에서 보기 위해 원격지 컴퓨터의 화면 내용이 변경될 때마다 변경된 데이터를 즉시 사용자 단말기로 전송한다. 하지만 이동통신망의 경우는 전송 속도가 변경된 데이터를 실시간으로 전송할 만큼 충분하지 않아서 실시간 제어가 어려우며, 방대한 데 이터 양에 의해 높은 비용이 소모되고, 화면 데이터가 전송되더라도 그것을 원래의 형태대로 표시하기에는 사용자 단말기 화면의 크기가 너무 작으므로 정보의 낭비가 일어나게 된다.
입력의 경우, 이동통신망의 사용자 단말기의 대부분을 차지하는 휴대폰은 숫자 버튼과 몇 개의 특수 버튼만으로 구성되어 있어서, 일반 컴퓨터 키보드의 100여개의 키와 마우스를 그대로 에뮬레이트하는 것은 사실상 불가능하다.
따라서, 본 발명의 목적은 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기를 이용하여 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망 환경에서도 원격지에 있는 컴퓨터를 효율적으로 제어할 수 있는 컴퓨터 원격 제어 사용자 인터페이스를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 컴퓨터 원격 제어 사용자 인터페이스는, 통신망에 접속된 원격지 컴퓨터의 화면을 추출하는 단계, 추출한 화면을 사용자 단말기의 사양에 맞게 변환하는 단계, 원격지 컴퓨터에서 실행 중인 응용 프로그램의 화면 제어 관련 정보를 추출하는 단계, 변환된 화면 데이터와 추출된 화면 제어 관련 정보를 사용자 단말기에 전송하는 단계, 전송받은 데이터와 정보를 사용자 단말기에 적절히 표시하는 단계, 표시된 화면을 기반으로 사용자로부터 입력을 받는 단계, 입력 정보를 원격지 컴퓨터로 전송하는 단계, 입력을 원격지 컴퓨터의 규격에 맞도록 변환하는 단계, 변환된 입력을 원격지 컴퓨터에 입력해서 실제 로 구동시키는 단계, 화면 데이터와 화면 제어 관련 정보, 입력 데이터의 전송 주기와 전송 양을 통신망 환경에 따라 적절히 조절하는 단계, 데이터의 전송이 완료되지 않았을 때에도 최대한 유사한 결과를 사용자 단말기에 표시하는 단계를 포함한다.
본 발명은, 사용자 단말기에 맞는 입력 방식을 제시하며, 원격지 컴퓨터와 사용자 단말기 간의 형태와 사양 차이에 따라 화면 데이터와 입력 데이터를 적절히 변환하고, 사용자의 화면 인지를 적절히 보장하는 수준에서 데이터 전송 양을 줄이고 적절한 전송 지연을 도입함으로써, 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기와 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망에서 효율적으로 동작하는 원격 제어 환경을 제공한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 대표적인 저속 통신망인 무선 통신망에서 통상적으로 사용되는 단말기인 휴대폰의 입력 장치로, 본 발명이 제시하는 사용자 단말기에 적합한 입력 방법을 설명하기 위한 것이다.
일반적인 컴퓨터의 입력 장치는 100여개의 키를 가진 키보드와 마우스로 구성되어 있는데, 최근의 운영체제에서는 문장 입력을 제외하면 대부분의 조작을 마우스로 수행하게 된다. 따라서 본 발명에서는 마우스 조작을 효율적으로 지원할 수 있도록 휴대폰의 키를 비열한다. 먼저, 숫자 키패드 영역을 마우스 커서의 이동을 수행하는 기능으로 할당한다. 2, 4, 6, 8키는 각각 마우스 커서를 상, 좌, 우, 하로 이동시키며, 1, 3, 7, 9키는 각각 마우스 커서를 좌상, 우상, 좌하, 우하 로 이동시킨다. 각 키들을 누르면 마우스 커서 이동이 시작되며, 떼면 마우스 커서 이동이 중지된다. 또한, 각 키들을 눌렀을 때, 처음에는 마우스 커서가 천천히 이동하다가 시간이 지나면서 점점 빨라지는 방식을 지원해서, 세밀한 조작과 먼 거리를 빠르게 이동하는 조작을 동시에 가능하도록 한다. 또한, 사용자 단말기에서 컴퓨터 화면을 축소해서 보여주거나, 사용자 단말기의 사양의 한계로 단위 시간 당 화면 갱신 횟수가 제한될 때, 마우스의 위치가 한 위치에서 다른 위치로 멀리 뛰어 넘게 될 수가 있는데, 이 경우 컴퓨터 측에서는 이동 전 지점과 이동 후 지점 간에 중간 지점들을 적절히 계산하여 지정하여 마우스가 그 지점들을 거쳐서 통과하도록 함으로써, 마우스가 멀리 뛰어 넘어서 생기는 부작용, 예를 들어 마우스가 위를 지나가야 활성화되는 버튼이 반응을 하지 않는 현상 등을 없앤다.
방향키 영역은 숫자 키패드 영역을 보조하는 역할에 할당한다. 숫자 키패드 영역이 대각선 이동까지 지원하므로 보다 편하지만, 번호를 이용한 메뉴 선택이나 문자 입력 등을 수행하는 상황에서는 사용할 수 없으므로, 방향키 영역이 추가로 필요하다. 방향키는 2, 4, 6, 8 키와 같은 기능을 한다. 중앙의 OK 키는 눌렀을 때 현재 화면에 선택된 개체가 제공하는 기능의 목록을 메뉴로 표시한다. 이것은 컴퓨터의 입력 장치 중 마우스의 오른쪽 버튼 역할과 유사하다. 이 기능의 목록 중 사용자들이 가장 많이 사용하는 기능은 숫자 키패드 영역의 5키에 할당한다. 따라서 5키는 마우스의 왼쪽 버튼 역할과 유사하다. 그 밖에 메뉴 키는 현재 화면에 선택된 개체와는 무관한, 전체적인 메뉴를 표시하는데 할당하며, 취소는 키보드의 Esc키와 같은 역할을 하도록 할당하고, 확인키는 상황에 따라 방향키 영역 중앙 의 OK 키나 숫자 키패드 영역의 5키와 같은 역할을 하도록 할당한다. 쉬프트-클릭 등 특수한 형태로 마우스 버튼을 누르는 기능은 중앙의 OK 키를 눌러 나오는 메뉴의 일부로 제공하도록 한다.
이와 같이 키와 메뉴를 할당하고, 해당 입력들을 원격지 컴퓨터에 전송, 적절한 시스템 이벤트로 변환하여 입력시킴으로써, 휴대폰에서 컴퓨터의 마우스를 효율적으로 조작할 수 있게 된다.
한편, 컴퓨터 화면 중 일부 구역이 사용자 단말기 화면에 일정 배율로 확대되어 표시되도록 하는 경우, 마우스 커서 이동 외에도 다른 구역을 보기 위해 화면을 이동시키는 기능이 필요한데, 이 기능을 별도로 할당할 키가 모자라므로, 숫자 키패드 영역의 모드를 전환하여 첫 번째 모드에서는 마우스 커서 이동을, 두 번째 모드에서는 화면 이동을 지원하도록 한다. 이때 모드 전환 기능은 숫자 키패드 영역 아래의 ‘*’ 키나 '#' 키 등의 특수키에 할당하거나, 별도의 메뉴로 표시한다. 이로써 사용자는 컴퓨터 화면 중 자신이 원하는 일부를 확대한 뒤 보이는 구역을 자유롭게 이동하며 볼 수 있게 된다. 화면 확대와 축소는 볼륨 증가키와 볼륨 감소키를 사용하는 것이 직관적인데, 휴대폰에 따라 해당 키가 존재하지 않는 경우가 있어 메뉴에도 추가시키는 것이 바람직하다.
도 2는 문자열의 입력과 입력 대상 개체 검색을 수행하는 방법을 설명하기 위한 것이다.
문자열의 입력은 별도의 입력창을 통해 수행하도록 한다. 상기 메뉴 항목 중 하나로 문자열 입력 메뉴 항목이 제공되며, 사용자가 이 메뉴 항목을 선택하면 별도의 입력창이 화면에 표시되고, 사용자는 방향키 영역을 방향키로, 숫자 키패드 영역은 문자 입력키로 사용해서 휴대폰에서 일반적으로 입력하는 방법으로 원하는 문자열을 입력한다. 별도의 입력창이 표시되어 있으므로, 사용자는 숫자 키패드 영역을 혼동 없이 문자열 입력에 사용할 수 있다. 입력된 문자열은 방향키 영역 중앙의 OK키나 확인키를 눌러 컴퓨터에 전송할 수 있는데, 이때 문자열만을 전송하거나, 문자열 마지막에 Enter키를 추가해서 전송할 수 있다. Enter키는 컴퓨터에서 표시되는 대부분의 한줄 입력 창에서 입력 결과를 실행하는 기능을 하므로, 사용자는 Enter키 추가 기능을 사용함으로써 마우스를 조작해서 컴퓨터 화면에 표시된 별도의 실행 버튼을 누르는 수고를 덜 수 있다. 이렇게 함으로써 사용자는 사용자 단말기의 제한된 입력 장치를 통해 컴퓨터의 키보드를 효율적으로 제어할 수 있게 된다.
문자열을 입력하려면 문자열을 입력할 수 있는 개체를 컴퓨터 화면에서 찾아서 선택해야 한다. 컴퓨터에서 직접 작업하는 경우에는 해당 개체를 마우스로 선택해서 키보드로 입력하면 간단하지만, 개인용 단말기에서 해상도가 충분하지 않아서 컴퓨터 화면 중 일부만을 확대해서 보고 있는 경우는 해당 개체를 찾아 선택하는 작업이 오래 걸리게 된다. 이 불편함을 해소하기 위해, 숫자 키패드 영역 아래의 ‘*’ 키나 '#' 키 등의 특수키나 메뉴에서 다음 입력 개체 찾기 기능을 제공해서, 해당 기능을 수행하면 다음 입력 개체를 컴퓨터 전체 화면이나 현재 선택된 응용 프로그램 창에서 찾아서 그 개체가 개인용 단말기 화면의 적절한 위치에 보이도록 하고, 해당 개체에 focus를 지정한다. 여기서 키나 메뉴 이외에도, 상기 마우 스 커서 이동 모드와 화면 이동 모드에 더해 입력 개체 간 이동 모드를 추가로 제공하는 방법을 사용할 수도 있다. 이렇게 함으로써 사용자는 위에서 설명한 문자열 입력 기능을 즉시 사용할 수 있게 된다. 이 기능은 컴퓨터의 탭 키가 갖는 기능과 유사하다고 볼 수 있는데, 웹 페이지의 경우 탭 키는 입력 개체 뿐 아니라 하이퍼링크까지 모두 포함해서 선택하므로, 하이퍼링크가 많은 페이지의 경우 탭 키를 그대로 지원하는 방식으로는 사용자가 입력 개체를 빠른 시간 내에 찾을 수 없다. 따라서 이 기능에서는 현재 제어하는 대상이 웹 페이지인 경우 웹 페이지의 DOM(Document Object Model)을 분석, 입력 개체만을 선별해서 선택하도록 한다. 일반 윈도우즈 화면에서도 윈도우 컨트롤 분석을 통해 사용자가 중요하게 여길 개체만을 선별하는 것이 바람직하다. 따라서 본 발명에서는 단순한 화면 캡처와 입력 장치 에뮬레이션 뿐 아니라, 현재 사용자가 사용하고 있는 프로그램이나 웹 페이지를 감지, 분석해서 화면 제어 관련 정보를 추출함으로써 현재 상황에 맞게 사용자 인터페이스를 제공하게 된다.
본 발명이 제시하는 원격지 컴퓨터의 화면 데이터를 사용자 단말기로 효율적으로 전송하고 표시하는 방법에는 화면의 일부만을 전송하기, 화면 데이터를 캐시하기, 화면 전송을 지연하기가 있다.
이중 화면의 일부만을 전송하는 방법은 일반 사용자 단말기의 화면 해상도가 원격지 컴퓨터의 화면 해상도보다 작은 경우 유용하다. 이 경우 사용자 단말기에서 원격지 컴퓨터 화면을 원래 크기대로 보려면 화면의 일부만을 볼 수밖에 없다. 이 경우 사용자가 보는 구역의 화면 데이터만을 사용자 단말기에 전송, 업데이트해 주며, 보는 구역이 변경되는 경우 해당 구역의 화면 데이터를 다시 사용자 단말기에 전송, 업데이트해 줌으로써 전체 화면 데이터의 일부만으로 원격 제어를 수행하도록 한다.
화면 데이터 캐시는 데이터의 전송 양을 최소화하며 원격지 컴퓨터와 사용자 단말기의 메모리 사용을 절약할 수 있도록 한다. 종래의 원격 제어 시스템은 사용자 단말기가 원격지 컴퓨터의 화면 전체를 메모리에 가지고 있을 수 있다는 가정 하에 동작하지만, 본 발명은 사용자 단말기의 메모리에 제약이 있을 수 있다는 것을 고려한다.
도 3은 본 발명의 화면 데이터 캐시의 구성도이다. 사용자 단말기는 사용자의 요청에 따라 원격지 컴퓨터의 화면을 여러 종류의 배율로 표시할 수 있다. 원격지 컴퓨터에서는 화면을 사용자 단말기가 요구하는 배율별로 캡처해 두고, 현재 사용자 단말기가 보고 있는 구역에 대한 데이터가 변경되는 경우, 변경된 부분을 현재 사용자 단말기에서 지정한 배율로 셀 단위로 분할하여 사용자 단말기에 전송한다. 이때 변경 여부는 배율별 화면 캐시와 현재 화면을 셀 단위로 분할하여 비교함으로써 판단한다. 만일 사용자 단말기가 요구하는 배율의 종류가 많아서 원격지 컴퓨터에서 모든 배율에 대한 화면 캐시를 동시에 메모리에 가지고 있을 수 없게 되면, 가장 오랫동안 사용하지 않은 배율에 대한 화면 캐시를 삭제하여 메모리 공간을 확보한다. 추후에 사용자 단말기가 해당 배율에 대한 화면 데이터를 요구하는 경우, 새롭게 화면 캐시를 생성한 뒤, 모든 영역이 변경된 것과 같이 동작한다.
사용자 단말기에서는 각 배율별로 셀 단위로 캐시를 한다. 셀의 크기는 화면 전체의 크기보다 훨씬 작아서, 원격지 컴퓨터 화면 데이터 전체를 가지고 있지 않은 경우에도 원격지 컴퓨터 화면의 일부를 사용자 단말기에 표시할 수 있다. 사용자 단말기도 상기 원격지 컴퓨터의 경우와 마찬가지로 새로운 셀 데이터를 수용하기에 메모리가 모자라는 경우 가장 오랫동안 사용하지 않은 셀들을 메모리에서 삭제하여 메모리 공간을 확보하며, 추후에 화면 표시를 위해 해당 셀이 요구되는 경우 원격지 컴퓨터에 요구해서 다시 받아온다. 따라서 원격지 컴퓨터의 입장에서는 사용자 단말기에 전송한 뒤 변경되지 않은 셀에 대한 요구를 받을 수 있으며, 그 경우 다시 사용자 단말기에 해당 셀을 전송해야 한다. 반대로 원격지 컴퓨터에서 캐시를 삭제한 경우 사용자 단말기는 이미 받은 셀을 다시 받을 수도 있다. 그러나 원격지 컴퓨터는 상대적으로 메모리가 충분하므로 이런 경우가 생기는 일은 거의 없을 것이다.
상기와 같이 원격지 컴퓨터와 사용자 단말기가 별도로 캐시를 관리함으로써 메모리 한계를 고려하면서도 데이터 전송 양을 최소화하는 원격 제어 시스템을 제공할 수 있다.
그러나 원격지 컴퓨터에서 화면 내용이 자주 변경되는 경우는 여전히 데이터 전송 양이 많다는 문제가 있다. 본 발명은 화면 데이터의 전송을 지연시키고, 지연되는 기간동안 사용자 단말기에서 이미 가지고 있는 데이터를 이용해서 적절하게 화면을 표시하는 방법으로 화면 내용 변경 양으로 인한 데이터 전송 양 증가를 최소화한다. 원격지 컴퓨터에서는 사용자 단말기로부터 전달되는 보는 구역 변경 요 청과 화면 데이터 요청을 직접 응답하지 않고 내부적으로 기록해 두었다가, 일정 주기마다 화면 변경 여부를 검사하여 그 결과로 선택된 화면 부분과 함께 요청된 데이터를 전송한다. 이때 화면이 많이 변경된 관계로 전송할 화면 데이터가 너무 많으면, 그중 일부만 전송하고 나머지는 다음 주기에 다시 검사해서 보내도록 할 수 있다. 사용자 단말기는 원격지 컴퓨터로부터 화면 데이터가 올 때까지 캐시 등의 이미 가지고 있는 데이터를 이용해서 화면을 표시하고, 나중에 화면 데이터가 왔을 때 나머지 화면을 표시한다. 이렇게 해도 통신망 속도와 사용자 단말기의 처리 속도의 한계 때문에 단위 시간당 사용자 단말기가 전송받아 처리할 수 있는 양을 초과하는 화면 데이터를 원격지 컴퓨터가 전송할 수 있으므로, 일정 주기마다 원격지 컴퓨터가 사용자 단말기로부터 화면 데이터를 받아서 처리 완료했다는 응답을 받은 뒤 다음 주기를 진행하도록 한다. 여기서, 전송 주기와 주기 당 전송 양은 사용자 옵션 입력으로 처리하거나, 구동 중 데이터 전송 속도에 따라 자동으로 조절할 수 있다.
위와 같이 화면 데이터의 전송을 지연하는 경우 사용자 단말기의 화면이 실시간으로 업데이트 되지 않으므로 불편할 수 있으나, 과도한 전송 양으로 인한 비용 상승과 통신망 속도의 한계에 따른 지연을 완화할 수 있다는 이점으로 불편함을 상쇄시킬 수 있다.
화면 데이터 전송 외에 사용자 입력 정보도 실시간으로 전송하지 않고 일정 주기마다 전송하는 방법을 사용할 수 있다. 마우스 커서 위치 이동과 같이 단시간에 많은 입력 데이터가 생성되는 경우 이 방법을 사용하면 데이터 전송 양을 상당 히 줄일 수 있다. 이 경우 실제 입력 데이터의 전송은 지연되더라도 입력 데이터에 따른 화면 변화는 사용자 단말기에서 미리 표시함으로써 지연으로 인한 사용자의 불편을 최소화할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
이상 설명한 바와 같이, 본 발명에 따르면, 입출력 장치와 메모리 용량이 제한된 원격 통신 단말기를 이용하여 데이터 전송 속도가 제한되고 전송 비용이 높은 통신망 환경에서도 원격지에 있는 컴퓨터를 효율적으로 제어할 수 있는 컴퓨터 원격 제어 사용자 인터페이스를 제공하게 되므로, 사용자는 어디에서나 통신망 접속만 지원된다면 PDA 또는 휴대폰 등의 단말기로 사내 컴퓨터 또는 가정의 컴퓨터에 접근하여 필요한 작업을 효율적으로 수행할 수 있게 된다.
Claims (13)
- 통신망에 접속된 원격지 컴퓨터의 화면을 추출하고, 추출한 화면을 사용자 단말기의 사양에 맞게 변환하는 단계;원격지 컴퓨터에서 실행 중인 응용 프로그램의 화면 제어 관련 정보를 추출하는 단계;변환된 화면 데이터와 추출된 화면 제어 관련 정보를 사용자 단말기에 전송하는 단계;전송받은 데이터와 정보를 사용자 단말기에 표시하고, 표시된 화면을 기반으로 사용자로부터 입력을 받는 단계;입력 정보를 상기 원격지 컴퓨터로 전송하는 단계;입력을 상기 원격지 컴퓨터의 규격에 맞도록 변환하는 단계; 및변환된 입력을 상기 원격지 컴퓨터에 입력해서 실제로 구동시키는 단계;를 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,사용자 단말기가 휴대폰인 경우, 숫자 키패드 영역을 마우스 커서의 이동을 수행하는 기능으로 할당하며,방향키 영역을 숫자 키패드 영역을 보조하는 역할에 할당하며,방향키 영역 중앙의 키를 현재 화면에 선택된 개체가 제공하는 기능의 목록 을 메뉴로 표시하는 기능에 할당하며,중앙의 키에서 표시되는 메뉴 중 사용자들이 가장 많이 사용하는 기능을 숫자 키패드 영역의 5키에 할당하며,메뉴 키를 전체적인 메뉴를 표시하는 데 할당하며,취소 키를 키보드의 Esc키와 같은 역할을 하도록 할당하며,확인 키를 상황에 따라 방향키 영역 중앙의 키나 숫자 키패드 영역의 5키와 같은 역할을 하도록 할당하는 방법을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제2항에 있어서,사용자 단말기에서 컴퓨터 화면을 축소해서 보여주거나, 사용자 단말기의 사양의 한계로 단위 시간 당 화면 갱신 횟수가 제한되어 마우스의 위치가 한 위치에서 다른 위치로 멀리 뛰어 넘게 되는 경우, 이동 전 지점과 이동 후 지점 간에 중간 지점들을 적절히 계산하여 지정하여 마우스가 그 지점들을 거쳐서 통과하도록 함으로써, 마우스가 멀리 뛰어 넘어서 생기는 부작용을 없애는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제2항에 있어서,원격지 컴퓨터 화면 중 일부 구역이 사용자 단말기 화면에 일정 배율로 확대되어 표시되도록 하는 경우, 마우스 커서 이동 외에 현재 보는 화면 구역을 이동시 키는 기능을 위해서, ‘*’키나 ‘#’키 혹은 별도의 메뉴로 숫자 키패드 영역과 방향키 영역의 기능을 마우스 커서 이동과 보는 화면 구역 이동 기능 사이에 전환해 주는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제4항에 있어서,화면 확대와 축소를 볼륨 증가키와 볼륨 감소키에 할당하는 방법을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,사용자 단말기에서 문자열 입력을 위해 문자열 입력창을 화면에 표시하도록 하여, 그 창이 표시되어 있는 동안에는 숫자 키패드 영역의 키들을 문자 입력에 사용하도록 하며, 사용자가 입력을 종료하고 전송을 할 때, 입력한 문자열만 전송하기와 문자열 마지막에 Enter키를 자동으로 추가해서 전송하기 중 하나를 선택할 수 있도록 하는 방법을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,사용자 단말기에서 문자열을 입력할 대상을 사용자가 효율적으로 선택하도록 하기 위해서, ‘*’키나 ‘#’키 혹은 별도의 메뉴, 혹은 청구항 4의 마우스 커서 이동 기능과 화면 구역 이동 기능에 더해 입력 개체 간 이동 기능을 전환 가능한 상태로 제공함으로써 다음 입력 개체 찾기 기능을 제공하며, 이 기능을 사용했을 때 선택된 개체가 사용자 단말기 화면의 적절한 위치에 보이도록 하고 focus를 지정하며, 이를 위해 제어 대상이 웹 페이지인 경우 웹 페이지를 분석해서 적절한 입력 개체를 찾고, 일반 윈도우즈 화면에서도 윈도우 컨트롤 분석을 통해 사용자가 중요하게 여길 개체를 선별하는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,원격지 컴퓨터 화면 중 일부 구역이 사용자 단말기 화면에 일정 배율로 확대되어 표시되도록 하는 경우, 화면에 표시되는 구역의 화면 데이터만을 사용자 단말기에 전송, 업데이트 해 주며, 보는 구역이 변경되는 경우 해당 구역의 화면 데이터를 다시 사용자 단말기에 전송, 업데이트해 줌으로써 전체 화면 데이터의 일부만을 전송하여 작업을 수행할 수 있도록 하는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,원격지 컴퓨터는 화면을 사용자 단말기가 요구하는 배율별로 캡처해 두고, 현재 사용자 단말기가 현재 보는 구역의 데이터가 변경되는 경우, 변경된 부분을 현재 사용자 단말기에서 지정한 배율로 셀 단위로 분할하여 사용자 단말기에 전송하며, 이때 변경 여부는 배율별 화면 캐시와 현재 화면을 셀 단위로 분할하여 비교함으로써 판단하고, 요구되는 모든 배율에 대한 화면 캐시를 동시에 메모리에 가지 고 있을 수 없게 되면 가장 오랫동안 사용하지 않은 배율에 대한 화면 캐시를 삭제하여 메모리 공간을 확보하고, 추후에 사용자 단말기가 해당 배율에 대한 화면 데이터를 요구하는 경우 새롭게 화면 캐시를 생성한 뒤 모든 영역이 변경된 것과 같이 동작하는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,사용자 단말기는 사용자가 요구하는 각 배율별로 셀 단위로 캐시를 하며, 셀의 크기는 화면 전체의 크기보다 훨씬 작아서, 원격지 컴퓨터 화면 데이터 전체를 가지고 있지 않은 경우에도 원격지 컴퓨터 화면의 일부를 사용자 단말기에 표시할 수 있고, 새로운 셀 데이터를 수용하기에 메모리가 모자라는 경우 가장 오랫동안 사용하지 않은 셀들을 메모리에서 삭제하여 메모리 공간을 확보하며, 추후에 화면 표시를 위해 해당 셀이 요구되는 경우 원격지 컴퓨터에 요구해서 다시 받아오는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,원격지 컴퓨터는 사용자 단말기로부터 전달되는 보는 구역 변경 요청과 화면 데이터 요청을 직접 응답하지 않고 내부적으로 기록해 두었다가, 일정 주기마다 화면 변경 여부를 검사하여 그 결과로 선택된 화면 부분과 함께 요청된 데이터를 전송하며, 이때 화면이 많이 변경된 관계로 전송할 화면 데이터가 너무 많으면, 그중 일부만 전송하고 나머지는 다음 주기에 다시 검사해서 보내도록 할 수 있으며, 필 요에 따라 일정 주기마다 사용자 단말기로부터 화면 데이터를 받아서 처리 완료했다는 응답을 받은 뒤 다음 주기를 진행하도록 하여 사용자 단말기가 단위 시간당 처리할 수 있는 데이터를 초과하는 양을 전송하지 않도록 하는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,사용자 단말기는 마우스 커서 위치 이동과 같이 단시간에 많은 입력 데이터가 생성되는 경우 사용자 입력 정보를 실시간으로 전송하지 않고 일정 주기마다 전송하도록 하여 데이터 전송 양을 줄이는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
- 제1항에 있어서,사용자 단말기는 사용자 입력 정보가 아직 원격지 컴퓨터에 전송되지 않았거나, 사용자 입력 정보가 아직 원격지 컴퓨터에서 처리되지 않았거나, 사용자 입력 정보나 화면 변경 데이터가 아직 사용자 단말기로 전송 완료되지 않았을 때에도 이미 가지고 있는 사용자 입력 정보와 화면 데이터를 이용해서 최대한 유사한 결과를 사용자 단말기에 표시하는 기능을 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060080148A KR20080018061A (ko) | 2006-08-23 | 2006-08-23 | 원격지 컴퓨터 제어를 위한 사용자 인터페이스 방법 |
CN2007800313733A CN101506791B (zh) | 2006-08-23 | 2007-08-23 | 控制远程计算机的控制方法 |
US12/438,531 US20100295770A1 (en) | 2006-08-23 | 2007-08-23 | Control method for controlling remote computer |
EP07793636A EP2054811A4 (en) | 2006-08-23 | 2007-08-23 | CONTROL METHOD FOR CONTROLLING A REMOTE COMPUTER |
JP2009525496A JP4991859B2 (ja) | 2006-08-23 | 2007-08-23 | 遠隔地コンピュータ制御のための制御方法 |
PCT/KR2007/004033 WO2008023940A1 (en) | 2006-08-23 | 2007-08-23 | Control method for controlling remote computer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060080148A KR20080018061A (ko) | 2006-08-23 | 2006-08-23 | 원격지 컴퓨터 제어를 위한 사용자 인터페이스 방법 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080105527A Division KR100926175B1 (ko) | 2008-10-27 | 2008-10-27 | 원격지 컴퓨터 제어를 위한 사용자 인터페이스 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20080018061A true KR20080018061A (ko) | 2008-02-27 |
Family
ID=39106980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060080148A KR20080018061A (ko) | 2006-08-23 | 2006-08-23 | 원격지 컴퓨터 제어를 위한 사용자 인터페이스 방법 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100295770A1 (ko) |
EP (1) | EP2054811A4 (ko) |
JP (1) | JP4991859B2 (ko) |
KR (1) | KR20080018061A (ko) |
CN (1) | CN101506791B (ko) |
WO (1) | WO2008023940A1 (ko) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100942035B1 (ko) * | 2009-07-27 | 2010-02-11 | 김진황 | 원격 제어 시스템 및 그 방법 |
WO2009128651A3 (ko) * | 2008-04-17 | 2010-02-18 | 삼성전자 주식회사 | 클라이언트의 특성을 고려한 사용자 인터페이스를 제공, 수신하는 방법 및 장치 |
US9084020B2 (en) | 2008-04-17 | 2015-07-14 | Samsung Electronics Co., Ltd. | Method and apparatus for providing and receiving user interface |
US9389881B2 (en) | 2008-04-17 | 2016-07-12 | Samsung Electronics Co., Ltd. | Method and apparatus for generating combined user interface from a plurality of servers to enable user device control |
US9424053B2 (en) | 2008-04-17 | 2016-08-23 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying personalized user interface |
CN111142820A (zh) * | 2019-12-25 | 2020-05-12 | 上海联影医疗科技有限公司 | 一种基于多屏的远程控制方法、装置、及系统 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090160762A1 (en) * | 2007-12-20 | 2009-06-25 | Apple Inc. | User input device with expanded functionality |
US9497092B2 (en) * | 2009-12-08 | 2016-11-15 | Hand Held Products, Inc. | Remote device management interface |
JP5648282B2 (ja) * | 2009-12-24 | 2015-01-07 | 富士ゼロックス株式会社 | 画面管理装置及びプログラム |
US9013366B2 (en) * | 2011-08-04 | 2015-04-21 | Microsoft Technology Licensing, Llc | Display environment for a plurality of display devices |
CN102427448B (zh) * | 2011-11-03 | 2017-07-14 | 南京中兴软件有限责任公司 | 在虚拟桌面中使用客户端输入法的方法、终端及服务端 |
JP5919838B2 (ja) * | 2012-01-20 | 2016-05-18 | 株式会社島津製作所 | 分析装置制御システム |
CN103532994A (zh) * | 2012-07-04 | 2014-01-22 | 中兴通讯股份有限公司 | 远程接入方法、装置、系统及远程计算单元 |
CN102830930B (zh) * | 2012-08-15 | 2016-09-07 | Tcl集团股份有限公司 | 一种键盘按键的处理方法、装置和多媒体终端 |
WO2014052111A1 (en) * | 2012-09-27 | 2014-04-03 | Apperian, Inc. | Control of a remote computer device |
CN103412701B (zh) * | 2012-11-01 | 2016-08-31 | 华为技术有限公司 | 远程桌面图像处理方法及装置 |
CN103916373A (zh) * | 2013-01-07 | 2014-07-09 | 腾讯科技(深圳)有限公司 | 数据更新的方法、服务器、客户端以及系统 |
CN104104693A (zh) * | 2013-04-01 | 2014-10-15 | 联想(北京)有限公司 | 一种远程控制方法和装置 |
TWI604382B (zh) * | 2014-07-08 | 2017-11-01 | 緯創資通股份有限公司 | 應用程式分享方法以及使用該方法的系統 |
CN104199793B (zh) * | 2014-08-29 | 2018-05-01 | 广州三星通信技术研究有限公司 | 便携式电子设备及在其上关联其他电子设备信息的方法和装置 |
CN107003793A (zh) * | 2014-12-17 | 2017-08-01 | 三菱电机株式会社 | 远程操作系统和信息处理方法 |
CN105025022B (zh) * | 2015-07-13 | 2018-03-06 | 北京视博云科技有限公司 | 一种远程代控方法及系统 |
CN105807651A (zh) * | 2016-03-03 | 2016-07-27 | 腾讯科技(深圳)有限公司 | 一种终端的远程控制方法、装置及系统 |
CN106681509A (zh) * | 2016-12-29 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 界面操作的方法和系统 |
CN109922130A (zh) * | 2019-01-11 | 2019-06-21 | 视联动力信息技术股份有限公司 | 一种远程控制方法和装置 |
CN115865910B (zh) * | 2023-02-22 | 2023-05-26 | 深圳市慧为智能科技股份有限公司 | 设备控制方法、装置及服务器 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100421182B1 (ko) * | 2001-05-26 | 2004-03-03 | 엘지전자 주식회사 | 이동통신 단말기를 이용한 컴퓨터 원격제어 시스템 및 방법 |
US6832353B2 (en) * | 2001-06-08 | 2004-12-14 | Nokia Mobile Phones, Ltd. | Viewing web pages on small screen devices using a keypad for navigation |
KR100533570B1 (ko) * | 2001-08-01 | 2005-12-06 | 주식회사 모빌탑 | 이동통신단말기를 이용한 원격지 컴퓨터 제어방법 및 그시스템 |
JP2003143670A (ja) * | 2001-10-31 | 2003-05-16 | Sony Corp | リモートコントロールシステム、電子機器、及びプログラム |
KR100608737B1 (ko) * | 2003-06-16 | 2006-08-04 | 엘지전자 주식회사 | 이동 통신 단말기 원격 접속시 사용자 인터페이싱 방법 |
CN1570904A (zh) * | 2003-07-23 | 2005-01-26 | 张恒 | 移动远程计算机访问和控制系统及其方法 |
KR20050119368A (ko) * | 2004-06-16 | 2005-12-21 | 엠엘 테크놀로지 인코포레이티드 | 이동통신 단말기를 이용한 컴퓨터 제어 방법 및 시스템 |
JP2006155327A (ja) * | 2004-11-30 | 2006-06-15 | Hitachi Systems & Services Ltd | コンピュータの遠隔操作システム |
-
2006
- 2006-08-23 KR KR1020060080148A patent/KR20080018061A/ko active Search and Examination
-
2007
- 2007-08-23 US US12/438,531 patent/US20100295770A1/en not_active Abandoned
- 2007-08-23 WO PCT/KR2007/004033 patent/WO2008023940A1/en active Application Filing
- 2007-08-23 JP JP2009525496A patent/JP4991859B2/ja not_active Expired - Fee Related
- 2007-08-23 EP EP07793636A patent/EP2054811A4/en not_active Withdrawn
- 2007-08-23 CN CN2007800313733A patent/CN101506791B/zh not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009128651A3 (ko) * | 2008-04-17 | 2010-02-18 | 삼성전자 주식회사 | 클라이언트의 특성을 고려한 사용자 인터페이스를 제공, 수신하는 방법 및 장치 |
KR101531165B1 (ko) * | 2008-04-17 | 2015-06-25 | 삼성전자주식회사 | 클라이언트의 특성을 고려한 사용자 인터페이스를 제공, 수신하는 방법 및 장치 |
US9084020B2 (en) | 2008-04-17 | 2015-07-14 | Samsung Electronics Co., Ltd. | Method and apparatus for providing and receiving user interface |
US9389881B2 (en) | 2008-04-17 | 2016-07-12 | Samsung Electronics Co., Ltd. | Method and apparatus for generating combined user interface from a plurality of servers to enable user device control |
US9424053B2 (en) | 2008-04-17 | 2016-08-23 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying personalized user interface |
KR100942035B1 (ko) * | 2009-07-27 | 2010-02-11 | 김진황 | 원격 제어 시스템 및 그 방법 |
CN111142820A (zh) * | 2019-12-25 | 2020-05-12 | 上海联影医疗科技有限公司 | 一种基于多屏的远程控制方法、装置、及系统 |
CN111142820B (zh) * | 2019-12-25 | 2023-09-19 | 上海联影医疗科技股份有限公司 | 一种基于多屏的远程控制方法、装置、及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4991859B2 (ja) | 2012-08-01 |
CN101506791A (zh) | 2009-08-12 |
EP2054811A4 (en) | 2010-08-11 |
JP2010501929A (ja) | 2010-01-21 |
WO2008023940A1 (en) | 2008-02-28 |
US20100295770A1 (en) | 2010-11-25 |
CN101506791B (zh) | 2012-05-23 |
EP2054811A1 (en) | 2009-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20080018061A (ko) | 원격지 컴퓨터 제어를 위한 사용자 인터페이스 방법 | |
KR101065644B1 (ko) | 정보 피드들을 브라우징하기 위한 방법 및 디바이스 | |
CN103076942A (zh) | 便携式终端中用于改变图标的设备和方法 | |
US10901614B2 (en) | Method and terminal for determining operation object | |
CN103324436B (zh) | 一种任务处理方法及装置 | |
WO2015014305A1 (en) | Method and apparatus for presenting clipboard contents on a mobile terminal | |
WO2023005920A1 (zh) | 分屏方法、装置及电子设备 | |
KR20220127334A (ko) | 문서 내 테이블 브라우징 방법, 장치, 전자기기 및 저장매체 | |
WO2023134642A1 (zh) | 消息处理方法、消息处理装置和电子设备 | |
CN113032068A (zh) | 显示方法和电子设备 | |
EP2775390A1 (en) | Web Page Providing Method and Apparatus | |
WO2024169824A1 (zh) | 页面控制方法、装置及电子设备 | |
CN105094583A (zh) | 一种触摸屏数字终端的快捷操作方法及装置 | |
US6307570B1 (en) | Virtual input device | |
CN118708089A (zh) | 应用文件夹控制方法、装置、终端设备及存储介质 | |
JP4909680B2 (ja) | Webドキュメントへのリンクを表示させる方法 | |
KR100926175B1 (ko) | 원격지 컴퓨터 제어를 위한 사용자 인터페이스 방법 | |
CN114398016B (zh) | 界面显示方法和装置 | |
CN111309934A (zh) | 收藏资源处理方法及电子设备 | |
CN113311982A (zh) | 信息选取方法及装置 | |
JP2013114426A (ja) | 情報通信装置 | |
KR101381878B1 (ko) | 마우스를 이용하여 터치 입력을 구현하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 | |
CN112199019A (zh) | 一种交互方法、终端及计算机可读存储介质 | |
KR102242455B1 (ko) | 스마트폰 타이핑 키보드를 이용한 컴퓨터의 무선 자판 제공 시스템 | |
JP2000284884A (ja) | 画面操作装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
A107 | Divisional application of patent | ||
AMND | Amendment | ||
E801 | Decision on dismissal of amendment | ||
B601 | Maintenance of original decision after re-examination before a trial | ||
J801 | Dismissal of trial |
Free format text: REJECTION OF TRIAL FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20080926 Effective date: 20090122 |