KR101245624B1 - Operating state display method of remote control for touchscreen mobile telephone - Google Patents

Operating state display method of remote control for touchscreen mobile telephone Download PDF

Info

Publication number
KR101245624B1
KR101245624B1 KR1020120104484A KR20120104484A KR101245624B1 KR 101245624 B1 KR101245624 B1 KR 101245624B1 KR 1020120104484 A KR1020120104484 A KR 1020120104484A KR 20120104484 A KR20120104484 A KR 20120104484A KR 101245624 B1 KR101245624 B1 KR 101245624B1
Authority
KR
South Korea
Prior art keywords
mobile communication
communication terminal
screen
remote control
computer
Prior art date
Application number
KR1020120104484A
Other languages
Korean (ko)
Inventor
서형수
Original Assignee
알서포트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알서포트 주식회사 filed Critical 알서포트 주식회사
Priority to KR1020120104484A priority Critical patent/KR101245624B1/en
Application granted granted Critical
Publication of KR101245624B1 publication Critical patent/KR101245624B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A remote control state display method of a touch screen mobile communication terminal is provided to enable a user of the touch screen mobile communication terminal to be well-informed of a control process by accurately obtaining a remote control state of a computer. CONSTITUTION: A remote control program installed in a computer and a mobile communication terminal is operated, and touch screen information of the mobile communication terminal is transmitted. The touch screen information is displayed on a display area of the computer. The remote control program of the computer is transmitted to the mobile communication terminal by extracting a button control value and a coordinate of a pointer within a display area controlled by a pointing device. The remote control program of the mobile communication terminal outputs an indicator which is set according to the button control value on a point of a touch screen corresponding to the coordinate. [Reference numerals] (AA) Start; (BB) Operating the remote control program of a mobile communication terminal and a computer; (CC) Outputting a touch screen on a set display area of a computer screen; (DD) Is a pointer within a display area?; (EE) Extracting the coordinate of the pointer in the display area, and transmitting to the mobile communication terminal; (FF) Outputting an indicator on the touch screen of the mobile communication terminal based on the transmitted coordinate; (GG) End;

Description

터치스크린 이동통신단말기의 원격제어 조작상태 표시방법{OPERATING STATE DISPLAY METHOD OF REMOTE CONTROL FOR TOUCHSCREEN MOBILE TELEPHONE}Displaying remote control operation status of touch screen mobile communication terminal {OPERATING STATE DISPLAY METHOD OF REMOTE CONTROL FOR TOUCHSCREEN MOBILE TELEPHONE}

본 발명은 이동통신망(21)의 이동국(移動局)으로서 터치스크린(touchscreen)(11)이 입출력 수단으로 채용된 이동통신단말기(10)를 인터넷과 연결된 특정 컴퓨터(40)가 원격제어함에 있어서, 제어측 컴퓨터(40)의 포인터(pointer)(45) 이동 및 조작상태가 피제어 이동통신단말기(10)에 실시간으로 표시될 수 있도록 한 것이다.
In the present invention, when a specific computer 40 connected to the Internet remotely controls a mobile communication terminal 10 in which a touch screen 11 is used as an input / output means as a mobile station of the mobile communication network 21, The movement and operation of the pointer 45 of the control side computer 40 can be displayed on the controlled mobile communication terminal 10 in real time.

이동통신기술의 발전에 따라 음성통화 또는 단문메시지(SMS, Short Message Service)에 국한되었던 통신방식에서 다양한 통신규약을 기반으로 이동통신망(21)을 통한 인터넷 접속이 가능하게 되었으며, 최근 이동통신망(21)을 통한 데이터 처리속도의 비약적인 발전과 더불어 대용량의 제어연산장치 및 기억장치는 물론 고해상도 터치스크린(11) 등의 입출력장치를 탑재한 고기능 이동통신단말기(10)가 보급됨에 따라 무선랜(22)을 통한 TCP/IP(Transport Control Protocol/Internet Protocol)기반의 인터넷 접속이 가능하게 되어, 이동통신단말기(10)를 통한 인터넷 접속이 일반화되고 있다.With the development of mobile communication technology, internet communication through mobile communication network 21 has become possible based on various communication protocols in communication method that was limited to voice call or short message service (SMS). In addition to the rapid development of data processing speed through the high-performance mobile communication terminal 10 equipped with input and output devices, such as a high-resolution touch screen 11, as well as a large-capacity control computing device and storage device, wireless LAN (22) Through TCP / IP (Transport Control Protocol / Internet Protocol) based Internet access is enabled, the Internet access through the mobile communication terminal 10 is becoming common.

소위 스마트폰(smart phone)으로 불리는 고기능 이동통신단말기(10)는 고해상도 터치스크린(11) 및 관련 제어연산장치를 채용하고 있는 바, 전통적인 키패드 형태의 조작환경은 물론 일반적인 데스크톱 컴퓨터(40)에 필적하는 그래픽사용자인터페이스(GUI, Graphic User Interface)를 구현하고 있으며, 따라서 사용자 조작 편의성 및 가독성 또한 향상되었다 할 수 있으나, 이동통신 서비스가 음성통화나 단문메시지 송, 수신에 국한되었던 과거와 달리 이동통신망(21) 및 무선랜(22)을 망라하는 무선망(20)을 통하여 인터넷 접속 및 대용량 데이터의 송, 수신이 일상적으로 이루어지고, 대용량 제어연산장치 및 기억장치를 통하여 다양한 응용프로그램이 실행되는 등, 이동통신단말기(10)의 사용 양태가 복잡해짐에 따라 새로운 통신환경에 익숙하지 않은 대다수의 일반 사용자가 고기능 이동통신단말기(10)의 사용에 어려움을 느끼고 있을 뿐 아니라, 조작실수로 인한 오작동 및 데이터 손실, 개인정보 유출 및 과도한 통신료 부담 등의 피해를 입고 있는 실정이다.The high-performance mobile communication terminal 10, called a smart phone, employs a high-resolution touch screen 11 and an associated control computing device, which is comparable to a conventional keypad computer 40 as well as a traditional keypad type operation environment. Graphic User Interface (GUI) is implemented, so user convenience and readability can be improved.However, unlike the past, the mobile communication service was limited to voice call, short message transmission and reception. 21) and the Internet connection and transmission and reception of large-capacity data are routinely made through the wireless network 20 covering the wireless LAN 22, and various application programs are executed through the large-capacity control computing device and the storage device. As the usage of the mobile communication terminal 10 becomes more complicated, the majority of general users who are not familiar with the new communication environment Users are not only having difficulty in using the high-performance mobile communication terminal 10, but are also suffering from malfunctions and data loss, personal information leakage, and excessive communication charges due to a mistake in operation.

이에, 고기능 이동통신단말기(10)를 가입자로 유치한 통신사, 이동통신단말기(10) 제조사, 유료 데이터 또는 응용프로그램 등을 배포하는 무선망(20) 연계 인터넷 정보제공업체 등이 사용자의 동의하에 이동통신단말기(10)를 원격제어함으로써, 고기능 이동통신단말기(10) 조작에 미숙한 일반 사용자에게 인터넷 접속 및 데이터 송, 수신 방법을 안내하거나, 작동 오류 및 고장에 대한 조치를 원격지에서 수행하고 있다.Accordingly, a mobile communication company that attracts the high-performance mobile communication terminal 10 as a subscriber, a mobile communication terminal 10 manufacturer, or an internet information provider connected to a wireless network 20 that distributes paid data or application programs, etc., with the user's consent By remotely controlling the terminal 10, the general user who is inexperienced in the operation of the high-performance mobile communication terminal 10 is guided to the Internet connection and data transmission and reception methods, or measures for operation errors and failures are performed remotely.

도 1은 이동통신단말기(10) 원격제어를 수행하는 각 구성요소의 연결관계를 도시한 것으로, 동 도면을 통하여 알 수 있는 바와 같이, 이동통신단말기(10)의 원격제어는 이동통신망(21)의 이동국인 이동통신단말기(10), 이동통신망(21) 또는 무선랜(22) 등의 무선망(20) 및 인터넷과 연결된 컴퓨터(40) 등에 의하여 수행된다.FIG. 1 illustrates a connection relationship between each component performing remote control of the mobile communication terminal 10. As can be seen from the drawing, the remote control of the mobile communication terminal 10 is performed by the mobile communication network 21. As shown in FIG. Is performed by a mobile communication terminal 10, a mobile communication network 21, a wireless network 20 such as a wireless LAN 22, and a computer 40 connected to the Internet.

여기서 무선망(20)이란 도시된 바와 같이, TDMA(Time Division Multiple Access) 및 CDMA(Code Division Multiple Access) 방식 등의 이동통신망(21)과 TCP/IP(Transport Control Protocol/Internet Protocol)기반 통신을 수행하는 Wi-Fi(Wireless-Fidelity) 등의 무선랜(22)을 통칭하는 것으로, 무선망(20)을 구성하는 무선랜(22) 및 이동통신망(21)은 각각 게이트웨이서버(31) 및 일종의 게이트웨이서버(31)라 할 수 있는 통신사서버(32)를 통하여 인터넷에 연결되며, 피제어 이동통신단말기(10)를 원격제어하는 제어측 컴퓨터(40) 또한 인터넷과 연결된다.Here, as shown in the wireless network 20, communication control based on TCP / IP (Transport Control Protocol / Internet Protocol) and the mobile communication network 21, such as TDMA (Time Division Multiple Access) and CDMA (Code Division Multiple Access) Named as a wireless LAN 22 such as Wi-Fi (Wireless-Fidelity), the wireless LAN 22 and the mobile communication network 21 constituting the wireless network 20 are respectively a gateway server 31 and a kind of a. The control server computer 40, which is connected to the Internet through a communication company server 32, which may be referred to as a gateway server 31, and remotely controls the controlled mobile communication terminal 10, is also connected to the Internet.

이러한 이동통신단말기(10)의 원격제어는 이동통신망(21) 및 무선랜(22) 등의 무선망(20)을 통한 데이터통신을 기반으로 수행되는 것으로, 전술한 통신사, 이동통신단말기(10) 제조사 또는 정보제공업체의 상담원과 이동통신단말기(10) 사용자간 음성통화와 동반하여 수행될 수 있으며, 도 1에서와 같이 피제어 이동통신단말기(10)와 원격지의 제어측 컴퓨터(40) 즉, 상기 상담원의 컴퓨터(40)간 데이터 통신로(session)가 개설되고 및 피제어 이동통신단말기(10)의 입, 출력을 제어하는 원격제어프로그램이 해당 이동통신단말기(10) 및 컴퓨터(40)에 설치됨을 전제로 성립되는데, 도 2에서와 같이, 원격제어프로그램이 실행됨에 따라 이동통신단말기(10)의 화면이 가감없이 제어측 컴퓨터(40)의 화면에 표시된다.
The remote control of the mobile communication terminal 10 is performed based on data communication through the wireless network 20 such as the mobile communication network 21 and the wireless LAN 22, the above-mentioned communication company, mobile communication terminal 10 It may be accompanied by a voice call between the agent of the manufacturer or the information provider and the user of the mobile communication terminal 10, as shown in FIG. 1, that is, the controlled mobile communication terminal 10 and the remote control side computer 40. A data communication path is established between the counselor's computer 40 and a remote control program for controlling the input and output of the controlled mobile communication terminal 10 is provided to the mobile communication terminal 10 and the computer 40. 2, the screen of the mobile communication terminal 10 is displayed on the screen of the control-side computer 40 as the remote control program is executed.

피제어 이동통신단말기(10) 및 원격지의 제어측 컴퓨터(40)에 탑재된 원격제어프로그램이 실행되고 이들 이동통신단말기(10) 및 컴퓨터(40)간 통신로(session)가 개설되면, 도 2에서와 같이, 이동통신단말기(10)의 화면과 동일한 화면이 제어측 컴퓨터(40)에 출력되어 제어측 컴퓨터(40)의 사용자인 상담원 등은 피제어 이동통신단말기(10)의 화면을 실시간으로 확인할 수 있으며, 제어측 컴퓨터(40)에 입력되는 명령은 상기 통신로를 통하여 이동통신단말기(10)의 원격제어프로그램으로 전송되어 원격제어프로그램이 해당 이동통신단말기(10)에 입력하게 됨으로써, 제어측 컴퓨터(40)의 사용자가 피제어 이동통신단말기(10)를 직접 조작하는 것과 동일한 효과를 얻을 수 있다.When the remote control program mounted on the controlled mobile communication terminal 10 and the remote control computer 40 is executed, and a session between these mobile communication terminal 10 and the computer 40 is established, FIG. As described above, the same screen as the screen of the mobile communication terminal 10 is output to the control side computer 40 so that a counselor or the like who is a user of the control side computer 40 displays the screen of the controlled mobile communication terminal 10 in real time. The command input to the control side computer 40 is transmitted to the remote control program of the mobile communication terminal 10 through the communication path so that the remote control program is input to the corresponding mobile communication terminal 10, thereby controlling. The same effect as that of the user of the side computer 40 directly operates the controlled mobile communication terminal 10 can be obtained.

이렇듯, 이통통신단말기의 원격제어 과정에서 제어측 컴퓨터(40)의 화면에는 피제어 이동통신단말기(10) 화면이 실시간으로 동일하게 출력되고, 제어측 컴퓨터(40) 사용자의 조작에 따라 이동통신단말기(10)가 원격제어됨에 따라 이동통신단말기(10)의 작동 상황 또한 해당 이동통신단말기(10)의 직접 조작시와 동일하게 이동통신단말기(10)의 화면을 통하여 출력되지만, 터치스크린(11)이 입출력 수단으로 적용된 이동통신단말기(10)의 경우 터치스크린(11)의 입출력 특성상 원격제어를 통한 이동통신단말기(10)의 조작상황을 사용자가 정확하게 파악하기 어려운 문제점이 있다.As such, in the remote control process of the communication terminal, the screen of the controlled mobile communication terminal 10 is identically output in real time on the screen of the control computer 40, and the mobile communication terminal is operated according to the operation of the user of the control computer 40. As the 10 is remotely controlled, the operation state of the mobile communication terminal 10 is also output through the screen of the mobile communication terminal 10 as in the case of direct manipulation of the mobile communication terminal 10, but the touch screen 11 In the case of the mobile communication terminal 10 applied as an input / output means, it is difficult for a user to accurately grasp the operation status of the mobile communication terminal 10 through remote control due to the input / output characteristics of the touch screen 11.

즉, 마우스, 트랙볼(track ball) 또는 터치패드(touchpad) 등의 포인팅디바이스(pointing device)가 입력수단으로 채용된 전통적인 컴퓨터(40)대 컴퓨터(40)간 원격제어의 경우 양측 컴퓨터(40)의 화면 모두에 포인터(pointer)(45)가 표시되므로, 원격제어의 제어측 및 피제어 컴퓨터(40) 사용자가 단일 포인터(45)를 사용하거나 각각 개별적인 포인터(45)를 사용하는 경우를 막론하고 제어측 및 피제어 컴퓨터(40)의 사용자 모두 포인터(45)의 위치를 용이하게 파악할 수 있고, 따라서 원격제어의 진행중 피제어 컴퓨터(40)의 사용자가 제어측 컴퓨터(40) 사용자의 조작의도를 정확하게 파악할 수 있으나, 터치스크린(11)의 경우 포인터(45)가 출력되지 않으므로 터치(touch) 조작에 따른 결과 화면만을 확인할 수 있을 뿐 조작과정을 구체적으로 파악할 수 없는 것이다.That is, in the case of remote control between the conventional computer 40 and the computer 40 in which a pointing device such as a mouse, track ball, or touchpad is used as an input means, Pointers 45 are displayed on both screens so that the control side of the remote control and the controlled computer user 40 can use the single pointer 45 or control the individual pointers 45 separately. Both the user of the side and the controlled computer 40 can easily grasp the position of the pointer 45, so that the user of the controlled computer 40 can control the operation intention of the user of the controlled computer 40 while the remote control is in progress. Although it can be accurately understood, since the pointer 45 is not output in the case of the touch screen 11, only the result screen according to the touch manipulation can be confirmed, and the manipulation process cannot be identified in detail.

종래기술에 의한 이동통신단말기(10)의 원격제어 상황을 도시한 도 2를 통하여 알 수 있는 바와 같이, 제어측 컴퓨터(40)와 피제어 이동통신단말기(10)에 각각 탑재된 원격제어프로그램이 실행되면 제어측 컴퓨터(40) 화면에는 피제어 이통통신단말기의 화면이 출력되고, 상담원 등 제어측 컴퓨터(40) 사용자는 마우스 등의 포인팅디바이스를 통하여 화면상 표시된 포인터(45)를 조작하게 되는데, 소위 핑거 제스처(finger gesture)로 불리는 터치스크린(11)의 접촉 조작을 마우스 등의 포인팅디바이스를 통하여 수행하게 된다.As can be seen from FIG. 2 showing a remote control situation of the mobile communication terminal 10 according to the prior art, a remote control program mounted on the control side computer 40 and the controlled mobile communication terminal 10, respectively. When executed, the screen of the controlled communication terminal is displayed on the screen of the control computer 40, and the user of the control computer 40, such as an agent, operates the pointer 45 displayed on the screen through a pointing device such as a mouse. The touch manipulation of the touch screen 11, which is called a finger gesture, is performed through a pointing device such as a mouse.

탭(tab), 드래그(drag) 및 슬라이드(slide) 등으로 구분되는 터치스크린(11)의 핑거 제스처는 단독으로 또는 조합되어 수행됨으로써 터치스크린(11)의 화면상 출력된 객체의 선택 및 이동, 프로세스의 개시 또는 목록의 스크롤(scroll) 등의 조작을 수행하게 되는데, 이동통신단말기(10)에 대한 컴퓨터(40)의 원격제어에 있어서 이러한 핑거 제스처는 마우스 등 포인팅디바이스의 클릭, 드래그 앤드 드롭(drag and drop) 등 유사한 방식의 조작을 통하여 수행될 수 있다.Finger gestures of the touch screen 11 divided into tabs, drags, slides, etc. are performed singly or in combination to select and move objects output on the screen of the touch screen 11, In the process of initiating a process or scrolling through a list, the remote control of the computer 40 with respect to the mobile communication terminal 10 may be performed by clicking, dragging and dropping a pointing device such as a mouse. It can be performed through a similar method of operation, such as drag and drop.

그러나 이동통신단말기(10)의 원격제어 중 제어측 컴퓨터(40)를 조작함에 있어서 클릭 등 포인팅디바이스의 버튼 조작 없이 단순히 화면상 포인터(45)의 이동만을 수행하는 경우 포인터(45)의 이동 상황이 피제어 이동통신단말기(10)의 화면에는 전혀 표시되지 않게 된다.However, when operating the control-side computer 40 during the remote control of the mobile communication terminal 10, when only the pointer 45 is moved on the screen without a button manipulation of a pointing device such as a click, the movement of the pointer 45 is changed. The screen of the controlled mobile communication terminal 10 is not displayed at all.

이는 입력과 출력이 단일 기기를 통하여 수행되고, 사용자의 손가락을 통하여 화면상 조작 위치가 즉각 설정되는 터치스크린(11)의 특성에서 기인하는 것으로, 사용자의 손가락이 바로 포인터(45)인 터치스크린(11)의 조작환경에서는 포인팅디바이스가 채용된 일반 컴퓨터(40)에서와 같은 화면상의 포인터(45)가 존재할 수 없기 때문이다.This is due to the characteristics of the touch screen 11 in which input and output are performed through a single device, and an operation position on the screen is immediately set through the user's finger, and the user's finger is the pointer 45. This is because, in the operating environment of 11), there is no pointer 45 on the screen as in the general computer 40 employing the pointing device.

즉, 마우스 등의 포인팅디바이스가 연결된 컴퓨터(40)에서는 화면에 포인터(45)를 표시되고 사용자가 이를 시각적으로 확인하면서 클릭 등 후속 조작을 수행하게 되므로, 포인팅디바이스의 이동조작에 따른 포인터(45)의 위치를 컴퓨터(40)가 지속적으로 검출하여야 하지만 터치스크린(11)에서는 비접촉 상태의 손가락 위치를 검출할 수 없으며, 사용자의 손가락이 접촉되는 순간 위치가 설정되므로 포인터(45)의 출력이 불가능할 뿐 아니라 불필요한 것이다.That is, in the computer 40 to which the pointing device such as a mouse is connected, the pointer 45 is displayed on the screen and the user performs a subsequent operation such as a click while visually confirming the pointer. Thus, the pointer 45 according to the movement operation of the pointing device is performed. The position of the computer 40 must be continuously detected, but the touch screen 11 cannot detect the position of the finger in the non-contact state, and the position of the user's finger is set at the moment the contact of the pointer 45 is impossible. Not unnecessary.

이렇듯, 터치스크린(11)을 통한 이동통신단말기(10)의 조작과정에서는 사용자가 자신의 손가락 위치를 터치스크린(11) 화면을 통하여 별도로 확인할 필요성이 없을 뿐 아니라, 터치스크린(11)이 비접촉 상태의 손가락 위치를 검출하는 것이 불가능하므로, 일반적인 컴퓨터(40)에서와 같은 포인터(45)가 구현될 필요가 없으나, 이는 전적으로 이동통신단말기(10) 사용자의 직접 조작을 전제로 성립되는 원칙으로서, 이동통신단말기(10) 사용자의 터치스크린(11) 직접 조작이 아닌 원격지 제어측 컴퓨터(40)를 통한 터치스크린(11) 이동통신단말기(10)의 원격제어가 수행되는 경우에는 적지 않은 문제를 야기할 수 있다.As such, in the operation process of the mobile communication terminal 10 through the touch screen 11, the user does not need to separately check his or her finger position through the touch screen 11 screen, and the touch screen 11 is in a non-contact state. Since it is impossible to detect the position of the finger, it is not necessary to implement the pointer 45 as in the general computer 40, but this is a principle established solely under the direct manipulation of the user of the mobile communication terminal 10. When remote control of the touch screen 11 mobile communication terminal 10 is performed through the remote control computer 40 rather than directly operating the touch screen 11 of the user of the communication terminal 10, a number of problems may be caused. Can be.

도 3은 종래기술에 의한 이동통신단말기(10)의 원격제어 상황을 도시한 것으로, 동 도면을 통하여 알 수 있는 바와 같이, 제어측 컴퓨터(40)의 사용자가 화면상의 포인터(45)를 이동하여 특정 아이콘을 클릭함으로써 이동통신단말기(10)의 터치스크린(11)상 해당 아이콘을 터치한 것과 동일한 조작을 수행한 후, 그 결과로서 팝업메뉴(popup menu)가 출력되는 상황을 상정하면, 제어측 컴퓨터(40) 사용자는 화면을 횡단하는 포인터(45)의 이동에서 아이콘의 클릭에 이르는 일련의 조작을 수행하였지만 피제어 이동통신단말기(10) 사용자는 최종 결과인 팝업메뉴의 출력상태를 확인할 수 있을 뿐 포인터(45)의 이동 및 아이콘의 클릭에 이르는 조작 과정은 전혀 확인할 수 없는 문제가 발생되는 것이다.3 illustrates a remote control situation of the mobile communication terminal 10 according to the related art. As can be seen from the drawing, the user of the control computer 40 moves the pointer 45 on the screen. If the user performs the same operation as touching the corresponding icon on the touch screen 11 of the mobile communication terminal 10 by clicking a specific icon, and as a result, a popup menu is output, the control side The user of the computer 40 performs a series of operations from the movement of the pointer 45 across the screen to the click of an icon, but the user of the controlled mobile communication terminal 10 can check the output state of the pop-up menu, which is the final result. In addition, the operation process leading to the movement of the pointer 45 and the click of the icon is a problem that can not be confirmed at all.

물론 제어측 컴퓨터(40) 사용자가 아이콘을 클릭하는 순간 해당 아이콘의 명암 또는 색상이 변화하는 등의 방식으로 해당 아이콘의 선택 여부를 표시할 수 있으나, 다수의 아이콘이 조밀하게 배열된 상태에서 선택된 아이콘을 식별하기 어려울 뿐 아니라, 팝업메뉴의 출력 등 후속 처리가 신속하게 진행되는 경우 원격제어 중 수행되는 조작 전반을 피제어 이동통신단말기(10) 사용자가 구체적으로 파악하기에는 많은 어려움이 따른다.Of course, as soon as the user of the control-side computer 40 clicks on the icon, the user may indicate whether the icon is selected in such a manner that the intensity or color of the icon changes, but the icon selected in a state where a plurality of icons are densely arranged. In addition to difficult to identify, when the subsequent processing such as the output of the pop-up menu is rapidly progressed, it is difficult for the user of the controlled mobile communication terminal 10 to specifically grasp the overall operation performed during the remote control.

특히, 화면을 터치한 상태에서 수직, 수평으로 이동하는 슬라이드(slide) 제스처 또는 화면을 터치한 상태에서 원곡선을 그리는 스핀(spin) 제스처 등의 조작을 원격제어를 통하여 수행하는 경우 피제어 이동통신단말기(10)의 터치스크린(11)에서는 화면의 이동, 전환 또는 출력 내용의 스크롤 등 제스처의 결과물만이 출력되므로, 이동통신단말기(10)의 사용자가 구체적인 제스처를 전혀 파악할 수 없는 문제점이 있다.In particular, when performing a remote gesture such as a slide gesture that moves vertically or horizontally while touching the screen or a spin gesture that draws a curved line while touching the screen, the controlled mobile communication is controlled. In the touch screen 11 of the terminal 10, only the result of the gesture such as screen movement, switching, or scrolling of the output content is output, so that the user of the mobile communication terminal 10 cannot grasp a specific gesture at all.

이렇듯 제어측 컴퓨터(40)와 피제어 터치스크린(11) 이동통신단말기(10)간 입출력 방식의 차이로 인하여 원격제어시 조작상태의 피제어 이동통신단말기(10) 터치스크린(11)을 통한 표현에는 한계가 있을 수 밖에 없는데, 이는 이동통신단말기(10) 원격제어의 효과를 반감하는 심각한 문제를 야기할 수 있다.As such, due to the difference in the input / output method between the control side computer 40 and the controlled touch screen 11 and the mobile communication terminal 10, the control screen of the controlled mobile communication terminal 10 in the operation state during remote control is expressed through the touch screen 11. There is a limit to this, which can cause serious problems that halve the effect of the remote control of the mobile communication terminal (10).

즉, 이동통신단말기(10)의 원격제어 서비스는 단순한 1회성 조작 대행에 그 목적이 한정되는 것이 아니라, 정보기기 사용에 미숙한 일반 사용자가 추후 동일한 조작을 정확하게 수행할 수 있도록 하는 학습효과에도 그 목적이 있는 바, 원격제어를 통하여 수행되는 제반 조작 과정을 피제어 이동통신단말기(10)의 사용자가 구체적이고 정확하게 파악할 수 있도록 하는 것이 바람직한데 전술한 바와 같이 제어측 컴퓨터(40)의 포인터(45) 이동을 파악할 수 없는 종래의 원격제어 방식으로는 소기의 학습효과를 기대할 수 없는 것이다.That is, the purpose of the remote control service of the mobile communication terminal 10 is not limited to a simple one-time operation agent, but also to a learning effect that allows an inexperienced general user to perform the same operation later. It is desirable to allow the user of the controlled mobile communication terminal 10 to accurately and accurately grasp the general operation process performed through the remote control. As described above, the pointer 45 of the control-side computer 40 In the conventional remote control method which cannot grasp the movement, the desired learning effect cannot be expected.

또한, 제어측 컴퓨터(40) 사용자가 민첩한 조작으로 피제어 이동통신단말기(10)에 저장된 개인정보 등을 절취(竊取)하는 경우에도 이를 이동통신단말기(10)의 사용자가 파악하기 어려운 심각한 문제점이 있다.
In addition, even when the user of the control side computer 40 cuts personal information and the like stored in the controlled mobile communication terminal 10 by an agile operation, a serious problem that is difficult for the user of the mobile communication terminal 10 to grasp. have.

본 발명은 전술한 문제점을 감안하여 창안한 것으로, 이동통신망(21)의 이동국(移動局)으로서 터치스크린(touchscreen)(11)이 입출력 수단으로 채용된 이동통신단말기(10)를 인터넷 및 무선망(20)과 연결되고 포인팅디바이스(pointing device)가 입력수단으로 채용된 컴퓨터(40)가 원격제어하되, 원격제어 중 제어측 컴퓨터(40)의 조작상태를 피제어 이동통신단말기(10)의 터치스크린(11)에 표시하는 방법에 있어서, 상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와, 컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 피제어 이동통신단말기(10)로 전송하는 단계와, 피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems. The present invention provides a mobile communication terminal 10 in which a touch screen 11 is used as an input / output means as a mobile station of a mobile communication network 21. A computer 40 connected to the terminal 20 and a pointing device employed as an input means is remotely controlled, and the operation state of the control-side computer 40 is touched during the remote control. In the method of displaying on the screen 11, a remote control program mounted on the mobile communication terminal 10 and the computer 40 is executed, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is executed. Transmitted and output to the display area 41 set on the screen of the control-side computer 40, and on the display area 41 of the control-side computer 40 on which the remote control program of the computer 40 is operated as a pointing device. Extract the coordinates of my pointer 45 Transmitting to the controlled mobile communication terminal 10 and outputting the indicator 15 to a point on the screen of the touch screen 11 corresponding to the coordinates transmitted by the remote control program of the controlled mobile communication terminal 10. Remote control operation status display method of the touch screen mobile communication terminal, characterized in that consisting of.

또한, 상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와, 컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표 및 버튼조작값을 추출하여 피제어 이동통신단말기(10)로 전송하는 단계와, 피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 버튼조작값에 따라 형태가 설정된 표시자(15)를 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법이다.In addition, the remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the control side computer 40. Outputting to the display area 41 set on the screen; coordinates and buttons of the pointer 45 in the display area 41 on the screen of the control-side computer 40 on which the remote control program of the computer 40 is operated with a pointing device. Extracting the operation value and transmitting it to the controlled mobile communication terminal 10; and a button operation value at a point on the screen of the touch screen 11 corresponding to the coordinates from which the remote control program of the controlled mobile communication terminal 10 is transmitted. According to the present invention is a remote control operation status display method of the touch screen mobile communication terminal, characterized in that it comprises the step of outputting the indicator set in accordance with the shape.

또한, 상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와, 컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 포인팅디바이스의 버튼이 조작된 경우 피제어 이동통신단말기(10)로 전송하는 단계와, 피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법이다.In addition, the remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the control side computer 40. Outputting to the display area 41 set on the screen and extracting the coordinates of the pointer 45 in the display area 41 on the screen of the control-side computer 40 on which the remote control program of the computer 40 is operated by a pointing device. Transmitting the button to the controlled mobile communication terminal 10 when the button of the pointing device is operated, and a point on the screen of the touch screen 11 corresponding to the coordinates to which the remote control program of the controlled mobile communication terminal 10 is transmitted. The remote control operation status display method of the touch screen mobile communication terminal, characterized in that it comprises the step of outputting the indicator (15).

또한, 상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와, 컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 피제어 이동통신단말기(10)로 전송하는 단계와, 피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표를 이동통신단말기(10)의 기억장치에 저장하고 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력함과 동시에 해당 시점 직전의 좌표를 이동통신단말기(10)의 기억장치에서 인출하여 인출된 좌표에 대응되는 터치스크린(11) 화면상 지점에 보조표시자(16)를 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법이다.In addition, the remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the control side computer 40. Outputting to the display area 41 set on the screen and extracting the coordinates of the pointer 45 in the display area 41 on the screen of the control-side computer 40 on which the remote control program of the computer 40 is operated by a pointing device. And transmitting the coordinates transmitted by the remote control program of the controlled mobile communication terminal 10 to a storage device of the mobile communication terminal 10 and corresponding to the transmitted coordinates. The indicator 15 is output to a point on the screen of the touch screen 11 and the coordinates immediately before the corresponding time point are extracted from the storage device of the mobile communication terminal 10 and correspond to the extracted coordinates on the screen of the touch screen 11. Outputting the auxiliary indicator (16) at the point Remote control operation status display method of the touch screen mobile communication terminal, characterized in that consisting of steps.

또한, 상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와, 컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 피제어 이동통신단말기(10)로 전송하는 단계와, 피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표를 이동통신단말기(10)의 기억장치에 저장하고 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력함과 동시에 해당 시점 직전의 좌표를 이동통신단말기(10)의 기억장치에서 인출하여 표시자(15)의 방향정보를 산출하고 산출된 방향정보에 대응되는 보조표시자(16)를 터치스크린(11)으로 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법이다.In addition, the remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the control side computer 40. Outputting to the display area 41 set on the screen and extracting the coordinates of the pointer 45 in the display area 41 on the screen of the control-side computer 40 on which the remote control program of the computer 40 is operated by a pointing device. And transmitting the coordinates transmitted by the remote control program of the controlled mobile communication terminal 10 to a storage device of the mobile communication terminal 10 and corresponding to the transmitted coordinates. The indicator 15 is output to a point on the touch screen 11 and the coordinates immediately before the corresponding time point are extracted from the storage device of the mobile communication terminal 10 to calculate the direction information of the indicator 15. The auxiliary indicator 16 corresponding to the direction information Displaying the remote control operation status of the touch screen mobile communication terminal, characterized in that the step of outputting to the touch screen (11).

또한, 상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와, 컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 컴퓨터(40)의 기억장치에 저장하고 해당 시점 직전의 좌표를 컴퓨터(40)의 기억장치에서 인출하여 포인터(45)의 방향정보를 산출하며, 추출된 포인터(45)의 좌표와 산출된 방향정보를 피제어 이동통신단말기(10)로 전송하는 단계와, 피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력함과 동시에 전송된 방향정보에 대응되는 보조표시자(16)를 터치스크린(11)으로 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법이다.
In addition, the remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the control side computer 40. Outputting to the display area 41 set on the screen and extracting the coordinates of the pointer 45 in the display area 41 on the screen of the control-side computer 40 on which the remote control program of the computer 40 is operated by a pointing device. And store the coordinates immediately before the corresponding time point in the storage device of the computer 40 to calculate the direction information of the pointer 45, and extract the coordinates of the pointer 45 and the calculated direction. Transmitting the information to the controlled mobile communication terminal 10, and placing the indicator 15 at a point on the screen of the touch screen 11 corresponding to the coordinates to which the remote control program of the controlled mobile communication terminal 10 is transmitted. Beam corresponding to direction information transmitted at the same time as output A method of displaying a remote control operation state of a touch screen mobile communication terminal, characterized in that the step of outputting the indicator 16 to the touch screen (11).

본 발명을 통하여, 터치스크린(11)이 적용된 피제어 이동통신단말기(10)의 사용자가 제어측 컴퓨터(40)의 원격제어 조작상태를 구체적이고 정확하게 파악할 수 있으며, 이로써 피제어 이동통신단말기(10) 사용자가 해당 조작과정을 용이하게 숙지할 수 있어 이동통신단말기(10)의 활용도를 제고하는 효과를 얻을 수 있다.Through the present invention, the user of the controlled mobile communication terminal 10 to which the touch screen 11 is applied can understand the remote control operation state of the control side computer 40 in detail and precisely, whereby the controlled mobile communication terminal 10 The user can easily know the operation process can be obtained to improve the utilization of the mobile communication terminal (10).

또한, 이동통신단말기(10) 원격제어의 제반 조작 상황에 대한 피제어측 사용자의 즉각적인 확인이 가능하므로 원격제어 과정에서 발생될 수 있는 이동통신단말기(10)내 개인정보의 유출을 방지하고 보안성을 향상시키는 효과를 얻을 수 있다.
In addition, since the control side user can immediately check the overall operation situation of the mobile communication terminal 10 remote control, it prevents the leakage of personal information in the mobile communication terminal 10 that may occur in the remote control process and secures Can improve the effect.

도 1은 원격제어시 제어측 컴퓨터 및 피제어 이동통신단말기 연결상태 설명도
도 2는 종래기술에 의한 원격제어시 제어측 컴퓨터 및 피제어 터치스크린 이동통신단말기의 화면 예시도
도 3은 종래기술에 의한 원격제어중 제어측 컴퓨터 및 피제어 터치스크린 이동통신단말기의 화면 변화 예시도
도 4는 본 발명이 적용된 원격제어중 제어측 컴퓨터 및 피제어 터치스크린 이동통신단말기의 화면 변화 예시도
도 5는 본 발명의 흐름도
도 6은 본 발명 표시자의 변형된 실시예 예시도
도 7은 포인팅디바이스 버튼조작값에 따라 표시자가 변경되는 본 발명의 일 실시예 화면 예시도
도 8은 도 7 실시예의 흐름도
도 9는 선택적으로 좌표가 전송되는 본 발명의 일 실시예 흐름도
도 10은 보조표시자가 적용된 본 발명의 일 실시예 화면 예시도
도 11은 도 10 실시예의 흐름도
도 12는 궤적 표시형 보조표시자 예시도
도 13은 이동통신단말기 산출식 방향 표시형 보조표시자가 적용된 본 발명의 일 실시예 흐름도
도 14는 컴퓨터 산출식 방향 표시형 보조표시자가 적용된 본 발명의 일 실시예 흐름도
도 15는 방향 표시형 보조표시자 예시도1 is a diagram illustrating a connection state between a control computer and a controlled mobile communication terminal during remote control;
2 is a diagram illustrating screens of a control-side computer and a controlled touch screen mobile communication terminal during remote control according to the related art.
3 is a view illustrating a screen change of a control-side computer and a controlled touch screen mobile communication terminal during remote control according to the prior art;
4 is a view illustrating a screen change of a control-side computer and a controlled touch screen mobile communication terminal during remote control to which the present invention is applied.
5 is a flow chart of the present invention
6 illustrates a modified embodiment of the present invention indicator
7 is a diagram illustrating an exemplary embodiment of the present invention in which an indicator is changed according to a pointing device button operation value.
8 is a flowchart of the FIG. 7 embodiment.
9 is a flow diagram of one embodiment of the invention in which coordinates are selectively transmitted
10 is a diagram illustrating an embodiment of the present invention to which an auxiliary indicator is applied;
11 is a flowchart of the FIG. 10 embodiment.
12 shows an example of a trajectory display auxiliary indicator.
13 is a flowchart illustrating an embodiment of the present invention to which a mobile communication terminal calculation direction indication type auxiliary indicator is applied;
14 is a flowchart illustrating an embodiment of the present invention to which a computer-aided direction indicator auxiliary indicator is applied.
15 is an exemplary view showing a direction indicator auxiliary indicator

본 발명의 상세한 구성을 첨부된 도면을 통하여 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A detailed configuration of the present invention will be described with reference to the accompanying drawings.

우선 도 4는 본 발명이 적용된 원격제어시 제어측 컴퓨터(40) 및 피제어 터치스크린(11) 이동통신단말기(10)의 화면 변화 과정을 도시한 것으로, 도시된 바와 같이 제어측 컴퓨터(40) 화면상의 포인터(45) 이동 상태가 피제어 이동통신단말기(10)의 터치스크린(11)에 실시간으로 표시된다.First, FIG. 4 illustrates a screen change process of the control side computer 40 and the controlled touch screen 11 and the mobile communication terminal 10 during the remote control to which the present invention is applied. As shown, the control side computer 40 The movement state of the pointer 45 on the screen is displayed in real time on the touch screen 11 of the controlled mobile communication terminal 10.

이렇듯 제어측 컴퓨터(40) 화면의 포인터(45)를 피제어 이동통신단말기(10)의 터치스크린(11)에 실시간으로 출력함으로써, 이동통신단말기(10) 원격제어 서비스를 제공하는 통신사, 이동통신단말기(10) 제조사 또는 정보제공업체의 상담원 등의 제어측 컴퓨터(40)의 사용자가 원격제어 중 수행하는 포인팅디바이스(pointing device)의 조작과정 전반을 피제어 이동통신단말기(10) 사용자가 구체적이고 정확하게 파악할 수 있게 된다.As such, by outputting the pointer 45 of the screen of the control-side computer 40 to the touch screen 11 of the controlled mobile communication terminal 10 in real time, a mobile communication company providing a remote control service for the mobile communication terminal 10 and mobile communication The user of the control terminal computer 40, such as an agent of the terminal 10 manufacturer or the information provider, controls the overall operation of a pointing device performed during remote control. You will be able to pinpoint it.

본 발명의 기본적인 실시예는 전술한 도 4에서와 같이 제어측 컴퓨터(40) 화면상 포인터(45)가 피제어 이동통신단말기(10)의 터치스크린(11) 화면이 출력되는 표시영역(41)내 위치할 경우, 피제어 이동통신단말기(10)의 터치스크린(11)에도 동일한 위치에 표시자(15)를 출력하는 것으로, 도 5의 흐름도에서와 같은 과정으로 수행된다.In the basic embodiment of the present invention, as shown in FIG. 4, the display area 41 in which the pointer 45 on the screen of the control-side computer 40 is outputted on the touch screen 11 screen of the controlled mobile communication terminal 10 is output. In the case of being located inside, the indicator 15 is output to the touch screen 11 of the controlled mobile communication terminal 10 at the same position, and the same process as in the flowchart of FIG. 5 is performed.

본 발명은 제어측 컴퓨터(40) 및 피제어 이동통신단말기(10)에 각각 탑재되어 원격제어를 수행하는 원격제어프로그램에 의하여 수행되는 것으로, 도 5에서와 같이 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력됨으로써 개시된다.The present invention is carried out by a remote control program mounted on the control side computer 40 and the controlled mobile communication terminal 10 to perform remote control, respectively, as shown in FIG. The screen information of the touch screen 11 of the communication terminal 10 is transmitted and output to the display area 41 set on the screen of the control side computer 40.

원격제어프로그램은 피제어 이동통신단말기(10)와 제어측 컴퓨터(40)간 통신을 수행하고 컴퓨터(40)의 제어명령에 따라 이동통신단말기(10)를 제어하며 이동통신단말기(10)의 터치스크린(11) 화면정보를 컴퓨터(40)로 전송하는 프로그램으로서 각각 컴퓨터(40) 및 이동통신단말기(10)에 탑재되는데, 이러한 원격제어프로그램은 원격제어 서비스를 제공하기 위한 연관 작업을 수행하게되지만 작동환경 및 구체적 수행작업에서 차이가 있는 만큼 제어측 컴퓨터(40)와 피제어 이동통신단말기(10)에 각각 탑재된 원격제어프로그램이 동일한 프로그램일 필요는 없다.The remote control program performs communication between the controlled mobile communication terminal 10 and the control side computer 40, controls the mobile communication terminal 10 according to a control command of the computer 40, and touches the mobile communication terminal 10. The screen 11 is a program for transmitting the screen information to the computer 40 is mounted on the computer 40 and the mobile communication terminal 10, respectively, such a remote control program to perform the associated work for providing a remote control service The remote control program mounted on the control side computer 40 and the controlled mobile communication terminal 10 need not be the same program as there are differences in the operating environment and the specific work performed.

제어측 컴퓨터(40) 및 피제어 이동통신단말기(10)의 원격제어프로그램이 실행된 상태에서, 포인팅디바이스로 조작되는 제어측 컴퓨터(40)의 화면상 포인터(45)가 표시영역(41)으로 진입되면 컴퓨터(40)의 원격제어프로그램이 포인터(45)의 좌표를 추출하여 피제어 이동통신단말기(10)로 전송한다.With the remote control program of the control side computer 40 and the controlled mobile communication terminal 10 being executed, the pointer 45 on the screen of the control side computer 40 operated by the pointing device is moved to the display area 41. Upon entering, the remote control program of the computer 40 extracts the coordinates of the pointer 45 and transmits the coordinates of the pointer 45 to the controlled mobile communication terminal 10.

전술한 바와 같이, 제어측 컴퓨터(40)의 원격제어프로그램이 실행되면 컴퓨터(40)의 화면상에 표시영역(41)이 구획, 설정되고 이 표시영역(41)을 통하여 피제어 이동통신단말기(10)의 터치스크린(11) 화면이 가감없이 출력되는데, 표시영역(41)은 피제어 이동통신단말기(10)의 터치스크린(11) 화면과 동일한 화면비(畵面比)로 설정되는 것이 바람직하다.As described above, when the remote control program of the control side computer 40 is executed, the display area 41 is partitioned and set on the screen of the computer 40, and the controlled mobile communication terminal ( The screen of the touch screen 11 of 10) is outputted without adding or subtracting, and the display area 41 is preferably set to the same aspect ratio as the screen of the touch screen 11 of the controlled mobile communication terminal 10. .

제어측 컴퓨터(40)의 화면상 포인터(45) 위치는 2차원 좌표로 특정될 수 있으며, 이러한 포인터(45) 좌표는 전체 화면을 기준으로 하는 절대좌표와 해당 컴퓨터(40)에 탑재된 어플리케이션 프로그램의 실행에 따라 화면 일부에 새롭게 구획되는 윈도우를 기준으로 하는 상대좌표로 구분될 수 있는데, 본 발명에 있어서 피제어 이동통신 단말기로 전송되는 포인터(45)의 좌표는 제어측 컴퓨터(40) 화면상의 표시영역(41)을 기준으로 하는 상대좌표를 적용하는 것이 바람직하다.The position of the pointer 45 on the screen of the control side computer 40 may be specified by two-dimensional coordinates. The coordinates of the pointer 45 may be an absolute coordinate based on the entire screen and an application program mounted on the computer 40. In accordance with the present invention, the coordinates of the pointer 45 transmitted to the controlled mobile communication terminal may be divided into relative coordinates based on a window newly partitioned on a part of the screen. It is preferable to apply relative coordinates based on the display area 41.

제어측 컴퓨터(40)로부터 전송된 좌표를 수신한 피제어 이동통신단말기(10)의 원격제어프로그램은 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력하게 되는데, 원격제어의 진행과정에서 전술한 제어측 컴퓨터(40)의 포인터(45) 좌표 전송 내지 피제어 이동통신단말기(10)의 표시자(15) 출력 과정을 지속적으로 반복함에 따라, 도 4에서와 같이, 제어측 컴퓨터(40)의 원격제어 조작상태 즉, 포인터(45)의 이동 상태를 피제어 이동통신단말기(10)의 사용자가 정확하고 구체적으로 파악할 수 있게 된다.The remote control program of the controlled mobile communication terminal 10 having received the coordinates transmitted from the control side computer 40 outputs the indicator 15 at a point on the screen of the touch screen 11 corresponding to the transmitted coordinates. In the process of remote control, the above-described process of transmitting the coordinates of the pointer 45 of the control-side computer 40 or the process of outputting the indicator 15 of the controlled mobile communication terminal 10 is continuously repeated. Likewise, the user of the controlled mobile communication terminal 10 can accurately and specifically grasp the remote control operation state of the control side computer 40, that is, the movement state of the pointer 45.

한편, 본 발명을 수행함에 있어서 피제어 이동통신단말기(10)의 터치스크린(11)에 출력되는 표시자(15)는 도 4에서와 같은 단순한 원형은 물론 다양한 형태가 가능한데, 도 6에서와 같이 손가락 형태의 이미지를 표시자(15)로써 사용할 수도 있다.Meanwhile, in carrying out the present invention, the indicator 15 output to the touch screen 11 of the controlled mobile communication terminal 10 may have various shapes as well as a simple circle as shown in FIG. 4, as shown in FIG. 6. An image in the form of a finger may also be used as the indicator 15.

이렇듯, 제어측 컴퓨터(40)의 포인터(45) 좌표를 피제어 이동통신단말기(10)가 수신하여 터치스크린(11)에 출력함으로써 원격제어 진행중 제어측 컴퓨터(40)의 포인터(45) 이동 상태를 피제어측 사용자가 파악할 수 있으나, 제어측 컴퓨터(40) 포인팅디바이스의 버튼 조작 상태는 파악할 수 없는 한계가 있다.As such, the pointer 45 coordinates of the control side computer 40 are received by the controlled mobile communication terminal 10 and output to the touch screen 11 to move the pointer 45 of the control side computer 40 during the remote control. The control side user can grasp, but there is a limitation that the button manipulation state of the control device computer 40 pointing device cannot be grasped.

원격제어시 제어측 컴퓨터(40)의 포인팅디바이스를 조작하여 포인터(45)를 단순히 이동하는 것은 이동통신단말기(10)의 터치스크린(11)을 직접조작함에 있어서 손가락을 접촉하지 않은 상태에서 이동하는 것과 동일한 작업이라 할 수 있으며, 터치스크린(11)에 손가락이 접촉된 상태로 수행되는 탭(tab), 드래그(drag) 및 슬라이드(slide) 등의 핑거 제스처(finger gesture)에 해당되는 조작을 제어측 컴퓨터(40)가 수행하기 위해서는 포인팅디바이스의 버튼 조작이 필수적으로 요구된다고 할 수 있다.Simply moving the pointer 45 by manipulating the pointing device of the control-side computer 40 during remote control may be performed without touching a finger in direct manipulation of the touch screen 11 of the mobile communication terminal 10. The same operation may be performed as described above, and controls an operation corresponding to a finger gesture such as a tap, a drag, a slide, and the like, which are performed while a finger is in contact with the touch screen 11. It can be said that button operation of the pointing device is essentially required for the side computer 40 to perform.

따라서, 제어측 컴퓨터(40)의 포인터(45) 위치 뿐 아니라 포인팅디바이스의 버튼 조작 상태를 피제어 이동통신단말기(10)의 터치스크린(11)에 표시하여, 당해 포인터(45)의 이동이 터치스크린(11) 직접조작시 손가락이 접촉된 상태의 이동인지 접촉되지 않는 상태의 단순 이동인지 여부를 확인할 수 있도록 하는 것이 바람직하다.Accordingly, not only the position of the pointer 45 of the control side computer 40 but also the button operation state of the pointing device is displayed on the touch screen 11 of the controlled mobile communication terminal 10 so that the movement of the pointer 45 is touched. When the screen 11 is directly operated, it is desirable to be able to check whether the finger is in a touched state or a simple movement in a non-contacted state.

제어측 컴퓨터(40) 포인팅디바이스의 버튼 조작 여부는 도 7에서와 같이 피제어 이동통신단말기(10)의 터치스크린(11)에 출력되는 표시자(15)의 형태를 변화시킴으로써 표시할 수 있는데, 이러한 버튼 조작 여부 표시 기능이 부여된 본 발명의 실시예는 도 8의 흐름도에서와 같은 과정으로 수행된다.Whether the button of the pointing device of the control side computer 40 is operated can be displayed by changing the shape of the indicator 15 output on the touch screen 11 of the controlled mobile communication terminal 10, as shown in FIG. An embodiment of the present invention to which the button manipulation indication function is given is performed by the same process as in the flowchart of FIG. 8.

도 8에서와 같이, 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되며 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되어 원격제어가 개시된 후, 포인팅디바이스로 조작되는 제어측 컴퓨터(40)의 화면상 포인터(45)가 표시영역(41)으로 진입되면 컴퓨터(40)의 원격제어프로그램이 포인터(45)의 좌표 및 버튼조작값(button property)을 추출하여 피제어 이동통신단말기(10)로 전송하게 된다.As shown in FIG. 8, the remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted and the control side computer ( When the on-screen pointer 45 of the control-side computer 40 operated by the pointing device enters the display area 41 after being output to the display area 41 set on the screen of 40 and operated by the pointing device, the computer 40 The remote control program of) extracts the coordinates of the pointer 45 and the button operation value (button property) and transmits them to the controlled mobile communication terminal 10.

여기서 버튼조작값은 기본적으로 포인팅디바이스의 버튼이 눌러졌는지 여부를 나타내는 정보로서 마우스 등 다수의 버튼이 구성된 포인팅디바이스의 경우 버튼의 종류와 누름 상태를 모두 반영하게 되며, 통상의 포인팅디바이스 입력 처리 프로그래밍에 있어서는 1자리 정수를 활용하여 버튼별 누름 상태에 따라 버튼조작값을 부여하게 된다.Here, the button operation value basically indicates whether the button of the pointing device is pressed.In the case of a pointing device including a large number of buttons, such as a mouse, it reflects both the type and the pressing state of the button. In this case, a button operation value is assigned according to the pressing state of each button by utilizing a one-digit integer.

제어측 컴퓨터(40)로부터 전송된 좌표 및 버튼조작값을 수신한 피제어 이동통신단말기(10)의 원격제어프로그램은 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력하게 되는데, 이때 버튼조작값에 따라 형태가 설정된 표시자(15)를 출력함으로써, 제어측 컴퓨터(40)의 포인터(45) 이동 상태 뿐 아니라, 포인팅디바이스의 버튼조작상태를 피제어 이동통신단말기(10)의 사용자가 정확하고 구체적으로 파악할 수 있게 된다.The remote control program of the controlled mobile communication terminal 10 having received the coordinates and the button operation value transmitted from the control side computer 40 displays the indicator 15 at a point on the screen of the touch screen 11 corresponding to the transmitted coordinates. In this case, by outputting the indicator 15 whose shape is set according to the button operation value, not only the movement state of the pointer 45 of the control side computer 40 but also the button operation state of the pointing device can be controlled. The user of the terminal 10 can be identified accurately and specifically.

도 7에 도시된 실시예에서는 포인터(45)의 단순한 이동시에는 터치스크린(11)상에 원형의 표시자(15)가 출력되고 포인팅디바이스의 버튼이 눌러진 상태에서는 동심원 형태의 표시자(15)가 출력됨을 알 수 있으며, 이러한 표시자(15)의 다양한 형태 및 버튼조작값에 따른 형태 설정은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 선택 적용할 수 있는 사항이므로 청구범위의 구체적인 한정은 하지 않는다.In the embodiment shown in FIG. 7, the circular indicator 15 is output on the touch screen 11 when the pointer 45 is simply moved, and the indicator 15 having a concentric shape is pressed when the button of the pointing device is pressed. It can be seen that the output, the shape setting according to the various forms and button operation value of the indicator 15 is a matter that can be applied by those of ordinary skill in the art that the present invention belongs to the specific limitations of the claims Does not.

전술한 바와 같은 표시자(15)의 이동 및 형태 변화를 통하여, 피제어 이동통신단말기(10)의 사용자는 제어측 컴퓨터(40) 사용자가 시연하고자 하는 제스처를 파악할 수 있게 되는데, 예컨데 표시자(15)가 정지된 상태에서 형태가 변화할 경우 탭(tap) 제스처, 누름 상태의 표시자(15)가 이동하는 경우 드래그(drag) 제스처로 인식하게 되는 것이다.By moving and changing the shape of the indicator 15 as described above, the user of the controlled mobile communication terminal 10 can grasp the gesture to be demonstrated by the user of the control computer 40, for example, the indicator ( When the shape changes in the state in which 15) is stopped, the tap gesture and the indicator 15 in the pressed state are recognized as a drag gesture.

한편, 제어측 컴퓨터(40) 포인터(45)의 표시영역(41) 진입시 무조건 해당 좌표를 피제어 이동통신단말기(10)로 전송하는 것이 아니라, 전송 여부를 제어측 컴퓨터(40) 사용자가 포인팅디바이스의 버튼 조작을 통하여 결정하도록 할 수도 있다.On the other hand, when the control area computer 40 pointer 45 enters the display area 41, the user of the control computer 40 does not transmit the coordinates to the controlled mobile communication terminal 10 unconditionally. It can also be determined through the button operation.

즉, 제어측 컴퓨터(40)의 표시영역(41)을 통과하는 포인터(45)의 이동 경로 전체가 피제어 이동통신단말기(10)의 터치스크린(11)에 표시되는 것이 아니라, 상담원 등 제어측 컴퓨터(40) 사용자가 피제어 이동통신단말기(10) 사용자에게 시연하고자 하는 조작 과정만을 선택하여 전송할 수 있도록 하는 것으로, 제어측 컴퓨터(40) 사용자의 원격제어 수행 과정에서 표시영역(41)내의 포인터(45) 조작 뿐 아니라 표시영역(41) 외의 화면조작, 예컨데 컴퓨터(40)에서 실행되는 원격제어프로그램의 메뉴 조작 등의 작업이 빈번하게 이루어짐을 감안하면, 피제어 이동통신단말기(10) 터치스크린(11) 상에 포인터(45)의 이동 경로 전체를 표시할 경우 실질적인 조작 외에 부수적인 조작과정이 여과없이 노출되므로, 제어측 컴퓨터(40) 사용자가 선택한 이동 경로만 표시되는 방식이 이동통신단말기(10) 사용자의 조작 과정 이해에 더욱 유리할 수 있는 것이다.In other words, the entire movement path of the pointer 45 passing through the display area 41 of the control side computer 40 is not displayed on the touch screen 11 of the controlled mobile communication terminal 10, but the control side such as an agent. The computer 40 allows the user to select and transmit only the operation process to be demonstrated to the user of the controlled mobile communication terminal 10. The pointer in the display area 41 during the remote control operation of the user of the controlling computer 40 is performed. (45) In addition to operations, screen operations other than the display area 41, for example, menu operations of a remote control program executed in the computer 40 are frequently performed, and thus, the touch screen of the controlled mobile communication terminal 10 is controlled. When the entire movement path of the pointer 45 is displayed on (11), an additional operation process other than the actual operation is exposed without filtering, so that only the movement path selected by the user of the control side computer 40 is displayed. The mobile communication terminal 10 that can be more beneficial to understand the operation process of the user.

이러한 선택적 포인터(45) 좌표 전송은 컴퓨터(40) 포인팅디바이스의 버튼이 눌러진 상태에서만 좌표를 전송하는 방식으로 수행될 수 있으며, 그 구체적인 과정이 도 9의 흐름도에 도시되어 있다.Such optional pointer 45 coordinate transmission may be performed by transmitting coordinates only when the button of the pointing device of the computer 40 is pressed, and a detailed process thereof is illustrated in the flowchart of FIG. 9.

또한, 마우스 등의 포인팅디바이스는 일반적으로 다수의 버튼이 구비되어 있으므로 포인터(45) 좌표의 전송 여부 결정 조작과, 원격제어시 이동통신단말기(10) 터치스크린(11)의 손가락 접촉에 대응하는 조작을 각기 다른 버튼에 할당함으로써, 원격제어를 통한 이동과 접촉 조작을 자유롭게 구현할 수 있다.In addition, since a pointing device such as a mouse is generally provided with a plurality of buttons, an operation for determining whether to transmit the coordinates of the pointer 45 and an operation corresponding to finger contact of the touch screen 11 of the mobile communication terminal 10 during remote control are provided. By assigning to different buttons, movement and contact operation through remote control can be freely implemented.

한편, 본 발명에 있어서 제어측 컴퓨터(40)의 포인터(45) 및 그와 연동되는 피제어 이동통신단말기(10) 터치스크린(11)의 표시자(15)가 빠른 속도로 움직이는 경우 상대적으로 협소한 피제어 이동통신단말기(10)의 터치스크린(11)을 통하여 표시자(15)의 민첩한 이동을 파악하기에는 어려움이 따르게 되므로, 표시자(15)의 이동 궤적 내지 방향성을 표시자(15)와 동반하여 표시함으로써 사용자 편의를 극대화할 수 있다.On the other hand, in the present invention, when the pointer 45 of the control-side computer 40 and the indicator 15 of the touch screen 11 of the controlled mobile communication terminal 10 linked thereto are moved at a relatively high speed, they are relatively narrow. Since it is difficult to grasp the agile movement of the indicator 15 through the touch screen 11 of the controlled mobile communication terminal 10, the movement trajectory or the directionality of the indicator 15 is determined by the indicator 15. The accompanying display can be maximized for user convenience.

피제어 이동통신단말기(10) 터치스크린(11)상의 표시자(15) 이동 궤적 내지 방향성 표시는 도 10에서와 같이, 표시자(15)와 함께 보조표시자(16)를 터치스크린(11)에 출력함으로써 달성될 수 있는데, 동 도면에 예시된 보조표시자(16)는 표시자(15)의 이동 궤적을 나타내는 것으로, 이러한 표시자(15) 이동 궤적 표시형 보조표시자(16) 출력 기능이 부여된 본 발명의 실시예는 도 11의 흐름도에서와 같은 과정으로 수행될 수 있다.The indicator 15 on the touch screen 11 of the controlled mobile communication terminal 10 moves to the directional display as shown in FIG. 10. The auxiliary indicator 16 is moved together with the indicator 15 on the touch screen 11. Auxiliary indicator 16 illustrated in the same figure shows the movement trajectory of the indicator 15, and such an indicator 15 movement trajectory display auxiliary indicator 16 output function. This granted embodiment of the present invention may be performed by the same process as in the flowchart of FIG.

도 11에서와 같이, 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되며 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되어 원격제어가 개시된 후, 포인팅디바이스로 조작되는 제어측 컴퓨터(40)의 화면상 포인터(45)가 표시영역(41)으로 진입되면 컴퓨터(40)의 원격제어프로그램이 포인터(45)의 좌표를 추출하여 피제어 이동통신단말기(10)로 전송하게 된다.As shown in FIG. 11, the remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted and the control side computer ( When the on-screen pointer 45 of the control-side computer 40 operated by the pointing device enters the display area 41 after being output to the display area 41 set on the screen of 40 and operated by the pointing device, the computer 40 The remote control program of) will extract the coordinates of the pointer 45 and transmit it to the controlled mobile communication terminal 10.

제어측 컴퓨터(40)로부터 전송된 좌표를 수신한 피제어 이동통신단말기(10)의 원격제어프로그램은 전송된 좌표를 이동통신단말기(10)의 기억장치에 저장하고, 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력함과 동시에, 해당 시점 직전의 좌표를 이동통신단말기(10)의 기억장치에서 인출하여 인출된 좌표에 대응되는 터치스크린(11) 화면상 지점에 보조표시자(16)를 출력하게 된다.The remote control program of the controlled mobile communication terminal 10 that receives the coordinates transmitted from the control side computer 40 stores the transmitted coordinates in the storage device of the mobile communication terminal 10 and touches the corresponding coordinates. On the screen of the touch screen 11 corresponding to the coordinates extracted by outputting the indicator 15 at a point on the screen 11 and extracting the coordinates immediately before the corresponding time point from the storage device of the mobile communication terminal 10. The auxiliary indicator 16 is output at the point.

즉, 본 발명의 원격제어가 진행되는 과정에서 피제어 이동통신단말기(10)의 터치스크린(11)에 표시자(15)를 출력함에 있어서, 표시자(15)가 출력되는 해당 시점 직전의 좌표를 활용하여, 도 10에서와 같이 표시자(15) 인근에 보조표시자(16)를 출력함으로써 피제어 이동통신단말기(10)의 사용자가 표시자(15)의 이동 상태를 일층 용이하고 정확하게 파악할 수 있도록 하는 것이다.That is, in outputting the indicator 15 on the touch screen 11 of the controlled mobile communication terminal 10 during the remote control of the present invention, the coordinates immediately before the corresponding time point at which the indicator 15 is outputted. 10, the user of the controlled mobile communication terminal 10 can more easily and accurately grasp the movement state of the indicator 15 by outputting the auxiliary indicator 16 near the indicator 15 as shown in FIG. 10. To make it possible.

이러한 궤적 표시형 보조표시자(16)는 도 10에서와 같이 직전 좌표 1개소에 단순한 점(spot) 형태의 보조표시자(16)를 출력하는 방식외에, 도 12의 우측 상단에서와 같이 표시자(15) 출력 시점 이전의 좌표를 다수 인출하여 각각의 좌표에 다수의 보조표시자(16)를 출력하는 방식 또는 동 도면의 우측 하단에서와 같이 표시자(15) 출력 시점 이전의 좌표를 다수 인출하여 각각의 좌표를 연결한 선분형태로 보조표시자(16)를 출력하는 방식 등 다양한 변형이 가능하다.Such a trajectory display auxiliary indicator 16 is an indicator as shown in the upper right of FIG. 12, in addition to a method of outputting a simple spot type auxiliary indicator 16 to one previous coordinate as shown in FIG. 10. (15) A method of outputting a plurality of auxiliary indicators 16 to each coordinate by drawing out a plurality of coordinates before the output point or a plurality of coordinates before the output point of the indicator 15 as shown in the lower right of the drawing. Various modifications are possible, such as a method of outputting the auxiliary indicator 16 in the form of a line connecting each coordinate.

한편, 전술한 궤적 표시형 보조표시자(16)에서와 같이 표시자(15)의 이동 궤적을 표시하는 것이 아니라, 표시자(15)의 이동 방향성만을 표시하는 방식의 방향성 표시형 보조표시자(16)를 통하여도 이동통신단말기(10) 사용자가 표시자(15)의 이동 상태를 파악할 수 있는데, 이러한 표시자(15) 이동 방향성 표시형 보조표시자(16) 출력 기능이 부여된 본 발명의 실시예는 도 13 또는 도 14의 흐름도에서와 같은 과정으로 수행될 수 있다.On the other hand, instead of displaying the movement trajectory of the indicator 15 as in the above-described trajectory display type auxiliary indicator 16, the directional display type auxiliary indicator of the method of displaying only the moving direction of the indicator 15 ( 16, the user of the mobile communication terminal 10 can also determine the moving state of the indicator 15, the indicator 15 of the present invention to which the output direction of the indicator indicator 16 is provided The embodiment may be performed by the same process as in the flowchart of FIG. 13 or FIG. 14.

이동통신단말기(10) 터치스크린(11)상 표시자(15) 및 컴퓨터(40) 화면상 포인터(45)의 이동 방향성은 해당 시점(時點)의 좌표와 직전 시점(時點)의 좌표를 각각 종점(終點)과 시점(始點)으로 하는 벡터(vector) 또는 이들 시, 종점을 연결하는 선분과 기 설정된 기준선간 각도 등의 형태로 수치화된 방향정보로 산출되는데, 도 13은 방향정보의 산출을 이동통신단말기(10)의 원격제어프로그램이 수행하는 실시예이고, 도 14는 방향정보의 산출을 컴퓨터(40)의 원격제어프로그램이 수행하는 실시예이다.The moving direction of the indicator 15 on the touch screen 11 of the mobile communication terminal 10 and the pointer 45 on the screen of the computer 40 is the end point of the coordinates of the corresponding time point and the coordinates of the immediately preceding time point, respectively. (I) and a view point (시점) or a vector (vector) or the direction information digitized in the form of a line segment connecting the time, the end point and a predetermined reference line, etc. are calculated, Figure 13 shows the calculation of the direction information The embodiment of the remote control program of the mobile communication terminal 10 is an embodiment, Figure 14 is an embodiment of the remote control program of the computer 40 to calculate the direction information.

도 13에서와 같이, 방향정보 산출을 이동통신단말기(10)의 원격제어프로그램이 담당하는 경우, 원격제어가 개시되어 컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 피제어 이동통신단말기(10)로 전송하면, 피제어 이동통신단말기(10)의 원격제어프로그램은 전송된 좌표를 일단 이동통신단말기(10)의 기억장치에 저장하고 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력하게 된다.As shown in FIG. 13, when the remote control program of the mobile communication terminal 10 is responsible for calculating the direction information, the control side computer 40 in which the remote control is started so that the remote control program of the computer 40 is operated by the pointing device. When the coordinates of the pointer 45 in the on-screen display area 41 are extracted and transmitted to the controlled mobile communication terminal 10, the remote control program of the controlled mobile communication terminal 10 once transmits the transmitted coordinates. The indicator 15 is output to a point on the screen of the touch screen 11 corresponding to the coordinates stored in the storage device 10 and transmitted.

또한 표시자(15)의 출력과 동시에 해당 시점 직전의 좌표를 이동통신단말기(10)의 기억장치에서 인출하여 전송된 좌표와 해당 시점 직전의 좌표를 기초로 표시자(15)의 방향정보를 산출하고, 산출된 방향정보에 대응되는 보조표시자(16)를 터치스크린(11)으로 출력하게 된다.In addition, at the same time as the output of the indicator 15, the coordinates immediately before the corresponding time point are extracted from the storage device of the mobile communication terminal 10, and the direction information of the indicator 15 is calculated based on the transmitted coordinates and the coordinates immediately before the corresponding time point. The auxiliary indicator 16 corresponding to the calculated direction information is output to the touch screen 11.

반면, 방향정보 산출을 컴퓨터(40)의 원격제어프로그램이 담당하는 경우에는 이동통신단말기(10)는 컴퓨터(40)로부터 전송된 방향정보에 따라 보조표시자(16)를 출력하게 된다.On the other hand, when the remote control program of the computer 40 is responsible for calculating the direction information, the mobile communication terminal 10 outputs the auxiliary indicator 16 according to the direction information transmitted from the computer 40.

즉, 도 14에서와 같이, 원격제어가 개시되면 컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 컴퓨터(40)의 기억장치에 저장하고, 해당 시점 직전의 좌표를 컴퓨터(40)의 기억장치에서 인출하여 포인터(45)의 방향정보를 산출하며, 추출된 포인터(45)의 좌표와 산출된 방향정보를 피제어 이동통신단말기(10)로 전송하게 된다.That is, as shown in FIG. 14, when the remote control is started, the coordinates of the pointer 45 in the display area 41 on the screen of the control-side computer 40 on which the remote control program of the computer 40 is operated by the pointing device are extracted. Stored in the storage device of the computer 40, the coordinates immediately before the corresponding time point are extracted from the storage device of the computer 40, and the direction information of the pointer 45 is calculated, and the coordinates and the calculated direction of the extracted pointer 45 are obtained. The information is transmitted to the controlled mobile communication terminal 10.

이후, 피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력함과 동시에 전송된 방향정보에 대응되는 보조표시자(16)를 터치스크린(11)으로 출력하게 되는 것이다.Subsequently, an auxiliary indicator corresponding to the transmitted direction information is outputted while the indicator 15 is output to a point on the screen of the touch screen 11 corresponding to the coordinates transmitted by the remote control program of the controlled mobile communication terminal 10. 16 is to be output to the touch screen (11).

한편, 도 15는 방향 표시형 보조표시자의 다양한 형태를 예시한 것으로, 동 도면의 우측 상단에서와 같이 표시자(15)와 보조표시자(16)를 완전히 분리하여 별도로 출력하거나, 동 도면의 우측 하단에서와 같이 표시자(15)와 보조표시자(16)를 병합하여 출력하는 등 다양한 변형이 가능한데, 표시자(15)와 보조표시자(16)를 병합하는 경우 단일 이미지로 구성되고 방향성을 표현할 수 있는 상이한 형태의 표시자(15)를 다수 설정하고, 방향정보에 따라 표시자(15)를 선택하여 출력하는 방식으로도 실시가 가능하다.On the other hand, Figure 15 illustrates a variety of forms of the direction indicator auxiliary indicator, as shown in the upper right of the figure, the indicator 15 and the auxiliary indicator 16 is completely separated and outputted separately, or the right side of the figure As shown in the bottom, various modifications are possible, such as merging and outputting the indicator 15 and the sub-marker 16. In the case of merging the indicator 15 and the sub-marker 16, the image is composed of a single image and directionality. It is also possible to set a plurality of different types of indicators 15 that can be expressed and to select and output the indicators 15 according to the direction information.

이상에서와 같은 본 발명을 통하여, 터치스크린(11)이 적용되는 피제어 이동통신단말기(10)의 사용자가 제어측 컴퓨터(40)의 원격제어 조작상태를 구체적이고 정확하게 파악할 수 있으며, 이로써 피제어 이동통신단말기(10) 사용자가 해당 조작과정을 용이하게 숙지할 수 있어 이동통신단말기(10)의 활용도를 제고하고, 원격제어의 제반 조작 상황에 대한 피제어측 사용자의 즉각적인 확인이 가능하므로 원격제어 과정에서 발생될 수 있는 이동통신단말기(10)내 개인정보의 유출을 방지하고 보안성을 향상시키는 등의 효과를 얻을 수 있다.
Through the present invention as described above, the user of the controlled mobile communication terminal 10 to which the touch screen 11 is applied can determine the remote control operation state of the control-side computer 40 in detail and accurately, thereby controlling The mobile communication terminal 10 allows the user to easily understand the corresponding operation process, thereby improving the utilization of the mobile communication terminal 10, and enabling immediate confirmation of the controlled user about the overall operating situation of the remote control. It is possible to obtain an effect of preventing the leakage of personal information in the mobile communication terminal 10 that may occur in the process and improving security.

10 : 이동통신단말기
11 : 터치스크린
15 : 표시자
16 : 보조표시자
20 : 무선망
21 : 이동통신망
22 : 무선랜
31 : 게이트웨이서버
32 : 통신사서버
40 : 컴퓨터
41 : 표시영역
45 : 포인터10: Mobile communication terminal
11: Touch screen
15: indicator
16: auxiliary indicator
20: Wireless network
21: Mobile communication network
22: Wireless LAN
31: gateway server
32: communication company server
40: Computer
41: display area
45: pointer

Claims (6)

삭제delete 이동통신망(21)의 이동국(移動局)으로서 터치스크린(touchscreen)(11)이 입출력 수단으로 채용된 이동통신단말기(10)를 인터넷 및 무선망(20)과 연결되고 포인팅디바이스(pointing device)가 입력수단으로 채용된 컴퓨터(40)가 원격제어하되, 원격제어 중 제어측 컴퓨터(40) 화면상의 포인터(45) 이동 상태를 피제어 이동통신단말기(10)의 터치스크린(11)에 표시하는 방법에 있어서,
상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와;
컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표 및 버튼조작값을 추출하여 피제어 이동통신단말기(10)로 전송하는 단계와;
피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 버튼조작값에 따라 형태가 설정된 표시자(15)를 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법.
As a mobile station of the mobile communication network 21, a mobile communication terminal 10 employing a touch screen 11 as an input / output means is connected to the Internet and a wireless network 20, and a pointing device is connected. The computer 40 employed as an input means remotely controls, and displays the movement state of the pointer 45 on the screen of the control-side computer 40 on the touch screen 11 of the controlled mobile communication terminal 10 during the remote control. To
The remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed respectively, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the screen of the control-side computer 40. Outputting to the set display area 41;
The remote control program of the computer 40 extracts the coordinates and button operation values of the pointer 45 in the display area 41 on the screen of the control side computer 40 operated by the pointing device to the controlled mobile communication terminal 10. Transmitting;
Characterized in that the remote control program of the controlled mobile communication terminal 10 outputs an indicator 15 whose shape is set according to a button operation value to a point on the screen of the touch screen 11 corresponding to the transmitted coordinates. Remote control operation status display method of the touch screen mobile communication terminal.
삭제delete 이동통신망(21)의 이동국(移動局)으로서 터치스크린(touchscreen)(11)이 입출력 수단으로 채용된 이동통신단말기(10)를 인터넷 및 무선망(20)과 연결되고 포인팅디바이스(pointing device)가 입력수단으로 채용된 컴퓨터(40)가 원격제어하되, 원격제어 중 제어측 컴퓨터(40) 화면상의 포인터(45) 이동 상태를 피제어 이동통신단말기(10)의 터치스크린(11)에 표시하는 방법에 있어서,
상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와;
컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 피제어 이동통신단말기(10)로 전송하는 단계와;
피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표를 이동통신단말기(10)의 기억장치에 저장하고 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력함과 동시에 해당 시점 직전의 좌표를 이동통신단말기(10)의 기억장치에서 인출하여 인출된 좌표에 대응되는 터치스크린(11) 화면상 지점에 보조표시자(16)를 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법.
As a mobile station of the mobile communication network 21, a mobile communication terminal 10 employing a touch screen 11 as an input / output means is connected to the Internet and a wireless network 20, and a pointing device is connected. The computer 40 employed as an input means remotely controls, and displays the movement state of the pointer 45 on the screen of the control-side computer 40 on the touch screen 11 of the controlled mobile communication terminal 10 during the remote control. To
The remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed respectively, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the screen of the control-side computer 40. Outputting to the set display area 41;
The remote control program of the computer 40 extracts the coordinates of the pointer 45 in the display area 41 on the screen of the control side computer 40 operated by the pointing device, and transmits the coordinates to the controlled mobile communication terminal 10. ;
The coordinates transmitted by the remote control program of the controlled mobile communication terminal 10 are stored in the storage device of the mobile communication terminal 10, and the indicator 15 is placed at a point on the screen of the touch screen 11 corresponding to the transmitted coordinates. And outputting the coordinates immediately before the corresponding time point from the storage device of the mobile communication terminal 10 and outputting the auxiliary indicator 16 to a point on the screen of the touch screen 11 corresponding to the extracted coordinates. Remote control operation status display method of the touch screen mobile communication terminal characterized in that.
이동통신망(21)의 이동국(移動局)으로서 터치스크린(touchscreen)(11)이 입출력 수단으로 채용된 이동통신단말기(10)를 인터넷 및 무선망(20)과 연결되고 포인팅디바이스(pointing device)가 입력수단으로 채용된 컴퓨터(40)가 원격제어하되, 원격제어 중 제어측 컴퓨터(40) 화면상의 포인터(45) 이동 상태를 피제어 이동통신단말기(10)의 터치스크린(11)에 표시하는 방법에 있어서,
상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와;
컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 피제어 이동통신단말기(10)로 전송하는 단계와;
피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표를 이동통신단말기(10)의 기억장치에 저장하고 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력함과 동시에 해당 시점 직전의 좌표를 이동통신단말기(10)의 기억장치에서 인출하여 표시자(15)의 방향정보를 산출하고 산출된 방향정보에 대응되는 보조표시자(16)를 터치스크린(11)으로 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법.
As a mobile station of the mobile communication network 21, a mobile communication terminal 10 employing a touch screen 11 as an input / output means is connected to the Internet and a wireless network 20, and a pointing device is connected. The computer 40 employed as an input means remotely controls, and displays the movement state of the pointer 45 on the screen of the control-side computer 40 on the touch screen 11 of the controlled mobile communication terminal 10 during the remote control. To
The remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed respectively, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the screen of the control-side computer 40. Outputting to the set display area 41;
The remote control program of the computer 40 extracts the coordinates of the pointer 45 in the display area 41 on the screen of the control side computer 40 operated by the pointing device, and transmits the coordinates to the controlled mobile communication terminal 10. ;
The coordinates transmitted by the remote control program of the controlled mobile communication terminal 10 are stored in the storage device of the mobile communication terminal 10, and the indicator 15 is placed at a point on the screen of the touch screen 11 corresponding to the transmitted coordinates. At the same time, the coordinates immediately before the corresponding time point are extracted from the storage device of the mobile communication terminal 10 to calculate the direction information of the indicator 15, and the auxiliary indicator 16 corresponding to the calculated direction information is touched on the touch screen ( 11) remote control operation status display method of the touch screen mobile terminal, characterized in that the step of outputting.
이동통신망(21)의 이동국(移動局)으로서 터치스크린(touchscreen)(11)이 입출력 수단으로 채용된 이동통신단말기(10)를 인터넷 및 무선망(20)과 연결되고 포인팅디바이스(pointing device)가 입력수단으로 채용된 컴퓨터(40)가 원격제어하되, 원격제어 중 제어측 컴퓨터(40) 화면상의 포인터(45) 이동 상태를 피제어 이동통신단말기(10)의 터치스크린(11)에 표시하는 방법에 있어서,
상기 이동통신단말기(10) 및 컴퓨터(40)에 각각 탑재된 원격제어프로그램이 실행되고 피제어 이동통신단말기(10)의 터치스크린(11) 화면정보가 전송되어 제어측 컴퓨터(40)의 화면상 설정된 표시영역(41)에 출력되는 단계와;
컴퓨터(40)의 원격제어프로그램이 포인팅디바이스로 조작되는 제어측 컴퓨터(40) 화면상 표시영역(41)내 포인터(45)의 좌표를 추출하여 컴퓨터(40)의 기억장치에 저장하고 해당 시점 직전의 좌표를 컴퓨터(40)의 기억장치에서 인출하여 포인터(45)의 방향정보를 산출하며, 추출된 포인터(45)의 좌표와 산출된 방향정보를 피제어 이동통신단말기(10)로 전송하는 단계와;
피제어 이동통신단말기(10)의 원격제어프로그램이 전송된 좌표에 해당하는 터치스크린(11) 화면상 지점에 표시자(15)를 출력함과 동시에 전송된 방향정보에 대응되는 보조표시자(16)를 터치스크린(11)으로 출력하는 단계로 이루어짐을 특징으로 하는 터치스크린 이동통신단말기의 원격제어 조작상태 표시방법.As a mobile station of the mobile communication network 21, a mobile communication terminal 10 employing a touch screen 11 as an input / output means is connected to the Internet and a wireless network 20, and a pointing device is connected. The computer 40 employed as an input means remotely controls, and displays the movement state of the pointer 45 on the screen of the control-side computer 40 on the touch screen 11 of the controlled mobile communication terminal 10 during the remote control. To
The remote control programs mounted on the mobile communication terminal 10 and the computer 40 are executed respectively, and the screen information of the touch screen 11 of the controlled mobile communication terminal 10 is transmitted to the screen of the control-side computer 40. Outputting to the set display area 41;
The remote control program of the computer 40 extracts the coordinates of the pointer 45 in the display area 41 on the screen of the control side computer 40 operated by the pointing device, stores them in the storage device of the computer 40, and immediately before the corresponding time point. Extracting the coordinates of the pointer from the storage device of the computer 40 to calculate the direction information of the pointer 45, and transmitting the coordinates of the extracted pointer 45 and the calculated direction information to the controlled mobile communication terminal 10. Wow;
The auxiliary indicator 16 corresponding to the transmitted direction information while outputting the indicator 15 at a point on the screen of the touch screen 11 corresponding to the coordinates transmitted by the remote control program of the controlled mobile communication terminal 10. ) Remote control operation status display method of the touch screen mobile communication terminal, characterized in that the step of outputting to the touch screen (11).
KR1020120104484A 2012-09-20 2012-09-20 Operating state display method of remote control for touchscreen mobile telephone KR101245624B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120104484A KR101245624B1 (en) 2012-09-20 2012-09-20 Operating state display method of remote control for touchscreen mobile telephone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120104484A KR101245624B1 (en) 2012-09-20 2012-09-20 Operating state display method of remote control for touchscreen mobile telephone

Publications (1)

Publication Number Publication Date
KR101245624B1 true KR101245624B1 (en) 2013-04-17

Family

ID=48441820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120104484A KR101245624B1 (en) 2012-09-20 2012-09-20 Operating state display method of remote control for touchscreen mobile telephone

Country Status (1)

Country Link
KR (1) KR101245624B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531254B1 (en) * 2013-12-06 2015-06-24 알서포트 주식회사 User interface method of remote control for touchscreen mobile telephone
KR20190029107A (en) * 2017-09-12 2019-03-20 이동륜 remote controller for complex macro function
CN113885756A (en) * 2021-10-21 2022-01-04 深圳市快易典教育科技有限公司 Desktop icon adjusting method, system, device and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040108028A (en) * 2003-06-16 2004-12-23 엘지전자 주식회사 Remote login method for mobile communication terminal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040108028A (en) * 2003-06-16 2004-12-23 엘지전자 주식회사 Remote login method for mobile communication terminal

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531254B1 (en) * 2013-12-06 2015-06-24 알서포트 주식회사 User interface method of remote control for touchscreen mobile telephone
KR20190029107A (en) * 2017-09-12 2019-03-20 이동륜 remote controller for complex macro function
KR102055181B1 (en) * 2017-09-12 2019-12-12 이동륜 remote controller for complex macro function
CN113885756A (en) * 2021-10-21 2022-01-04 深圳市快易典教育科技有限公司 Desktop icon adjusting method, system, device and storage medium

Similar Documents

Publication Publication Date Title
CN108159697B (en) Virtual object transmission method and device, storage medium and electronic equipment
EP2859429B1 (en) Remote session control using multi-touch inputs
CN103914260B (en) Control method and device for operation object based on touch screen
US20090102809A1 (en) Coordinate Detecting Device and Operation Method Using a Touch Panel
EP2787683A1 (en) Apparatus and method for providing private chat in group chat
EP3232305A1 (en) Method, apparatus and device for moving icon, and non-volatile computer storage medium
KR101626461B1 (en) Method for providing UI and display apparatus applying the same
CN103577079B (en) The method interacted with the application and electronic equipment are realized in electronic equipment
US9465470B2 (en) Controlling primary and secondary displays from a single touchscreen
EP2680532B1 (en) Method, device and computer program product for providing electronic technical support to a user using a remote desktop
WO2014079289A1 (en) Method, device, and terminal for touch positioning
CN103092508A (en) Touch interface implementation method and device
US20150248213A1 (en) Method to enable hard keys of a device from the screen
CN102880328B (en) The defining method of click on area and device in a kind of touch-screen
CN105934739A (en) Virtual mouse for a touch screen device
KR101245624B1 (en) Operating state display method of remote control for touchscreen mobile telephone
EP2672722A1 (en) Display apparatus, user terminal for controlling display apparatus and controlling method thereof
Watanabe et al. Remote touch pointing for smart TV interaction
CN109885236B (en) Method for realizing interactive operation with remote system desktop based on mobile equipment
CN104881231A (en) Touch Gesture For Connection Of Streams In A Flowsheet Simulator
CN103021083B (en) The method that atm device is withdrawn the money by drag and drop figure and graphical interfaces
CN102096551A (en) Method and device for implementing multi-pointer device operation in same work window
CN105278840A (en) Method and device for controlling operation object
CN108124064A (en) The key response method and mobile terminal of a kind of mobile terminal
CN105468273A (en) Method and apparatus used for carrying out control operation on device touch screen

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170111

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180202

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200114

Year of fee payment: 8