KR20170032445A - 단말기, 서버, 및 단말기 제어 방법 - Google Patents

단말기, 서버, 및 단말기 제어 방법 Download PDF

Info

Publication number
KR20170032445A
KR20170032445A KR1020177004664A KR20177004664A KR20170032445A KR 20170032445 A KR20170032445 A KR 20170032445A KR 1020177004664 A KR1020177004664 A KR 1020177004664A KR 20177004664 A KR20177004664 A KR 20177004664A KR 20170032445 A KR20170032445 A KR 20170032445A
Authority
KR
South Korea
Prior art keywords
control
terminal
information
controlled terminal
channel
Prior art date
Application number
KR1020177004664A
Other languages
English (en)
Other versions
KR101842559B1 (ko
Inventor
하오 지
데펭 부
시안준 져우
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170032445A publication Critical patent/KR20170032445A/ko
Application granted granted Critical
Publication of KR101842559B1 publication Critical patent/KR101842559B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/04—Key management, e.g. using generic bootstrapping architecture [GBA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/54—Organization of routing tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0453—Resources in frequency domain, e.g. a carrier in FDMA
    • H04W76/023—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W92/00—Interfaces specially adapted for wireless communication networks
    • H04W92/16—Interfaces between hierarchically similar devices
    • H04W92/18—Interfaces between hierarchically similar devices between terminal devices

Abstract

본 발명은 모바일 단말기 분야에 관한 것으로, 단말기, 서버, 및 단말기 제어 방법을 개시한다. 단말기는 제1 채널 구축 모듈, 이미지 데이터 수신 모듈, 디스플레이 모듈, 조작 정보 생성 모듈, 및 조작 정보 송신 모듈을 포함한다. 본 발명에서는, 피제어 단말기로의 제어 채널 및 데이터 채널이 구축되고, 피제어 단말기에 의해 송신되는 스크린 이미지 데이터가 데이터 채널을 이용하여 수신되며, 피제어 단말기의 스크린샷이 스크린 이미지 데이터에 따라 표시되고, 대응하는 조작 정보가 스크린샷에 기반한 조작에 따라 생성되고 피제어 단말기에 제어 채널을 이용하여 송신됨으로써, 피제어 단말기가 조작 정보에 따라 대응하는 조작을 수행한다. 이런 방식으로, 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제가 해결되며, 이로써 제어 효과 및 사용자 경험을 향상시키는 목적을 달성할 수 있다.

Description

단말기, 서버, 및 단말기 제어 방법{TERMINAL, SERVER, AND TERMINAL CONTROL METHOD}
본 발명은 모바일 단말기 분야에 관한 것으로, 상세하게는 단말기, 서버, 및 단말기 제어 방법에 관한 것이다.
전자 및 통신 기술의 급속한 발전으로 인해, 모바일 단말기의 통신 및 처리 능력도 또한 강화되고 있으며, 모바일 단말기 간의 원격 제어 기반 애플리케이션도 또한 빠르게 개발되고 있다.
기존 모바일 단말기 간의 원격 제어에서는, 제어 단말기와 피제어 단말기 간에 연결이 먼저 구축되고, 피제어 단말기가 이 연결을 이용하여 스크린 데이터를 제어 단말기에 송신하며, 제어 단말기가 스크린 데이터에 따라 제어 단말기의 스크린 상에 피제어 단말기의 스크린샷을 디스플레이하고, 사용자가 피제어 단말기의 스크린샷에 대해 터치와 같은 조작을 제어 단말기의 스크린 상에서 수행하며, 제어 단말기가 수신된 조작 정보를 피제어 단말기에 연결을 이용하여 송신하고, 피제어 단말기가 조작 정보에 따라 대응하는 조작을 수행함으로써, 원격 제어의 목적을 달성하고 있다.
본 발명을 구현하는 프로세스에서, 본 발명자는 종래 기술이 적어도 다음의 문제가 있음을 발견하였다:
제어 단말기와 피제어 단말기 간에 스크린 데이터 및 조작 정보가 동일한 연결을 이용하여 교환되고, 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재한다. 따라서, 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없어서, 제어 효과 및 사용자 경험에 영향을 미치고 있다.
전송 로직과 전송 시간에 있어서 스크린 데이터 및 조작 정보 간에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 종래 기술에서의 문제점을 해결하기 위해, 본 발명의 실시예는 단말기, 서버, 및 단말기 제어 방법을 제공한다. 이러한 과제 해결수단은 다음과 같다:
제1 양태에 따라, 제어 단말기가 제공된다. 상기 제어 단말기는,
피제어 단말기로의 제어 채널 및 데이터 채널을 구축하도록 구성된 제1 채널 구축 모듈;
상기 데이터 채널을 이용하여 상기 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신하도록 구성된 이미지 데이터 수신 모듈 - 상기 스크린 이미지 데이터는 상기 피제어 단말기의 스크린샷을 나타내기 위해 사용됨 -;
상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 표시하도록 구성된 디스플레이 모듈;
상기 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하도록 구성된 조작 정보 생성 모듈; 및
상기 피제어 단말기가 상기 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 상기 제어 채널을 이용하여 상기 조작 정보를 상기 피제어 단말기에 송신하도록 구성된 조작 정보 송신 모듈을 포함한다.
제1 양태의 제1 가능한 구현 방식에서, 상기 제1 채널 구축 모듈은,
서버를 이용하여 상기 피제어 단말기로의 상기 제어 채널을 구축하도록 구성된 제1 채널 구축 서브모듈; 및
상기 서버 및 상기 제어 채널을 이용하여 상기 피제어 단말기로의 상기 데이터 채널을 구축하도록 구성된 제2 채널 구축 서브모듈을 포함한다.
제1 양태의 제1 가능한 구현 방식을 참조하여, 제1 양태의 제2 가능한 구현 방식에서, 상기 제2 채널 구축 서브모듈은,
상기 서버로부터 상기 제어 단말기의 주소 정보를 획득하도록 구성된 제1 주소 획득 유닛 - 여기서, 상기 주소 정보는 로컬 주소, 네트워크 주소 변환(network address translation)의 매핑 주소, 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소(relay address of traversal using relays around network address translation)를 포함하고 있음 -;
상기 서버 또는 상기 피제어 단말기로부터 상기 피제어 단말기의 주소 정보를 획득하도록 구성된 제2 주소 획득 유닛;
상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성된 제1 경로 결정 유닛; 및
상기 연결 경로에 따라 상기 데이터 채널을 구축하도록 구성된 제1 구축 유닛을 포함한다.
제1 양태, 제1 양태의 제1 가능한 구현 방식, 또는 제1 양태의 제2 가능한 구현 방식을 참조하여, 제1 양태의 제3 가능한 구현 방식에서, 상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고, 상기 조작 정보 생성 모듈은,
상기 조작 정보가 터치 정보인 경우, 상기 조작에 대응하는 터치 이벤트를 모니터링하도록 구성된 모니터링 서브모듈;
상기 터치 이벤트에 따라 상기 조작 정보를 생성하도록 구성된 제1 생성 서브모듈;
상기 조작 정보가 버튼 정보인 경우, 상기 조작에 대응하는 버튼 타입을 결정하도록 구성된 제1 버튼 타입 결정 서브모듈;
상기 버튼 타입에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하도록 구성된 제2 생성 서브모듈;
상기 조작 정보가 음성 정보인 경우, 상기 조작에 대응하는 음성으로부터 텍스트를 인식하도록 구성된 음성 인식 서브모듈; 및
상기 텍스트에 포함된 제어 명령을 회수하고, 상기 제어 명령에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하도록 구성된 제2 생성 서브모듈을 포함한다.
제1 양태의 제3 가능한 구현 방식을 참조하여, 제1 양태의 제4 가능한 구현 방식에서, 상기 제1 생성 서브모듈은 제1 생성 유닛 또는 제2 생성 유닛을 포함하고,
상기 제1 생성 유닛은 상기 터치 이벤트를 바이트 스트림으로 직렬화(serialize)하고, 상기 바이트 스트림을 포함하는 상기 조작 정보를 생성하도록 구성되며;
상기 제2 생성 유닛은 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보를 지정된 포맷의 파일로 인코딩하며, 상기 지정된 포맷의 파일을 포함하는 상기 조작 정보를 생성하도록 구성된다. 여기서, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
제1 양태의 제3 가능한 구현 방식을 참조하여, 제1 양태의 제4 가능한 구현 방식에서, 상기 제1 경로 결정 유닛은,
상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 주소 쌍으로 결합하도록 구성된 결합 서브유닛;
상기 주소 쌍에 대해 연결성 테스트(connectivity test)를 수행하도록 구성된 테스트 서브유닛; 및
상기 연결성 테스트의 결과에 따라 상기 연결 경로를 결정하도록 구성된 구축 서브유닛을 포함한다.
제2 양태에 따라, 제어 단말기가 제공된다. 상기 제어 단말기는 버스, 및 상기 버스에 연결된 프로세서, 메모리, 송신기, 및 수신기를 포함하고, 상기 메모리는 복수의 명령을 저장하도록 구성되고 - 상기 복수의 명령은 상기 프로세서에 의해 실행되도록 구성되어 있음 -;
상기 프로세서는 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
상기 수신기는 상기 데이터 채널을 이용하여 상기 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신하도록 구성되고 - 여기서, 상기 스크린 이미지 데이터는 상기 피제어 단말기의 스크린샷을 나타내기 위해 사용됨 -;
상기 프로세서는 상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 디스플레이 장치 상에 표시하고, 상기 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하도록 구성되며;
상기 피제어 단말기가 상기 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 상기 프로세서는 상기 제어 채널을 이용하여 상기 조작 정보를 상기 피제어 단말기에 송신하기 위해 상기 송신기를 제어하도록 구성된다.
제2 양태의 제1 가능한 구현 방식에서, 상기 프로세서는, 서버를 이용하여 상기 피제어 단말기로의 상기 제어 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
상기 프로세서는, 상기 서버 및 상기 제어 채널을 이용하여 상기 피제어 단말기로의 상기 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성된다.
제2 양태의 제1 가능한 구현 방식을 참조하여, 제2 양태의 제2 가능한 구현 방식에서, 상기 프로세서는 상기 서버로부터 상기 제어 단말기의 주소 정보를 획득하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되고 - 여기서, 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
상기 프로세서는 상기 서버 또는 상기 피제어 단말기로부터 상기 피제어 단말기의 주소 정보를 획득하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성되고;
상기 프로세서는 상기 연결 경로에 따라 상기 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성된다.
제2 양태, 제2 양태의 제1 가능한 구현 방식, 또는 제2 양태의 제2 가능한 구현 방식을 참조하여, 제2 양태의 제3 가능한 구현 방식에서, 상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고;
상기 프로세서는, 상기 조작 정보가 터치 정보인 경우, 상기 조작에 대응하는 터치 이벤트를 모니터링하고, 상기 터치 이벤트에 따라 상기 조작 정보를 생성하도록 구성되고;
상기 프로세서는, 상기 조작 정보가 버튼 정보인 경우, 상기 조작에 대응하는 버튼 타입을 결정하고, 상기 버튼 타입에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하도록 구성되며;
상기 프로세서는, 상기 조작 정보가 음성 정보인 경우, 상기 조작에 대응하는 음성으로부터 텍스트를 인식하고, 상기 텍스트에 포함된 제어 명령을 회수하며, 상기 제어 명령에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하도록 구성된다.
제2 양태의 제3 가능한 구현 방식을 참조하여, 제2 양태의 제4 가능한 구현 방식에서, 상기 프로세서는 상기 터치 이벤트를 바이트 스트림으로 직렬화하고, 상기 바이트 스트림을 포함하는 상기 조작 정보를 생성하도록 구성되거나;
또는
상기 프로세서는 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보를 지정된 포맷의 파일로 인코딩하며, 상기 지정된 포맷의 파일을 포함하는 상기 조작 정보를 생성하도록 구성된다. 여기서, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
제2 양태의 제2 가능한 구현 방식을 참조하여, 제2 양태의 제5 가능한 구현 방식에서, 상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 주소 쌍으로 결합하고, 상기 주소 쌍에 대해 연결성 테스트를 수행하며, 상기 연결성 테스트의 결과에 따라 상기 연결 경로를 결정하도록 구성된다.
제3 양태에 따라, 피제어 단말기가 제공된다. 상기 피제어 단말기는,
제어 단말기로의 제어 채널 및 데이터 채널을 구축하도록 구성된 제2 채널 구축 모듈;
상기 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하도록 구성된 이미지 데이터 획득 모듈;
상기 제어 단말기가 상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 표시할 수 있도록, 상기 데이터 채널을 이용하여 상기 스크린 이미지 데이터를 상기 제어 단말기에 송신하도록 구성된 이미지 데이터 송신 모듈;
상기 제어 채널을 이용하여 상기 제어 단말기에 의해 송신되는 조작 정보를 수신하도록 구성된 조작 정보 수신 모듈 - 상기 조작 정보는 상기 스크린샷에 기반한 조작에 따라 상기 제어 단말기에 의해 생성된 정보임 -; 및
상기 조작 정보에 따라 대응하는 제어 조작을 수행하도록 구성된 수행 모듈을 포함한다.
제3 양태의 제1 가능한 구현 방식에서, 상기 제2 채널 구축 모듈은,
서버를 이용하여 상기 제어 단말기로의 상기 제어 채널을 구축하도록 구성된 제3 채널 구축 서브모듈; 및
상기 서버 및 상기 제어 채널을 이용하여 상기 제어 단말기로의 상기 데이터 채널을 구축하도록 구성된 제4 채널 구축 서브모듈을 포함한다.
제3 양태의 제1 가능한 구현 방식을 참조하여, 제3 양태의 제2 가능한 구현 방식에서, 상기 제4 채널 구축 서브모듈은,
상기 서버로부터 상기 피제어 단말기의 주소 정보를 획득하도록 구성된 제3 주소 획득 유닛 - 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
상기 서버 또는 상기 제어 단말기로부터 상기 제어 단말기의 주소 정보를 획득하도록 구성된 제4 주소 획득 유닛;
상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성된 제2 경로 결정 유닛; 및
상기 연결 경로에 따라 상기 데이터 채널을 구축하도록 구성된 제2 구축 유닛을 포함한다.
제3 양태, 제3 양태의 제1 가능한 구현 방식, 또는 제3 양태의 제2 가능한 구현 방식을 참조하여, 제3 양태의 제3 가능한 구현 방식에서, 상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고, 상기 수행 모듈은,
상기 조작 정보가 터치 정보인 경우, 터치 조작에 대응하는 터치 이벤트를 상기 제어 정보에 따라 복원하도록 구성된 이벤트 복원 서브모듈;
상기 터치 이벤트에 따라 상기 제어 조작을 수행하도록 구성된 제1 수행 서브모듈;
상기 조작 정보가 버튼 정보인 경우, 버튼 조작에 대응하는 버튼 타입을 상기 조작 정보에 포함된 식별자에 따라 결정하도록 구성된 제2 버튼 타입 결정 서브모듈;
상기 버튼 타입에 따라 상기 제어 조작을 수행하도록 구성된 제2 수행 서브모듈;
상기 조작 정보가 음성 정보인 경우, 음성 조작에 대응하는 제어 명령을 상기 조작 정보에 포함된 식별자에 따라 결정하도록 구성된 명령 결정 서브모듈; 및
상기 제어 명령에 따라 상기 제어 조작을 수행하도록 구성된 제3 수행 서브모듈을 포함한다.
제3 양태의 제3 가능한 구현 방식을 참조하여, 제3 양태의 제4 가능한 구현 방식에서, 상기 이벤트 복원 서브모듈은 제1 복원 유닛 또는 제2 복원 유닛을 포함하고,
상기 제1 복원 유닛은 상기 터치 이벤트를 복원하기 위해 상기 조작 정보에 포함된 바이트 스트림을 역직렬화(deserialize)하도록 구성되며;
제1 복원 유닛은 상기 조작 정보에 포함된 지정된 포맷의 파일로부터 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보에 따라 상기 터치 이벤트를 복원하도록 구성된다. 여기서, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
제4 양태에 따라, 피제어 단말기가 제공된다. 상기 피제어 단말기는 버스, 및 상기 버스에 연결된 프로세서, 메모리, 송신기, 및 수신기를 포함하고, 상기 메모리는 복수의 명령을 저장하도록 구성되고 - 상기 복수의 명령은 상기 프로세서에 의해 실행되도록 구성되어 있음 -;
상기 프로세서는 제어 단말기로의 제어 채널 및 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
상기 프로세서는 상기 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하도록 구성되고;
상기 제어 단말기가 상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 표시할 수 있도록, 상기 프로세서는 상기 데이터 채널을 이용하여 상기 스크린 이미지 데이터를 상기 제어 단말기에 송신하기 위해 상기 송신기를 제어하도록 구성되며;
상기 수신기는 상기 제어 채널을 이용하여 상기 제어 단말기에 의해 송신되는 조작 정보를 수신하도록 구성되고 - 여기서, 상기 조작 정보는 상기 스크린샷에 기반한 조작에 따라 상기 제어 단말기에 의해 생성된 정보임 -;
상기 프로세서는 상기 조작 정보에 따라 대응하는 제어 조작을 수행하도록 구성된다.
제4 양태의 제1 가능한 구현 방식에서,
상기 프로세서는 서버를 이용하여 상기 제어 단말기로의 상기 제어 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되고;
상기 프로세서는 상기 서버 및 상기 제어 채널을 이용하여 상기 제어 단말기로의 상기 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성된다.
제4 양태의 제1 가능한 구현 방식을 참조하여, 제4 양태의 제2 가능한 구현 방식에서, 상기 프로세서는 상기 서버로부터 상기 피제어 단말기의 주소 정보를 획득하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되고 - 여기서, 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
상기 프로세서는 상기 서버 또는 상기 제어 단말기로부터 상기 제어 단말기의 주소 정보를 획득하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성되고;
상기 프로세서는 상기 연결 경로에 따라 상기 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성된다.
제4 양태, 제4 양태의 제1 가능한 구현 방식, 또는 제4 양태의 제2 가능한 구현 방식을 참조하여, 제4 양태의 제3 가능한 구현 방식에서, 상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고;
상기 프로세서는, 상기 조작 정보가 터치 정보인 경우, 터치 조작에 대응하는 터치 이벤트를 상기 제어 정보에 따라 복원하고, 상기 터치 이벤트에 따라 상기 제어 조작을 수행하도록 구성되고;
상기 프로세서는, 상기 조작 정보가 버튼 정보인 경우, 버튼 조작에 대응하는 버튼 타입을 상기 조작 정보에 포함된 식별자에 따라 결정하고, 상기 버튼 타입에 따라 상기 제어 조작을 수행하도록 구성되며;
상기 프로세서는, 상기 조작 정보가 음성 정보인 경우, 음성 조작에 대응하는 제어 명령을 상기 조작 정보에 포함된 식별자에 따라 결정하고, 상기 제어 명령에 따라 상기 제어 조작을 수행하도록 구성된다.
제4 양태의 제3 가능한 구현 방식을 참조하여, 제4 양태의 제4 가능한 구현 방식에서, 상기 프로세서는 상기 터치 이벤트를 복원하기 위해 상기 조작 정보에 포함된 바이트 스트림을 역직렬화하도록 구성되거나;
또는
상기 프로세서는 상기 조작 정보에 포함된 지정된 포맷의 파일로부터 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보에 따라 상기 터치 이벤트를 복원하도록 구성된다. 여기서, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
제5 양태에 따라, 서버가 제공된다. 상기 서버는,
제어 단말기와 피제어 단말기 간에 제어 채널을 구축하도록 구성된 제어 채널 구축 모듈;
상기 제어 단말기 및 상기 피제어 단말기가 상기 제어 채널을 이용하여 주소 정보를 교환한 후에, 상기 제어 단말기 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보를 상기 제어 단말기에 제공하고, 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하도록 구성된 제1 주소 제공 모듈;
상기 제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 제어 단말기에 제공하도록 구성된 제2 주소 제공 모듈; 및
상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하도록 구성된 제3 주소 제공 모듈을 포함한다.
제5 양태의 제1 가능한 구현 방식에서, 상기 제어 채널 구축 모듈은,
상기 제어 단말기가 상기 서버에 연결된 후에, 상기 제어 단말기에 의해 송신되는 제어 채널 구축 요청을 수신하도록 구성된 요청 수신 서브모듈;
상기 피제어 단말기가 상기 서버에 이미 연결되어 있는지 여부를 판정하도록 구성된 판정 서브모듈; 및
상기 판정 서브모듈의 판정 결과가 상기 피제어 단말기가 상기 서버에 이미 연결되어 있는 것이면, 상기 제어 단말기와 상기 피제어 단말기 간에 상기 제어 채널을 구축하도록 구성된 채널 구축 서브모듈을 포함한다.
제5 양태의 제1 가능한 구현 방식을 참조하여, 제5 양태의 제2 가능한 구현 방식에서, 상기 제어 채널 구축 모듈은,
상기 판정 서브모듈의 판정 결과가 상기 피제어 단말기가 상기 서버에 연결되어 있지 않은 것이면, 연결 통지를 상기 피제어 단말기에 송신하도록 구성된 통지 서브모듈을 더 포함한다. 여기서, 상기 연결 통지는 상기 피제어 단말기를 상기 서버에 연결하도록 지시하기 위해 사용된다.
제6 양태에 따라, 서버가 제공된다. 상기 서버는 버스, 및 상기 버스에 연결된 프로세서, 메모리, 송신기, 및 수신기를 포함하고, 상기 메모리는 복수의 명령을 저장하도록 구성되고 - 상기 복수의 명령은 상기 프로세서에 의해 실행되도록 구성되어 있음 -;
상기 프로세서는 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되고;
상기 제어 단말기 및 상기 피제어 단말기가 상기 제어 채널을 이용하여 주소 정보를 교환한 후에, 상기 제어 단말기 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 프로세서는, 상기 제어 단말기의 주소 정보를 상기 제어 단말기에 제공하고 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하기 위해, 상기 수신기 및 상기 송신기를 제어하도록 구성되거나; 또는 상기 제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 제어 단말기에 제공하도록 구성되거나; 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하도록 구성된다.
제6 양태의 제1 가능한 구현 방식에서, 상기 수신기는, 상기 제어 단말기가 상기 서버에 연결된 후에, 상기 제어 단말기에 의해 송신되는 제어 채널 구축 요청을 수신하도록 구성되고;
상기 프로세서는 상기 피제어 단말기가 상기 서버에 이미 연결되어 있는지 여부를 판정하고, 판정 결과가 상기 피제어 단말기가 상기 서버에 이미 연결되어 있는 것이면 상기 제어 단말기와 상기 피제어 단말기 간에 상기 제어 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성된다.
제6 양태의 제1 가능한 구현 방식을 참조하여, 제6 양태의 제2 가능한 구현 방식에서, 상기 프로세서는, 상기 판정 결과가 상기 피제어 단말기가 상기 서버에 연결되어 있지 않은 것이면 연결 통지를 상기 피제어 단말기에 송신하기 위해 상기 송신기를 제어하도록 구성된다. 여기서, 상기 연결 통지는 상기 피제어 단말기를 상기 서버에 연결하도록 지시하기 위해 사용된다.
제7 양태에 따라, 제어 단말기에 사용되는 단말기 제어 방법이 제공된다. 상기 단말기 제어 방법은,
피제어 단말기로의 제어 채널 및 데이터 채널을 구축하는 단계;
상기 데이터 채널을 이용하여 상기 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신하는 단계 - 상기 스크린 이미지 데이터는 상기 피제어 단말기의 스크린샷을 나타내기 위해 사용됨 -;
상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 디스플레이하는 단계;
상기 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하는 단계; 및
상기 피제어 단말기가 상기 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 상기 제어 채널을 이용하여 상기 조작 정보를 상기 피제어 단말기에 송신하는 단계를 포함한다.
제7 양태의 제1 가능한 구현 방식에서, 상기 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하는 단계는,
서버를 이용하여 상기 피제어 단말기로의 상기 제어 채널을 구축하는 단계; 및
상기 서버 및 상기 제어 채널을 이용하여 상기 피제어 단말기로의 상기 데이터 채널을 구축하는 단계를 포함한다.
제7 양태의 제1 가능한 구현 방식을 참조하여, 제7 양태의 제2 가능한 구현 방식에서, 상기 서버 및 상기 제어 채널을 이용하여 상기 피제어 단말기로의 상기 데이터 채널을 구축하는 단계는,
상기 서버로부터 상기 제어 단말기의 주소 정보를 획득하는 단계 - 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
상기 서버 또는 상기 피제어 단말기로부터 상기 피제어 단말기의 주소 정보를 획득하는 단계;
상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하는 단계; 및
상기 연결 경로에 따라 상기 데이터 채널을 구축하는 단계를 포함한다.
제7 양태, 제7 양태의 제1 가능한 구현 방식, 또는 제7 양태의 제2 가능한 구현 방식을 참조하여, 제7 양태의 제3 가능한 구현 방식에서, 상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고, 상기 스크린샷에 기반한 조작에 따라 상기 조작 정보를 생성하는 단계는,
상기 조작 정보가 터치 정보인 경우, 상기 조작에 대응하는 터치 이벤트를 모니터링하고, 상기 터치 이벤트에 따라 상기 조작 정보를 생성하는 단계;
상기 조작 정보가 버튼 정보인 경우, 상기 조작에 대응하는 버튼 타입을 결정하고, 상기 버튼 타입에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하는 단계; 및
상기 조작 정보가 음성 정보인 경우, 상기 조작에 대응하는 음성으로부터 텍스트를 인식하고, 상기 텍스트에 포함된 제어 명령을 회수하며, 상기 제어 명령에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하는 단계를 포함한다.
제7 양태의 제3 가능한 구현 방식을 참조하여, 제7 양태의 제4 가능한 구현 방식에서, 상기 터치 이벤트에 따라 상기 조작 정보를 생성하는 단계는,
상기 터치 이벤트를 바이트 스트림으로 직렬화하고, 상기 바이트 스트림을 포함하는 상기 조작 정보를 생성하는 단계; 또는
상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보를 지정된 포맷의 파일로 인코딩하며, 상기 지정된 포맷의 파일을 포함하는 상기 조작 정보를 생성하는 단계를 포함한다. 여기서, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
제7 양태의 제3 가능한 구현 방식을 참조하여, 제7 양태의 제4 가능한 구현 방식에서, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하는 단계는,
상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 주소 쌍으로 결합하고, 상기 주소 쌍에 대해 연결성 테스트를 수행하며, 상기 연결성 테스트의 결과에 따라 상기 연결 경로를 결정하는 단계를 포함한다.
제8 양태에 따라, 피제어 단말기에 사용되는 단말기 제어 방법이 제공된다. 상기 단말기 제어 방법은,
제어 단말기로의 제어 채널 및 데이터 채널을 구축하는 단계;
상기 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하는 단계;
상기 제어 단말기가 상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 표시할 수 있도록, 상기 데이터 채널을 이용하여 상기 스크린 이미지 데이터를 상기 제어 단말기에 송신하는 단계;
상기 제어 채널을 이용하여 상기 제어 단말기에 의해 송신되는 조작 정보를 수신하는 단계 - 상기 조작 정보는 상기 스크린샷에 기반한 조작에 따라 상기 제어 단말기에 의해 생성된 정보임 -; 및
상기 조작 정보에 따라 대응하는 제어 조작을 수행하는 단계를 포함한다.
제8 양태의 제1 가능한 구현 방식에서, 상기 제어 단말기로의 제어 채널 및 데이터 채널을 구축하는 단계는,
서버를 이용하여 상기 제어 단말기로의 상기 제어 채널을 구축하는 단계; 및
상기 서버 및 상기 제어 채널을 이용하여 상기 제어 단말기로의 상기 데이터 채널을 구축하는 단계를 포함한다.
제8 양태의 제1 가능한 구현 방식을 참조하여, 제8 양태의 제2 가능한 구현 방식에서, 상기 서버 및 상기 제어 채널에 따라 상기 제어 단말기로의 상기 데이터 채널을 구축하는 단계는,
상기 서버로부터 상기 피제어 단말기의 주소 정보를 획득하는 단계 - 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
상기 서버 또는 상기 제어 단말기로부터 상기 제어 단말기의 주소 정보를 획득하는 단계;
상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하는 단계; 및
상기 연결 경로에 따라 상기 데이터 채널을 구축하는 단계를 포함한다.
제8 양태, 제8 양태의 제1 가능한 구현 방식, 또는 제8 양태의 제2 가능한 구현 방식을 참조하여, 제8 양태의 제3 가능한 구현 방식에서, 상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고, 상기 조작 정보에 따라 대응하는 제어 조작을 수행하는 단계는,
상기 조작 정보가 터치 정보인 경우, 상기 조작에 대응하는 터치 이벤트를 상기 조작 정보에 따라 복원하고, 상기 터치 이벤트에 따라 상기 제어 조작을 수행하는 단계;
상기 조작 정보가 버튼 정보인 경우, 상기 조작에 대응하는 버튼 타입을 상기 조작 정보에 포함된 식별자에 따라 결정하고, 상기 버튼 타입에 따라 상기 제어 조작을 수행하는 단계; 및
상기 조작 정보가 음성 정보인 경우, 상기 조작에 대응하는 제어 명령을 상기 조작 정보에 포함된 식별자에 따라 결정하고, 상기 제어 명령에 따라 상기 제어 조작을 수행하는 단계를 포함한다.
제8 양태의 제3 가능한 구현 방식을 참조하여, 제8 양태의 제4 가능한 구현 방식에서, 상기 조작에 대응하는 터치 이벤트를 상기 조작 정보에 따라 복원하는 단계는,
상기 터치 이벤트를 복원하기 위해 상기 조작 정보에 포함된 바이트 스트림을 역직렬화하는 단계; 또는
상기 조작 정보에 포함된 지정된 포맷의 파일로부터 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보에 따라 상기 터치 이벤트를 복원하는 단계를 포함한다. 여기서, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
제9 양태에 따라, 서버에 사용되는 단말기 제어 방법이 제공된다. 상기 단말기 제어 방법은,
제어 단말기와 피제어 단말기 간에 제어 채널을 구축하는 단계; 및
상기 제어 단말기 및 상기 피제어 단말기가 상기 제어 채널을 이용하여 주소 정보를 교환한 후에, 상기 제어 단말기 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보를 상기 제어 단말기에 제공하고, 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하거나; 또는 상기 제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 제어 단말기에 제공하거나; 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하는 단계를 포함한다.
제9 양태의 제1 가능한 구현 방식에서, 상기 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하는 단계는,
상기 제어 단말기가 상기 서버에 연결된 후에, 상기 제어 단말기에 의해 송신되는 제어 채널 구축 요청을 수신하는 단계;
상기 피제어 단말기가 상기 서버에 이미 연결되어 있는지 여부를 판정하는 단계; 및
판정 결과가 상기 피제어 단말기가 상기 서버에 이미 연결되어 있는 것이면, 상기 제어 단말기와 상기 피제어 단말기 간에 상기 제어 채널을 구축하는 단계를 포함한다.
제9 양태의 제1 가능한 구현 방식을 참조하여, 제9 양태의 제2 가능한 구현 방식에서, 상기 단말기 제어 방법은,
상기 판정 결과가 상기 피제어 단말기가 상기 서버에 연결되어 있지 않은 것이면, 연결 통지를 상기 피제어 단말기에 송신하는 단계를 더 포함한다. 여기서, 상기 연결 통지는 상기 피제어 단말기를 상기 서버에 연결하도록 지시하기 위해 사용된다.
본 발명의 실시예에서 제공된 과제 해결수단에는 다음과 같은 유리한 효과가 있다:
피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 피제어 단말기로의 제어 채널 및 데이터 채널이 구축되고, 데이터 채널을 이용하여 피제어 단말기에 의해 송신되는 스크린 이미지 데이터가 수신되며, 피제어 단말기의 스크린샷이 스크린 이미지 데이터에 따라 표시되고, 대응하는 조작 정보가 스크린샷에 기반한 조작에 따라 생성되며, 이 조작 정보가 제어 채널을 이용하여 피제어 단말기에 송신된다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 사이에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되어, 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 상기 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성할 수 있다.
이하, 본 발명의 실시예의 과제 해결수단을 더 명확하게 설명하기 위해, 실시예를 설명하기 위해 필요한 첨부 도면에 대해 간략하게 설명한다. 명백히, 다음의 설명에서의 첨부 도면은 본 발명의 일부 실시예를 나타낼 뿐이며, 당업자는 창의적인 노력 없이도 이러한 첨부 도면으로부터 다른 도면을 여전히 도출할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 제어 단말기의 개략적인 구조도이다.
도 2는 본 발명의 다른 실시예에 따른 제어 단말기의 개략적인 구조도이다.
도 3은 본 발명의 다른 실시예에 따른 터치 좌표 매핑의 개략도이다.
도 4는 본 발명의 다른 실시예에 따른 리모콘 조작의 개략도이다.
도 5는 본 발명의 다른 실시예에 따른 원격 낙서 조작의 개략도이다.
도 6은 본 발명의 일 실시예에 따른 제어 단말기의 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 제어 단말기의 블록도이다.
도 8은 본 발명의 일 실시예에 따른 피제어 단말기의 개략적인 구조도이다.
도 9는 본 발명의 다른 실시예에 따른 피제어 단말기의 개략적인 구조도이다.
도 10은 본 발명의 일 실시예에 따른 피제어 단말기의 블록도이다.
도 11은 본 발명의 다른 실시예에 따른 피제어 단말기의 블록도이다.
도 12는 본 발명의 일 실시예에 따른 서버의 개략적인 구조도이다.
도 13은 본 발명의 다른 실시예에 따른 서버의 개략적인 구조도이다.
도 14는 본 발명의 일 실시예에 따른 서버의 블록도이다.
도 15는 본 발명의 다른 실시예에 따른 서버의 블록도이다.
도 16은 본 발명의 일 실시예에 따른 단말기 제어 방법의 방법 흐름도이다.
도 17은 본 발명의 다른 실시예에 따른 단말기 제어 방법의 방법 흐름도이다.
도 18은 본 발명의 일 실시예에 따른 단말기 제어 방법의 방법 흐름도이다.
도 19는 본 발명의 다른 실시예에 따른 단말기 제어 방법의 방법 흐름도이다.
도 20은 본 발명의 일 실시예에 따른 단말기 제어 방법의 방법 흐름도이다.
도 21은 본 발명의 다른 실시예에 따른 단말기 제어 방법의 방법 흐름도이다.
도 22는 본 발명의 일 실시예에 따른 단말기 제어 시스템의 시스템 구성도이다.
이하, 본 발명의 목적, 기술적 해결책, 및 장점을 보다 명확하게 하기 위해, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 더 상세하게 설명한다.
도 1을 참조하면, 도 1은 본 발명의 일 실시예에 따른 제어 단말기의 개략적인 구조도이다. 제어 단말기는 피제어 단말기에 대해 원격 제어를 수행하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 디스플레이 유닛을 구비하고 동일한 조작 모드를 각각 가지고 있는 스마트폰, 태블릿 컴퓨터, 및 e-북 리더(e-book reader)일 수 있다. 제어 단말기는 이하를 포함할 수 있다:
피제어 단말기로의 제어 채널 및 데이터 채널을 구축하도록 구성된 제1 채널 구축 모듈(101);
피제어 단말기가 데이터 채널을 이용하여 지정된 프레임 레이트로 송신하는 스크린 이미지 데이터를 수신하도록 구성된 이미지 데이터 수신 모듈(102) - 스크린 이미지 데이터는 피제어 단말기의 스크린샷을 나타내기 위해 사용됨 -;
피제어 단말기의 스크린샷을 스크린 이미지 데이터에 따라 디스플레이하도록 구성된 디스플레이 모듈(103);
스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하도록 구성된 조작 정보 생성 모듈(104); 및
피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신하도록 구성된 조작 정보 송신 모듈(105).
결론적으로, 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 본 발명의 본 실시예에서 제공되는 제어 단말기가 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하고, 데이터 채널을 이용하여 피제어 단말기에 의해 송신된 스크린 이미지 데이터를 수신하며, 피제어 단말기의 스크린샷을 스크린 이미지 데이터에 따라 표시하고, 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하며, 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신한다. 이런 방식으로, 2개의 단말기 간에 2개의 독립적인 채널이 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성할 수 있다.
도 2를 참조하면, 도 2는 본 발명의 다른 실시예에 따른 제어 단말기의 개략적인 구조도이다. 제어 단말기는 피제어 단말기에 대해 원격 제어를 수행하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 제어 단말기는 이하를 포함할 수 있다:
제1 채널 구축 모듈(201)은 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하도록 구성된다.
제1 채널 구축 모듈(201)은 이하를 포함한다:
제1 채널 구축 서브모듈(2011)은 서버를 이용하여 피제어 단말기로의 제어 채널을 구축하도록 구성된다.
서버는 기능에 따라 3개의 부분, 즉 연결 서버, 제어 채널 서버, 및 데이터 채널 서버로 분할될 수 있다. 제어 단말기와 피제어 단말기는, 초기에 연결 서버에 연결되어 있고, 하트비트(heartbeat) 연결 방식을 이용하여 온라인 상태를 유지한다.
실제 적용에서는 연결 서버, 제어 채널 서버, 및 데이터 채널 서버가 동일한 서버 엔티티에 통합될 수 있다.
사용자가 제어 단말기에서 피제어 단말기에 대해 제어를 수행하기를 원하는 경우, 사용자는 제어 채널 서버를 이용하여 피제어 단말기로의 제어 채널을 구축할 수 있다. 여기서, 제어 채널을 구축하는 구체적인 절차는 다음의 단계를 포함할 수 있다:
1) 제어 단말기를 제어 채널 서버에 연결한다.
제어 단말기가 스마트폰 A이고 피제어 단말기가 스마트폰 B인 예가 사용된다. 사용자가 스마트폰 A에 대해 원격 제어 기능을 활성화한 후에, 스마트폰 A가 제어 채널 서버로의 연결을 구축할 수 있다.
2) 제어 단말기가 제어 채널 구축 요청을 제어 채널 서버에 송신한다.
제어 채널 구축 요청은 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하도록 제어 채널 서버에 지시하기 위해 사용된다.
사용자가 스마트폰 A에서 스마트폰 B를 제어 대상으로서 선택한 후에, 스마트폰 A가 제어 채널 구축 요청을 제어 채널 서버에 송신한다. 여기서, 제어 채널 서버가 스마트폰 A에 의해 요청된 제어 대상을 결정할 수 있도록, 제어 채널 구축 요청은 스마트폰 B의 식별자를 포함한다.
3) 피제어 단말기가 제어 채널 서버에 이미 연결되어 있으면, 제어 채널 서버가 제어 채널을 구축한다.
제어 채널 서버는 스마트폰 B가 제어 채널 서버에 이미 연결되어 있는지 여부를 먼저 판정한다. 스마트폰 B가 이미 제어 채널 서버로의 연결을 구축하고 있으면, 스마트폰 A와 스마트폰 B 간의 제어 채널이 직접 구축된다.
4) 피제어 단말기가 제어 채널 서버에 연결되어 있지 않으면, 제어 채널 서버가 연결 통지를 피제어 단말기에 송신한다.
스마트폰 B가 연결되어 있지 않다고 판정하면, 제어 채널 서버가 스마트폰 B를 제어 채널 서버에 연결하도록 지시하는 연결 통지를 스마트폰 B에 송신한다.
5) 피제어 단말기를 연결 통지에 따라 제어 채널 서버에 연결한다.
연결 통지를 수신한 후에, 스마트폰 B가 스마트폰 B를 제어 채널 서버에 연결하기 위한 연결 절차를 개시한다.
6) 제어 채널 서버가 제어 채널을 구축한다.
스마트폰 B가 연결 통지에 따라 성공적으로 연결된 것을 확인한 후에, 제어 채널 서버가 제어 채널을 구축한다.
전술한 단계에 따라 구축된 제어 채널에서, 제어 채널 서버가 릴레이로서 사용되어 정보의 포워딩을 수행한다는 것을 유의해야 한다. 제어 채널을 이용하여 송신되는 제어 시그널링이 비교적 작은 데이터의 양을 가지면서도 데이터 전송의 신뢰성 및 정확도에 대한 요구사항은 비교적 높으므로, 제어 채널은 신뢰할 수 있는 TCP 프로토콜에 기반하여 구축된다.
제2 채널 구축 서브모듈(2012)은 서버 및 제어 채널을 이용하여 피제어 단말기로의 데이터 채널을 구축하도록 구성된다.
제2 채널 구축 서브모듈(2012)은 이하를 포함한다:
제1 주소 획득 유닛(2012a)은 서버로부터 제어 단말기의 주소 정보를 획득하도록 구성된다. 여기서, 주소 정보는 로컬 주소, 네트워크 주소 변환(network address translation)의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소(relay address of traversal using relays around network address translation)를 포함한다.
제2 주소 획득 유닛(2012b)은 서버 또는 피제어 단말기로부터 피제어 단말기의 주소 정보를 획득하도록 구성된다.
제어 단말기가 서버로부터 피제어 단말기의 주소 정보를 획득할 수 있거나, 또는 피제어 단말기로부터 피제어 단말기의 주소 정보를 제어 채널을 이용하여 획득할 수 있다. 제어 단말기가 피제어 단말기의 주소 정보를 수집하기 위한 요청을 서버에 송신할 수 있고, 서버에 의해 피드백되는 피제어 단말기의 주소를 수신하거나; 또는 제어 단말기가 피제어 단말기로부터 피제어 단말기의 주소 정보를 이미 구축되어 있는 제어 채널을 이용하여 요청할 수 있다.
제1 경로 결정 유닛(2012c)은 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성된다.
제1 구축 유닛(2012d)은 연결 경로에 따라 데이터 채널을 구축하도록 구성된다.
제1 경로 결정 유닛(2012c)은 이하를 포함한다:
제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 주소 쌍으로 결합하도록 구성된 결합 서브유닛(2012c1);
주소 쌍에 대해 연결성 테스트(connectivity test)를 수행하도록 구성된 테스트 서브유닛(2012c2); 및
연결성 테스트의 결과에 따라 연결 경로를 결정하도록 구성된 구축 서브유닛(2012c3).
일 예에서, 제어 단말기 및 피제어 단말기가 서버 및 제어 채널을 이용하여 주소 정보를 획득하여 교환하고, 제어 단말기 및 피제어 단말기의 주소 정보에 따라 데이터 채널을 구축하며, 데이터 채널의 구축이 제어 단말기 또는 피제어 단말기에 의해 개시될 수 있고, 제어 단말기가 능동적으로 데이터 채널의 구축을 개시한다. 여기서, 구축의 구체적인 절차는 다음과 같을 수 있다:
1) 제어 단말기가 제어 채널을 이용하여 피제어 단말기로의 데이터 채널 구축 명령을 개시한다.
스마트폰 A가 데이터 채널 구축 명령을 스마트폰 B에 제어 채널을 이용하여 송신한다. 여기서, 제어 채널 서버가 릴레이로서 사용된다.
2) 제어 단말기가 데이터 채널 서버로부터 제어 단말기의 주소 정보를 획득한다.
스마트폰 A가 주소 수집 요청을 데이터 채널 서버에 송신하고, 데이터 채널 서버가 주소 수집 요청에 따라 스마트폰 A의 주소 정보를 스마트폰 A에 반환한다. 주소 정보는 3가지 타입, 즉 스마트폰의 로컬 주소, 네트워크 주소 변환(Network Address Translation, NAT)의 공인 매핑 주소, 및 릴레이를 이용하여 NAT를 우회하는 횡단의 릴레이 주소(Traversal Using Relays around NAT, TURN)을 포함할 수 있다.
3) 피제어 단말기가 데이터 채널 서버로부터 피제어 단말기의 주소 정보를 획득한다.
이와 유사하게, 데이터 채널 구축 명령을 수신한 후에, 스마트폰 B도 또한 주소 수집 요청을 데이터 채널 서버에 송신하고, 데이터 채널 서버가 주소 수집 요청에 따라 스마트폰 B의 주소 정보를 스마트폰 B에 반환한다.
4) 제어 단말기가 제어 채널을 이용하여 피제어 단말기로부터 피제어 단말기의 주소 정보를 획득한다.
스마트폰 A가 제어 채널을 이용하여 스마트폰 B에 의해 송신되는 스마트폰 B의 주소 정보를 수신한다.
5) 제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정한다.
스마트폰 A가 스마트폰 A의 3가지 타입의 주소와 스마트폰 B의 3가지 타입의 주소를 주소 쌍으로 결합하고, 결합을 이용하여 획득된 주소 쌍에 대해 연결성 테스트를 수행하며, 연결성 테스트의 결과에 따라 최적 경로를 연결 경로로서 결정한다.
6) 제어 단말기가 결정된 연결 경로를 이용하여 데이터 채널을 구축한다.
제어 단말기가 서버로부터 피제어 단말기의 주소 정보를 직접 획득할 수 있다. 예를 들어, 제어 단말기가 피제어 단말기의 주소 정보를 수집하기 위한 요청을 서버에 송신할 수 있고, 서버가 피제어 단말기의 주소 정보를 제어 단말기에 송신하며, 제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고 데이터 채널을 구축한다.
또는, 데이터 채널을 구축하는 전술한 프로세스가 피제어 단말기에 의해 개시될 수 있고, 데이터 채널을 구축하는 절차는 전술한 프로세스와 유사하다.
데이터 채널이 릴레이 방식을 이용하여 구축될 수 있거나, 또는 직접 연결 방식으로 구축될 수 있다는 것을 유의해야 한다. 예를 들어, 제어 단말기 및 피제어 단말기가 무선 근거리 통신망 또는 블루투스 등을 이용하여 직접 연결될 수 있거나, 또는 데이터 채널이 직접 연결 방식으로 구축될 수 있다. 제어 단말기와 피제어 단말기 간의 연결이 인터넷만을 이용하여 구축될 수 있는 경우, 서버가 릴레이로서 사용되는 데이터 채널이 구축될 수 있다.
또한, 이미지 정보가 비교적 많은 양의 데이터를 가지고 있고, 신뢰성 및 정확도에 대한 비교적 낮은 요구사항을 가지고 있으며, 패킷 손실을 어느 정도까지 허용할 수 있으므로, 데이터 채널이 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP)에 기반하여 구축될 수 있다.
제어 채널 및 데이터 채널을 구축하는 전술한 모든 프로세스에서, 서버가 중계를 위해 필요하다. 실제 적용에서는, 제어 채널 및/또는 데이터 채널이 서버를 이용하지 않고 직접 구축될 수 있다.
예를 들어, 제어 단말기 및 피제어 단말기가 동일한 무선 근거리 통신망 내에 있거나 또는 블루투스 연결의 범위 내에 있는 경우, 제어 채널 및 데이터 채널이 서버를 이용하여 중계 및 포워딩을 수행할 필요 없이 무선 근거리 통신망 또는 블루투스를 이용하여 직접 구축될 수 있다.
또는, 제어 단말기 및 피제어 단말기가 동일한 무선 근거리 통신망 내에 있거나 또는 블루투스 연결의 범위 내에 있는 경우, 제어 채널이 무선 근거리 통신망 또는 블루투스를 이용하여 직접 구축될 수 있고, 데이터 채널이 서버를 이용하여 구축된다.
또는, 제어 단말기 및 피제어 단말기가 동일한 무선 근거리 통신망 내에 있거나 또는 블루투스 연결의 범위 내에 있는 경우, 제어 채널이 서버를 이용하여 구축될 수 있고, 데이터 채널이 무선 근거리 통신망 또는 블루투스를 이용하여 직접 구축될 수 있다.
이미지 데이터 수신 모듈(202)은 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 데이터 채널을 이용하여 수신하도록 구성된다.
피제어 단말기의 스크린이 켜지면, 스크린 이미지 데이터가 지정된 프레임 레이트로 캡쳐될 수 있다. 여기서, 지정된 프레임 레이트는 고정 프레임 레이트일 수 있다. 예를 들어, 피제어 단말기가 지정된 프레임 레이트를 고정된 30개의 초당 프레임수(Frames Per Second, FPS)로 설정할 수 있거나, 즉 초당 30개 프레임의 스크린 이미지의 이미지 데이터가 캡쳐되거나; 또는 피제어 단말기가 스크린에 표시되는 컨텐츠에 따라, 지정된 프레임 레이트로 동적으로 설정한다. 예를 들어, 스크린 내에 표시되는 컨텐츠가 정적인 페이지(static page)인 경우, 지정된 프레임 레이트가 비교적 작은 수치 값(예를 들어, 10)으로 설정될 수 있다. 스크린 내에 표시되는 컨텐츠가 동적인 비디오인 경우, 지정된 프레임 레이트가 비교적 큰 수치 값(예를 들어, 60)으로 설정될 수 있다.
데이터 채널이 구축된 후에, 피제어 단말기가 이미지 및/또는 오디오와 같은 미디어 데이터를 전송할 수 있다. 지정된 프레임 레이트로 캡쳐된 스크린 이미지 데이터에 대해 인코딩을 수행(예를 들어, H.264 방식으로 인코딩을 수행)한 후에, 피제어 단말기가 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 전송한다.
디스플레이 모듈(203)은 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시하도록 구성된다.
데이터 채널을 이용하여 스마트폰 B에 의해 송신된 스크린 이미지 데이터를 수신한 후에, 스마트폰 A가 스마트폰 B의 스크린샷을 적합한 해상도로 스크린 상에 표시한다.
조작 정보 생성 모듈(204)은 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하도록 구성된다.
조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고, 조작 정보 생성 모듈(204)은 이하를 포함한다:
조작 정보가 터치 정보인 경우, 조작에 대응하는 터치 이벤트를 모니터링하도록 구성된 모니터링 서브모듈(2041);
터치 이벤트에 따라 조작 정보를 생성하도록 구성된 제1 생성 서브모듈(2042);
조작 정보가 버튼 정보인 경우, 조작에 대응하는 버튼 타입을 결정하도록 구성된 제1 버튼 타입 결정 서브모듈(2043);
버튼 타입에 대응하는 식별자를 포함하는 조작 정보를 생성하도록 구성된 제2 생성 서브모듈(2044);
조작 정보가 음성 정보인 경우, 조작에 대응하는 음성으로부터 텍스트를 인식하도록 구성된 음성 인식 서브모듈(2045); 및
텍스트에 포함된 제어 명령을 회수하고, 제어 명령에 대응하는 식별자를 포함하는 조작 정보를 생성하도록 구성된 제2 생성 서브모듈(2046).
제1 생성 서브모듈(2042)은 제1 생성 유닛(2042a) 또는 제2 생성 유닛(2042b)을 포함한다.
제1 생성 유닛(2042a)은 터치 이벤트를 바이트 스트림으로 직렬화(serialize)하고, 바이트 스트림을 포함하는 조작 정보를 생성하도록 구성되고;
제2 생성 유닛(2042b)은 터치 이벤트의 키 정보를 회수하고, 키 정보를 지정된 포맷의 파일로 인코딩하며, 지정된 포맷의 파일을 포함하는 조작 정보를 생성하도록 구성된다. 여기서, 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 조작 정보 송신 모듈(205)은 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신하도록 구성된다.
스마트폰이 예로서 사용된다. 스마트폰 A에서의 사용자의 조작은 터치 조작, 버튼 조작, 및 음성 조작을 포함할 수 있고, 이에 대응하여 생성되는 조작 정보는 각각 터치 정보, 버튼 정보, 및 음성 정보이다. 이 조작 정보를 처리하기 위한 방법은 각각 다음과 같다:
1) 터치 정보의 경우, 사용자가 스마트폰 B의 스크린샷에 기반하여 스마트폰 A 측에서 터치 조작을 수행하는 때, 예컨대 스와이프(swipe), 탭(tap), 길게 누름(long press), 또는 제스처와 같은 조작을 수행하는 경우, 스마트폰 A가 생성된 터치 이벤트(MotionEvent)를 바이트 스트림으로 직렬화하고, 바이트 스트림을 송신한다. 스마트폰 B가 바이트 스트림을 역직렬화(deserialize)하고, 터치 이벤트를 복원한다. 또는, 스마트폰 A가 터치 이벤트 내의 키 정보(이벤트 타입, 터치 좌표, 및 터치 힘 등을 포함하고 있음)를 회수하고, 키 정보를 xml 또는 json과 같은 포맷의 파일에 인코딩한다. 스마트폰 B는 xml 또는 json과 같은 포맷의 파일에 따라 키 정보를 회수하고, 키 정보에 따라 터치 이벤트를 복원한다. 스마트폰 B가 복원된 터치 이벤트에 따라 대응하는 제어 조작을 수행한다.
xml 포맷이 일 예로서 사용되고, 인코딩를 통해 획득된 파일은 다음과 같을 수 있다:
<?xml version="1.0" encoding="UTF-8" >
<motionevent>
<surfacex>1080.0</surfacex>
<surfacey>1519.0</surfacey>
<extra>122.0</extra>
<action>0</action>
<pointlist><point><pointx>563.0</pointx><pointy>764.0</pointy></point></pointlist><pressure>0.31764707</pressure>
<size>0.0</size>
<metastate>0</metastate>
<buttonstate>0</buttonstate>
<xprecision>1.0</xprecision>
<yprecision>1.0</yprecision>
<edgeflags>0</edgeflags>
<source>4098</source>
<flags>0</flags>
</motionevent>
제어 단말기가 피제어 단말기의 스크린샷을 디스플레이하는 경우, 제어 단말기에 표시되는 스크린샷의 해상도는 피제어 단말기에 실제로 표시되는 스크린 이미지의 해상도와 보통 일치한다. 따라서, 사용자가 피제어 단말기의 스크린샷에 기반하여 제어 단말기에서 터치 조작을 수행하는 경우, 생성된 터치 이벤트에 포함된 터치 좌표는 피제어 단말기의 실제 스크린 이미지에 매핑된 터치 조작의 좌표와 또한 일치한다. 이를 위해, 제어 단말기가 원래의 터치 이벤트에 있는 터치 좌표를 피제어 단말기의 스크린에 매핑된 매핑 좌표로 먼저 변환할 필요가 있고, 원래의 터치 이벤트에 있는 터치 좌표를 매핑 좌표로 대체한 다음, 매핑 좌표가 대체된 터치 이벤트에 따라 터치 정보를 생성한다. 구체적으로, 피제어 단말기가 제어 채널을 이용하여 피제어 단말기의 해상도를 제어 단말기에 송신할 수 있고, 제어 단말기가 스크린샷의 표시영역 좌표, 원래의 터치 이벤트에 있는 터치 좌표, 및 피제어 단말기의 스크린의 해상도에 따라 매핑 좌표를 결정한다.
또는, 전술한 좌표 변환 단계가 피제어 단말기에 의해 완료될 수 있고, 즉 제어 단말기가 원래의 터치 이벤트를 처리하지 않고, 터치 정보를 직접 생성하며, 피제어 단말기가 제어 채널을 이용하여 제어 단말기 내의 스크린샷의 표시영역 좌표를 획득하고, 터치 정보로부터 원래의 터치 이벤트의 터치 좌표를 회수하며, 스크린샷의 표시영역 좌표, 회수된 터치 좌표, 및 피제어 단말기의 스크린의 해상도에 따라 매핑 좌표를 결정한다.
전술한 좌표 변환 단계가 제어 단말기에 의해 완료되는 예가 사용된다. 도 3에 도시된 터치 좌표의 매핑의 개략도를 참조하라. 스마트폰 A와 스마트폰 B 간에 제어 채널 및 데이터 채널이 구축된 후에, 스마트폰 A가 스마트폰 B의 스크린 이미지 데이터를 수신하고, 스마트폰 B의 스크린샷을 스마트폰 A의 스크린 내의 스크린 캡쳐 표시영역에 디스플레이한다. 여기서, 스크린 캡쳐 표시영역은 스마트폰 A의 스크린 중의 일부이다. 사용자가 스마트폰 A의 스크린 내의 스크린 캡쳐 표시영역에서 터치 조작을 수행하는 경우, 생성된 원래의 터치 이벤트에 포함된 터치 좌표(x, y)가 스마트폰 A의 스크린 내의 터치 포인트의 좌표이다. 모니터링에 의해 원래의 터치 이벤트를 획득한 후에, 스마트폰 A가 원래의 터치 이벤트에 있는 터치 좌표(x, y)를 피제어 단말기의 스크린에 매핑되는, 원래의 터치 이벤트의 매핑 좌표(x', y')와 대체하고, 터치 좌표가 대체된 터치 이벤트에 따라 터치 정보를 생성하거나, 예컨대 터치 좌표가 대체된 터치 이벤트를 직렬화하거나, 또는 매핑 좌표(x', y')를 키 정보로서 이용하여 회수 및 인코딩을 수행한다.
사용자는 터치 조작을 이용하여 제어 단말기에서 피제어 단말기를 제어할 수 있다. 예를 들어, 도 4에 도시된 원격 제어 조작의 개략도를 참조하라. 스마트폰 A와 스마트폰 B 간에 제어 채널 및 데이터 채널이 구축된 후에, 스마트폰 A가 스마트폰 B의 스크린 이미지 데이터를 수신하고, 스마트폰 B의 스크린샷을 표시한다. 여기서, 스크린샷은 스마트폰 B의 홈 스크린의 스크린 캡쳐이고, 스크린샷은 애플리케이션 프로그램의 아이콘을 포함한다. 스마트폰 A 측의 사용자가 스크린샷에 있는 애플리케이션 프로그램(프로그램의 명칭은 "XYZ"임)의 아이콘 영역을 탭하는 경우, 스마트폰 A가 스마트폰 B에 매핑된 터치 포인트의 매핑 좌표를 터치 포인트의 좌표에 따라 결정하고, 매핑 좌표 및 터치 타입을 터치 정보에 인코딩하며, 터치 정보를 스마트폰 B에 송신한다. 스마트폰 B가 터치 정보에 따라 터치 이벤트를 복원하고, 터치 이벤트에 따라 애플리케이션 프로그램 XYZ를 실행한다. 또한, 스마트폰 B가 애플리케이션 프로그램 XYZ를 실행하고 애플리케이션 프로그램 XYZ의 애플리케이션 프로그램 인터페이스를 표시한 후에, 사용자가 애플리케이션 프로그램 인터페이스의 스크린 캡쳐 내의 기능 버튼에 대응하는 위치를 스마트폰 A에서 탭하는 경우(예를 들어, 하위 페이지에 들어가거나 또는 애플리케이션 프로그램을 빠져나가기 위해), 스마트폰 B가 기능 버튼에 따라 애플리케이션 프로그램을 제어할 수 있다.
또는, 사용자는 터치 조작을 이용하여 피제어 단말기에서 원격 스크린 낙서(scribbling )를 수행할 수 있다. 예를 들어, 도 5에 도시된 원격 낙서 조작의 개략도를 참조하라. 스마트폰 A와 스마트폰 B 간에 제어 채널 및 데이터 채널이 구축된 후에, 스마트폰 B가 낙서 패널을 열고, 스마트폰 A가 스마트폰 B의 스크린 이미지 데이터를 수신하며, 낙서 패널의 화면 캡쳐를 표시한다. 스마트폰 A 측의 사용자가 낙서 패널의 스크린 캡쳐 내에서 슬라이드 조작을 수행한다. 스마트폰 A가 스마트폰 B에 매핑된 매핑 좌표를 슬라이드 조작의 궤적 내의 좌표에 따라 결정하고, 매핑 좌표 및 터치 타입을 터치 정보로 인코딩하며, 터치 정보를 스마트폰 B에 송신한다. 스마트폰 B가 터치 정보에 따라 터치 이벤트를 복원하고, 스마트폰 B에 의해 표시되는 낙서 패널 내의 슬라이드 조작의 궤적 패턴을 터치 이벤트에 따라 표시한다.
2) 버튼 정보의 경우, 스마트폰 A가 버튼 이벤트(리턴 버튼, 홈 버튼, 메뉴 버튼, 및 볼륨 버튼과 같은 모든 물리적 버튼 또는 가상의 버튼)를 인코딩하고, 각각의 버튼 타입에 대해 고유한 식별자를 정의할 수 있다. 스마트폰 A가 버튼 이벤트에 대응하는 버튼 타입을 식별자로 인코딩하고, 이 식별자를 스마트폰 B에 송신한다. 스마트폰 B가 식별자에 따라 해당 버튼 이벤트를 복원한다. 스마트폰 B가 복원된 버튼 이벤트에 따라 대응하는 제어 조작을 수행한다.
3) 음성 정보의 경우, 스마트폰이 먼저 음성을 텍스트로 변환하고, 텍스트 내의 제어 명령을 회수하며, 각각의 제어 명령에 대한 고유 식별자(unique identifier)를 정의한다. 스마트폰 A가 음성을 식별자로 인코딩하고 이 식별자를 스마트폰 B에 송신하고, 스마트폰 B가 식별자에 따라 대응하는 제어 명령을 복원한다. 예를 들어, 사용자가 음성 "전화 걸기"를 스마트폰 A에 입력하고, 스마트폰 A가 "전화 걸기"를 고유 식별자로 인코딩하고 이 식별자를 스마트폰 B에 송신하며, 스마트폰 B가 고유 식별자를 "전화 걸기" 명령으로서 인식한다. 스마트폰 B가 인식된 명령에 따라 대응하는 제어 조작을 수행한다.
결론적으로, 본 발명의 본 실시예에서 제공되는 제어 단말기는, 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하고, 데이터 채널을 이용하여 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신하며, 피제어 단말기의 스크린샷을 스크린 이미지 데이터에 따라 표시하고, 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하며, 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신한다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성할 수 있다.
도 6을 참조하면, 도 6은 본 발명의 일 실시예에 따른 제어 단말기의 블록도이다. 제어 단말기(300)가 피제어 단말기에 대해 원격 제어를 수행하도록 구성될 수 있다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 제어 단말기(300)는 버스(305), 및 버스(305) 연결된 프로세서(301), 메모리(302), 송신기(303), 및 수신기(304)를 포함할 수 있다. 메모리(302)는 프로세서(301)에 의해 실행되도록 구성된 복수의 명령을 저장하도록 구성된다.
프로세서(301)는 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하기 위해 수신기(304) 및 송신기(303)를 제어하도록 구성된다.
수신기(304)는 데이터 채널을 이용하여 피제어 단말기에 의해 송신된 스크린 이미지 데이터를 수신하도록 구성된다. 여기서, 스크린 이미지 데이터는 피제어 단말기의 스크린샷을 나타내기 위해 사용된다.
프로세서(301)는 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 디스플레이 장치 상에 표시하고, 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하도록 구성된다.
피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 프로세서(301)는 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신하게끔 송신기(303)를 제어하도록 구성된다.
결론적으로, 본 발명의 본 실시예에서 제공되는 제어 단말기는, 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하고, 데이터 채널을 이용하여 피제어 단말기에 의해 송신된 스크린 이미지 데이터를 수신하며, 피제어 단말기의 스크린샷을 스크린 이미지 데이터에 따라 표시하고, 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하며, 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신한다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성할 수 있다.
도 7을 참조하면, 도 7은 본 발명의 다른 실시예에 따른 제어 단말기의 블록도이다. 제어 단말기(400)가 피제어 단말기에 대해 원격 제어를 수행하도록 구성될 수 있다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 제어 단말기(400)는 버스(405), 및 버스(405)에 연결된 프로세서(401), 메모리(402), 송신기(403), 및 수신기(404)를 포함할 수 있다. 메모리(402)는 프로세서(401)에 의해 실행되도록 구성된 복수의 명령을 저장하도록 구성된다.
프로세서(401)는 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하기 위해 수신기(404) 및 송신기(403)를 제어하도록 구성된다.
프로세서(401)는 서버를 이용하여 피제어 단말기로의 제어 채널을 구축하기 위해 수신기(404) 및 송신기(403)를 제어하도록 구성된다.
프로세서(401)는 서버 및 제어 채널을 이용하여 피제어 단말기로의 데이터 채널을 구축하기 위해 수신기(404) 및 송신기(403)룰 제어하도록 구성된다.
구체적으로, 데이터 채널을 구축하는 경우, 프로세서(401)는 서버로부터 제어 단말기의 주소 정보를 획득하기 위해 수신기(404) 및 송신기(403)를 제어하도록 구성되고 - 여기서, 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
프로세서(401)는 서버 또는 피제어 단말기로부터 피제어 단말기의 주소 정보를 획득하기 위해 수신기(404) 및 송신기(403)를 제어하도록 구성되며;
프로세서(401)는 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성되고;
프로세서(401)는 연결 경로에 따라 데이터 채널을 구축하기 위해 수신기(404) 및 송신기(403)를 제어하도록 구성된다.
연결 경로 결정하는 경우, 프로세서(401)는 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 주소 쌍으로 결합하고, 주소 쌍에 대해 연결성 테스트를 수행하며, 연결성 테스트의 결과에 따라 연결 경로를 결정하도록 구성된다.
제어 채널 및 데이터 채널을 구축하는 절차에 대해서는, 도 2에 대응하는 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
수신기(404)는 데이터 채널을 이용하여 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신하도록 구성되고 - 여기서, 스크린 이미지 데이터는 피제어 단말기의 스크린샷을 나타내기 위해 사용됨 -;
프로세서(401)는 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 디스플레이 장치 상에 표시하고, 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하도록 구성되고 - 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고 있음 -;
프로세서(401)는, 조작 정보가 터치 정보인 경우, 조작에 대응하는 터치 이벤트를 모니터링하고, 터치 이벤트에 따라 조작 정보를 생성하도록 구성되며;
프로세서(401)는, 조작 정보가 버튼 정보인 경우, 조작에 대응하는 버튼 타입을 결정하고, 버튼 타입에 대응하는 식별자를 포함하는 조작 정보를 생성하도록 구성되고;
프로세서(401)는, 조작 정보가 음성 정보인 경우, 조작에 대응하는 음성으로부터 텍스트를 인식하고, 텍스트에 포함된 제어 명령을 회수하며, 제어 명령에 대응하는 식별자를 포함하는 조작 정보를 생성하도록 구성된다.
터치 이벤트에 따라 조작 정보를 생성하는 경우, 프로세서(401)는 터치 이벤트를 바이트 스트림으로 직렬화하고, 바이트 스트림을 포함하는 조작 정보를 생성하도록 구성되거나; 또는 프로세서(401)는 터치 이벤트의 키 정보를 회수하고, 키 정보를 지정된 포맷의 파일로 인코딩하며, 지정된 포맷의 파일을 포함하는 조작 정보를 생성하도록 구성된다. 여기서, 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
터치 정보를 생성하는 단계에 대해서는, 도 2에 대응하는 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 프로세서(401)는 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신하게끔 송신기(403)를 제어하도록 구성된다.
결론적으로, 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 본 발명의 본 실시예에서 제공되는 제어 단말기가 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하고, 데이터 채널을 이용하여 피제어 단말기에 의해 송신된 스크린 이미지 데이터를 수신하며, 피제어 단말기의 스크린샷을 스크린 이미지 데이터에 따라 표시하고, 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하며, 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신한다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성할 수 있다.
도 8을 참조하면, 도 8은 본 발명의 일 실시예에 따른 피제어 단말기의 개략적인 구조도이다. 피제어 단말기는 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기의 원격 제어를 수신하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 피제어 단말기는 이하를 포함할 수 있다:
제어 단말기로의 제어 채널 및 데이터 채널을 구축하도록 구성된 제2 채널 구축 모듈(501);
피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하도록 구성된 이미지 데이터 획득 모듈(502);
제어 단말기가 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시할 수 있도록, 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 송신하도록 구성된 이미지 데이터 송신 모듈(503);
제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신하도록 구성된 조작 정보 수신 모듈(504) - 조작 정보는 스크린샷에 기반한 조작에 따라 제어 단말기에 의해 생성된 정보임 -; 및
조작 정보에 따라 대응하는 제어 조작을 수행하도록 구성된 수행 모듈(505).
결론적으로, 본 발명의 본 실시예에서 제공되는 피제어 단말기가 제어 단말기로의 제어 채널 및 데이터 채널을 구축하고; 피제어 단말기의 스크린 이미지 데이터를 획득하고, 데이터 채널을 이용하여 이 스크린 이미지 데이터를 제어 단말기에 송신하며, 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신하고, 조작 정보에 따라 대응하는 제어 조작을 수행한다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 9를 참조하면, 도 9는 본 발명의 다른 실시예에 따른 피제어 단말기의 개략적인 구조도이다. 피제어 단말기는 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기의 원격 제어를 수신하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 피제어 단말기는 이하를 포함할 수 있다:
제2 채널 구축 모듈(601)은 제어 단말기로의 제어 채널 및 데이터 채널을 구축하도록 구성된다.
제2 채널 구축 모듈(601)은 이하를 포함한다:
서버를 이용하여 제어 단말기로의 제어 채널을 구축하도록 구성된 제3 채널 구축 서브모듈(6011); 및
서버 및 제어 채널을 이용하여 제어 단말기로의 데이터 채널을 구축하도록 구성된 제4 채널 구축 서브모듈(6012).
제4 채널 구축 서브모듈(6012)은, 이하를 포함한다:
서버로부터 피제어 단말기의 주소 정보를 획득하도록 구성된 제3 주소 획득 유닛(6012a) - 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
서버 또는 제어 단말기로부터 제어 단말기의 주소 정보를 획득하도록 구성된 제4 주소 획득 유닛(6012b);
제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성된 제2 경로 결정 유닛(6012c); 및
연결 경로에 따라 데이터 채널을 구축하도록 구성된 제2 구축 유닛(6012d).
제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하는 경우, 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 주소 쌍으로 결합하고, 주소 쌍에 대해 연결성 테스트를 수행하며, 연결성 테스트의 결과에 따라 연결 경로를 결정한다.
제어 단말기 및 피제어 단말기가 서버 및 제어 채널을 이용하여 주소 정보를 획득하여 교환하고, 제어 단말기 및 피제어 단말기의 주소 정보에 따라 데이터 채널을 구축하며, 데이터 채널의 구축이 제어 단말기 또는 피제어 단말기에 의해 개시될 수 있고, 제어 단말기가 능동적으로 데이터 채널의 구축을 개시하는 예가 사용된다. 구축의 특정 절차는 다음과 같을 수 있다:
1) 제어 단말기가 제어 채널을 이용하여 피제어 단말기로의 데이터 채널 구축 명령을 개시한다.
스마트폰 A가 제어 채널 서버가 릴레이로서 사용되는 제어 채널을 이용하여 데이터 채널 구축 명령을 스마트폰 B에 송신한다.
2) 제어 단말기가 데이터 채널 서버로부터 제어 단말기의 주소 정보를 획득한다.
스마트폰 A가 주소 수집 요청을 데이터 채널 서버에 송신하고, 데이터 채널 서버가 주소 수집 요청에 따라 스마트폰 A의 주소 정보를 스마트폰 A에 반환한다. 주소 정보는 3가지 타입, 즉 스마트폰의 로컬 주소, 네트워크 주소 변환(Network Address Translation, NAT)의 공인 매핑 주소, 및 릴레이를 이용하여 NAT를 우회하는 횡단의 릴레이 주소를 포함할 수 있다.
3) 피제어 단말기가 데이터 채널 서버로부터 피제어 단말기의 주소 정보를 획득한다.
이와 유사하게, 데이터 채널 구축 명령을 수신한 후에, 스마트폰 B도 역시 주소 수집 요청을 데이터 채널 서버에 송신하고, 데이터 채널 서버가 주소 수집 요청에 따라 스마트폰 B의 주소 정보를 스마트폰 B에 반환한다.
4) 피제어 단말기가 제어 채널을 이용하여 제어 단말기로부터 제어 단말기의 주소 정보를 획득한다.
스마트폰 A가 제어 채널을 이용하여 스마트폰 A의 주소 정보를 스마트폰 B에 송신한다.
5) 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정한다.
이와 유사하게, 스마트폰 B가 스마트폰 B의 3가지 타입의 주소 및 스마트폰 A의 3가지 타입의 주소를 주소 쌍으로 결합하고, 결합을 이용하여 획득된 주소 쌍에 대해 연결성 테스트를 수행하며, 연결성 테스트의 결과에 따라 최적 경로를 연결 경로로서 결정한다.
6) 피제어 단말기가 결정된 연결 경로를 이용하여 데이터 채널을 구축한다.
제어 단말기가 서버로부터 피제어 단말기의 주소 정보를 직접 획득할 수 있다. 예를 들어, 제어 단말기가 피제어 단말기의 주소 정보를 수집하기 위한 요청을 서버에 송신할 수 있고, 서버가 피제어 단말기의 주소 정보를 제어 단말기에 송신하며, 제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고 데이터 채널을 구축한다.
이미지 데이터 획득 모듈(602)은 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하도록 구성된다.
제어 단말기 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시할 수 있도록, 이미지 데이터 송신 모듈(603)은 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 송신하도록 구성된다.
조작 정보 수신 모듈(604)은 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신하도록 구성된다. 여기서, 조작 정보는 스크린샷에 기반한 조작에 따라 제어 단말기에 의해 생성된 정보이다.
수행 모듈(605)은 조작 정보에 따라 대응하는 제어 조작을 수행하도록 구성된다.
조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고, 수행 모듈(605)은 이하를 포함한다:
터치 조작에 대응하는 터치 이벤트를 제어 정보에 따라 복원하도록 구성된 이벤트 복원 서브모듈(6051);
터치 이벤트에 따라 제어 조작을 수행하도록 구성된 제1 수행 서브모듈(6052);
조작 정보가 버튼 정보인 경우, 버튼 조작에 대응하는 버튼 타입을 조작 정보에 포함된 식별자에 따라 결정하도록 구성된 제2 버튼 타입 결정 서브모듈(6053);
버튼 타입에 따라 제어 조작을 수행하도록 구성된 제2 수행 서브모듈(6054);
조작 정보가 음성 정보인 경우, 음성 조작에 대응하는 제어 명령을 조작 정보에 포함된 식별자에 따라 결정하도록 구성된 명령 결정 서브모듈(6055); 및
제어 명령에 따라 제어 조작을 수행하도록 구성된 제3 수행 서브모듈(6056)
이벤트 복원 서브모듈은, 제1 복원 유닛(6051a) 또는 제2 복원 유닛(6051b)을 포함한다.
제1 복원 유닛(6051a)은 터치 이벤트를 복원하기 위해 조작 정보에 포함된 바이트 스트림을 역직렬화하도록 구성된다.
제2 복원 유닛(6051b)은 조작 정보에 포함된 지정된 포맷의 파일로부터 터치 이벤트의 키 정보를 회수하고, 키 정보에 따라 터치 이벤트를 복원하도록 구성된다. 여기서, 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
피제어 단말기에 의해 제어 단말기의 원격 제어를 수신하는 구체적 프로세스에 대해서는, 도 2에 대응하는 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
결론적으로, 본 발명의 본 실시예에서 제공되는 피제어 단말기가 제어 단말기로의 제어 채널 및 데이터 채널을 구축하고; 피제어 단말기의 스크린 이미지 데이터를 획득하고, 데이터 채널을 이용하여 이 스크린 이미지 데이터를 제어 단말기에 송신하며, 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신하고, 조작 정보에 따라 대응하는 제어 조작을 수행한다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 10을 참조하면, 도 10은 본 발명의 일 실시예에 따른 피제어 단말기의 블록도이다. 피제어 단말기(700)은 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기의 원격 제어를 수신하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 피제어 단말기(700)는 버스(705), 및 버스(705)에 연결된 프로세서(701), 메모리(702), 송신기(703), 및 수신기(704)를 포함할 수 있다. 메모리(702)는 프로세서(701)에 의해 실행되도록 구성된 복수의 명령을 저장하도록 구성된다.
프로세서(701)는 제어 단말기로의 제어 채널 및 데이터 채널을 구축하기 위해 수신기(704) 및 송신기(703)를 제어하도록 구성된다.
프로세서(701)는 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하도록 구성된다.
제어 단말기가 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시할 수 있도록, 프로세서(701)는, 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 송신하기 위해 송신기(703)를 제어하도록 구성된다.
수신기(704)는 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신하도록 구성된다. 여기서, 조작 정보는 스크린샷에 기반한 조작에 따라 제어 단말기에 의해 생성된 정보이다.
프로세서(701)는 조작 정보에 따라 대응하는 제어 조작을 수행하도록 구성된다.
결론적으로, 본 발명의 본 실시예에서 제공되는 피제어 단말기가 제어 단말기로의 제어 채널 및 데이터 채널을 구축하고; 피제어 단말기의 스크린 이미지 데이터를 획득하고, 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 송신하며, 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신하고, 이 조작 정보에 따라 대응하는 제어 조작을 수행한다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 11을 참조하면, 도 11은 본 발명의 다른 실시예에 따른 피제어 단말기의 블록도이다. 피제어 단말기(800)는 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기의 원격 제어를 수신하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 피제어 단말기(800)는 버스(805), 및 버스(805)에 연결된 프로세서(801), 메모리(802), 송신기(803), 및 수신기(804)를 포함할 수 있다. 메모리(802)는 프로세서(801)에 의해 실행되도록 구성된 복수의 명령을 저장하도록 구성되고;
프로세서(801)는 제어 단말기로의 제어 채널 및 데이터 채널을 구축하기 위해 수신기(804) 및 송신기(803)를 제어하도록 구성되며;
프로세서(801)는 서버를 이용하여 제어 단말기로의 제어 채널을 구축하기 위해 수신기(804) 및 송신기(803)를 제어하도록 구성되고;
프로세서(801)는 서버 및 제어 채널을 이용하여 제어 단말기로의 데이터 채널을 구축하기 위해 수신기(804) 및 송신기(803)를 제어하도록 구성된다.
데이터 채널을 구축하는 경우, 프로세서(801)는 서버로부터 피제어 단말기의 주소 정보를 획득하기 위해 수신기(804) 및 송신기(803)를 제어하도록 구성되고 - 여기서, 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
프로세서(801)는 서버 또는 제어 단말기로부터 제어 단말기의 주소 정보를 획득하기 위해 수신기(804) 및 송신기(803)를 제어하도록 구성되며;
프로세서(801)는 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성되고;
프로세서(801)는 연결 경로에 따라 데이터 채널을 구축하기 위해 수신기(804) 및 송신기(803)를 제어하도록 구성된다.
프로세서(801)는 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하도록 구성되고;
제어 단말기가 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시할 수 있도록, 프로세서(801)는, 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 송신하게끔 송신기(803)를 제어하도록 구성되며;
수신기(804)는 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신하도록 구성되고 - 여기서, 조작 정보는 스크린샷에 기반한 조작에 따라 제어 단말기에 의해 생성된 정보임 -;
프로세서(801)는 조작 정보에 따라 대응하는 제어 조작을 수행하도록 구성된다.
조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고, 제어 조작을 수행하는 때, 프로세서(801)는, 조작 정보가 터치 정보인 경우, 터치 조작에 대응하는 터치 이벤트를 제어 정보에 따라 복원하고, 터치 이벤트에 따라 제어 조작을 수행하도록 구성되며;
제어 정보에 따라 터치 이벤트를 복원하는 경우, 프로세서(801)는 터치 이벤트를 복원하기 위해 조작 정보에 포함된 바이트 스트림을 역직렬화하도록 구성되거나; 또는 프로세서(801)는 조작 정보에 포함된 지정된 포맷의 파일로부터 터치 이벤트의 키 정보를 회수하고, 키 정보에 따라 터치 이벤트를 복원하도록 구성된다. 여기서, 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함한다.
프로세서(801)는, 조작 정보가 버튼 정보인 경우, 버튼 조작에 대응하는 버튼 타입을 조작 정보에 포함된 식별자에 따라 결정하고, 버튼 타입에 따라 제어 조작을 수행하도록 구성된다.
프로세서(801)는, 조작 정보가 음성 정보인 경우, 음성 조작에 대응하는 제어 명령을 조작 정보에 포함된 식별자에 따라 결정하고, 제어 명령에 따라 제어 조작을 수행하도록 구성된다.
결론적으로, 본 발명의 본 실시예에서 제공되는 피제어 단말기가 제어 단말기로의 제어 채널 및 데이터 채널을 구축하고; 피제어 단말기의 스크린 이미지 데이터를 획득하고, 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 송신하며, 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신하고, 조작 정보에 따라 대응하는 제어 조작을 수행한다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 12를 참조하면, 도 12는 본 발명의 일 실시예에 따른 서버의 개략적인 구조도이다. 제어 단말기가 피제어 단말기에 대해 원격 제어를 수행할 수 있도록, 서버는 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기와 도 8 내지 도 11 중 어느 하나에 도시된 피제어 단말기 간에 연결을 구축하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 서버는 이하를 포함할 수 있다:
제어 단말기와 피제어 단말기 간에 제어 채널을 구축하도록 구성된 제어 채널 구축 모듈(901);
제어 단말기 및 피제어 단말기가 제어 채널을 이용하여 주소 정보를 교환한 후에, 제어 단말기 또는 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제어 단말기의 주소 정보를 제어 단말기에 제공하고, 피제어 단말기의 주소 정보를 피제어 단말기에 제공하도록 구성된 제1 주소 제공 모듈(902);
제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 제어 단말기에 제공하도록 구성된 제2 주소 제공 모듈(903); 및
피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 피제어 단말기에 제공하도록 구성된 제3 주소 제공 모듈(904).
결론적으로, 본 발명의 본 실시예에서 제공되는 서버가 제어 단말기와 피제어 단말기 간에 제어 채널 및 데이터 채널을 구축하고; 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행한다. 이런 방식으로, 2개의 단말기 간에 2개의 독립적인 채널이 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직과 전송 시간에 있어서 스크린 데이터 및 조작 정보 간에 충돌이 존재하여 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 13을 참조하면, 도 13은 본 발명의 다른 실시예에 따른 서버의 개략적인 구조도이다. 제어 단말기가 피제어 단말기에 대해 원격 제어를 수행할 수 있도록, 서버는 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기와 도 8 내지 도 11 중 어느 하나에 도시된 피제어 단말기 간에 연결을 구축하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 서버는 이하를 포함할 수 있다:
제어 채널 구축 모듈(1001)은 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하도록 구성된다.
제어 채널 구축 모듈(1001)은 이하를 포함한다:
제어 단말기가 서버에 연결된 후에, 제어 단말기에 의해 송신된 제어 채널 구축 요청을 수신하도록 구성된 요청 수신 서브모듈(10011);
피제어 단말기가 서버에 이미 연결되어 있는지 여부를 판정하도록 구성된 판정 서브모듈(10012); 및
판정 서브모듈(10012)의 판정 결과가 피제어 단말기가 서버에 이미 연결되어 있는 것이면, 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하도록 구성된 채널 구축 서브모듈(10013).
제어 채널 구축 모듈(1001)은, 이하를 더 포함한다:
판정 서브모듈(10012)의 판정 결과가 피제어 단말기가 서버에 연결되어 있지 않은 것이면, 연결 통지를 피제어 단말기에 송신하도록 구성된 통지 서브모듈(10014) - 연결 통지는 피제어 단말기를 서버에 연결하도록 지시하기 위해 사용됨 -.
제어 단말기 및 피제어 단말기가 제어 채널을 이용하여 주소 정보를 교환한 후에, 제어 단말기 또는 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제1 주소 제공 모듈(1002)은 제어 단말기의 주소 정보를 제어 단말기에 제공하고, 피제어 단말기의 주소 정보를 피제어 단말기에 제공하도록 구성된다.
제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제2 주소 제공 모듈(1003)은 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 제어 단말기에 제공하도록 구성된다.
피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제3 주소 제공 모듈(1004)은 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 피제어 단말기에 제공하도록 구성된다.
제어 단말기가 제어 채널 및 데이터 채널을 이용하여 제어 채널 및 데이터 채널을 구축하는 프로세스 및 피제어 단말기에 대해 제어를 수행하는 프로세스에 대해서는, 도 2에 도시된 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
결론적으로, 본 발명의 본 실시예에서 제공되는 서버가 제어 단말기와 피제어 단말기 간에 제어 채널 및 데이터 채널을 구축하고; 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행한다. 이런 방식으로, 2개의 단말기 간에 2개의 독립적인 채널이 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직과 전송 시간에 있어서 스크린 데이터 및 조작 정보 간에 충돌이 존재하여 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 14를 참조하면, 도 14는 본 발명의 일 실시예에 따른 서버의 블록도이다. 제어 단말기가 피제어 단말기에 대해 원격 제어를 수행할 수 있도록, 서버(1100)는 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기 및 도 8 내지 도 11 중 어느 하나에 도시된 피제어 단말기 간에 연결을 구축하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 서버(1100)는 버스(1105), 및 버스에 연결된 프로세서(1101), 메모리(1102), 송신기(1103), 및 수신기(1104)를 포함한다. 메모리(1102)는 프로세서(1101)에 의해 실행되도록 구성된 복수의 명령을 저장하도록 구성된다.
프로세서(1101)는 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하기 위해 수신기(1104) 및 송신기(1103)를 제어하도록 구성된다.
제어 단말기 및 피제어 단말기가 제어 채널을 이용하여 주소 정보를 교환한 후에, 제어 단말기 또는 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 프로세서(1101)는, 제어 단말기의 주소 정보를 제어 단말기에 제공하고 피제어 단말기의 주소 정보를 피제어 단말기에 제공하기 위해, 수신기(1104) 및 송신기(1103)를 제어하도록 구성되거나; 또는 제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 프로세서는 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 제어 단말기에 제공하도록 구성되거나; 또는 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 프로세서는 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 피제어 단말기에 제공하도록 구성된다.
결론적으로, 본 발명의 본 실시예에서 제공되는 서버가 제어 단말기와 피제어 단말기 간에 제어 채널 및 데이터 채널을 구축하고; 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행한다. 이런 방식으로, 2개의 단말기 간에 2개의 독립적인 채널이 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직과 전송 시간에 있어서 스크린 데이터 및 조작 정보 간에 충돌이 존재하여 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 15를 참조하면, 도 15는 본 발명의 다른 실시예에 따른 서버의 블록도이다. 제어 단말기가 피제어 단말기에 대해 원격 제어를 수행할 수 있도록, 서버(1200)는 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기와 도 8 내지 도 11 중 어느 하나에 도시된 피제어 단말기 간에 연결을 구축하도록 구성된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 서버(1200)는 버스(1205), 및 버스에 연결된 프로세서(1201), 메모리(1202), 송신기(1203), 및 수신기(1204)를 포함한다. 메모리(1202)는 프로세서(1201)에 의해 실행되도록 구성된 복수의 명령을 저장하도록 구성되고;
프로세서(1201)는 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하기 위해 수신기(1204) 및 송신기(1203)를 제어하도록 구성되며;
제어 단말기와 피제어 단말기 간에 제어 채널이 구축되는 경우, 수신기(1204)는, 제어 단말기가 서버에 연결된 후에, 제어 단말기에 의해 송신된 제어 채널 구축 요청을 수신하도록 구성되고;
프로세서(1201)는 피제어 단말기가 서버에 이미 연결되어 있는지 여부를 판정하고; 판정 결과가 피제어 단말기가 서버에 이미 연결되어 있는 것이면, 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하기 위해 수신기(1204) 및 송신기(1203)를 제어하도록 구성된다.
프로세서(1201)는, 판정 결과가 피제어 단말기가 서버에 연결되어 있지 않은 것이면, 연결 통지를 피제어 단말기에 송신하게끔 송신기(1203)를 제어하도록 구성된다. 여기서, 연결 통지는 피제어 단말기를 서버에 연결하도록 지시하기 위해 사용된다.
제어 단말기 및 피제어 단말기가 제어 채널을 이용하여 주소 정보를 교환한 후에, 제어 단말기 또는 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 프로세서(1201)는, 제어 단말기의 주소 정보를 제어 단말기에 제공하고 피제어 단말기의 주소 정보를 피제어 단말기에 제공하기 위해, 수신기(1204) 및 송신기(1203)를 제어하도록 구성되거나; 또는 제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 프로세서는 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 제어 단말기에 제공하도록 구성되거나; 또는 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 프로세서는 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 피제어 단말기에 제공하도록 구성된다.
제어 단말기가 제어 채널 및 데이터 채널을 이용하여 제어 채널 및 데이터 채널을 구축하는 프로세스 및 피제어 단말기에 대한 제어를 수행하는 프로세스에 대해서는, 도 2에 도시된 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
결론적으로, 본 발명의 본 실시예에서 제공되는 서버는 제어 단말기와 피제어 단말기 간에 제어 채널 및 데이터 채널을 구축하고; 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행한다. 이런 방식으로, 2개의 단말기 간에 2개의 독립적인 채널이 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직과 전송 시간에 있어서 스크린 데이터 및 조작 정보 간에 충돌이 존재하여 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 16을 참조하면, 도 16은 본 발명의 일 실시예에 따른 단말기 제어 방법의 방법 흐름도이다. 피제어 단말기에 대해 원격 제어를 수행하기 위해, 이 단말기 제어 방법은이 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기에 사용될 수 있다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 이 제어 방법은 이하를 포함할 수 있다:
단계 1302: 피제어 단말기로의 제어 채널 및 데이터 채널을 구축한다.
단계 1304: 데이터 채널을 이용하여 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신한다. 여기서, 스크린 이미지 데이터는 피제어 단말기의 스크린샷을 나타내기 위해 사용된다.
단계 1306: 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시한다.
단계 1308: 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성한다.
단계 1310: 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신한다.
결론적으로, 본 발명의 본 실시예에서 제공되는 단말기 제어 방법에 따르면, 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 피제어 단말기로의 제어 채널 및 데이터 채널이 구축되고, 피제어 단말기에 의해 송신되는 스크린 이미지 데이터가 데이터 채널을 이용하여 수신되며, 피제어 단말기의 스크린샷이 스크린 이미지 데이터에 따라 표시되고, 대응하는 조작 정보가 스크린샷에 기반한 조작에 따라 생성되며, 조작 정보가 제어 채널을 이용하여 피제어 단말기에 송신된다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성할 수 있다.
도 17을 참조하면, 도 17은 본 발명의 다른 실시예에 따른 단말기 제어 방법의 방법 흐름도이다. 피제어 단말기에 대해 원격 제어를 수행하기 위해, 이 단말기 제어 방법이 도 1, 도 2, 도 6, 및 도 7 중 어느 하나에 도시된 제어 단말기에 사용될 수 있다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 단말기 제어 방법은 이하를 포함할 수 있다:
단계 1402: 피제어 단말기로의 제어 채널을 구축한다.
사용자가 제어 단말기 내에서 피제어 단말기를 제어하기를 원하는 경우, 사용자는 제어 채널 서버를 이용하여 피제어 단말기로의 제어 채널을 구축할 수 있다.
또는, 서버를 이용하지 않고 제어 단말기와 피제어 단말기 간에 제어 채널이 직접 구축될 수 있다.
단계 1404: 피제어 단말기로의 데이터 채널을 구축한다.
제어 단말기가 서버 및 제어 채널을 이용하여 피제어 단말기로의 데이터 채널을 구축할 수 있다.
제어 단말기가 서버로부터 제어 단말기의 주소 정보를 획득할 수 있다. 여기서, 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고; 제어 단말기는 서버 또는 피제어 단말기로부터 피제어 단말기의 주소 정보를 획득하며; 제어 단말기는 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고; 제어 단말기는 연결 경로에 따라 데이터 채널을 구축한다.
제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하는 경우, 제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 주소 쌍으로 결합하고, 주소 쌍에 대해 연결성 테스트를 수행하며, 연결성 테스트의 결과에 따라 연결 경로를 결정한다.
또는, 데이터 채널이 서버를 이용하지 않고 제어 단말기와 피제어 단말기 간에 직접 구축될 수 있다.
제어 채널 및 데이터 채널을 구축하는 절차에 대해서는, 도 2에 대응하는 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
단계 1406: 데이터 채널을 이용하여 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신한다. 여기서, 스크린 이미지 데이터는 피제어 단말기의 스크린샷을 나타내기 위해 사용된다.
단계 1408: 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시한다.
단계 1410: 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성한다.
조작 정보를 생성하는 절차에 대해서는, 도 2에 대응하는 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
단계 1412: 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신한다.
결론적으로, 본 발명의 본 실시예에서 제공되는 단말기 제어 방법에 따르면, 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 피제어 단말기로의 제어 채널 및 데이터 채널이 구축되고, 피제어 단말기에 의해 송신되는 스크린 이미지 데이터가 데이터 채널을 이용하여 수신되며, 피제어 단말기의 스크린샷이 스크린 이미지 데이터에 따라 표시되고, 대응하는 조작 정보가 스크린샷에 기반한 조작에 따라 생성되며, 조작 정보가 제어 채널을 이용하여 피제어 단말기에 송신된다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성할 수 있다.
도 18을 참조하면, 도 18은 본 발명의 일 실시예에 따른 단말기 제어 방법의 방법 흐름도이다. 피제어 단말기가 제어 단말기의 원격 제어를 수신할 수 있도록,이 단말기 제어 방법이 도 8 내지 도 11에 도시된 피제어 단말기에 사용된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 단말기 제어 방법은 이하를 포함할 수 있다:
단계 1502: 제어 단말기로의 제어 채널 및 데이터 채널을 구축한다.
단계 1504: 피제어 단말기를 나타내기 위해 사용되는 스크린샷의 스크린 이미지 데이터를 획득한다.
단계 1506: 제어 단말기가 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시할 수 있도록, 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 송신한다.
단계 1508: 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신한다. 여기서, 조작 정보는 스크린샷에 기반한 조작에 따라 제어 단말기에 의해 생성되는 정보이다.
단계 1510: 조작 정보에 따라 대응하는 제어 조작을 수행한다.
결론적으로, 본 발명의 본 실시예에서 제공되는 단말기 제어 방법에 따르면, 제어 단말기로의 제어 채널 및 데이터 채널이 구축되고; 피제어 단말기의 스크린 이미지 데이터가 획득되고, 스크린 이미지 데이터가 데이터 채널을 이용하여 제어 단말기에 송신되며, 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보가 수신되고, 조작 정보에 따라 대응하는 제어 조작이 수행된다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 19를 참조하면, 도 19는 본 발명의 다른 실시예에 따른 단말기 제어 방법의 방법 흐름도이다. 피제어 단말기가 제어 단말기의 원격 제어를 수신할 수 있도록, 이 단말기 제어 방법이 도 8 내지 도 11에 도시된 피제어 단말기에 사용된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 단말기 제어 방법은 이하를 포함할 수 있다:
단계 1602: 제어 단말기로의 제어 채널을 구축한다.
단계 1604: 제어 단말기로의 데이터 채널을 구축한다.
제어 채널 및 데이터 채널을 구축하는 프로세스에 대해서는, 도 2에 대응하는 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
단계 1606: 피제어 단말기의 지정된 프레임 레이트로 스크린 이미지 데이터를 획득한다.
스크린 이미지 데이터는 피제어 단말기의 스크린샷을 나타내기 위해 사용된다.
단계 1608: 제어 단말기가 스크린 이미지 데이터에 따라 피제어 단말기의 스크린샷을 표시할 수 있도록, 데이터 채널을 이용하여 스크린 이미지 데이터를 제어 단말기에 송신한다.
단계 1610: 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보를 수신한다. 여기서, 조작 정보는 스크린샷에 기반한 조작에 따라 제어 단말기에 의해 생성되는 정보이다.
단계 1612: 조작 정보에 따라 대응하는 제어 조작을 수행한다.
제어 단말기가 조작 정보를 생성하여 송신하는 절차 및 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행하는 절차에 대해서는, 도 2에 대응하는 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
결론적으로, 본 발명의 본 실시예에서 제공되는 방법에 따르면, 제어 단말기로의 제어 채널 및 데이터 채널이 구축되고; 피제어 단말기의 스크린 이미지 데이터가 획득되고, 스크린 이미지 데이터가 데이터 채널을 이용하여 제어 단말기에 송신되며, 제어 채널을 이용하여 제어 단말기에 의해 송신되는 조작 정보가 수신되고, 조작 정보에 따라 대응하는 제어 조작이 수행된다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 20을 참조하면, 도 20은 본 발명의 일 실시예에 따른 단말기 제어 방법의 방법 흐름도이다. 제어 단말기가 피제어 단말기에 대해 원격 제어를 수행할 수 있도록, 이 단말기 제어 방법이 도 1, 도 2, 도 6 또는 도 7에 도시된 제어 단말기와 도 8 내지 도 11 중 어느 하나에 도시된 피제어 단말기 간의 연결을 도 12 내지 도 15 중 어느 하나에 도시된 서버에서 구축하기 위해 사용된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 단말기 제어 방법은 이하를 포함할 수 있다:
단계 1702: 제어 단말기와 피제어 단말기 간에 제어 채널을 구축한다.
단계 1704: 제어 단말기 및 피제어 단말기가 제어 채널을 이용하여 주소 정보를 교환한 후에, 제어 단말기 또는 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제어 단말기의 주소 정보를 제어 단말기에 제공하고, 피제어 단말기의 주소 정보를 피제어 단말기에 제공한다.
단계 1706: 제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 제어 단말기에 제공한다.
단계 1708: 피제어 단말기가 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 연결 경로에 따라 데이터 채널을 구축하며, 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행할 수 있도록, 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 피제어 단말기에 제공한다.
결론적으로, 본 발명의 본 실시예에서 제공되는 방법에 따르면, 제어 단말기와 피제어 단말기 간에 제어 채널 및 데이터 채널이 구축되고; 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행한다. 이런 방식으로, 2개의 단말기 간에 2개의 독립적인 채널이 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직과 전송 시간에 있어서 스크린 데이터 및 조작 정보 간에 충돌이 존재하여 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
도 21을 참조하면, 도 21은 본 발명의 다른 실시예에 따른 단말기 제어 방법의 방법 흐름도이다. 제어 단말기가 피제어 단말기에 대해 원격 제어를 수행할 수 있도록, 이 단말기 제어 방법이 도 1, 도 2, 도 6 또는 도 7에 도시된 제어 단말기와 도 8 내지 도 11 중 어느 하나에 도시된 피제어 단말기 간의 연결을 도 12 내지 도 15 중 어느 하나에 도시된 서버에서 구축하기 위해 사용된다. 여기서, 제어 단말기 및 피제어 단말기는 각각 디스플레이 유닛을 가지고 있고 동일한 조작 모드를 가진 모바일 단말기, 예컨대 스마트폰, 태블릿 컴퓨터, 및 e-북 리더일 수 있다. 단말기 제어 방법은 이하를 포함할 수 있다:
단계 1802: 제어 단말기가 서버에 연결된 후에, 제어 단말기에 의해 송신되는 제어 채널 구축 요청을 수신한다.
단계 1804: 피제어 단말기가 서버에 이미 연결되어 있는지 여부를 판정하고, 피제어 단말기가 서버에 이미 연결되어 있으면 단계 1806으로 진행하고, 연결되어 있지 않으면 단계 1808로 진행한다.
단계 1806: 연결 통지를 피제어 단말기에 송신하고, 단계 1804로 되돌아간다.
단계 1808: 제어 단말기와 피제어 단말기 간에 제어 채널을 구축한다.
서버가 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하는 구체적인 절차에 대해서는, 도 2에 도시된 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
단계 1810: 제어 단말기의 주소 정보를 제어 단말기에 제공하고, 피제어 단말기의 주소 정보를 피제어 단말기에 제공한다.
단계 1812: 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 제어 단말기에 제공한다.
단계 1814: 제어 단말기의 주소 정보 및 피제어 단말기의 주소 정보를 피제어 단말기에 제공한다.
제어 단말기 및/또는 피제어 단말기가 데이터 채널을 구축할 수 있도록 서버가 주소 정보를 제어 단말기 및/또는 피제어 단말기에 제공하는 절차, 및 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 원격 제어를 수행하는 절차에 대해서는, 도 2에 도시된 실시예에서의 설명을 참조하고, 본 명세서에서는 더 이상 세부사항에 대해 설명하지 않는다.
결론적으로, 본 발명의 본 실시예에서 제공되는 방법에 따르면, 제어 단말기와 피제어 단말기 간에 제어 채널 및 데이터 채널이 구축되고; 제어 단말기가 제어 채널 및 데이터 채널을 이용하여 피제어 단말기에 대해 제어를 수행한다. 이런 방식으로, 2개의 단말기 간에 2개의 독립적인 채널이 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직과 전송 시간에 있어서 스크린 데이터 및 조작 정보 간에 충돌이 존재하여 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성한다.
본 발명의 일 실시예는 단말기 제어 시스템의 시스템 구성도를 제공한다. 도 22를 참조하면, 단말기 제어 시스템이 제어 단말기, 피제어 단말기, 및 서버 중에서 원격 제어를 수행하기 위해 사용된다. 여기서, 제어 단말기 및 피제어 단말기는 스마트폰, 태블릿 컴퓨터, 또는 e-북 리더와 같은 모바일 단말기일 수 있다. 단말기 제어 시스템은 이하를 포함할 수 있다:
제어 단말기 001은 도 1, 도 2, 도 6 또는 도 7에 도시되어 있고, 피제어 단말기 002는 도 8 내지 도 11 중 어느 하나에 도시되어 있으며, 서버 003은 도 12 내지 도 15 중 어느 하나에 도시되어 있다.
결론적으로, 본 발명의 본 실시예에서 제공되는 단말기 제어 시스템에 대해, 피제어 단말기가 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 제어 단말기가 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하고, 데이터 채널을 이용하여 피제어 단말기에 의해 송신된 스크린 이미지 데이터를 수신하며, 피제어 단말기의 스크린샷을 스크린 이미지 데이터에 따라 표시하고, 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하며, 제어 채널을 이용하여 조작 정보를 피제어 단말기에 송신한다. 이런 방식으로, 2개의 독립적인 채널이 2개의 단말기 간에 제어 정보 및 스크린 이미지 데이터를 전송하기 위해 사용되고, 이를 통해 전송 로직 및 전송 시간에 있어서 스크린 데이터와 조작 정보 사이에 충돌이 존재하기 때문에 제어 단말기 측에 표시되는 피제어 단말기의 스크린샷이 제어 단말기 측의 사용자 조작에 제 시간에 응답할 수 없는 문제를 방지하며, 이로써 제어 효과와 사용자 경험을 개선하는 목적을 달성할 수 있다.
전술한 실시예에서 제공된 제어 단말기가 피제어 단말기에 대해 원격 제어를 수행하는 경우, 전술한 기능 모듈의 구분은 단지 설명을 위한 예로서 사용된다는 것을 유의해야 한다. 실제 적용에서는, 요구사항에 따라 전술한 기능이 서로 다른 기능 모듈에 할당되고 구현될 수 있다. 즉, 전술한 기능의 전부 또는 일부를 구현하기 위해, 단말기의 내부 구조는 서로 다른 기능 모듈로 분할된다. 또한, 전술한 실시예에서 제공되는 제어 단말기, 피제어 단말기, 및 서버는 단말기 제어 방법의 실시예와 동일한 개념을 공유하고 있으며, 이들의 구체적인 특정한 구현 프로세스에 대해서는 세부사항에 대한 방법 실시예를 참조하고, 본 명세서에서는 더 이상 이에 대해 설명하지 않는다.
전술한 본 발명의 실시예의 시퀀스 번호는 단지 예시적인 것일 뿐이고, 실시예의 우선순위를 나타내고자 하는 것은 아니다.
당업자는 실시예의 단계 중 전부 또는 일부가 관련된 하드웨어에 지시하는 하드웨어 또는 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있을 것이다. 프로그램은 컴퓨터가 판독 가능한 저장 매체에 저장될 수 있다. 저장 매체는 읽기 전용 메모리, 자기 디스크, 또는 광 디스크를 포함할 수 있다.
전술한 설명은 단지 본 발명의 실시예일 뿐이고, 본 발명을 제한하고자 하는 것은 아니다. 본 발명의 사상과 원리에서 벗어나지 않는 임의의 변경, 등가의 대체, 및 개선은 본 발명의 보호 범위 내에 속할 것이다.

Claims (42)

  1. 제어 단말기로서,
    피제어 단말기로의 제어 채널 및 데이터 채널을 구축하도록 구성된 제1 채널 구축 모듈;
    상기 데이터 채널을 이용하여 상기 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신하도록 구성된 이미지 데이터 수신 모듈 - 상기 스크린 이미지 데이터는 상기 피제어 단말기의 스크린샷을 나타내기 위해 사용됨 -;
    상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 표시하도록 구성된 디스플레이 모듈;
    상기 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하도록 구성된 조작 정보 생성 모듈; 및
    상기 피제어 단말기가 상기 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 상기 제어 채널을 이용하여 상기 조작 정보를 상기 피제어 단말기에 송신하도록 구성된 조작 정보 송신 모듈
    을 포함하는 제어 단말기.
  2. 제1항에 있어서,
    상기 제1 채널 구축 모듈은,
    서버를 이용하여 상기 피제어 단말기로의 상기 제어 채널을 구축하도록 구성된 제1 채널 구축 서브모듈; 및
    상기 서버 및 상기 제어 채널을 이용하여 상기 피제어 단말기로의 상기 데이터 채널을 구축하도록 구성된 제2 채널 구축 서브모듈
    을 포함하는, 제어 단말기.
  3. 제2항에 있어서,
    상기 제2 채널 구축 서브모듈은,
    상기 서버로부터 상기 제어 단말기의 주소 정보를 획득하도록 구성된 제1 주소 획득 유닛 - 여기서, 상기 주소 정보는 로컬 주소, 네트워크 주소 변환(network address translation)의 매핑 주소, 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소(relay address of traversal using relays around network address translation)를 포함하고 있음 -;
    상기 서버 또는 상기 피제어 단말기로부터 상기 피제어 단말기의 주소 정보를 획득하도록 구성된 제2 주소 획득 유닛;
    상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성된 제1 경로 결정 유닛; 및
    상기 연결 경로에 따라 상기 데이터 채널을 구축하도록 구성된 제1 구축 유닛
    을 포함하는, 제어 단말기.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고,
    상기 조작 정보 생성 모듈은,
    상기 조작 정보가 터치 정보인 경우, 상기 조작에 대응하는 터치 이벤트를 모니터링하도록 구성된 모니터링 서브모듈;
    상기 터치 이벤트에 따라 상기 조작 정보를 생성하도록 구성된 제1 생성 서브모듈;
    상기 조작 정보가 버튼 정보인 경우, 상기 조작에 대응하는 버튼 타입을 결정하도록 구성된 제1 버튼 타입 결정 서브모듈;
    상기 버튼 타입에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하도록 구성된 제2 생성 서브모듈;
    상기 조작 정보가 음성 정보인 경우, 상기 조작에 대응하는 음성으로부터 텍스트를 인식하도록 구성된 음성 인식 서브모듈; 및
    상기 텍스트에 포함된 제어 명령을 회수하고, 상기 제어 명령에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하도록 구성된 제2 생성 서브모듈
    을 포함하는, 제어 단말기.
  5. 제4항에 있어서,
    상기 제1 생성 서브모듈은 제1 생성 유닛 또는 제2 생성 유닛을 포함하고,
    상기 제1 생성 유닛은 상기 터치 이벤트를 바이트 스트림으로 직렬화(serialize)하고, 상기 바이트 스트림을 포함하는 상기 조작 정보를 생성하도록 구성되며;
    상기 제2 생성 유닛은 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보를 지정된 포맷의 파일로 인코딩하며, 상기 지정된 포맷의 파일을 포함하는 상기 조작 정보를 생성하도록 구성되고, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함하는, 제어 단말기.
  6. 제3항에 있어서,
    상기 제1 경로 결정 유닛은,
    상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 주소 쌍으로 결합하도록 구성된 결합 서브유닛;
    상기 주소 쌍에 대해 연결성 테스트(connectivity test)를 수행하도록 구성된 테스트 서브유닛; 및
    상기 연결성 테스트의 결과에 따라 상기 연결 경로를 결정하도록 구성된 구축 서브유닛
    을 포함하는, 제어 단말기.
  7. 제어 단말기로서,
    상기 제어 단말기는 버스, 및 상기 버스에 연결된 프로세서, 메모리, 송신기, 및 수신기를 포함하고,
    상기 메모리는 복수의 명령을 저장하도록 구성되고 - 상기 복수의 명령은 상기 프로세서에 의해 실행되도록 구성되어 있음 -;
    상기 프로세서는 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
    상기 수신기는 상기 데이터 채널을 이용하여 상기 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신하도록 구성되고 - 여기서, 상기 스크린 이미지 데이터는 상기 피제어 단말기의 스크린샷을 나타내기 위해 사용됨 -;
    상기 프로세서는 상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 디스플레이 장치 상에 표시하고, 상기 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하도록 구성되며;
    상기 피제어 단말기가 상기 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 상기 프로세서는 상기 제어 채널을 이용하여 상기 조작 정보를 상기 피제어 단말기에 송신하기 위해 상기 송신기를 제어하도록 구성되는, 제어 단말기.
  8. 제7항에 있어서,
    상기 프로세서는, 서버를 이용하여 상기 피제어 단말기로의 상기 제어 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
    상기 프로세서는, 상기 서버 및 상기 제어 채널을 이용하여 상기 피제어 단말기로의 상기 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되는, 제어 단말기.
  9. 제8항에 있어서,
    상기 프로세서는 상기 서버로부터 상기 제어 단말기의 주소 정보를 획득하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되고 - 여기서, 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
    상기 프로세서는 상기 서버 또는 상기 피제어 단말기로부터 상기 피제어 단말기의 주소 정보를 획득하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
    상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성되고;
    상기 프로세서는 상기 연결 경로에 따라 상기 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되는, 제어 단말기.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고;
    상기 프로세서는, 상기 조작 정보가 터치 정보인 경우, 상기 조작에 대응하는 터치 이벤트를 모니터링하고, 상기 터치 이벤트에 따라 상기 조작 정보를 생성하도록 구성되고;
    상기 프로세서는, 상기 조작 정보가 버튼 정보인 경우, 상기 조작에 대응하는 버튼 타입을 결정하고, 상기 버튼 타입에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하도록 구성되며;
    상기 프로세서는, 상기 조작 정보가 음성 정보인 경우, 상기 조작에 대응하는 음성으로부터 텍스트를 인식하고, 상기 텍스트에 포함된 제어 명령을 회수하며, 상기 제어 명령에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하도록 구성되는, 제어 단말기.
  11. 제10항에 있어서,
    상기 프로세서는 상기 터치 이벤트를 바이트 스트림으로 직렬화하고, 상기 바이트 스트림을 포함하는 상기 조작 정보를 생성하도록 구성되거나;
    또는
    상기 프로세서는 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보를 지정된 포맷의 파일로 인코딩하며, 상기 지정된 포맷의 파일을 포함하는 상기 조작 정보를 생성하도록 구성되고, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함하는, 제어 단말기.
  12. 제9항에 있어서,
    상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 주소 쌍으로 결합하고, 상기 주소 쌍에 대해 연결성 테스트를 수행하며, 상기 연결성 테스트의 결과에 따라 상기 연결 경로를 결정하도록 구성되는, 제어 단말기.
  13. 피제어 단말기로서,
    제어 단말기로의 제어 채널 및 데이터 채널을 구축하도록 구성된 제2 채널 구축 모듈;
    상기 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하도록 구성된 이미지 데이터 획득 모듈;
    상기 제어 단말기가 상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 표시할 수 있도록, 상기 데이터 채널을 이용하여 상기 스크린 이미지 데이터를 상기 제어 단말기에 송신하도록 구성된 이미지 데이터 송신 모듈;
    상기 제어 채널을 이용하여 상기 제어 단말기에 의해 송신되는 조작 정보를 수신하도록 구성된 조작 정보 수신 모듈 - 상기 조작 정보는 상기 스크린샷에 기반한 조작에 따라 상기 제어 단말기에 의해 생성된 정보임 -; 및
    상기 조작 정보에 따라 대응하는 제어 조작을 수행하도록 구성된 수행 모듈
    을 포함하는 피제어 단말기.
  14. 제13항에 있어서,
    상기 제2 채널 구축 모듈은,
    서버를 이용하여 상기 제어 단말기로의 상기 제어 채널을 구축하도록 구성된 제3 채널 구축 서브모듈; 및
    상기 서버 및 상기 제어 채널을 이용하여 상기 제어 단말기로의 상기 데이터 채널을 구축하도록 구성된 제4 채널 구축 서브모듈
    을 포함하는, 피제어 단말기.
  15. 제14항에 있어서,
    상기 제4 채널 구축 서브모듈은,
    상기 서버로부터 상기 피제어 단말기의 주소 정보를 획득하도록 구성된 제3 주소 획득 유닛 - 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
    상기 서버 또는 상기 제어 단말기로부터 상기 제어 단말기의 주소 정보를 획득하도록 구성된 제4 주소 획득 유닛;
    상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성된 제2 경로 결정 유닛; 및
    상기 연결 경로에 따라 상기 데이터 채널을 구축하도록 구성된 제2 구축 유닛
    을 포함하는, 피제어 단말기.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서,
    상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고,
    상기 수행 모듈은,
    상기 조작 정보가 터치 정보인 경우, 터치 조작에 대응하는 터치 이벤트를 상기 제어 정보에 따라 복원하도록 구성된 이벤트 복원 서브모듈;
    상기 터치 이벤트에 따라 상기 제어 조작을 수행하도록 구성된 제1 수행 서브모듈;
    상기 조작 정보가 버튼 정보인 경우, 버튼 조작에 대응하는 버튼 타입을 상기 조작 정보에 포함된 식별자에 따라 결정하도록 구성된 제2 버튼 타입 결정 서브모듈;
    상기 버튼 타입에 따라 상기 제어 조작을 수행하도록 구성된 제2 수행 서브모듈;
    상기 조작 정보가 음성 정보인 경우, 음성 조작에 대응하는 제어 명령을 상기 조작 정보에 포함된 식별자에 따라 결정하도록 구성된 명령 결정 서브모듈; 및
    상기 제어 명령에 따라 상기 제어 조작을 수행하도록 구성된 제3 수행 서브모듈
    을 포함하는, 피제어 단말기.
  17. 제16항에 있어서,
    상기 이벤트 복원 서브모듈은 제1 복원 유닛 또는 제2 복원 유닛을 포함하고,
    상기 제1 복원 유닛은 상기 터치 이벤트를 복원하기 위해 상기 조작 정보에 포함된 바이트 스트림을 역직렬화(deserialize)하도록 구성되며;
    제1 복원 유닛은 상기 조작 정보에 포함된 지정된 포맷의 파일로부터 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보에 따라 상기 터치 이벤트를 복원하도록 구성되고, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함하는, 피제어 단말기.
  18. 피제어 단말기로서,
    상기 피제어 단말기는 버스, 및 상기 버스에 연결된 프로세서, 메모리, 송신기, 및 수신기를 포함하고,
    상기 메모리는 복수의 명령을 저장하도록 구성되고 - 상기 복수의 명령은 상기 프로세서에 의해 실행되도록 구성되어 있음 -;
    상기 프로세서는 제어 단말기로의 제어 채널 및 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
    상기 프로세서는 상기 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하도록 구성되고;
    상기 제어 단말기가 상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 표시할 수 있도록, 상기 프로세서는 상기 데이터 채널을 이용하여 상기 스크린 이미지 데이터를 상기 제어 단말기에 송신하기 위해 상기 송신기를 제어하도록 구성되며;
    상기 수신기는 상기 제어 채널을 이용하여 상기 제어 단말기에 의해 송신되는 조작 정보를 수신하도록 구성되고 - 여기서, 상기 조작 정보는 상기 스크린샷에 기반한 조작에 따라 상기 제어 단말기에 의해 생성된 정보임 -;
    상기 프로세서는 상기 조작 정보에 따라 대응하는 제어 조작을 수행하도록 구성되는, 피제어 단말기.
  19. 제18항에 있어서,
    상기 프로세서는 서버를 이용하여 상기 제어 단말기로의 상기 제어 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되고;
    상기 프로세서는 상기 서버 및 상기 제어 채널을 이용하여 상기 제어 단말기로의 상기 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되는, 피제어 단말기.
  20. 제19항에 있어서,
    상기 프로세서는 상기 서버로부터 상기 피제어 단말기의 주소 정보를 획득하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되고 - 여기서, 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
    상기 프로세서는 상기 서버 또는 상기 제어 단말기로부터 상기 제어 단말기의 주소 정보를 획득하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되며;
    상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하도록 구성되고;
    상기 프로세서는 상기 연결 경로에 따라 상기 데이터 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되는, 피제어 단말기.
  21. 제18항 내지 제20항 중 어느 한 항에 있어서,
    상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고;
    상기 프로세서는, 상기 조작 정보가 터치 정보인 경우, 터치 조작에 대응하는 터치 이벤트를 상기 제어 정보에 따라 복원하고, 상기 터치 이벤트에 따라 상기 제어 조작을 수행하도록 구성되고;
    상기 프로세서는, 상기 조작 정보가 버튼 정보인 경우, 버튼 조작에 대응하는 버튼 타입을 상기 조작 정보에 포함된 식별자에 따라 결정하고, 상기 버튼 타입에 따라 상기 제어 조작을 수행하도록 구성되며;
    상기 프로세서는, 상기 조작 정보가 음성 정보인 경우, 음성 조작에 대응하는 제어 명령을 상기 조작 정보에 포함된 식별자에 따라 결정하고, 상기 제어 명령에 따라 상기 제어 조작을 수행하도록 구성되는, 피제어 단말기.
  22. 제21항에 있어서,
    상기 프로세서는 상기 터치 이벤트를 복원하기 위해 상기 조작 정보에 포함된 바이트 스트림을 역직렬화하도록 구성되거나;
    또는
    상기 프로세서는 상기 조작 정보에 포함된 지정된 포맷의 파일로부터 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보에 따라 상기 터치 이벤트를 복원하도록 구성되고, 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함하는, 피제어 단말기.
  23. 서버로서,
    제어 단말기와 피제어 단말기 간에 제어 채널을 구축하도록 구성된 제어 채널 구축 모듈;
    상기 제어 단말기 및 상기 피제어 단말기가 상기 제어 채널을 이용하여 주소 정보를 교환한 후에, 상기 제어 단말기 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보를 상기 제어 단말기에 제공하고, 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하도록 구성된 제1 주소 제공 모듈;
    상기 제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 제어 단말기에 제공하도록 구성된 제2 주소 제공 모듈; 및
    상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하도록 구성된 제3 주소 제공 모듈
    을 포함하는 서버.
  24. 상기 제어 채널 구축 모듈은,
    상기 제어 단말기가 상기 서버에 연결된 후에, 상기 제어 단말기에 의해 송신되는 제어 채널 구축 요청을 수신하도록 구성된 요청 수신 서브모듈;
    상기 피제어 단말기가 상기 서버에 이미 연결되어 있는지 여부를 판정하도록 구성된 판정 서브모듈; 및
    상기 판정 서브모듈의 판정 결과가 상기 피제어 단말기가 상기 서버에 이미 연결되어 있는 것이면, 상기 제어 단말기와 상기 피제어 단말기 간에 상기 제어 채널을 구축하도록 구성된 채널 구축 서브모듈
    을 포함하는, 서버.
  25. 제24항에 있어서,
    상기 제어 채널 구축 모듈은,
    상기 판정 서브모듈의 판정 결과가 상기 피제어 단말기가 상기 서버에 연결되어 있지 않은 것이면, 연결 통지를 상기 피제어 단말기에 송신하도록 구성된 통지 서브모듈을 더 포함하고, 상기 연결 통지는 상기 피제어 단말기를 상기 서버에 연결하도록 지시하기 위해 사용되는, 서버.
  26. 서버로서,
    상기 서버는 버스, 및 상기 버스에 연결된 프로세서, 메모리, 송신기, 및 수신기를 포함하고,
    상기 메모리는 복수의 명령을 저장하도록 구성되고 - 상기 복수의 명령은 상기 프로세서에 의해 실행되도록 구성되어 있음 -;
    상기 프로세서는 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되고;
    상기 제어 단말기 및 상기 피제어 단말기가 상기 제어 채널을 이용하여 주소 정보를 교환한 후에, 상기 제어 단말기 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 프로세서는, 상기 제어 단말기의 주소 정보를 상기 제어 단말기에 제공하고 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하기 위해, 상기 수신기 및 상기 송신기를 제어하도록 구성되거나; 또는 상기 제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 제어 단말기에 제공하도록 구성되거나; 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 프로세서는 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하도록 구성되는, 서버.
  27. 제26항에 있어서,
    상기 수신기는, 상기 제어 단말기가 상기 서버에 연결된 후에, 상기 제어 단말기에 의해 송신되는 제어 채널 구축 요청을 수신하도록 구성되고;
    상기 프로세서는 상기 피제어 단말기가 상기 서버에 이미 연결되어 있는지 여부를 판정하고, 판정 결과가 상기 피제어 단말기가 상기 서버에 이미 연결되어 있는 것이면 상기 제어 단말기와 상기 피제어 단말기 간에 상기 제어 채널을 구축하기 위해 상기 수신기 및 상기 송신기를 제어하도록 구성되는, 서버.
  28. 제27항에 있어서,
    상기 프로세서는, 상기 판정 결과가 상기 피제어 단말기가 상기 서버에 연결되어 있지 않은 것이면 연결 통지를 상기 피제어 단말기에 송신하기 위해 상기 송신기를 제어하도록 구성되고, 상기 연결 통지는 상기 피제어 단말기를 상기 서버에 연결하도록 지시하기 위해 사용되는, 서버.
  29. 제어 단말기에 사용되는 단말기 제어 방법으로서,
    피제어 단말기로의 제어 채널 및 데이터 채널을 구축하는 단계;
    상기 데이터 채널을 이용하여 상기 피제어 단말기에 의해 송신되는 스크린 이미지 데이터를 수신하는 단계 - 상기 스크린 이미지 데이터는 상기 피제어 단말기의 스크린샷을 나타내기 위해 사용됨 -;
    상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 디스플레이하는 단계;
    상기 스크린샷에 기반한 조작에 따라 대응하는 조작 정보를 생성하는 단계; 및
    상기 피제어 단말기가 상기 조작 정보에 따라 대응하는 제어 조작을 수행할 수 있도록, 상기 제어 채널을 이용하여 상기 조작 정보를 상기 피제어 단말기에 송신하는 단계
    를 포함하는 제어 단말기에 사용되는 단말기 제어 방법.
  30. 제29항에 있어서,
    상기 피제어 단말기로의 제어 채널 및 데이터 채널을 구축하는 단계는,
    서버를 이용하여 상기 피제어 단말기로의 상기 제어 채널을 구축하는 단계; 및
    상기 서버 및 상기 제어 채널을 이용하여 상기 피제어 단말기로의 상기 데이터 채널을 구축하는 단계
    를 포함하는, 제어 단말기에 사용되는 단말기 제어 방법.
  31. 제30항에 있어서,
    상기 서버 및 상기 제어 채널을 이용하여 상기 피제어 단말기로의 상기 데이터 채널을 구축하는 단계는,
    상기 서버로부터 상기 제어 단말기의 주소 정보를 획득하는 단계 - 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
    상기 서버 또는 상기 피제어 단말기로부터 상기 피제어 단말기의 주소 정보를 획득하는 단계;
    상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하는 단계; 및
    상기 연결 경로에 따라 상기 데이터 채널을 구축하는 단계
    를 포함하는, 제어 단말기에 사용되는 단말기 제어 방법.
  32. 제29항 내지 제31항 중 어느 한 항에 있어서,
    상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고,
    상기 스크린샷에 기반한 조작에 따라 상기 조작 정보를 생성하는 단계는,
    상기 조작 정보가 터치 정보인 경우, 상기 조작에 대응하는 터치 이벤트를 모니터링하고, 상기 터치 이벤트에 따라 상기 조작 정보를 생성하는 단계;
    상기 조작 정보가 버튼 정보인 경우, 상기 조작에 대응하는 버튼 타입을 결정하고, 상기 버튼 타입에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하는 단계; 및
    상기 조작 정보가 음성 정보인 경우, 상기 조작에 대응하는 음성으로부터 텍스트를 인식하고, 상기 텍스트에 포함된 제어 명령을 회수하며, 상기 제어 명령에 대응하는 식별자를 포함하는 상기 조작 정보를 생성하는 단계
    를 포함하는, 제어 단말기에 사용되는 단말기 제어 방법.
  33. 제32항에 있어서,
    상기 터치 이벤트에 따라 상기 조작 정보를 생성하는 단계는,
    상기 터치 이벤트를 바이트 스트림으로 직렬화하고, 상기 바이트 스트림을 포함하는 상기 조작 정보를 생성하는 단계; 또는
    상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보를 지정된 포맷의 파일로 인코딩하며, 상기 지정된 포맷의 파일을 포함하는 상기 조작 정보를 생성하는 단계 - 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함하고 있음 -
    를 포함하는, 제어 단말기에 사용되는 단말기 제어 방법.
  34. 제31항에 있어서,
    상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하는 단계는,
    상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 주소 쌍으로 결합하고, 상기 주소 쌍에 대해 연결성 테스트를 수행하며, 상기 연결성 테스트의 결과에 따라 상기 연결 경로를 결정하는 단계
    를 포함하는, 제어 단말기에 사용되는 단말기 제어 방법.
  35. 피제어 단말기에 사용되는 단말기 제어 방법으로서,
    제어 단말기로의 제어 채널 및 데이터 채널을 구축하는 단계;
    상기 피제어 단말기의 스크린샷을 나타내기 위해 사용되는 스크린 이미지 데이터를 획득하는 단계;
    상기 제어 단말기가 상기 스크린 이미지 데이터에 따라 상기 피제어 단말기의 스크린샷을 표시할 수 있도록, 상기 데이터 채널을 이용하여 상기 스크린 이미지 데이터를 상기 제어 단말기에 송신하는 단계;
    상기 제어 채널을 이용하여 상기 제어 단말기에 의해 송신되는 조작 정보를 수신하는 단계 - 상기 조작 정보는 상기 스크린샷에 기반한 조작에 따라 상기 제어 단말기에 의해 생성된 정보임 -; 및
    상기 조작 정보에 따라 대응하는 제어 조작을 수행하는 단계
    를 포함하는 피제어 단말기에 사용되는 단말기 제어 방법.
  36. 제35항에 있어서,
    상기 제어 단말기로의 제어 채널 및 데이터 채널을 구축하는 단계는,
    서버를 이용하여 상기 제어 단말기로의 상기 제어 채널을 구축하는 단계; 및
    상기 서버 및 상기 제어 채널을 이용하여 상기 제어 단말기로의 상기 데이터 채널을 구축하는 단계
    를 포함하는, 피제어 단말기에 사용되는 단말기 제어 방법.
  37. 제36항에 있어서,
    상기 서버 및 상기 제어 채널에 따라 상기 제어 단말기로의 상기 데이터 채널을 구축하는 단계는,
    상기 서버로부터 상기 피제어 단말기의 주소 정보를 획득하는 단계 - 상기 주소 정보는 로컬 주소, 네트워크 주소 변환의 매핑 주소, 및 릴레이를 이용하여 네트워크 주소 변환을 우회하는 횡단의 릴레이 주소를 포함하고 있음 -;
    상기 서버 또는 상기 제어 단말기로부터 상기 제어 단말기의 주소 정보를 획득하는 단계;
    상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하는 단계; 및
    상기 연결 경로에 따라 상기 데이터 채널을 구축하는 단계
    를 포함하는, 피제어 단말기에 사용되는 단말기 제어 방법.
  38. 제35항 내지 제37항 중 어느 한 항에 있어서,
    상기 조작 정보는 터치 정보, 버튼 정보, 및 음성 정보 중 적어도 하나를 포함하고,
    상기 조작 정보에 따라 대응하는 제어 조작을 수행하는 단계는,
    상기 조작 정보가 터치 정보인 경우, 상기 조작에 대응하는 터치 이벤트를 상기 조작 정보에 따라 복원하고, 상기 터치 이벤트에 따라 상기 제어 조작을 수행하는 단계;
    상기 조작 정보가 버튼 정보인 경우, 상기 조작에 대응하는 버튼 타입을 상기 조작 정보에 포함된 식별자에 따라 결정하고, 상기 버튼 타입에 따라 상기 제어 조작을 수행하는 단계; 및
    상기 조작 정보가 음성 정보인 경우, 상기 조작에 대응하는 제어 명령을 상기 조작 정보에 포함된 식별자에 따라 결정하고, 상기 제어 명령에 따라 상기 제어 조작을 수행하는 단계
    를 포함하는, 피제어 단말기에 사용되는 단말기 제어 방법.
  39. 제38항에 있어서,
    상기 조작에 대응하는 터치 이벤트를 상기 조작 정보에 따라 복원하는 단계는,
    상기 터치 이벤트를 복원하기 위해 상기 조작 정보에 포함된 바이트 스트림을 역직렬화하는 단계; 또는
    상기 조작 정보에 포함된 지정된 포맷의 파일로부터 상기 터치 이벤트의 키 정보를 회수하고, 상기 키 정보에 따라 상기 터치 이벤트를 복원하는 단계 - 상기 키 정보는 이벤트 타입, 터치 좌표, 및/또는 터치 힘을 포함하고 있음 -
    를 포함하는, 피제어 단말기에 사용되는 단말기 제어 방법.
  40. 서버에 사용되는 단말기 제어 방법으로서,
    제어 단말기와 피제어 단말기 간에 제어 채널을 구축하는 단계; 및
    상기 제어 단말기 및 상기 피제어 단말기가 상기 제어 채널을 이용하여 주소 정보를 교환한 후에, 상기 제어 단말기 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보를 상기 제어 단말기에 제공하고, 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하거나; 또는 상기 제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 제어 단말기에 제공하거나; 또는 상기 피제어 단말기가 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보에 따라 연결 경로를 결정하고, 상기 연결 경로에 따라 데이터 채널을 구축하며, 상기 제어 단말기가 상기 제어 채널 및 상기 데이터 채널을 이용하여 상기 피제어 단말기에 대해 제어를 수행할 수 있도록, 상기 제어 단말기의 주소 정보 및 상기 피제어 단말기의 주소 정보를 상기 피제어 단말기에 제공하는 단계
    를 포함하는 서버에 사용되는 단말기 제어 방법.
  41. 제40항에 있어서,
    상기 제어 단말기와 피제어 단말기 간에 제어 채널을 구축하는 단계는,
    상기 제어 단말기가 상기 서버에 연결된 후에, 상기 제어 단말기에 의해 송신되는 제어 채널 구축 요청을 수신하는 단계;
    상기 피제어 단말기가 상기 서버에 이미 연결되어 있는지 여부를 판정하는 단계; 및
    판정 결과가 상기 피제어 단말기가 상기 서버에 이미 연결되어 있는 것이면, 상기 제어 단말기와 상기 피제어 단말기 간에 상기 제어 채널을 구축하는 단계
    를 포함하는, 서버에 사용되는 단말기 제어 방법.
  42. 제41항에 있어서,
    상기 단말기 제어 방법은,
    상기 판정 결과가 상기 피제어 단말기가 상기 서버에 연결되어 있지 않은 것이면, 연결 통지를 상기 피제어 단말기에 송신하는 단계를 더 포함하고, 상기 연결 통지는 상기 피제어 단말기를 상기 서버에 연결하도록 지시하기 위해 사용되는, 서버에 사용되는 단말기 제어 방법.
KR1020177004664A 2014-08-04 2014-08-04 단말기, 서버, 및 단말기 제어 방법 KR101842559B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/083643 WO2016019495A1 (zh) 2014-08-04 2014-08-04 终端、服务器及终端控制方法

Publications (2)

Publication Number Publication Date
KR20170032445A true KR20170032445A (ko) 2017-03-22
KR101842559B1 KR101842559B1 (ko) 2018-03-27

Family

ID=55262979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177004664A KR101842559B1 (ko) 2014-08-04 2014-08-04 단말기, 서버, 및 단말기 제어 방법

Country Status (8)

Country Link
US (1) US9961210B2 (ko)
EP (1) EP3163972B1 (ko)
JP (1) JP6368033B2 (ko)
KR (1) KR101842559B1 (ko)
CN (1) CN105493621B (ko)
AU (1) AU2014403138B2 (ko)
BR (1) BR112017002073B1 (ko)
WO (1) WO2016019495A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657211A (zh) * 2015-02-03 2015-05-27 百度在线网络技术（北京）有限公司 一种用于操作对应设备上目标应用的方法与设备
CN105338399A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 图像获取方法及装置
CN108228125A (zh) * 2017-12-29 2018-06-29 广州酷狗计算机科技有限公司 智能设备的远程控制方法及系统
CN109683780A (zh) * 2018-12-26 2019-04-26 上海司南卫星导航技术股份有限公司 控制移动终端的方法、系统和被控终端
CN109803452A (zh) * 2019-03-14 2019-05-24 李清庭 受控装置、方法及系统
CN110300031B (zh) * 2019-07-12 2021-12-07 中国电信集团工会上海市委员会 一种网关设备的远程管理系统
CN112527221A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种数据传输的方法及相关设备
CN110602805B (zh) * 2019-09-30 2021-06-15 联想(北京)有限公司 信息处理方法、第一电子设备和计算机系统
CN112346799A (zh) * 2020-10-14 2021-02-09 视联动力信息技术股份有限公司 一种终端控制方法、装置、电子设备及存储介质
CN112351093A (zh) * 2020-10-30 2021-02-09 深圳Tcl新技术有限公司 截屏图像共享方法、装置、设备及计算机可读存储介质
CN112306610A (zh) * 2020-11-02 2021-02-02 北京字节跳动网络技术有限公司 终端控制方法、装置和电子设备
CN112714272A (zh) * 2020-12-14 2021-04-27 深圳市鹏创软件有限公司 设备间控制方法、终端和计算机可读存储介质
CN112788193A (zh) * 2020-12-30 2021-05-11 北京达佳互联信息技术有限公司 图像传输方法、装置、电子设备及存储介质
CN114845035B (zh) * 2021-01-30 2024-04-26 华为技术有限公司 一种分布式拍摄方法，电子设备及介质
CN113542488B (zh) * 2021-06-30 2024-03-15 青岛海信移动通信技术有限公司 采用终端设备控制受控终端的方法、设备和存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2367727B (en) 2000-10-07 2002-10-09 Complementary Tech Ltd Communications with remote embedded applications
US7206548B1 (en) * 2004-10-29 2007-04-17 Sprint Spectrum L.P. Method and system for network-based remote control and testing of wireless communication devices
JP4894449B2 (ja) * 2006-10-17 2012-03-14 日本電気株式会社 携帯端末の遠隔操作方法、携帯端末及びプログラム
US20090077184A1 (en) * 2007-09-18 2009-03-19 Martin John Brewer Remote Control of Mobile Terminal via Remote Control Proxy and SMS
EP2279504A4 (en) * 2008-05-08 2013-12-18 Robert P Stratton REMOTE CONTROL SYSTEM AND METHOD
KR101542744B1 (ko) * 2009-03-18 2015-08-10 삼성전자주식회사 네트워크에서 피제어장치를 제어하는 방법 및 그 장치
KR101602461B1 (ko) * 2009-09-22 2016-03-15 삼성전자주식회사 디스플레이 장치 및 휴대폰의 제어방법
KR101595762B1 (ko) 2009-11-10 2016-02-22 삼성전자주식회사 휴대 단말기의 원격 제어 방법 및 이를 위한 시스템
CN101883317A (zh) * 2010-05-18 2010-11-10 中兴通讯股份有限公司 移动终端及用户位置通知方法
CN102378257A (zh) * 2010-08-10 2012-03-14 华宝通讯股份有限公司 具有遥控功能的无线通信系统及其无线通信模块
TWM410273U (en) 2010-12-08 2011-08-21 Elitegroup Computer Sys Co Ltd Control transfer apparatus and control transfer system
US8769039B2 (en) * 2011-01-21 2014-07-01 Kaseya International Limited Method and apparatus of performing remote computer file exchange
WO2012135563A1 (en) * 2011-03-31 2012-10-04 Sony Mobile Communications Ab System and method for establishing a communication session
JP5951938B2 (ja) * 2011-05-25 2016-07-13 株式会社オプティム 端末のリモートシステム、リモート操作方法
JP5972398B2 (ja) * 2012-01-17 2016-08-17 テレフオンアクチーボラゲット エルエム エリクソン（パブル） Ｉｃｅベースｎａｔトラバーサル
US20130244730A1 (en) * 2012-03-06 2013-09-19 Industry-University Cooperation Foundation Hanyang University User terminal capable of sharing image and method for controlling the same
CN103366659B (zh) * 2012-03-26 2016-07-06 联想(北京)有限公司 显示控制方法及相关设备
US20130308628A1 (en) * 2012-05-15 2013-11-21 Viber Media, Inc. Nat traversal for voip
CN102710869A (zh) 2012-06-29 2012-10-03 北京德天泉机电设备有限公司 一种基于智能手机的远程控制系统
KR101422808B1 (ko) 2012-09-21 2014-08-14 주식회사 팬택 드로잉 화면 공유 서비스의 제공 장치 및 방법과 이를 위한 휴대 단말
CN103874228B (zh) * 2012-12-11 2019-03-29 联想(北京)有限公司 无线数据通道建立方法、电子设备、服务器和系统
US9609386B2 (en) * 2012-12-18 2017-03-28 Rentak Corporation System and methods for analyzing content engagement in conjunction with social media
US9432330B2 (en) * 2013-05-29 2016-08-30 Huawei Technologies Co., Ltd. Data interaction method, apparatus, and system
CN103336677B (zh) * 2013-06-25 2016-03-30 小米科技有限责任公司 一种向显示设备输出图像的方法、装置和系统

Also Published As

Publication number Publication date
JP6368033B2 (ja) 2018-08-01
US20170230510A1 (en) 2017-08-10
EP3163972A4 (en) 2017-06-21
BR112017002073A2 (pt) 2018-07-03
WO2016019495A1 (zh) 2016-02-11
KR101842559B1 (ko) 2018-03-27
CN105493621A (zh) 2016-04-13
AU2014403138B2 (en) 2018-05-17
US9961210B2 (en) 2018-05-01
AU2014403138A1 (en) 2017-02-23
EP3163972A1 (en) 2017-05-03
EP3163972B1 (en) 2020-02-05
BR112017002073B1 (pt) 2023-02-07
JP2017531353A (ja) 2017-10-19
CN105493621B (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
KR101842559B1 (ko) 단말기, 서버, 및 단말기 제어 방법
WO2022062623A1 (zh) 远程控制方法、装置、设备、存储介质及系统
US10606367B2 (en) Command relay device, system and method for providing remote assistance/remote control
US20190051147A1 (en) Remote control method, apparatus, terminal device, and computer readable storage medium
RU2609147C2 (ru) Способ и устройство для передачи изображений
EP3068099A1 (en) Communication system, transmission terminal, communication method, and medium
US20230138804A1 (en) Enhanced video call method and system, and electronic device
CN111414097A (zh) 一种交互方法、交互系统和显示设备
CN112770078B (zh) 一种视频会议终端融合方法、装置及可读存储介质
US20170026617A1 (en) Method and apparatus for real-time video interaction by transmitting and displaying user interface correpsonding to user input
US10764535B1 (en) Facial tracking during video calls using remote control input
WO2015184877A1 (zh) 一种演示文档的操作方法和系统及控制装置、演示装置
US10929703B2 (en) Method apparatus and program product for enabling two or more electronic devices to perform operations based on a common subject
CN103414867A (zh) 多媒体通话控制方法、终端及系统
CN105229997A (zh) 通信终端和通信方法
JP6333434B1 (ja) 画面データ中継サーバ、画面データ中継プログラム、及び画面データ中継方法
US11336863B2 (en) Systems, methods, and devices for managing a call on a communication system with an external display device
JP6391219B2 (ja) システム
CN112714272A (zh) 设备间控制方法、终端和计算机可读存储介质
JP2018041990A (ja) 通信端末、通信システム、表示制御方法、及びプログラム
JP2016178355A (ja) 通信装置、通信システム、通信装置の制御方法およびプログラム
JP2016167702A (ja) 無線通信装置及び接続設定方法
CN117376617A (zh) 设备控制方法、虚拟机顶盒、实体机顶盒和系统
CN106033246B (zh) 一种数据传输方法及电子设备
CN117478682A (zh) 建立点对点通道的方法、设备及协同工作系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant