KR20190106509A - 화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법 - Google Patents

화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법 Download PDF

Info

Publication number
KR20190106509A
KR20190106509A KR1020180028091A KR20180028091A KR20190106509A KR 20190106509 A KR20190106509 A KR 20190106509A KR 1020180028091 A KR1020180028091 A KR 1020180028091A KR 20180028091 A KR20180028091 A KR 20180028091A KR 20190106509 A KR20190106509 A KR 20190106509A
Authority
KR
South Korea
Prior art keywords
screen
remote terminal
sharing
priority
unit
Prior art date
Application number
KR1020180028091A
Other languages
English (en)
Other versions
KR102034866B1 (ko
Inventor
민 장
오주병
김효철
Original Assignee
주식회사 코이노
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코이노 filed Critical 주식회사 코이노
Priority to KR1020180028091A priority Critical patent/KR102034866B1/ko
Publication of KR20190106509A publication Critical patent/KR20190106509A/ko
Application granted granted Critical
Publication of KR102034866B1 publication Critical patent/KR102034866B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법이 개시된다. 일 실시 예에 따른 원격 단말은, 원격제어를 위한 관리자 장치와 연결되어 데이터를 송수신하는 통신부와, 원격 단말에서 출력되는 화면을 복수의 블록(block)으로 구분하는 화면 분석부와, 관리자 장치와 화면을 공유하는 화면 공유부를 포함하며, 화면 공유부는 구분된 블록들 중에서 화면이 변화된 블록을 미리 설정된 우선순위에 따라 차등화하여 통신부를 통해 전송하는 제1 공유 제어부를 포함한다.

Description

화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법 {Remote terminal using priority based transmission scheme for screen sharing and transmitting method thereof}
본 발명은 화면 모니터링 및 원격제어 기술에 관한 것이다.
네트워크에 연결된 관리자 장치가 원격지에 위치한 원격 단말에 접속해서 원격 단말을 마치 자신의 장치인 것처럼 제어할 수 있는 기술을 원격제어 기술이라고 통칭한다. 이러한 원격제어 기술은 인터넷을 통해서 원격제어를 할 수 있을 정도로 발전하였다. 예를 들어, 인터넷에 연결되어 있는 개인 또는 회사의 PC 또는 스마트폰에 원격접속하여 화면을 보면서 조작할 수 있다.
한편, 디스플레이 기술의 발전에 힘입어 데스크톱 모니터, 스마트폰 액정 등의 화면 해상도(resolution)가 높아지고 있다. 예를 들어, 1920×1080 픽셀(pixels)을 지원하는 HD(High Definition)급 화면에서, 3840×2160 픽셀을 지원하는 UHD(Ultra High Definition) 급(4K) 이상의 고해상도 화면이 출시되고 있다.
원격에 존재하는 컴퓨터 및 스마트폰 등의 화면을 화면 공유를 통해 보면서 제어를 하는 경우, 4K급 고해상도 화면은 산술적으로 기존 HD급 화면에 비해 데이터 대비 4배 이상의 데이터가 전송이 되어야 하는 상황이 발생한다. 이는 네트워크 데이터 대역폭(Data Bandwidth)이 지원된다 하더라도 데이터 사용량을 많이 소모하는 문제가 발생할 뿐 아니라 화면을 전송하는 원격 단말 및 이를 네트워크를 통해 수신하는 관리자 단말 측에도 상당한 부담을 줄 수밖에 없다.
일 실시 예에 따라, 고해상도 화면을 지원하는 원격 단말 및 네트워크의 데이터 전송 과부하를 막기 위해 화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법을 제안한다.
일 실시 예에 따른 원격 단말은, 원격제어를 위한 관리자 장치와 연결되어 데이터를 송수신하는 통신부와, 원격 단말에서 출력되는 화면을 복수의 블록(block)으로 구분하는 화면 분석부와, 관리자 장치와 화면을 공유하는 화면 공유부를 포함하며, 화면 공유부는 구분된 블록들 중에서 화면이 변화된 블록을 미리 설정된 우선순위에 따라 차등화하여 통신부를 통해 전송하는 제1 공유 제어부를 포함한다.
화면 분석부는 복수의 블록으로 구분된 화면에서 적어도 하나의 객체를 인식하고, 제1 공유 제어부는 화면이 변화된 객체를 구성하는 블록 영역을 미리 설정된 객체 우선순위에 따라 전송할 수 있다. 화면 분석부는, 인공지능 기반 기계학습을 통해 생성된 학습모델을 이용하여 화면에 표시되는 객체를 인식할 수 있다.
제1 공유 제어부는, 다수의 객체가 인식되면 미리 설정된 객체 우선순위 규칙을 기초로 하여 우선순위가 높은 객체 블록 영역을 1차로 우선 전송하고 우선순위가 낮은 객체 블록 영역을 2차로 나중에 전송할 수 있다.
제1 공유 제어부는, 객체 인식을 통해 인식된 각 객체 블록 영역을 대상으로 블록 단위로 이전 화면과 비교하여 객체의 변화 여부를 검사하는 검사부와, 미리 설정된 객체 우선순위 규칙을 검색하여 객체가 변화된 각 객체 블록 영역의 우선순위를 확인하는 우선순위 확인부와, 객체가 변화된 객체 블록 영역을 우선순위 확인부를 통해 확인된 객체 우선순위 순서대로 전송하는 전송 처리부를 포함할 수 있다.
화면 공유부는, 복수의 블록으로 구분된 화면을 블록 단위 별로 이전 화면과 비교하여 화면의 변화 여부를 검사하고 화면이 변화된 블록을 동시 전송하는 제2 공유 제어부를 더 포함할 수 있다. 화면 공유부는, 제1 공유 제어부의 순위기반 전송방식 및 제2 공유 제어부의 일괄 전송방식 중 소정의 전송방식을 원격 단말의 단말 사양 및 네트워크 환경 중 적어도 하나에 기초하여 선택하는 방식 결정부를 더 포함할 수 있다. 방식 결정부는, 원격 단말이 제1 해상도를 가지면 순위기반 전송방식을 선택하고 원격 단말이 제2 해상도를 가지면 일괄 전송방식을 선택하며, 제1 해상도는 제2 해상도보다 고해상도일 수 있다. 방식 결정부는, 네트워크 대역폭을 확인하여, 대역폭이 미리 설정된 값보다 낮으면 순위기반 전송방식을 선택하고, 미리 설정된 값보다 높으면 일괄 전송방식을 선택할 수 있다.
원격 단말은, 객체 우선순위 규칙을 포함한 데이터가 저장되는 메모리를 더 포함할 수 있다. 원격 단말은 UHD(Ultra High Definition) 급 이상의 해상도를 가질 수 있다.
일 실시 예에 따라, 고해상도 화면을 지원하는 원격 단말에 대한 모니터링 및 원격 제어를 위한 화면 공유 시에, 데이터 전송 과부하를 막을 수 있다. 예를 들어, 우선순위에 따라 우선순위가 높은 객체를 우선 전송하는 순위기반 전송방식을 통해 화면을 공유함에 따라 데이터 전송 과부하를 방지할 수 있다.
또한, 인공지능 기반 기계학습을 통해 객체를 인식함에 따라 객체인식의 정확도 및 속도를 향상시켜 실시간으로 화면 공유가 가능하다.
나아가, 차이가 있는 블록을 동시에 전송하는 일괄 전송방식과, 차이가 있는 블록을 우선순위에 따라 전송하는 순위기반 전송방식을 필요에 따라 선택하여 사용하는 형태로 단말 사양이나 네트워크 환경에 맞게 유연(flexible)하게 처리할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 원격 제어 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 HD급 해상도를 지원하는 원격 단말의 화면을 도시한 참조도,
도 3은 본 발명의 일 실시 예에 따른 4K급 해상도를 지원하는 원격 단말의 화면을 도시한 참조도,
도 4는 본 발명의 일 실시 예에 따른 도 1의 원격 단말의 구성도,
도 5는 본 발명의 일 실시 예에 따른 도 4의 화면 분석부의 세부 구성도,
도 6은 본 발명의 일 실시 예에 따른 도 4의 화면 공유부의 세부 구성도,
도 7은 본 발명의 일 실시 예에 따른 도 6의 제1 공유 제어부의 세부 구성도,
도 8은 본 발명의 일 실시 예에 따른 일괄 전송방식에 기반한 화면 공유를 설명하기 위한 참조도,
도 9는 본 발명의 일 실시 예에 따른 순위기반 전송방식에 기반한 화면 공유를 설명하기 위한 참조도,
도 10은 본 발명의 일 실시 예에 따른 일괄 전송방식에 기반한 화면 공유방법을 도시한 흐름도,
도 11은 본 발명의 일 실시 예에 따른 순위기반 전송방식에 기반한 화면 공유방법을 도시한 흐름도,
도 12는 본 발명의 일 실시 예에 따른 전송방식 선택에 기반한 화면 공유방법을 도시한 흐름도,
도 13은 본 발명의 다른 실시 예에 따른 전송방식 선택에 기반한 화면 공유방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
도 1은 본 발명의 일 실시 예에 따른 원격 제어 시스템의 구성도이다.
도 1을 참조하면, 원격 제어 시스템은 원격 단말(1)과 관리자 장치(3)를 포함한다. 원격지의 호스트(HOST)인 원격 단말(1)은 네트워크(2), 예를 들어, 인터넷 또는 사내 네트워크를 통해 관리자 장치(3)에 연결되어 관리자 장치(3)와 데이터를 송수신한다. 데이터의 송수신은 TCP/IP 통신방식을 이용할 수 있다. 도 1에서는 하나의 원격 단말(1)을 도시하고 있으나, 관리자 장치(3)에 연결되는 원격 단말(1)의 수는 다수 개일 수 있다.
원격 단말(1)은 원격지에 위치하는 클라이언트 단말로, 원격 컴퓨터일 수 있고, 휴대 가능한 단말일 수도 있다. 예를 들어, 원격 단말(1)은 데스크톱, 휴대폰, 스마트 기기, TV, MP3 플레이어, PMP, 네비게이션 단말기, PDA 등 마이크로 프로세서 기반의 장치를 통칭한다. 원격 단말(1)은 사용자가 많은 운영체재(OS), 예를 들어, 안드로이드, iOS, 윈도우 모두를 지원할 수 있다. 원격 단말(1)은 NAT(Network Address Translation) 환경을 지원할 수 있다. NAT는 사설 IP 주소를 공인 IP 주소로 바꿔주는데 사용하는 통신망의 주소 변환기이다.
관리자 장치(3)는 원격 단말(1)을 모니터링하며 실시간 모니터링을 통해 원격제어가 가능하다. 원격제어는 관리자 장치(3)가 원격 단말(1)에 원격 접속하여 원격 단말(1)을 조작하거나 데이터를 송수신하거나 프로그램 등을 설치할 수 있는 일련의 동작을 포함한다. 원격제어 서비스의 예를 들면, 관리자 장치(3)의 관리자가 상담원이고 원격 단말(1)의 사용자가 고객인 경우, 고객의 요청에 따라 상담원이 관리자 장치(3)를 통해 원격 단말(1)로부터 획득되는 단말 화면을 보면서 고객의 원격 단말(1)을 원격제어한다.
네트워크(2)는 원격 단말(1)의 관리자 장치(3)로의 연결을 위해 네트워크 접속을 제어하며, 화면공유 및 원격제어를 위한 데이터를 전달한다. 네트워크(2)에는 중계 서버가 위치하는데, 중계 서버는 화면공유 및 원격제어 서버, 네트워크 접속처리 서버 등이다. 중계 서버는 원격 단말(1) 및 관리자 장치(3) 간의 연결을 위한 웹 페이지를 제공하고, 원격 단말(1) 및 관리자 장치(3) 간 데이터 송수신을 위한 세션(session)을 제공한다. 또한, 관리자 장치(3)가 원격 단말(1)에 대해 원격제어 서비스를 원활하게 제공할 수 있도록 원격 단말(1) 및 관리자 장치(3)를 관리한다.
원격 단말(1) 및 관리자 장치(3)는 각각 디스플레이를 구비하여, 원격 단말(1)의 디스플레이를 통해 표시되는 화면을 관리자 장치(3)와 공유할 수 있다. 예를 들어, 원격 단말(1)은 출력 화면을 캡처하여 네트워크(2)를 통해 관리자 장치(3)에 원격 전송한다. 관리자 장치(3)는 수신된 원격 단말(1)의 화면을 모니터링하고, 나아가 원격 단말(1)을 원격제어한다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 원격 단말의 해상도를 설명하기 위한 출력 화면을 도시한 참조도로서, 세부적으로 도 2는 HD급 해상도를 지원하는 원격 단말의 화면을 도시한 것이고, 도 3은 4K급 해상도를 지원하는 원격 단말의 화면을 도시한 것이다.
도 1 내지 도 3을 참조하면, 원격 단말(1), 예를 들어 데스크톱 모니터나 스마트 기기 액정의 해상도(Resolution)는 1920×1080 pixels을 지원하는 HD(High Definition)급 모니터 및 액정(도 2 참조)이 통상적으로 사용되고 있으며, HD라는 약칭으로 사용된다. 스마트 기기 액정 및 데스크톱/TV 모니터가 고해상도인 UHD(Ultra High Definition)로 출시되면서 기존 HD의 4배 해상도를 제공할 수 있는 환경이 도래하고 있다. UHD는 4K라는 별칭을 가지며, 3840×2160 pixels의 해상도를 의미한다(도 3 참조). 이에 따라 관리자 장치(3)가 원격에 존재하는 원격 단말(1)의 화면을 공유를 통해 보면서 제어하는 경우, 산술적으로 기존 HD 기반 데이터 대비 4배 이상의 데이터가 전송이 되어야 하는 상황이 발생한다. 이는 네트워크 데이터 대역폭(Data Bandwidth)이 지원된다 하더라도 데이터 사용량을 많이 소모하는 문제가 발생한다. 나아가, 화면을 전송하는 원격지의 호스트인 원격 단말(1) 및 화면을 네트워크(2)를 통해 수신하여 원격제어하는 관리자 장치(3) 측에도 상당한 부담을 줄 수밖에 없다. 본 발명은 원격 단말(1), 특히 4K 이상의 고해상도를 가진 원격 단말(1)의 화면공유 및 원격제어 시에 전술한 문제를 해결할 수 있는 전송 방법을 제안한다.
도 4는 본 발명의 일 실시 예에 따른 도 1의 원격 단말의 구성도이다.
도 1 및 도 4를 참조하면, 원격 단말(1)은 입력부(10), 디스플레이(12), 통신부(14), 프로세서(16) 및 메모리(18)를 포함한다.
입력부(10)는 사용자 명령을 입력받아 이를 프로세서(16)에 제공한다. 입력부(10)는 입력을 위한 사용자 인터페이스를 포함할 수 있다. 디스플레이(12)는 프로세서(16)에 의해 처리된 정보, 통신부(14)를 통해 수신된 정보 등을 외부로 출력한다. 이때, 디스플레이(12)는 모니터 또는 액정에 화면을 출력한다. 통신부(14)는 원격제어를 위한 관리자 장치(3)와 네트워크(2)를 통해 연결되어 관리자 장치(3)와 데이터를 송수신한다.
프로세서(16)는 원격 단말(1)의 전반적인 동작 및 원격 단말(1)의 내부 구성요소들 간 신호 흐름을 제어하며, 데이터를 처리하는 데이터 처리 기능을 수행한다. 예를 들어, 원격 단말(1)을 구성하는 다른 구성요소들로부터 명령을 수신하여 수신된 명령을 해독하고 해독된 명령에 따른 연산이나 데이터 처리를 실행한다. 또한, 실행결과에 따라 명령을 생성하여 다른 구성요소들에 전송한다. 일 실시 예에 따른 프로세서(16)는 화면 분석부(160), 화면 공유부(162), 네트워크 연결부(164) 및 단말 제어부(166)를 포함한다.
화면 분석부(160)는 원격 단말(1)에서 출력되는 전체화면을 복수의 블록(block)으로 구분한다. 예를 들어, 화면 분석부(160)는 전체화면을 N×N 화소(pixel) 크기의 블록들로 나누어 분할한다. 동일한 사이즈로 블록을 구성하는 경우, 화면 해상도가 고 사양일수록 분할되는 블록 수는 많아진다. 예를 들어, HD급 해상도를 가진 전체화면은 256(16×16)개의 블록으로 분할되고, 4K 급 해상도를 가진 전체화면은 4,096(64×64)개의 블록으로 분할된다.
일 실시 예에 따른 화면 분석부(160)는 전체화면에서 적어도 하나의 객체를 인식한다. 일 실시 예에 따른 화면 분석부(160)는 인공지능(artificial intelligence: AI) 기반 기계학습(machine learning)을 통해 생성된 학습모델을 이용하여 객체를 인식한다. 기계학습은 영상 또는 이미지로부터 특징을 추출하고 추출된 특징들을 이용하여 영상 또는 이미지에서 객체를 구분하는 방법이다. 객체의 종류는 사람, 동물, 사물일 수 있다. 이때, 객체의 윤곽을 인식할 수 있다. 학습모델은 이미지 수집을 통해 수집된 대량의 이미지를 대상으로 인공지능 기반 기계학습, 예를 들어 딥 러닝(deep learning)에 기반한 훈련(training)을 통해 생성된다. 학습모델은 객체의 형상 패턴, 색 패턴 등의 패턴에 대해 기계학습된 데이터일 수 있다.
기계학습 기반 객체인식은 원격 단말(1)에서 이루어지는데, 필요에 따라 원격 단말(1)의 처리능력이 떨어지는 경우, 관리자 장치(3)와의 협업을 통해 이루어질 수도 있다. 학습모델 데이터는 원격 단말(1)의 메모리(18)에 저장되어, 화면 분석부(160)가 메모리(18)에 저장된 학습모델 데이터를 이용할 수 있다. 다른 예로, 네트워크(2) 연결된 서버에 학습모델 데이터가 저장되어, 통신부(14)를 통해 학습모델 데이터를 수신한 후 화면 분석부(160)가 이를 이용할 수 있다.
화면 공유부(162)는 관리자 장치(3)와 화면을 공유한다. 화면 공유부(162)는 원격 단말(1)의 화면을 관리자 장치(3)에 통신부(14)를 통해 전송하여 관리자 장치(3)와 공유한다. 관리자 장치(3)는 공유되는 원격 단말(1)의 화면을 모니터링하고 원격 단말(1)을 원격에서 제어할 수 있다.
일 실시 예에 따른 화면 공유부(162)는 순위기반 전송방식 또는 일괄 전송방식을 이용하여 관리자 장치(3)와 화면을 공유한다. 순위기반 전송방식은 화면이 변화된 블록을 미리 설정된 우선순위(priority)에 따라 차등화하여 전송하는 방식이다. 우선순위는 사용자에 의해 설정될 수 있다. 이때, 화면 공유부(162)는 화면이 변화된 객체를 구성하는 블록 영역(이하, '객체 블록 영역'이라 칭함)을 미리 설정된 객체 우선순위에 따라 차등화하여 전송할 수 있다. 블록 영역은 적어도 하나 이상의 블록으로 이루어진다. 객체 블록 영역은 소정의 객체로 이루어진 적어도 하나 이상의 블록 군이다. 객체 우선순위는 객체가 다수 개 있을 때 그 객체들 간에 순서를 매기는 기준이 된다. 예를 들어, 객체 '사람'을 1순위로, 객체 '동물'을 2순위로 순서를 매긴다. 이 경우, 객체 '사람'은 객체 '동물'보다 우선순위가 높고, 객체 '동물'은 객체 '사람'보다 우선순위가 낮다. 객체 우선순위 규칙(rule)은 사전에 설정되어 메모리(18)에 저장될 수 있다. 한편, 일괄 전송방식은 변화된 블록을 무조건으로 동시에 전송하는 방식이다. 화면 공유부(162)의 세부 구성은 도 6을 참조로 하여 후술한다.
네트워크 연결부(164)는 관리자 장치(3)와의 네트워크 연결을 제어하고 네트워크의 항상성을 유지한다. 단말 제어부(166)는 원격 단말(1)의 상태를 관리하는 것으로, 관리자 장치(3)로부터 제어 요청이 수신된 경우 이를 처리한다. 단말 제어부(166)는 화면 공유부(162)의 요청 시, 원격 단말(1)의 단말 능력, 예를 들어 해상도 정보를 제공할 수 있다.
메모리(18)는 원격 단말(1)에서 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보가 저장된다. 예를 들어, 메모리(18)에는 화면에서 객체를 인식하기 위해, 기계학습을 수행하기 위한 명령어와, 객체의 형상 패턴, 색 패턴 등의 패턴에 대해 트레이닝한 학습모델 데이터가 미리 저장될 수 있다. 또한, 메모리(18)에는 미리 설정된 객체 우선순위 규칙(rule)이 저장될 수 있다. 이때, 프로세서(16)는 메모리(18)에 저장된 객체 우선순위 규칙을 읽어들여 각 객체의 우선순위를 확인할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 도 4의 화면 분석부의 세부 구성도이다.
도 5를 참조하면, 화면 분석부는 화면 캡처부(1600), 블록 구분부(1602) 및 객체 인식부(1604)를 포함한다.
화면 캡처부(1600)는 출력되는 전체화면을 캡처한다. 이때, 미리 설정된 시간 단위로 화면을 캡처할 수 있다. 캡처 시간에 따라 이전 캡처 화면과 현재 캡처 화면이 구분된다. 블록 구분부(1602)는 캡처 화면을 복수의 블록으로 구분한다. 블록은 격자 형태를 가지는데, 예를 들어, 56×56 dot의 크기의 격자 형태로 분할 형성된다. 각 블록의 크기는 사전에 설정되고, 사용자의 설정에 따라 그 크기는 변경될 수도 있다. 객체 인식부(1604)는 캡처된 전체화면에 표시되는 적어도 하나의 객체를 인식한다. 객체 인식부(1604)의 객체인식은 도 4를 참조로 하여 전술한 인공지능 기반 기계학습에 기반하여 수행될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 도 4의 화면 공유부의 세부 구성도이다.
도 1, 도 5 및 도 6을 참조하면, 화면 공유부(162)는 제1 공유 제어부(1621), 제2 공유 제어부(1622) 및 방식 결정부(1623)를 포함한다.
제1 공유 제어부(1621)는 순위기반 전송방식을 이용하여 화면을 공유하고, 제2 공유 제어부(1622)는 일괄 전송방식을 이용하여 화면을 공유한다. 순위기반 전송방식은 화면이 변환된 블록을 미리 설정된 우선순위에 따라 차례대로 나누어 전송하는 방식이고, 일괄 전송방식은 화면이 변화한 블록을 무조건으로 동시에 전송하는 방식이다. 두 방식 모두 이전 화면과 현재 화면을 비교하여 차이가 있는 블록을 전송함에 따라 차이가 있는 블록만을 업데이트(update)하여 리프레시(refresh) 한다는 점에서는 유사하나, 우선순위에 따라 나누어 전송하는 점과 무조건으로 동시에 전송한다는 점이 각각 차이가 있다.
이하, 제1 공유 제어부(1621)의 순위기반 전송방식에 대해 보다 구체적으로 후술한다. 제1 공유 제어부(1621)는 화면 분석부(160)에서의 객체 인식에 기반하여 인식된 객체 블록 영역을 우선순위에 따라 전송한다. 예를 들어, 객체로서 '사람'과 '개'를 인식하고, '사람'이 '개'보다 우선순위가 높으면, '사람'에 해당하는 블록 영역만을 우선 전송하는 방식이다. 이 경우, 관리자 장치(3)는 이전 화면에서 원격 단말(1)로부터 우선 전송된 블록 영역만을 업데이트한 새로운 화면을 출력한다.
일 실시 예에 따른 제1 공유 제어부(1621)는 블록 단위로 이전 화면과 비교하여 객체가 변화된 객체 블록 영역을 우선순위에 따라 전송한다. 즉, 객체가 변화된 화면을 전송하되, 우선순위가 높은 객체 블록 영역을 먼저 전송하고 우선순위가 낮은 객체 블록 영역을 나중에 전송한다.
일 실시 예에 따른 제1 공유 제어부(1621)는 다수의 객체가 인식되면 미리 설정된 객체 우선순위 규칙을 기초로 하여 우선순위가 높은 객체 블록 영역을 1차로 우선 전송하고, 우선순위가 낮은 객체 블록 영역을 2차로 나중에 전송한다. 예를 들어, 객체 우선순위 규칙이 1순위는 '동물'이고, 2순위는 '사람'으로 설정되어 있고, 화면에서 '개'와 '사람'을 각각 인식하였다면, 1순위인 '개'를 구성하는 블록 영역을 먼저 전송하고, 이후 2순위인 '사람'을 구성하는 블록 영역을 나중에 전송한다. 즉, 객체가 변화된 모든 객체 블록 영역을 동시에 전송하는 것이 아니라, 우선순위가 높은 객체 블록 영역만을 우선적으로 전송한다. 이 경우, 관리자 장치(3)는 이전 화면에서 우선순위가 높은 '개'를 구성하는 블록 영역만을 이전 화면에서 업데이트하여 출력하면 된다. 이후 우선순위가 낮은 '사람'을 구성하는 블록 영역을 이전 화면에서 업데이트하여 출력한다. 제1 공유 제어부(1621)의 순위기반 전송방식의 실시 예는 도 9를 참조로 하여 후술한다.
제2 공유 제어부(1622)는 복수의 블록으로 구분된 화면을 블록 단위 별로 이전 화면과 비교하여 화면의 변화 여부를 검사하고 화면이 변화된 블록을 동시 전송한다. 제2 공유 제어부(1622)의 일괄 전송방식의 실시 예는 도 8을 참조로 하여 후술한다.
방식 결정부(1623)는 제1 공유 제어부(1621)의 순위기반 전송방식 및 제2 공유 제어부(1622)의 일괄 전송방식 중 소정의 전송방식을 선택한다. 제1 실시 예에 따르면, 원격 단말(1)의 단말 사양에 이용하여 전송방식을 선택할 수 있다. 예를 들어, 방식 결정부(1623)는 원격 단말(1)이 단말 사양인 해상도를 확인하여 고해상도를 가지면 순위기반 전송방식을 선택하고, 원격 단말(1)이 저해상도를 가지면 일괄 전송방식을 선택한다. 고해상도는 4K 급 이상의 해상도이고, 저해상도는 HD 급 이하의 해상도일 수 있다. 전술한 제1 실시 예에 따른 전송방식 선택 프로세스는 도 12를 참조로 하여 후술한다.
제2 실시 예에 따르면, 방식 결정부(1623)는 원격 단말(1)과 연결된 네트워크 환경에 기반하여 전송방식을 선택할 수 있다. 예를 들어, 네트워크 환경 중 대역폭을 확인하여, 대역폭이 미리 설정된 값보다 낮으면 순위기반 전송방식을 선택하고, 미리 설정된 값보다 높으면 일괄 전송방식을 선택한다. 대역폭은 네트워크상에서 정보통신용 신호의 최고주파수와 최저주파수의 범위를 일컫는 말로, 일반적으로는 통신에서 정보를 전송할 수 있는 능력, 즉 최대 전송 속도를 말한다. 미리 설정된 값이 최대 전송 속도 100Mbps인 경우, 측정된 최대 전송 속도가 100Mbps보다 낮으면 순위기반 전송방식을 선택하고, 100Mbps 이상이면 일괄 전송방식을 선택한다. 원격 단말(1)의 해상도가 높을수록 데이터 전송 량이 많아지므로 대역폭은 낮아질 수 있다. 설정 값은 사용자에 의해 변경될 수 있다. 대역폭 측정은 미리 설정된 시간 간격으로 이루어질 수 있고, 실시간으로 이루어질 수도 있다. 전술한 제2 실시 예에 따른 전송방식 선택 프로세스는 도 13을 참조로 하여 후술한다. 원격 단말(1)의 해상도와 같은 단말 사양을 고려한 전송방식 선택은, 단말 사양이 고정된 것이어서 고정형 방식이라 한다면, 대역폭과 같은 네트워크 환경을 고려한 전송방식 선택은 상황에 따라 가변되는 가변형 방식이라 할 수 있다.
나아가, 방식 결정부(1623)는 단말 사양과 네트워크 환경을 종합적으로 고려하여 전송방식을 선택할 수 있다. 예를 들어, 데이터 전송 량이 너무 많아 네트워크 또는 원격 단말(1)에 과부하가 발생하면, 원격 단말(1)의 해상도가 낮아도 순위 기반 전송방식을 사용하여 화면을 공유할 수 있다. 해당 방식은 고정되는 단말 사양과 가변되는 네트워크 상황을 모두 고려한 적응형 방식이라 할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 도 6의 제1 공유 제어부의 세부 구성도이다.
도 6 및 도 7을 참조하면, 제1 공유 제어부(1621)는 검사부(1624), 우선순위 확인부(1626) 및 전송 처리부(1628)를 포함한다.
검사부(1624)는 객체 인식을 통해 인식된 각 객체 블록 영역을 대상으로 블록 단위로 이전 화면과 비교하여 객체의 변화 여부를 검사한다. 우선순위 확인부(1626)는 미리 설정된 객체 우선순위 규칙을 검색하여 객체가 변화된 각 객체 블록 영역의 우선순위를 확인한다. 전송 처리부(1628)는 객체가 변화된 객체 블록 영역을, 우선순위 확인부(1626)를 통해 확인된 객체 우선순위 순서대로 전송한다.
도 8은 본 발명의 일 실시 예에 따른 일괄 전송방식에 기반한 화면 공유를 설명하기 위한 참조도이다.
도 1 및 도 8을 참조하면, 원격 단말(1)은 이전 캡처 화면과의 화면 변화 검사를 위해 읽어온 현재 캡처 화면을 격자 형태의 다수의 블록으로 분할하고, 이전 캡처 화면과 현재 캡처 화면을 블록별로 비교하여 화면의 변화를 감지한다. 이때, 각 블록의 비교 검사는 블록의 사선, 가로 중앙선, 세로 중앙선을 기준으로 비교할 수 있다. 원격 단말(1)은 설정된 특정 시간 단위로 하여 화면을 캡처하고 블록 단위별 화면 변화 검사 과정을 수행함으로써 화면이 변화된 블록(차이가 있는 블록)만을 전송하여 이전 화면에서 업데이트하는 방식으로 관리자 장치(3)에 화면 이미지를 제공하게 된다. 예를 들어, 도 8에 도시된 바와 같이 이전화면과 현재화면의 차이를 비교하여 동일하지 않으면 무조건 전송한다. 즉, 11 블록이 차이가 있으면, 11 블록의 업데이트(update)가 필요한 것이므로 11 블록만 전송하여 이전화면에서 11 블록을 업데이트한다.
도 8을 참조로 하여 전술한 일괄 전송방식을 사용하는 경우, 도 2를 참조로 하여 전술한 HD 화면 예에서는 HD 화면 중 변화가 있는 화면을 구성하는 12개의 블록을 전송하게 된다. 이를 도 3을 참조로 하여 전술한 4K 화면에 동일하게 적용하면, 12+27 = 39개의 블록을 전송해야 한다. 따라서 HD 화면에 비해 과다한 데이터 전송량이 필요하다. 네트워크(2)의 부하나 원격 단말(1)의 부하로 인해 전송속도가 느려질 경우 '개'만 먼저 전송되거나 '사람 얼굴'만 먼저 보이는 단점이 발생한다.
도 9는 본 발명의 일 실시 예에 따른 순위기반 전송방식에 기반한 화면 공유를 설명하기 위한 참조도이다.
도 1 및 도 9를 참조하면, 구분된 블록들 중에서 화면이 변화된 객체 블록 영역을 대상으로 객체 우선순위 규칙에 따라 차등화하여 전송되므로, '동물'이 제1 우선순위, '사람'이 제2 우선순위로 설정되어 있고, '개' 블록 영역과 '사람' 블록 영역이 이전 화면에 비해 변화되었다면, '개' 블록 영역과 '사람' 블록 영역을 동시에 전송하는 것이 아니라, 도 9에 도시된 바와 같이 '개' 블록 영역(12개 블록)이 먼저 전송되어 이전 화면에서 업데이트된다. 이 경우, HD급 화면과 동일한 12개 블록만 전송하여 먼저 관리자 장치(3)의 모니터에 표시된다. 즉, HD급 화면과 동일한 수준으로 먼저 처리 가능하다. 이후 우선순위가 낮은 '사람'에 블록 영역(27개 블럭)을 전송하여 처리한다.
도 10은 본 발명의 일 실시 예에 따른 일괄 전송방식에 기반한 화면 공유방법을 도시한 흐름도이다.
도 1 및 도 10을 참조하면, 원격 단말(1)은 원격 단말(1)에 출력되는 전체화면을 캡처(1010)하고, 캡처 화면을 복수의 블록 단위로 구분한다(1020). 이어서, 복수의 블록으로 구분된 화면을 블록 단위 별로 이전 화면과 비교하여 화면의 변화 여부를 검사(1030)하고 화면이 변화된 블록을 블록 단위로 무조건으로 관리자 장치(3)에 동시에 전송한다(1040).
도 11은 본 발명의 일 실시 예에 따른 순위기반 전송방식에 기반한 화면 공유방법을 도시한 흐름도이다.
도 1 및 도 11을 참조하면, 원격 단말(1)은 원격 단말(1)에 출력되는 전체화면을 캡처(1110)하고, 캡처 화면을 복수의 블록 단위로 구분한다(1120). 이어서, 캡처 화면에서 객체를 인식(1130)하고, 인식된 객체 블록 영역들을 대상으로 블록 단위로 이전 화면과 비교하여 객체의 변화 여부를 검사(1140)한다. 그리고 객체가 변화된 객체 블록 영역을 우선순위에 따라 차등화하여 전송한다(1150). 이때, 미리 설정된 객체 우선순위 규칙을 검색하여 객체가 변화된 각 객체 블록 영역의 우선순위를 확인하여 객체가 변화된 객체 블록 영역을 객체 우선순위 순서대로 전송한다. 예를 들어, 미리 설정된 객체 우선순위 규칙을 기초로 하여 우선순위가 높은 객체 블록 영역을 1차로 우선 전송하고 우선순위가 낮은 객체 블록 영역을 2차로 나중에 전송한다.
도 12는 본 발명의 일 실시 예에 따른 전송방식 선택에 기반한 화면 공유방법을 도시한 흐름도이다.
도 1 및 도 12를 참조하면, 원격 단말(1)은 원격 단말(1)의 해상도를 확인한다(1210). 이때, 원격 단말(1)이 고해상도인지를 판단(1220)하여, 고해상도이면 순위기반 전송방식(도 11 참조)을 선택(1230)하고, 저해상도이면 일괄 전송방식(도 10 참조)을 선택(1240)한 후, 선택된 방식으로 화면을 전송한다(1250).
도 13은 본 발명의 다른 실시 예에 따른 전송방식 선택에 기반한 화면 공유방법을 도시한 흐름도이다.
도 1 및 도 13을 참조하면, 원격 단말(1)은 원격 단말(1)과 연결된 네트워크 환경, 예를 들어, 대역폭을 확인한다(1310). 이때, 대역폭이 미리 설정된 값보다 큰지를 판단(1320)하여, 대역폭이 미리 설정된 값보다 낮으면 순위기반 전송방식(도 11 참조)을 선택(1330)하고, 미리 설정된 값보다 높으면 일괄 전송방식(도 10 참조)을 선택(1340)한 후, 선택된 방식으로 화면을 전송한다(1350).
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1: 원격 단말 2: 네트워크
3: 관리자 장치 10: 입력부
12: 디스플레이 14: 통신부
16: 프로세서 18: 메모리
160: 화면 분석부 162: 화면 공유부
164: 네트워크 연결부 166: 단말 제어부
1600: 화면 캡처부 1602: 블록 구분부
1604: 객체 인식부 1621: 제1 공유 제어부
1622: 제2 공유 제어부 1623: 방식 결정부
1624: 검사부 1626: 우선순위 확인부
1628: 전송 처리부

Claims (11)

  1. 원격제어를 위한 관리자 장치와 연결되어 데이터를 송수신하는 통신부;
    원격 단말에서 출력되는 화면을 복수의 블록(block)으로 구분하는 화면 분석부; 및
    관리자 장치와 화면을 공유하는 화면 공유부; 를 포함하며,
    상기 화면 공유부는 구분된 블록들 중에서 화면이 변화된 블록을 미리 설정된 우선순위에 따라 차등화하여 상기 통신부를 통해 전송하는 제1 공유 제어부;
    를 포함하는 것을 특징으로 하는 원격 단말.
  2. 제 1 항에 있어서,
    상기 화면 분석부는 복수의 블록으로 구분된 화면에서 적어도 하나의 객체를 인식하고,
    상기 제1 공유 제어부는 화면이 변화된 객체를 구성하는 블록 영역을 미리 설정된 객체 우선순위에 따라 전송하는 것을 특징으로 하는 원격 단말.
  3. 제 2 항에 있어서, 상기 화면 분석부는
    인공지능 기반 기계학습을 통해 생성된 학습모델을 이용하여 화면에 표시되는 객체를 인식하는 것을 특징으로 하는 원격 단말.
  4. 제 2 항에 있어서, 상기 제1 공유 제어부는
    다수의 객체가 인식되면 미리 설정된 객체 우선순위 규칙을 기초로 하여 우선순위가 높은 객체 블록 영역을 1차로 우선 전송하고 우선순위가 낮은 객체 블록 영역을 2차로 나중에 전송하는 것을 특징으로 하는 원격 단말.
  5. 제 2 항에 있어서, 상기 제1 공유 제어부는
    객체 인식을 통해 인식된 각 객체 블록 영역을 대상으로 블록 단위로 이전 화면과 비교하여 객체의 변화 여부를 검사하는 검사부;
    미리 설정된 객체 우선순위 규칙을 검색하여 객체가 변화된 각 객체 블록 영역의 우선순위를 확인하는 우선순위 확인부; 및
    객체가 변화된 객체 블록 영역을, 상기 우선순위 확인부를 통해 확인된 객체 우선순위 순서대로 전송하는 전송 처리부;
    를 포함하는 것을 특징으로 하는 원격 단말.
  6. 제 1 항에 있어서, 상기 화면 공유부는
    복수의 블록으로 구분된 화면을 블록 단위 별로 이전 화면과 비교하여 화면의 변화 여부를 검사하고 화면이 변화된 블록을 동시 전송하는 제2 공유 제어부;
    를 더 포함하는 것을 특징으로 하는 원격 단말.
  7. 제 6 항에 있어서, 상기 화면 공유부는
    상기 제1 공유 제어부의 순위기반 전송방식 및 상기 제2 공유 제어부의 일괄 전송방식 중 소정의 전송방식을, 원격 단말의 단말 사양 및 네트워크 환경 중 적어도 하나에 기초하여 선택하는 방식 결정부;
    를 더 포함하는 것을 특징으로 하는 원격 단말.
  8. 제 7 항에 있어서, 상기 방식 결정부는
    원격 단말이 제1 해상도를 가지면 순위기반 전송방식을 선택하고,
    원격 단말이 제2 해상도를 가지면 일괄 전송방식을 선택하며,
    제1 해상도는 제2 해상도보다 고해상도인 것을 특징으로 하는 원격 단말.
  9. 제 7 항에 있어서, 상기 방식 결정부는
    네트워크 대역폭을 확인하여, 대역폭이 미리 설정된 값보다 낮으면 순위기반 전송방식을 선택하고, 미리 설정된 값보다 높으면 일괄 전송방식을 선택하는 것을 특징으로 하는 원격 단말.
  10. 제 1 항에 있어서, 상기 원격 단말은
    객체 우선순위 규칙을 포함한 데이터가 저장되는 메모리;
    를 더 포함하는 것을 특징으로 하는 원격 단말.
  11. 제 1 항에 있어서, 상기 원격 단말은
    UHD(Ultra High Definition) 급 이상의 해상도를 가지는 것을 특징으로 하는 원격 단말.
KR1020180028091A 2018-03-09 2018-03-09 화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법 KR102034866B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180028091A KR102034866B1 (ko) 2018-03-09 2018-03-09 화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180028091A KR102034866B1 (ko) 2018-03-09 2018-03-09 화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법

Publications (2)

Publication Number Publication Date
KR20190106509A true KR20190106509A (ko) 2019-09-18
KR102034866B1 KR102034866B1 (ko) 2019-10-21

Family

ID=68070379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180028091A KR102034866B1 (ko) 2018-03-09 2018-03-09 화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법

Country Status (1)

Country Link
KR (1) KR102034866B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150119585A (ko) * 2014-04-15 2015-10-26 주식회사 삼광산전 객체 인식을 이용한 조명 제어 시스템 및 조명 제어 방법
JP2016133886A (ja) * 2015-01-16 2016-07-25 Kddi株式会社 画面共有システム、ソース端末、シンク端末及び画面共有方法
KR101700616B1 (ko) * 2012-06-27 2017-01-31 한국전자통신연구원 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법
KR20180011449A (ko) * 2016-07-21 2018-02-01 삼성디스플레이 주식회사 무선 채널을 통해 비디오 데이터를 전송하기 위한 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700616B1 (ko) * 2012-06-27 2017-01-31 한국전자통신연구원 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법
KR20150119585A (ko) * 2014-04-15 2015-10-26 주식회사 삼광산전 객체 인식을 이용한 조명 제어 시스템 및 조명 제어 방법
JP2016133886A (ja) * 2015-01-16 2016-07-25 Kddi株式会社 画面共有システム、ソース端末、シンク端末及び画面共有方法
KR20180011449A (ko) * 2016-07-21 2018-02-01 삼성디스플레이 주식회사 무선 채널을 통해 비디오 데이터를 전송하기 위한 방법

Also Published As

Publication number Publication date
KR102034866B1 (ko) 2019-10-21

Similar Documents

Publication Publication Date Title
CN109427056B (zh) 对供数据传输的图像数据进行优化的方法和系统
US8271665B2 (en) Internet protocol camera management system and method
CN112948614B (zh) 图像处理方法、装置、电子设备及存储介质
US20190037266A1 (en) Image receiving/reproducing device, image generating/transmitting device, display system, image receiving/reproducing method, image generating/transmitting method, and computer readable medium
US20210055719A1 (en) System for predictive maintenance using generative adversarial networks for failure prediction
US20150161923A1 (en) Electronic device, display device, method, and computer program product
US11509868B2 (en) Method and apparatus for failover in a video surveillance system
US10686977B2 (en) Image control system and apparatus for industrial embedded system
EP3890312A1 (en) Distributed image analysis method and system, and storage medium
WO2019135773A1 (en) Brokering servers based on remote access performance
KR102034866B1 (ko) 화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법
CN112688991B (zh) 用于执行点云扫描操作的方法、相关装置及存储介质
WO2021195585A1 (en) 3d collaborative visual command line system to visualize and manage networked endpoints
CN111158881B (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
WO2021150347A1 (en) Dynamic resizing of a portion of a virtual device user interface
US10754663B2 (en) Dynamic determination of hardware
US20220121508A1 (en) Controlling location-based features with usage maps
US10466954B2 (en) Display control method and display control device
US11463298B2 (en) Mediating apparatus, device management system, communication control method, and non-transitory recording medium
CN113986401A (zh) 数据处理方法及装置、电子设备和存储介质
CN210465709U (zh) 安检系统
KR20210042859A (ko) 보행자 검출 방법 및 장치
CN103019641B (zh) 在远程控制过程中传输数据的设备及方法
CN116152809B (zh) 设备控制方法、系统、计算机设备和存储介质
CN113868111B (zh) 基于业务节点的互访关系调整方法、装置及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant