KR102537913B1 - 특정영역에서의 vmi화면과 로컬화면 표시 방법 및 장치 - Google Patents

특정영역에서의 vmi화면과 로컬화면 표시 방법 및 장치 Download PDF

Info

Publication number
KR102537913B1
KR102537913B1 KR1020180125090A KR20180125090A KR102537913B1 KR 102537913 B1 KR102537913 B1 KR 102537913B1 KR 1020180125090 A KR1020180125090 A KR 1020180125090A KR 20180125090 A KR20180125090 A KR 20180125090A KR 102537913 B1 KR102537913 B1 KR 102537913B1
Authority
KR
South Korea
Prior art keywords
vmi
screen
area
screen area
server
Prior art date
Application number
KR1020180125090A
Other languages
English (en)
Other versions
KR20200044390A (ko
Inventor
김지훈
김응창
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180125090A priority Critical patent/KR102537913B1/ko
Publication of KR20200044390A publication Critical patent/KR20200044390A/ko
Application granted granted Critical
Publication of KR102537913B1 publication Critical patent/KR102537913B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Abstract

특정영역에서의 VMI화면과 로컬화면 표시 방법 및 장치를 개시한다.
본 실시예는 VMI 클라이언트를 실행시킬 때 전체 VMI화면만을 노출하는 것이 아니라, 전체 VMI화면 중 일부영역을 로컬화면으로 대체하거나 전체 로컬화면 중 일부영역을 VMI화면으로 대체하여 VMI화면을 인코딩(Encoding)/디코딩(Decoding)시 네트워크 트래픽을 절감하여 디바이스에서 상대적으로 빠른 VMI 서비스를 제공받을 수 있도록 하는 특정영역에서의 VMI화면과 로컬화면 표시 방법 및 장치를 제공한다.

Description

특정영역에서의 VMI화면과 로컬화면 표시 방법 및 장치{Method And Apparatus for Displaying VMI Screen and Local Screen in Specific Region}
본 실시예는 전체 로컬화면 중 일부영역에 VMI화면을 노출시키거나 전체 VMI화면 중 일부영역에 로컬화면을 표시하는 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
스마트폰의 활성화로 최근 많은 사람이 스마트폰을 사용중이다. 스마트폰은 다양한 애플리케이션을 이용하여 웹(Web) 서핑, 게임, 쇼핑, 동영상 시청 등이 가능하기 때문에, 모바일 기반의 다양한 에코-시스템(Eco-System)이 폭발적으로 성장하고 있다. 스마트폰에 많은 애플리케이션을 설치함에 따라 용량 부족, 메모리 부족, 프로세서 성능저하가 발생하며, 스마트폰 하드웨어(HW), 소프트웨어(SW) 성능제약에 따른 사용 경험 차이, 데이터 보안, 기기 교체 시 애플리케이션 재설치 등의 불편함이 발생한다.
최근 들어, 스마트폰 애플리케이션의 대용량화, 동영상의 고품질화되면서 애플리케이션 업데이트, 동영상 시청 등을 위한 데이터 소모량이 증가하는 추세이다. 특히, 모바일 게임 애플리케이션의 경우 최초 설치 파일, 애플리케이션 내부 데이터 업데이트를 위한 데이터량이 상당히 큰 편이다.
일반적인 디바이스의 문제점을 해결하기 위해, 가상의 스마트폰 환경을 클라우드(Cloud) 서버에 구축한 후 서버의 하드웨어(HW), 소프트웨어(SW) 자원을 이용하여 사용자에게 가상의 모바일 환경을 제공하는 VMI(Virtual Mobile Infrastructure) 기술이 있다.
하지만, VMI를 모바일 환경에 적용하는 경우 일반적인 PC 환경과 달리 스마트폰 하드웨어(HW) 제약, OS(Operating System) 환경과 클라우드(Cloud) 서버 환경과 차이(아키텍처 등), 실시간 무선 네트워크를 이용한 초고속, 저지연 통신 등 기술적 이슈가 존재하며, 사용자 케이스(Use Case)에 따른 융합 기술의 역량부족으로 인해 VMI 기술이 아직 B2B(Business to Business), B2C(Business to Customer) 시장에 정식 상용화된 사례가 없다.
본 실시예는 VMI 클라이언트를 실행시킬 때 전체 VMI화면만을 노출하는 것이 아니라, 전체 VMI화면 중 일부영역을 로컬화면으로 대체하거나 전체 로컬화면 중 일부영역을 VMI화면으로 대체하여 VMI화면을 인코딩(Encoding)/디코딩(Decoding)시 네트워크 트래픽을 절감하여 디바이스에서 상대적으로 빠른 VMI 서비스를 제공받을 수 있도록 하는 특정영역에서의 VMI화면과 로컬화면 표시 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, VMI화면 영역에 대응하는 화면 정보를 VMI 서버로 전송하는 노출영역 지정부; 상기 VMI 서버로부터 상기 화면 정보를 기반으로 인코딩된 VMI 영상을 수신하여 디코딩하는 디코딩부; 및 디바이스 화면 구동 영역 일측에 위치한 상기 VMI화면 영역에 상기 VMI 영상이 표시되도록 하는 화면 노출부를 포함하는 것을 특징으로 하는 VMI 클라이언트를 제공한다.
본 실시예의 다른 측면에 의하면, 로컬화면 영역에 대응하는 화면 정보를 VMI 서버로 전송하는 노출영역 지정부; 상기 VMI 서버로부터 상기 화면 정보를 기반으로 상기 로컬화면 영역을 제외한 영역으로 인코딩된 VMI 영상을 수신하여 디코딩하는 디코딩부; 및 전체 VMI화면 영역의 일측에 위치한 상기 로컬화면 영역에 디바이스 구동화면이 표시되도록 하는 화면 노출부를 포함하는 것을 특징으로 하는 VMI 클라이언트를 제공한다.
본 실시예의 다른 측면에 의하면, 하드웨어와 결합되어, VMI화면 영역에 대응하는 화면 정보를 VMI 서버로 전송하는 과정; 상기 VMI 서버로부터 상기 화면 정보를 기반으로 인코딩된 VMI 영상을 수신하여 디코딩하는 과정; 및 디바이스 화면 구동 영역의 일측에 위치한 상기 VMI화면 영역에 상기 VMI 영상이 표시되도록 하는 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다.
본 실시예의 다른 측면에 의하면, 하드웨어와 결합되어, 로컬화면 영역에 대응하는 화면 정보를 VMI 서버로 전송하는 과정; 상기 VMI 서버로부터 상기 화면 정보를 기반으로 상기 로컬화면 영역을 제외한 화면으로 인코딩된 VMI 영상을 수신하여 디코딩하는 과정; 및 전체 VMI화면 영역의 일측에 위치한 상기 로컬화면 영역에 디바이스 구동화면이 표시되도록 하는 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, VMI 클라이언트를 실행시킬 때 전체 VMI화면만을 노출하는 것이 아니라, 전체 VMI화면 중 일부영역을 로컬화면으로 대체하거나 전체 로컬화면 중 일부영역을 VMI화면으로 대체하여 VMI화면을 인코딩(Encoding)/디코딩(Decoding)시 네트워크 트래픽을 절감하여 디바이스에서 상대적으로 빠른 VMI 서비스를 제공받을 수 있도록 하는 효과가 있다.
본 실시예에 의하면, 일반적인 디바이스의 화면을 인코딩(Encoding)하는 지연(Delay) 절감, 인코딩된 화면을 전송하기 위한 업링크 네트워크 트래픽(Uplink N/W Traffic)이 감소할 뿐만 아니라, 영상 공유를 위한 별도의 저장 공간이 필요없고 공유하는 사용자의 VM 저장 공간을 그대로 활용할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 VMI화면 전환을 위한 기본 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2a,2b,2c,2d,2e는 본 실시예에 따른 VMI화면 전환을 나타낸 도면이다.
도 3은 본 실시예에 따른 VMI 클라이언트를 개략적으로 나타낸 블럭 구성도이다.
도 4는 본 실시예에 따른 전체 로컬화면 중 일부영역을 VMI화면으로 대체하는 방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 전체 VMI화면 중 일부영역에 로컬화면을 대체하는 방법을 설명하기 위한 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
VMI(Virtual Mobile Infrastructure)는 서버에서 디바이스로 가상의 모바일 환경을 제공하는 기술을 의미한다. VMI는 서버에서 생성 및 관리하는 VM(Virtual Machine)을 개별 사용자의 모바일 기기(디바이스)로 노출시키는 기술이다. VMI는 서버에 탑재된 고성능 CPU(Central Processing Unit)/GPU(Graphics Processing Unit)를 이용하기 때문에, 기존 디바이스들이 가지고 있던 하드웨어(HW), 소프트웨어(SW)로 인한 제약문제를 해결하며, 다양한 기술들과의 융합으로 B2B, B2C 시장에서 차별화된 서비스를 제공할 수 있다.
본 실시예는 5G 시대에 다양한 모바일 기기들에서 초고속/저지연 네트워크 기반의 차별화된 VMI 서비스를 제공하기 위한 다양한 성능 개선 방법과 다른 기술들과의 융합 방법에 대해 기술한다.
도 1은 본 실시예에 따른 VMI화면 전환을 위한 기본 시스템을 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 VMI화면 공유 시스템은 VMI 클라이언트(110), 네트워크(120), VMI 게이트웨이(130), VMI 서버(140)를 포함한다. VMI화면 공유 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
VMI 클라이언트(110)는 디바이스 상에 VM(Virtual Machine)을 표시하기 위한 애플리케이션 역할을 수행한다. 여기서, 디바이스는 사용자의 키 조작에 따라 네트워크(120)를 경유하여 음성 또는 데이터 통신을 수행하는 전자 기기를 의미한다. 디바이스는 네트워크(120)를 경유하여 VMI 서버(140)와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다.
디바이스는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 무선통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 전자 기기일 수 있다.
디바이스는 (ⅰ) 각종 기기 또는 네트워크(120)와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.
VMI 클라이언트(110)는 VMI 게이트웨이(130)와 연결되어 사용자 인증, VMI 서비스 제공 수준(네트워크 대역폭, 해상도 등) 확정하고, 데이터 보안 통신을 수행한다. VMI 클라이언트(110)는 사용자 기본 정보, 디바이스의 로컬 정보(하드웨어(HW), 소프트웨어(SW) 등), 사용자 액션 정보(터치, 스크롤 등) 등을 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로 전달한다. VMI 클라이언트(110)는 환경 설정 기능을 이용하여 사용자별로 다양한 설정 옵션(Option)을 설정하도록 한다. VMI 클라이언트(110)는 실제 화면에 대해 VMI 서버(140)에서 실시간 인코딩 처리한 영상을 수신하여 디바이스 상의 디스플레이에 출력한다.
VMI 클라이언트(110)는 VMI 서버(140)를 이용하여 자신의 VMI화면을 타 VMI 클라이언트에게 실시간으로 공유한다. VMI 클라이언트(110)는 자신의 VMI화면을 타 VMI 클라이언트에게 공유하는 기능을 이용하여 일종의 미디어 방송 애플리케이션으로 이용될 수 있다. VMI 클라이언트(110)는 재난 상황에서의 영상이나 중앙통제센터의 통계 화면, 현장에서 촬영되는 영상 등을 현장에 다수 공유, BJ의 애플리케이션 게임 방송 등에도 활용 가능하다. VMI 클라이언트(110)는 로컬(Local)에서 카메라를 사용하는 경우를 제외하고, VMI 서버(140)에서 실제 프로세스가 진행되기 때문에, 터치 또는 입력 등을 제외하고는 네트워크(120) 상에 업링크 데이터가 발생하지 않는다.
본 실시예에 따른 VMI 클라이언트(110)는 VMI 서버(140)에서 실행하는 애플리케이션/웹 사용 상태 및 노출 화면에 따라 동적으로 VMI화면 영역(220) 또는 로컬화면 영역(240)의 위치나 사이즈를 변경한다.
네트워크(120)는 추후 적용될 5G 네트워크인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 인터넷망뿐만 아니라, WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile Communications), LTE(Long Term Evolution), EPC(Evolved Packet Core) 등이 적용될 수 있다.
VMI 게이트웨이(130)는 VMI 서비스 제공을 위해 VMI 클라이언트(110)와 VMI 서버(140) 사이에 중계 역할을 수행하는 장치를 의미한다. VMI 게이트웨이(130)는 VMI 클라이언트(110)에 대한 인증을 수행하고, 인증결과에 따라 VMI 서비스 제공을 위한 VMI 서버(140)와 데이터를 중계한다.
VMI 게이트웨이(130)는 VMI 클라이언트(110)로부터 VMI 서비스와 관련하여 입력된 사용자 입력정보를 VMI 서버(140)로 전달하고, VMI 서버(140)로부터 수신된 응답을 VMI 클라이언트(110)로 전달한다. 예컨대, VMI 게이트웨이(130)는 VMI 클라이언트(110)로부터 수신된 사용자 액션 정보(터치, 스크롤 등)를 VMI 서버(140)로 전달하고, VMI 서버(140)로부터 사용자 액션 정보에 대응하여 인코딩된 영상을 수신하여 VMI 클라이언트(110)로 전달한다.
VMI 게이트웨이(130)는 보안 컴플라이언스(Compliance) 및 망분리에 대응하기 위해 디바이스의 연결을 일원화하는 게이트웨이 노드를 의미한다. VMI 게이트웨이(130)는 VMI 사용자 인증 및 VMI 클라이언트(110)에게 VMI 서비스 제공을 위해 VMI 서버(140)와 연결한다. VMI 게이트웨이(130)는 VMI 클라이언트(110)와 암호화된 데이터를 교환한다.
VMI 서버(140)는 VMI 클라이언트(110)가 사용할 VM들을 생성하고 관리하는 장치를 의미한다. VMI 서버(140)는 사용자별 VM에 대해서 저장공간/메모리 등을 설정하고, 애플리케이션 설치 및 업데이트 관리하며, 사용자 설정값 등을 저장한다.
VMI 서버(140)는 실제 구동중인 VMI화면에 대해 실시간 인코딩 처리를 수행하고, 인코딩된 영상을 VMI 게이트웨이(130)를 경유하여 VMI 클라이언트(110)로 전달한다. VMI 서버(140)는 VMI 클라이언트(110)로부터 사용자 동작을 입력받으면, 사용자 동작에 대응하는 데이터를 처리한 결과로서 VMI 클라이언트(110)로 전달한다. VMI 서버(140)는 고성능의 CPU, GPU 탑재하여 디바이스 대비 고품질 영상 및 빠른 연산 처리가 가능하다.
본 실시예에 따른 VMI 서버(140)는 VMI 클라이언트(110)에서 설정한 VMI화면 영역(220)에 대응하는 VMI 영상만을 인코딩(Encoding)하여 VMI 클라이언트(110)로 전송하거나 VMI 영상 중 로컬화면 영역(240)을 제외한 VMI 영상만을 인코딩하여 VMI 클라이언트(110)로 전송하여 영상 크기 및 네트워크 트래픽(N/W Traffic)을 절감한다.
VMI 클라이언트(110)는 VMI 서버(140)로부터 수신한 서버에서 구동중인 애플리케이션에 대한 VMI 영상과 디바이스 내에 설치된 애플리케이션에 대한 디바이스 구동화면을 동시에 출력하므로 사용자 입장에서 디바이스와 서버 내의 애플리케이션을 한번에 사용할 수 있는 사용자 편의성이 증대된다.
VMI 서버(140)는 디바이스 보다 상대적으로 빠른 화면을 VMI 클라이언트(110)와 연동하여 고객 체감품질 향상시킨다. VMI 서버(140)는 다양한 애플리케이션/웹(Web) 종류와 런쳐(Launcher) 등에 대한 화면표시 영역을 설정하는 기능을 제공하여 사용성을 증대한다.
VMI 서버(140)는 VMI 클라이언트(110)로부터 수신한 화면 정보(런쳐식별정보, 기 설정된 해상도 크기, 위치좌표)에 대응하는 런쳐 영역 중 위치좌표에 대응하는 해상도 크기만큼을 VMI 영상으로 인코딩하여 VMI 클라이언트(110)로 전송한다. VMI 서버(140)는 구동하고 있는 전체 VMI 화면의 사이즈만을 축소한 축소 영상이 또는 전체 VMI 화면의 일부 영역만을 인코딩하여 VMI 영상으로 생성할 수 있다. VMI 서버(140)는 VMI 클라이언트(110)가 ‘메신져 애플리케이션 아이콘 영역’을 선택한 경우, 전체 VMI 화면(런쳐 화면) 중 ‘메신져 애플리케이션 아이콘 영역’에 해당하는 위치좌표에 대응하는 해상도 크기만큼의 화면만을 인코딩하여 VMI 영상으로 생성한다.
VMI 서버(140)는 전체 VMI 영상 중 VMI 클라이언트(110)로부터 수신한 화면 정보(애플리케이션 식별정보, 기 설정된 해상도 크기, 위치좌표)를 제외한 VMI 영상을 인코딩하여 VMI 클라이언트(110)로 전송한다. VMI 서버(140)는 애플리케이션 식별정보에 대응하는 애플리케이션을 구동하고, 애플리케이션 화면을 전체 VMI 화면으로 인코딩하여 VMI 영상으로 생성하거나 전체 VMI 화면 중 VMI 클라이언트(110)로부터 수신한 위치좌표에 대응하는 해상도 크기만큼의 영역을 제외한 VMI 영상을 인코딩하여 VMI 영상으로 생성한다. VMI 서버(140)는 VMI 클라이언트(110)가 ‘영상통화 영역’을 선택한 경우, 영상통화 애플리케이션의 전체 VMI 화면 중 위치좌표에 대응하는 해상도 크기만큼의 ‘영상통화 영역’에 해당하는 영역을 제외한 화면만을 인코딩하여 VMI 영상으로 생성한다.
도 2a는 본 실시예에 따른 VMI화면 전환을 나타낸 도면이다.
이하, 도 2의 (a)에 도시된 바와 같이, VMI화면을 전체 화면이 아닌 일부영역에만 노출시키는 방법에 대해 설명한다.
VMI 클라이언트(110)는 도 2의 (a)에 도시된 바와 같이, 사용자의 조작 또는 명령에 의해 디바이스(On-Device)의 전체 로컬화면 영역(210) 중 VMI화면 영역(220)을 지정한다. 예컨대, VMI 클라이언트(110)는 전체 로컬화면 영역(210) 중 특정 애플리케이션(메신져 애플리케이션) 아이콘에 해당하는 영역만을 터치 또는 드래그(Drag)하는 형태로 VMI화면 영역(220)으로 지정할 수 있다.
VMI 클라이언트(110)는 VMI화면 영역(220)이 미지정되어 있으면, 디폴트(Default)로 VMI화면 영역(220)의 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 불러오고, 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다. 예컨대, VMI 클라이언트(110)는 메신져 애플리케이션 아이콘 영역을 VMI화면 영역(220)으로 선택(터치)한 경우, 디폴트로 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 불러온다. 다시 말해, 바탕화면 상에 아이콘 영역은 다른 아이콘 영역과 동일한 해상도 크기를 갖기 때문에, VMI 클라이언트(110)는 메신져 애플리케이션 아이콘 영역에 대한 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 불러오고 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다.
VMI 서버(140)는 VMI 게이트웨이(130)를 경유하여 VMI 클라이언트(110)로부터 화면 정보를 수신하고, 화면 정보에 대응하는 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)로 VMI 영상을 인코딩(Encoding)하여, 프레임(Frame) 단위로 VMI 클라이언트(110)로 전송한다. 예컨대, VMI 서버(140)는 VMI 게이트웨이(130)를 경유하여 VMI 클라이언트(110)로부터 메신져 애플리케이션 아이콘 영역에 대응하는 화면 정보를 수신한다. VMI 서버(140)는 메신져 애플리케이션 아이콘 영역에 대응하는 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)로 VMI 영상을 인코딩(Encoding)하여, 프레임(Frame) 단위로 VMI 클라이언트(110)로 전송한다.
VMI 클라이언트(110)는 VMI 서버(140)에서 실행한 애플리케이션/웹(Web) 또는 특정 컨텐츠에 대응하는 VMI 영상을 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 수신한다. 예컨대, VMI 클라이언트(110)는 VMI 서버(140)에서 실행한 메신져 애플리케이션에서 새롭게 수신한 메시지 개수(아이콘 영역 상의 숫자표시영역)를 나타내는 VMI 영상을 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 수신한다.
VMI 클라이언트(110)는 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 VMI화면을 수신하여 디바이스에 표시할 때, 전체 로컬화면 영역(210)에 전체 화면(Full Screen)으로 표시하는 것이 아니라, 전체 로컬화면 영역(210) 중 지정된 VMI화면 영역(220)에만 표시되도록 한다. 예컨대, VMI 클라이언트(110)는 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 새롭게 수신한 메시지 개수(아이콘 영역 상의 숫자표시영역)를 나타내는 VMI 영상을 지정된 VMI화면 영역(220)에만 표시되도록 한다.
VMI 클라이언트(110)는 사용자의 조작 또는 명령에 의해 VMI화면 영역(220)을 변경한다. VMI 서버(140)는 특정 애플리케이션/웹(Web) 등을 실행하는 중에 VMI 클라이언트(110)로부터 사용자 설정값에 의해 VMI화면 영역(220)에 대한 변경 또는 추가 요청이 입력되면, VMI 클라이언트(110)로 변경 또는 추가된 화면 영역(x1y1, x1y2, x2y1, x2y2)에 대응하는 VMI 영상을 인코딩하여 전송한다.
VMI 서버(140)는 실행되는 각 애플리케이션/웹 등 타입(Type)에 따라 사용자가 VMI 클라이언트(110)의 환경 설정 상에서 기 설정한 정보를 참조하여 VMI화면 영역(220)에 대한 좌표값을 [표 1]의 테이블 상에 저장 및 관리할 수 있다.
VMI 서버(140)는 실행되는 각 애플리케이션/웹 등 타입에 따라 VMI 클라이언트(110)에서 활성화된 화면 영역을 자동으로 감지하여 VMI화면 영역(220)으로 설정한 후 [표 1]의 테이블에 영역 관련 정보를 저장 및 관리한다.
Figure 112018103267158-pat00001
VMI 클라이언트(110)는 VMI 서버(140)로부터 변경된 VMI 영상을 수신한 후 동적으로 VMI화면 영역(220)의 위치나 사이즈를 조절하여 전체 로컬화면 영역(210)의 일측에 표시한다.
이하, VMI 클라이언트(110)에서 기타 화면을 출력하는 케이스에 대해 설명한다.
VMI 클라이언트(110)는 런쳐(Launcher), 잠금 화면(Lock Screen) 상에서 특정 애플리케이션/웹 등을 실행시키는 환경이 아닐 경우, 런쳐의 특정영역에 대해 VMI화면을 표현할 수 있다. 전술한 경우 VMI 서버(140)는 [표 1]의 테이블상에 ‘런쳐’, ‘잠금 화면’이름을 추가하여 영역을 지정할 수 있다.
VMI 클라이언트(110)는 영역 지정을 이용하여 창 분할(Split Window), VM의 상태(장소, 시간 등)에 따라 변경 가능한 애플리케이션 아이콘(실제로는 VM에 있는 아이콘) 등을 노출시킬 수 있다.
이하, 도 2의 (b)에 도시된 바와 같이, VMI화면에서 일부영역을 디바이스의 화면으로 대체하여 노출시키는 방법에 대해 설명한다.
VMI 클라이언트(110)는 도 2의 (a)에 도시된 바와 같이, 사용자의 조작 또는 명령에 의해 디바이스의 전체 VMI화면 영역(230) 중 로컬화면 영역(240)을 지정한다. 예컨대, VMI 클라이언트(110)는 전체 VMI화면 영역(230) 중 ‘영상통화 영역’만을 터치 또는 드래그(Drag)하는 형태로 로컬화면 영역(240)으로 지정할 수 있다.
VMI 클라이언트(110)는 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 VMI 영상을 수신하여 디바이스에 표시할 때, VMI 영상을 전체 VMI화면 영역(230)에 전체 화면(Full Screen)으로 표시하는 것이 아니라, 전체 VMI화면 영역(230) 중 지정된 로컬화면 영역(240)에 VMI 클라이언트(110) 또는 디바이스 OS로부터 수신된 실행 애플리케이션/웹 또는 특정 컨텐츠에 대응하는 화면이 표시되도록 한다. 예컨대, VMI 클라이언트(110)는 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 수신한 VMI 영상을 디코딩하여 전체 VMI화면 영역(230)에 표시하나 로컬화면 영역(240)에는 디바이스로부터 수신한 영상통화 화면을 표시한다.
VMI 서버(140)는 디폴트로 로컬화면 영역(240)의 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 (0, 0, 0, 0)으로 설정한 후, 해상도 크기에 대응하는 화면 정보를 VMI 클라이언트(110)로 전송한다. VMI 클라이언트(110)는 VMI 서버(140)로부터 수신한 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 제외한 나머지 영역에 대해 화면 디코딩(Decoding)을 수행한다. VMI 클라이언트(110)는 로컬화면 영역(240)이 별도로 설정되어 있지 않은 경우, 디폴트(Default)로 VMI 서버(140)로부터 수신한 VMI 영상을 모두 디코딩(Decoding)하여 전체 VMI화면 영역(230)에 표시한다.
VMI 클라이언트(110)는 사용자의 조작 또는 명령에 의해 로컬화면 영역(240)을 변경한다. VMI 서버(140)는 특정 애플리케이션/웹 등을 실행하는 중에 VMI 클라이언트(110)로부터 사용자 설정값에 의해 특정영역에 로컬화면 표시가 필요하면 VMI 클라이언트(110)로 화면 영역(x1y1, x1y2, x2y1, x2y2)을 로컬화면 영역(240)으로 설정한 정보를 전송한다.
VMI 서버(140)는 각 애플리케이션/웹 등 타입에 따라 사용자가 VMI 클라이언트(110)의 환경 설정 상에서 기 설정한 정보를 참조하여 로컬화면 영역(240)에 대한 좌표값을 [표 2]의 테이블 상에 저장 및 관리할 수 있다.
Figure 112018103267158-pat00002
VMI 클라이언트(110)는 VMI 서버(140)로부터 변경된 로컬화면 영역(240)에 대응하는 좌표값을 수신하여 동적으로 로컬화면 영역(240)의 위치 또는 사이즈를 조절하여 전체 VMI화면 영역(230)의 일측에 표시한다. 단, 디바이스에서도 VMI 서버(140)에서 사용중인 애플리케이션이 설치되어 있어야 한다.
이하, VMI 클라이언트(110)에서 기타 화면을 출력하는 케이스에 대해 설명한다.
VMI 서버(140)는 전체 VMI화면 영역(230) 중 로컬화면 영역(240)을 디바이스에서 실행하는 화면으로 대체하여 주로 영상통화, 음성통화 등으로 활용 가능하다.
VMI 서버(140)에서 VM에서 음성/영상통화 호(Call)가 인입되거나 발신되면, VMI 클라이언트(110)로 호 이벤트 메시지(Call Event Message)와 상대방 MDN(Mobile Device Number) 정보를 전달한다. VMI 클라이언트(110)는 디바이스의 호 애플리케이션을 인보크(Invoke)시킨다.
디바이스에서 발생한 영상/음성 정보 및 데이터는 VMI 서버(140)를 거쳐서 인코딩/디코딩 처리하지 않고, 바로 상대방 디바이스로 전송하여 이중 트래픽 발생 방지와 지연(Delay)를 최대한 낮출 수 있다.
도 2b는 본 실시예에 따른 VMI화면 영역과 로컬화면 영역을 설정하는 방법을 나타낸 도면이다.
도 2b의 (a)에 도시된 바와 같이, VMI 클라이언트(110)는 전체 로컬화면 영역(210) 중 일부 영역을 사용자가 터치 또는 드래그하는 형태로 선택하면, 선택 영역을 VMI화면 영역(220)으로 지정한다.
VMI 클라이언트(110)는 런쳐 또는 바탕화면 상에서 VMI화면 영역(220)을 터치 또는 드래그하면, VMI화면 영역(220)에 대응하는 화면 정보(런쳐 식별정보, 기 설정된 해상도 크기, 위치좌표)를 VMI 서버(140)로 전송한다. VMI 서버(140)는 VMI 클라이언트(110)로부터 수신한 화면 정보(런쳐 식별정보, 기 설정된 해상도 크기, 위치좌표)에 대응하는 영역을 VMI 영상으로 인코딩하여 VMI 클라이언트(110)로 전송한다. VMI 클라이언트(110)는 런쳐 또는 바탕화면을 전체 로컬화면 영역(210)에 표시하는 동시에 VMI화면 영역(220)에 VMI 영상이 표시되도록 한다.
VMI 클라이언트(110)는 런쳐 또는 바탕화면 상에서 설정된 VMI화면 영역(220)에 대한 화면 정보(런쳐 식별정보, 기 설정된 해상도 크기, 위치좌표)를 저장한다. VMI 클라이언트(110)는 런쳐 또는 바탕화면 상에서 설정된 VMI화면 영역(220)에 대한 화면 정보(런쳐 식별정보, 기 설정된 해상도 크기, 위치좌표)를 저장하고 있다가 VMI 서비스를 제공받을 때, VMI화면 영역(220)에 대한 화면 정보(런쳐 식별정보, 기 설정된 해상도 크기, 위치좌표)를 VMI 서버(140)로 전송한다.
도 2b의 (b)에 도시된 바와 같이, VMI 클라이언트(110)는 전체 VMI화면 영역(230) 중 일부 영역을 사용자가 터치 또는 드래그하는 형태로 선택하면 로컬화면 영역(240)으로 설정할 수 있다.
VMI 클라이언트(110)는 특정 애플리케이션 구동 화면 상에서 로컬화면 영역(240)을 터치 또는 드래그하면, 로컬화면 영역(240)에 대응하는 화면 정보(애플리케이션 식별정보, 기 설정된 해상도 크기, 위치좌표)를 VMI 서버(140)로 전송한다. VMI 서버(140)는 VMI 클라이언트(110)로부터 수신한 화면 정보(애플리케이션 식별정보, 기 설정된 해상도 크기, 위치좌표)에 대응하는 영역을 제외한 화면을 VMI 영상으로 인코딩하여 VMI 클라이언트(110)로 전송한다. VMI 클라이언트(110)는 특정 애플리케이션 구동 화면을 로컬화면 영역(240)에 표시하는 동시에 전체 VMI화면 영역(230)에 VMI 영상이 표시되도록 한다.
VMI 클라이언트(110)는 특정 애플리케이션별로 구동 화면 상에서 설정된 로컬화면 영역(240)에 대한 화면 정보(애플리케이션 식별정보, 기 설정된 해상도 크기, 위치좌표)를 저장한다. VMI 클라이언트(110)는 특정 애플리케이션별로 설정된 로컬화면 영역(240)에 대한 화면 정보(애플리케이션 식별정보, 기 설정된 해상도 크기, 위치좌표)를 저장하고 있다가 특정 애플리케이션이 구동되어 VMI 서비스를 제공받을 때, 로컬화면 영역(240)에 대한 화면 정보(애플리케이션 식별정보, 기 설정된 해상도 크기, 위치좌표)를 VMI 서버(140)로 전송한다.
도 2c는 본 실시예에 따른 전체 로커화면 영역 중 일부 영역에 VMI화면 영역을 나타낸 도면이다.
도 2c의 (a)에 도시된 바와 같이, VMI 클라이언트(110)는 전체 로컬화면 영역(230) 중 ‘메신져 애플리케이션 아이콘 영역’만을 터치 또는 드래그하는 형태로 VMI화면 영역(220)으로 지정할 수 있다.
예컨대, 도 2c의 (b)에 도시된 바와 같이, 런쳐 또는 바탕화면 상에서 ‘메신져 애플리케이션 아이콘 영역’은 다른 아이콘 영역과 동일한 해상도 크기를 갖기 때문에, VMI 클라이언트(110)는 ‘메신져 애플리케이션 아이콘 영역’에 대해, 런쳐 식별정보, 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 불러오고 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다.
VMI 클라이언트(110)는 전체 로컬화면 영역(210)에 디바이스 구동화면을 표시하는 동시에, VMI화면 영역(220)에 VMI 서버(140)로부터 수신한 VMI 영상을 표시한다.
VMI 클라이언트(110)는 메신져 애플리케이션에서 새롭게 수신한 메시지 개수(아이콘 영역 상의 숫자표시영역)를 나타내는 영역을 포함하도록 런쳐 또는 바탕화면 상에서 VMI화면 영역(220)을 지정할 수 있다.
VMI 클라이언트(110)는 메신져 애플리케이션에서 새롭게 수신한 메시지 개수 영역(아이콘 영역 상의 숫자표시영역)역을 포함하는 해상도 크기(예컨대, 300×400) 및 위치좌표(x1y1, x1y2, x2y1, x2y2)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다.
VMI 서버(140)는 VMI 클라이언트(110)로부터 수신한 화면 정보(런쳐 식별정보, 기 설정된 해상도 크기, 위치좌표)에 대응하는 영역을 VMI 영상으로 인코딩하여 VMI 클라이언트(110)로 전송한다. VMI 서버(140)는 화면 정보(런쳐 식별정보, 기 설정된 해상도 크기, 위치좌표)를 기반으로 새롭게 수신한 메시지 개수 영역을 포함하는 영역을 VMI 영상으로 인코딩하여 VMI 클라이언트(110)로 전송한다.
VMI 서버(140)는 구동하고 있는 전체 VMI 화면의 사이즈만을 축소한 축소 영상이 또는 전체 VMI 화면의 일부 영역만을 인코딩하여 VMI 영상으로 생성한다. VMI 서버(140)는 VMI 클라이언트(110)가 ‘메신져 애플리케이션 아이콘 영역’을 선택한 경우, 전체 VMI 화면 중 VMI 클라이언트(110)로부터 수신한 화면 정보(런쳐 식별정보, 기 설정된 해상도 크기, 위치좌표)에 대응하는 ‘메신져 애플리케이션 아이콘 영역’의 화면만을 인코딩하여 VMI 영상으로 생성한다.
도 2d는 본 실시예에 따른 전체 VMI화면 영역 중 일부 영역에 로컬화면 영역을 나타낸 도면이다.
도 2d에 도시된 바와 같이, VMI 클라이언트(110)는 전체 VMI화면 영역(230) 중 ‘영상통화 영역’만을 터치 또는 드래그하는 형태로 로컬화면 영역(240)으로 지정할 수 있다.
예컨대, VMI 클라이언트(110)는 ‘영상통화 영역’에 대해 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 불러오고 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다.
VMI 클라이언트(110)는 전체 VMI화면 영역(230)에 VMI 서버(140)로부터 수신한 VMI 영상을 표시하는 동시에 로컬화면 영역(240)에 디바이스 구동화면을 표시한다.
VMI 서버(140)는 전체 VMI 영상 중 VMI 클라이언트(110)로부터 수신한 화면 정보(애플리케이션 식별정보, 기 설정된 해상도 크기, 위치좌표)를 제외한 VMI 영상을 인코딩하여 VMI 클라이언트(110)로 전송한다.
VMI 서버(140)는 구동하고 있는 전체 VMI 화면을 인코딩하여 VMI 영상으로 생성하거나 전체 VMI 화면 중 VMI 클라이언트(110)로부터 수신한 화면 정보(애플리케이션 식별정보, 기 설정된 해상도 크기, 위치좌표)에 대응하는 영역을 제외한 VMI 영상을 인코딩하여 VMI 영상으로 생성한다.
VMI 서버(140)는 VMI 클라이언트(110)가 ‘영상통화 영역’을 선택한 경우, 전체 VMI 화면 중 전체 VMI 화면 중 ‘영상통화 영역’에 해당하는 영역을 제외한 화면만을 인코딩하여 VMI 영상으로 생성한다.
도 2e는 본 실시예에 따른 로컬화면 영역 중 일부 영역에 전체 VMI화면 영역을 나타낸 도면이다.
VMI 클라이언트(110)는 영상통화 시 디폴트로 전체 VMI화면 영역(230)에 VMI 서버(140)로부터 수신된 VMI 영상인 ‘발신자 화면’이 표시되고, 로컬화면 영역(240)에 디바이스에서 촬영한 ‘착신자 화면’이 표시되도록 구현된다.
VMI 클라이언트(110)는 사용자의 조작 또는 명령에 따라 영상통화 시 ‘발신자 화면’, ‘착신자 화면’의 위치와 사이즈를 전환할 수 있다.
도 2e에 도시된 바와 같이, VMI 클라이언트(110)는 사용자의 조작 또는 명령에 따라 전체 VMI화면 영역(230)에 표시된 VMI 서버(140)로부터 수신된 VMI 영상인 ‘발신자 화면’의 사이즈를 줄이고, 로컬화면 영역(240)에 디바이스에서 촬영한 ‘착신자 화면’의 사이즈를 키울 수 있다.
도 3은 본 실시예에 따른 VMI 클라이언트를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 VMI 클라이언트(110)는 노출영역 지정부(310), 디코딩부(320) 및 화면 노출부(330)를 포함한다. VMI 클라이언트(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
VMI 클라이언트(110)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 3에 도시된 VMI 클라이언트(110)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
이하, 노출영역 지정부(310)가 전체 로컬화면 중 일부를 VMI화면으로 대체하는 방법에 대해 설명한다.
노출영역 지정부(310)는 사용자의 조작 또는 명령에 의해 전체 로컬화면 영역(210) 중 일부영역을 VMI화면 영역(220)을 지정한다. 노출영역 지정부(310)는 VMI화면 영역(220)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다. VMI화면 영역(220)에 대응하는 화면 정보는 런쳐 식별정보, 해상도 크기, 위치좌표를 포함한다.
노출영역 지정부(310)는 VMI화면 영역(220)이 미지정된 경우, 디폴트(Default)로 설정된 런쳐 식별정보에 대한 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다. 노출영역 지정부(310)는 VMI화면 영역(220)이 지정된 경우, 런쳐 식별정보에 대한 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다.
노출영역 지정부(310)는 VMI화면 영역(220)런쳐 식별정보, 해상도 크기, 위치좌표 중 어느 하나에 대한 변경이 있는 경우, VMI 서버(140)로 VMI화면 영역(220)에 대한 변경 요청을 전송한다. 노출영역 지정부(310)는 기 설정한 환경설정정보를 기반으로 VMI 서버(140) 상에서 실행되는 런쳐 타입에 따라 VMI화면 영역의 위치좌표, 해상도 크기을 추출하여 테이블에 저장한다.
이하, 노출영역 지정부(310)가 전체 VMI화면 중 일부를 로컬화면으로 대체하는 방법에 대해 설명한다.
노출영역 지정부(310)는 사용자의 조작 또는 명령에 의해 전체 VMI화면 영역(230) 중 일부영역을 로컬화면 영역(240)을 지정한다. 노출영역 지정부(310)는 로컬화면 영역(240)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다. 로컬화면 영역(240)에 대응하는 화면 정보는 애플리케이션 식별 정보, 해상도 크기, 위치좌표를 포함한다.
노출영역 지정부(310)는 로컬화면 영역(240)이 미지정된 경우, 디폴트(Default)로 설정된 애플리케이션 식별정보에 대한 해상도 크기, 위치좌표를 미지정한 상태로 VMI 서버(140)로 전송한다. 노출영역 지정부(310)는 로컬화면 영역(240)이 지정된 경우, 애플리케이션 식별정보에 대한 해상도 크기, 위치좌표에 대응하는 화면 정보를 VMI 서버(140)로 전송한다.
노출영역 지정부(310)는 로컬화면 영역(240)에 대한 애플리케이션 식별정보, 해상도 크기, 위치좌표 중 어느 하나에 대한 변경이 있는 경우, VMI 서버(140)로 로컬화면 영역(240)에 대한 변경 요청을 전송한다. 노출영역 지정부(310)는 기 설정된 환경설정정보를 기반으로 VMI 서버(140) 상에서 실행되는 각 애플리케이션 타입에 따라 로컬화면 영역(240)의 위치좌표, 해상도 크기를 추출하여 테이블에 저장한다.
이하, 디코딩부(320)가 전체 로컬화면 중 일부를 VMI화면으로 대체하는 방법에 대해 설명한다.
디코딩부(320)는 VMI 서버(140)로부터 VMI화면 영역(220)에 대응하는 화면 정보를 기반으로 인코딩된 VMI 영상을 수신하여 디코딩한다. 디코딩부(320)는 VMI 서버(140)로부터 런쳐 식별정보에 대응하는 런쳐 화면 상에 위치좌표에 대응하는 위치에 해상도 크기만큼의 화면을 인코딩한 VMI 영상을 수신하여 디코딩한다.
디코딩부(320)는 VMI 서버(140)로부터 런쳐 화면 중 위치좌표에 대응하는 위치에 해상도 크기만큼의 화면을 인코딩(Encoding)한 VMI 영상을 프레임(Frame) 단위로 수신하여 디코딩한다. 디코딩부(320)는 VMI 서버(140)로부터 VMI화면 영역(220)에 대한 변경 요청에 대응하는 화면 영역(x1y1, x1y2, x2y1, x2y2)을 인코딩한 VMI 영상을 수신하여 디코딩한다.
이하, 디코딩부(320)가 전체 VMI화면 중 일부를 로컬화면으로 대체하는 방법에 대해 설명한다.
디코딩부(320)는 VMI 서버(140)로부터 화면 정보를 기반으로 로컬화면 영역(240)을 제외한 화면으로 인코딩된 VMI 영상을 수신하여 디코딩한다. 디코딩부(320)는 VMI 서버(140)로부터 애플리케이션 식별정보에 대응하는 애플리케이션 화면 상에 위치좌표에 대응하는 위치에 해상도 크기만큼의 화면을 제외하고 인코딩한 VMI 영상을 수신하여 디코딩한다.
디코딩부(320)는 VMI 서버(140)로부터 애플리케이션 식별정보에 대응하는 애플리케이션을 실행한 화면을 디폴트값으로 인코딩(Encoding)한 VMI 영상을 프레임(Frame) 단위로 수신하여 디코딩한다. 디코딩부(320)는 VMI 서버(140)로부터 로컬화면 영역(240)에 대한 변경 요청에 대응하는 화면 영역(x1y1, x1y2, x2y1, x2y2)을 제외하고 인코딩한 VMI 영상을 수신하여 디코딩한다.
이하, 화면 노출부(330)가 전체 로컬화면 중 일부를 VMI화면으로 대체하는 방법에 대해 설명한다.
화면 노출부(330)는 디바이스 구동화면을 전체 로컬화면 영역(210)에 표시하는 동시에 전체 로컬화면 영역(210)의 일측에 위치한 VMI화면 영역(220)에 VMI 영상이 표시되도록 한다. 화면 노출부(330)는 동적으로 VMI화면 영역(220)에 대한 해상도 크기, 위치좌표 중 어느 하나를 변경하여 전체 로컬화면 영역(210)의 일측에 표시하며, 해상도 크기, 위치좌표 중 어느 하나가 변경된 VMI화면 영역 상에 VMI 서버(140)로부터 수신된 변경 요청에 대응하는 VMI 영상을 표시한다.
이하, 화면 노출부(330)가 전체 VMI화면 중 일부를 로컬화면으로 대체하는 방법에 대해 설명한다.
화면 노출부(330)는 전체 VMI화면 영역(230)에 VMI 영상을 표시하는 동시에 전체 VMI화면 영역(230)의 일측에 위치한 로컬화면 영역(240)에 디바이스 구동화면이 표시되도록 한다. 화면 노출부(330)는 로컬화면 영역이 미지정된 상태(디폴트값이 0)이므로 VMI 영상을 전체 VMI화면 영역(230)에 표시한다. 화면 노출부(330)는 VMI 서버(140)로부터 변경 요청에 대응하는 VMI 영상을 수신하여 전체 VMI화면 영역(230)에 표시하는 동시에 전체 VMI화면 영역(230) 중 일측에 동적으로 로컬화면 영역(240)의 해상도 크기, 위치좌표를 변경하여 표시한다.
도 4는 본 실시예에 따른 전체 로컬화면 중 일부영역을 VMI화면으로 대체하는 방법을 설명하기 위한 순서도이다.
VMI 클라이언트(110)는 사용자의 조작 또는 명령에 의해 실행된 후 디바이스의 전체 로컬화면 영역(210) 중 VMI화면 영역(220)을 지정한다(S410).
단계 S410 이후에, VMI 클라이언트(110)는 VMI화면 영역(220)이 미지정되어 있으면, 디폴트(Default)로 VMI화면 영역(220)의 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 불러오고, 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)에 대응하는 화면 정보를 VMI 서버(140)로 전송한다.
VMI 서버(140)는 VMI 게이트웨이(130)를 경유하여 VMI 클라이언트(110)로부터 화면 정보를 수신하고, 화면 정보에 대응하는 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)로 VMI 영상을 인코딩하여, 프레임 단위로 VMI 클라이언트(110)로 전송한다(S420).
단계 S420에서, VMI 클라이언트(110)는 VMI 서버(140)에서 실행한 애플리케이션/웹 또는 특정 컨텐츠에 대응하는 VMI 영상을 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 수신한다.
단계 S420에서, VMI 클라이언트(110)는 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 VMI화면을 수신하여 디바이스에 표시할 때, 전체 로컬화면 영역(210)에 전체 화면으로 표시하는 것이 아니라, 전체 로컬화면 영역(210) 중 지정된 VMI화면 영역(220)에만 표시되도록 한다.
VMI 서버(140)는 특정 애플리케이션/웹(Web) 등을 실행하는 중에 VMI 클라이언트(110)로부터 사용자 설정값에 의해 VMI화면 영역(220)에 대한 변경 또는 추가 요청이 입력되는 지의 여부를 확인한다(S430).
단계 S430에서 VMI 서버(140)는 특정 애플리케이션/웹(Web) 등을 실행하는 중에 VMI 클라이언트(110)로부터 사용자 설정값에 의해 VMI화면 영역(220)에 대한 변경 또는 추가 요청이 입력되면, VMI 클라이언트(110)로 변경된 화면 영역(x1y1, x1y2, x2y1, x2y2)에 대응하는 VMI 영상을 인코딩하여 전송한다. VMI 클라이언트(110)는 사용자의 조작 또는 명령에 의해 VMI화면 영역(220)을 변경 또는 추가한다.
VMI 서버(140)는 실행되는 각 애플리케이션/웹 등 타입(Type)에 따라 사용자가 VMI 클라이언트(110)의 환경 설정 상에서 기 설정한 정보를 참조하여 VMI화면 영역(220)에 대한 좌표값을 테이블 상에 저장 및 관리할 수 있다. VMI 서버(140)는 실행되는 각 애플리케이션/웹 등 타입에 따라 VMI 클라이언트(110)에서 활성화된 화면 영역을 자동으로 감지하여 VMI화면 영역(220)으로 설정한 후 테이블에 영역 관련 정보를 저장 및 관리한다.
VMI 클라이언트(110)는 VMI 서버(140)로부터 변경된 VMI 영상을 수신한 후 동적으로 VMI화면 영역(220)의 위치나 사이즈를 조절하여 전체 로컬화면 영역(210)의 일측에 표시한다(S450).
도 4에서는 단계 S410 내지 단계 S450을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 4에 기재된 본 실시예에 따른 특정영역에서의 VMI 클라이언트의 화면 중 일부영역에 VMI화면을 노출시키는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 특정영역에서의 VMI 클라이언트의 화면 중 일부영역에 VMI화면을 노출시키는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 5는 본 실시예에 따른 전체 VMI화면 중 일부영역에 로컬화면을 대체하는 방법을 설명하기 위한 순서도이다.
VMI 클라이언트(110)는 사용자의 조작 또는 명령에 의해 실행된 후 디바이스의 전체 VMI화면 영역(230) 중 로컬화면 영역(240)을 지정한다(S510).
VMI 서버(140)는 로컬화면 영역(240)이 미지정되어 있으면, 디폴트로 로컬화면 영역(240)의 기 설정된 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 (0, 0, 0, 0)으로 설정한 후, 해상도 크기에 대응하는 화면 정보를 VMI 클라이언트(110)로 전송한다(S520).
단계 S520에서, VMI 클라이언트(110)는 VMI 서버(140)로부터 수신한 해상도 크기(예컨대, 300×400), 위치좌표(x1y1, x1y2, x2y1, x2y2)를 제외한 나머지 영역에 대해 화면 디코딩을 수행한다. VMI 클라이언트(110)는 로컬화면 영역(240)이 별도로 설정되어 있지 않은 경우, 디폴트로 VMI 서버(140)로부터 수신한 VMI 영상을 모두 디코딩하여 전체 VMI화면 영역(230)에 표시한다.
VMI 서버(140)는 특정 애플리케이션/웹 등을 실행하는 중에 VMI 클라이언트(110)로부터 로컬화면 영역(240)에 대한 로컬화면 요청이 있는지의 여부를 확인한다(S530). 단계 S530에서, VMI 클라이언트(110)는 사용자의 조작 또는 명령에 의해 로컬화면 영역(240)으로 로컬화면을 요청하는 신호를 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로 전송한다.
단계 S530에서, VMI 클라이언트(110)로부터 로컬화면 영역(240)에 대한 로컬화면 요청이 있는 경우, VMI 서버(140)는 특정 애플리케이션/웹 등을 실행하는 중에 VMI 클라이언트(110)로부터 사용자 설정값에 의해 특정영역에 로컬화면 표시가 필요하다고 판단하여 VMI 클라이언트(110)로 화면 영역(x1y1, x1y2, x2y1, x2y2)을 로컬화면 영역(240)으로 설정한 정보를 전송한다(S540).
단계 S540에서, VMI 서버(140)는 각 애플리케이션/웹 등 타입에 따라 사용자가 VMI 클라이언트(110)의 환경 설정 상에서 기 설정한 정보를 참조하여 로컬화면 영역(240)에 대한 좌표값을 테이블 상에 저장 및 관리할 수 있다.
VMI 클라이언트(110)는 로컬화면 영역(240)에 표시할 특정 애플리케이션을 실행한다(S550). 단계 S550에서, VMI 클라이언트(110)는 VMI 게이트웨이(130)를 경유하여 VMI 서버(140)로부터 VMI 영상을 수신하여 디바이스에 표시할 때, VMI 영상을 전체 VMI화면 영역(230)에 전체 화면으로 표시하는 것이 아니라, 전체 VMI화면 영역(230) 중 지정된 로컬화면 영역(240)에 디바이스의 특정 애플리케이션을 실행한 화면이 표시되도록 한다.
VMI 클라이언트(110)는 VMI 서버(140)로부터 변경된 로컬화면 영역(240)에 대응하는 좌표값을 수신하여 동적으로 로컬화면 영역(240)의 위치 또는 사이즈를 조절하여 전체 VMI화면 영역(230)의 일측에 표시한다(S560).
도 5에서는 단계 S510 내지 단계 S560을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 5에 기재된 본 실시예에 따른 VMI화면 중 일부영역에 로컬화면을 표시하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 VMI화면 중 일부영역에 로컬화면을 표시하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예는 가상 스마트폰 환경을 사용자에게 제공하는 VMI 분야에 적용되어, VMI화면 인코딩(Encoding)/디코딩(Decoding)시 네트워크 트래픽을 절감하는 효과를 발생하는 유용한 발명이다.
110: VMI 클라이언트 120: 네트워크
130: VMI 게이트웨이 140: VMI 서버
310: 노출영역 지정부 320: 디코딩부
330: 화면 노출부

Claims (14)

  1. VMI 화면 및 로컬화면을 표시하는 방법을 수행하는 VMI 클라이언트에 있어서,
    VMI화면 영역에 대응하는 화면 정보를 VMI 서버로 전송하는 노출영역 지정부;
    상기 VMI 서버로부터 상기 화면 정보를 기반으로 인코딩된 VMI 영상을 수신하여 디코딩하는 디코딩부; 및
    디바이스 화면 구동 영역 일측에 위치한 상기 VMI화면 영역에 상기 VMI 영상이 표시되도록 하는 화면 노출부
    를 포함하되,
    상기 인코딩된 VMI 영상은,
    상기 VMI 화면 영역 내에 로컬화면 영역이 포함된 경우, 상기 VMI 화면 영역에 대응하는 전체 VMI 영상 중에서 로컬화면 영역에 대응하는 VMI 영상 부분을 제외한 나머지 영역에 대응하는 VMI 영상 부분을 인코딩한 VMI 영상인
    것을 특징으로 하는 VMI 클라이언트.
  2. 제 1 항에 있어서,
    상기 화면 정보는 런쳐 식별정보, 위치좌표, 해상도 크기를 포함하며,
    상기 디코딩부는 상기 VMI 서버로부터 상기 런쳐 식별정보에 대응하는 런쳐 화면 상에서 상기 위치좌표에 대응하는 위치에 상기 해상도 크기만큼의 화면을 인코딩한 상기 VMI 영상을 수신하여 디코딩하는 것을 특징으로 하는 VMI 클라이언트.
  3. 제 1 항에 있어서,
    상기 노출영역 지정부는 상기 VMI화면 영역이 미지정된 경우, 디폴트(Default)로 설정된 런쳐 식별정보에 대한 해상도 크기, 위치좌표에 대응하는 화면 정보를 상기 VMI 서버로 전송하며,
    상기 디코딩부는 상기 VMI 서버로부터 런쳐 화면 중 상기 위치좌표에 대응하는 위치에 상기 해상도 크기만큼의 화면을 인코딩(Encoding)한 상기 VMI 영상을 프레임(Frame) 단위로 수신하여 디코딩하는 것을 특징으로 하는 VMI 클라이언트.
  4. 제 1 항에 있어서,
    상기 노출영역 지정부는 상기 VMI화면 영역에 대한 런쳐 식별정보, 해상도 크기, 위치좌표 중 어느 하나에 대한 변경이 있는 경우, 상기 VMI 서버로 상기 VMI화면 영역에 대한 변경 요청을 전송하고,
    상기 디코딩부는 상기 VMI 서버로부터 상기 VMI화면 영역에 대한 변경 요청에 대응하는 화면 영역을 인코딩한 VMI 영상을 수신하여 디코딩하는 것을 특징으로 하는 VMI 클라이언트.
  5. 제 4 항에 있어서,
    상기 화면 노출부는,
    동적으로 상기 VMI화면 영역에 대한 해상도 크기, 위치좌표 중 어느 하나를 변경하여 디바이스 화면 구동 영역의 일측에 표시하며, 상기 해상도 크기, 상기 위치좌표 중 어느 하나가 변경된 VMI화면 영역 상에 상기 VMI 서버로부터 수신된 변경 요청에 대응하는 VMI 영상을 표시하는 것을 특징으로 하는 VMI 클라이언트.
  6. 제 1 항에 있어서,
    상기 노출영역 지정부는,
    기 설정한 환경설정정보를 기반으로 상기 VMI 서버 상에서 실행되는 런쳐 타입에 따라 상기 VMI화면 영역의 위치좌표, 해상도 크기를 추출하여 테이블에 저장하는 것을 특징으로 하는 VMI 클라이언트.
  7. VMI 화면 및 로컬화면을 표시하는 방법을 수행하는 VMI 클라이언트에 있어서,
    로컬화면 영역에 대응하는 화면 정보를 VMI 서버로 전송하는 노출영역 지정부;
    상기 VMI 서버로부터 상기 화면 정보를 기반으로 상기 로컬화면 영역을 제외한 영역으로 인코딩된 VMI 영상을 수신하여 디코딩하는 디코딩부; 및
    전체 VMI화면 영역의 일측에 위치한 상기 로컬화면 영역에 디바이스 구동화면이 표시되도록 하는 화면 노출부
    를 포함하되,
    상기 인코딩된 VMI 영상은,
    상기 VMI 화면 영역 내에 로컬화면 영역이 포함된 경우, 상기 VMI 화면 영역에 대응하는 전체 VMI 영상 중에서 로컬화면 영역에 대응하는 VMI 영상 부분을 제외한 나머지 영역에 대응하는 VMI 영상 부분을 인코딩한 VMI 영상인
    것을 특징으로 하는 VMI 클라이언트.
  8. 제 7 항에 있어서,
    상기 화면 정보는 애플리케이션 식별정보, 위치좌표, 해상도 크기를 포함하며,
    상기 디코딩부는 상기 VMI 서버로부터 상기 애플리케이션 식별정보에 대응하는 애플리케이션을 구동한 화면 상에서 상기 위치좌표에 대응하는 위치에 상기 해상도 크기만큼의 영역을 제외하고 인코딩한 상기 VMI 영상을 수신하여 디코딩하는 것을 특징으로 하는 VMI 클라이언트.
  9. 제 7 항에 있어서,
    상기 노출영역 지정부는 상기 로컬화면 영역이 미지정된 경우, 디폴트(Default)로 설정된 애플리케이션 식별정보에 대한 해상도 크기, 위치좌표를 미지정한 상태로 상기 VMI 서버로 전송하며,
    상기 디코딩부는 상기 VMI 서버로부터 상기 애플리케이션 식별정보에 대응하는 애플리케이션을 실행한 화면을 디폴트값으로 인코딩(Encoding)한 상기 VMI 영상을 프레임(Frame) 단위로 수신하여 디코딩하며,
    상기 화면 노출부는 상기 로컬화면 영역이 미지정된 상태이므로 상기 VMI 영상을 상기 전체 VMI화면 영역에 표시하는 것을 특징으로 하는 VMI 클라이언트.
  10. 제 8 항에 있어서,
    상기 노출영역 지정부는 상기 로컬화면 영역에 대한 애플리케이션 식별정보, 해상도 크기, 위치좌표 중 어느 하나에 대한 변경이 있는 경우, 상기 VMI 서버로 상기 로컬화면 영역에 대한 변경 요청을 전송하고,
    상기 디코딩부는 상기 VMI 서버로부터 상기 로컬화면 영역에 대한 변경 요청에 대응하는 화면 영역을 제외하고 인코딩한 VMI 영상을 수신하여 디코딩하는 것을 특징으로 하는 VMI 클라이언트.
  11. 제 8 항에 있어서,
    상기 화면 노출부는,
    상기 VMI 서버로부터 변경 요청에 대응하는 VMI 영상을 수신하여 상기 전체 VMI화면 영역에 표시하는 동시에 상기 전체 VMI화면 영역 중 일측에 동적으로 상기 로컬화면 영역의 해상도 크기, 위치좌표를 변경하여 표시하는 것을 특징으로 하는 VMI 클라이언트.
  12. 제 8 항에 있어서,
    상기 노출영역 지정부는,
    기 설정된 환경설정정보를 기반으로 상기 VMI 서버 상에서 실행되는 각 애플리케이션 타입에 따라 상기 로컬화면 영역의 위치좌표, 해상도 크기를 추출하여 테이블에 저장하는 것을 특징으로 하는 VMI 클라이언트.
  13. 하드웨어와 결합되어,
    VMI화면 영역에 대응하는 화면 정보를 VMI 서버로 전송하는 과정;
    상기 VMI 서버로부터 상기 화면 정보를 기반으로 인코딩된 VMI 영상을 수신하여 디코딩하는 과정; 및
    디바이스 화면 구동 영역의 일측에 위치한 상기 VMI화면 영역에 상기 VMI 영상이 표시되도록 하는 과정을 포함하되,
    상기 인코딩된 VMI 영상은,
    상기 VMI 화면 영역 내에 로컬화면 영역이 포함된 경우, 상기 VMI 화면 영역에 대응하는 전체 VMI 영상 중에서 로컬화면 영역에 대응하는 VMI 영상 부분을 제외한 나머지 영역에 대응하는 VMI 영상 부분을 인코딩한 VMI 영상인
    VMI화면과 로컬화면 표시 방법을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.
  14. 하드웨어와 결합되어,
    로컬화면 영역에 대응하는 화면 정보를 VMI 서버로 전송하는 과정;
    상기 VMI 서버로부터 상기 화면 정보를 기반으로 상기 로컬화면 영역을 제외한 화면으로 인코딩된 VMI 영상을 수신하여 디코딩하는 과정; 및
    전체 VMI화면 영역의 일측에 위치한 상기 로컬화면 영역에 디바이스 구동화면이 표시되도록 하는 과정을 포함하되,
    상기 인코딩된 VMI 영상은,
    상기 VMI 화면 영역 내에 로컬화면 영역이 포함된 경우, 상기 VMI 화면 영역에 대응하는 전체 VMI 영상 중에서 로컬화면 영역에 대응하는 VMI 영상 부분을 제외한 나머지 영역에 대응하는 VMI 영상 부분을 인코딩한 VMI 영상인
    VMI화면과 로컬화면 표시 방법을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.
KR1020180125090A 2018-10-19 2018-10-19 특정영역에서의 vmi화면과 로컬화면 표시 방법 및 장치 KR102537913B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180125090A KR102537913B1 (ko) 2018-10-19 2018-10-19 특정영역에서의 vmi화면과 로컬화면 표시 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180125090A KR102537913B1 (ko) 2018-10-19 2018-10-19 특정영역에서의 vmi화면과 로컬화면 표시 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200044390A KR20200044390A (ko) 2020-04-29
KR102537913B1 true KR102537913B1 (ko) 2023-05-26

Family

ID=70466717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180125090A KR102537913B1 (ko) 2018-10-19 2018-10-19 특정영역에서의 vmi화면과 로컬화면 표시 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102537913B1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101761409B1 (ko) * 2010-10-27 2017-07-25 주식회사 엘지유플러스 가상화 플랫폼 제공 방법 및 장치
KR101630638B1 (ko) * 2011-07-25 2016-06-15 엔트릭스 주식회사 화면 가상화 기반 어플리케이션 실행 시스템 및 방법
KR101537352B1 (ko) * 2013-04-01 2015-07-16 주식회사 케이티 가상 모바일 디바이스의 가상 화면 영상 및 로컬 화면 영상을 표시하는 모바일 디바이스 및 방법
KR20170014764A (ko) * 2015-07-31 2017-02-08 삼성전자주식회사 화면 제어 방법 및 이를 지원하는 전자 장치
KR20170048677A (ko) * 2015-10-27 2017-05-10 인포뱅크 주식회사 분할 화면 게임 영상을 제공하는 이동통신 단말기의 게임 실행 제어 모듈과 방법 및 이 방법을 실행시키기 위하여 매체에 저장된 프로그램

Also Published As

Publication number Publication date
KR20200044390A (ko) 2020-04-29

Similar Documents

Publication Publication Date Title
CN106713485B (zh) 云计算移动终端
CN108491275B (zh) 程序优化方法、装置、终端及存储介质
WO2021143182A1 (zh) 游戏的处理方法、装置、电子设备及计算机可读存储介质
EP3046331B1 (en) Media control method and system based on cloud desktop
WO2022188595A1 (zh) 应用画面的显示方法、装置、终端、投屏系统及介质
WO2017124860A1 (zh) 分布式无线多屏虚拟机服务系统
US9819593B1 (en) System, method and computer program product providing bypass mechanisms for a virtual mobile device platform
ES2774282T3 (es) Sistema y método de servidor de pantalla jerárquico
WO2023138189A1 (zh) 数据处理方法、装置、设备以及介质
JP7100154B6 (ja) プロセッサコアのスケジューリング方法、装置、端末及び記憶媒体
CN111602118B (zh) 实现虚拟机的音频，视频和控制系统
WO2024037110A1 (zh) 数据处理方法、装置、设备以及介质
CN113422839A (zh) 基于云计算的云手机系统及控制方法、介质及电子设备
WO2023143299A1 (zh) 消息展示方法、装置、设备及存储介质
CN112221127A (zh) 一种云游戏的多点控制方法及装置
CN113778593B (zh) 云桌面控制方法、装置、电子设备、存储介质及程序产品
KR101883452B1 (ko) 온라인 게임 제공 시스템 및 방법
KR102537913B1 (ko) 특정영역에서의 vmi화면과 로컬화면 표시 방법 및 장치
CN114268626A (zh) 窗口处理系统、方法以及装置
CN116244231A (zh) 一种数据传输方法、装置、系统、电子设备及存储介质
CN111790159A (zh) 数据处理的方法、装置、设备及计算机可读存储介质
EP4184924A1 (en) Network live broadcast interaction method and device
US20150319114A1 (en) Method and system for message conversation view customization
CN115364477A (zh) 云游戏控制方法、装置、电子设备及存储介质
KR102615305B1 (ko) Vmi 화면공유 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant