KR20200039301A - Method and Apparatus for Changing VMI Service Image Quality - Google Patents

Method and Apparatus for Changing VMI Service Image Quality Download PDF

Info

Publication number
KR20200039301A
KR20200039301A KR1020180119036A KR20180119036A KR20200039301A KR 20200039301 A KR20200039301 A KR 20200039301A KR 1020180119036 A KR1020180119036 A KR 1020180119036A KR 20180119036 A KR20180119036 A KR 20180119036A KR 20200039301 A KR20200039301 A KR 20200039301A
Authority
KR
South Korea
Prior art keywords
vmi
service
information
client terminal
server device
Prior art date
Application number
KR1020180119036A
Other languages
Korean (ko)
Other versions
KR102526963B1 (en
Inventor
김지훈
김응창
김남건
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180119036A priority Critical patent/KR102526963B1/en
Publication of KR20200039301A publication Critical patent/KR20200039301A/en
Application granted granted Critical
Publication of KR102526963B1 publication Critical patent/KR102526963B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

The present invention relates to a method and a device for changing VMI service image quality which enables a user to receive a more efficient VMI service by collecting quality change item information including at least one information of network state information, VM service type information and user operation information with respect to a VMI service, and adjusting and providing image quality for a VM image supporting a VMI client terminal in real time based on the collected quality change item information. A VMI server device comprises a data collection part, a determination part, and a service control part.

Description

VMI 서비스 영상 품질변경 방법 및 장치{Method and Apparatus for Changing VMI Service Image Quality}Method and Apparatus for Changing VMI Service Image Quality}

본 실시예는 VMI 서비스 영상 품질변경 방법 및 장치에 관한 것이다. 더욱 상세하게는, VMI 서비스에 상응하여 VMI 클라이언트 단말기에 지원되는 VM 영상의 영상 품질을 상황에 맞게 변경하여 제공하기 위한 방법 및 장치에 관한 것이다.This embodiment relates to a method and apparatus for changing VMI service image quality. More specifically, the present invention relates to a method and apparatus for providing a video image of a VM image supported on a VMI client terminal by changing it according to a situation.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information for this embodiment, and do not constitute a prior art.

스마트폰의 활성화로 최근 많은 사람들이 스마트폰을 사용중이며, 이를 통해 다양한 App으로 Web 서핑, 게임, 쇼핑, 동영상 시청 등이 가능해 모바일 기반의 다양한 Eco-system들이 폭발적으로 성장하고 있다. 하지만, 많은 App들을 Device에 설치함에 따른 용량/메모리 부족, 스마트폰 성능 저하, 스마트폰 H/W 및 S/W 성능 제약에 따른 App 사용 경험 차이, 데이터 보안, 기기 교체 시 App 재설치 불편함 등 다양한 이슈들이 존재한다. 또한, 최근 스마트폰 App과 동영상의 고품질화, 대용량화 사례가 증가하면서 App 업데이트와 동영상 시청과 App 업데이트를 위한 데이터 소모량이 증가 추세이다.With the activation of smartphones, many people are using smartphones in recent years, and through this, various web-based surfing, games, shopping, watching videos, etc. are possible, and various mobile-based eco-systems are exploding. However, there are various applications such as insufficient capacity / memory due to the installation of many apps on the device, reduced smartphone performance, differences in the experience of using the app due to smartphone H / W and S / W performance restrictions, data security, and inconvenience in reinstalling the app when the device is replaced. Issues exist. In addition, with the recent increase in the cases of high-quality and high-capacity smartphone app and video, data consumption for app update, video watching, and app update is increasing.

이러한 On-device의 다양한 문제점을 해결하기 위해, 가상의 스마트폰 환경을 고성능의 Cloud 서버에 구축하고, 서버의 H/W, S/W 자원을 이용하여 사용자에게 높은 성능과 품질을 제공할 수 있는 VMI 기술이 5G Boom-up과 더불어 최근 많은 관심을 받고 있다. VMI(Virtual Mobile Infrastructure)는 가상의 스마트폰 환경을 사용자에게 제공해주는 솔루션으로, 서버에서 생성/관리하는 사용자 VM(Virtual Machine)을 개별 사용자의 스마트폰에 노출시켜 서비스를 제공하는 기술이다.In order to solve various problems of these on-devices, a virtual smartphone environment can be built on a high-performance Cloud server, and H / W and S / W resources of the server can be used to provide high performance and quality to users. VMI technology has received a lot of attention recently along with 5G Boom-up. VMI (Virtual Mobile Infrastructure) is a solution that provides users with a virtual smartphone environment, and is a technology that provides services by exposing user VMs (Virtual Machines) created / managed on the server to smartphones of individual users.

하지만, 현재, VMI 기술의 경우 기존 PC 환경과 달리 스마트폰 H/W 제약, OS의 Cloud 서버 환경과의 환경 구성(아키텍처 등) 상이, 실시간 무선 N/W을 통한 초고속/저지연 통신 등 기술적 이슈와 Use Case에 따른 융합 기술 역량 부족 등으로 아직 B2B/B2C 시장에 정식 상용화 된 사례는 없다.However, in the case of VMI technology, technical issues such as smartphone H / W restrictions, OS configuration with the cloud server environment (architecture, etc.) differ from existing PC environments, and ultra-fast / low-delay communication through real-time wireless N / W And the lack of convergence technology capabilities according to the use case, there have been no formal commercialization cases in the B2B / B2C market yet.

이에, 5G 시대에 다양한 모바일 기기들에서 초고속/저지연 N/W 기반의 차별화된 VMI 서비스를 제공 가능토록 하면서도, 다른 기술들과의 융합이 보다 효율적으로 이루어질 수 있도록 하는 새로운 기술을 필요로 한다.Accordingly, in the 5G era, it is necessary to provide a differentiated VMI service based on ultra-high-speed / low-delay N / W on various mobile devices, but also needs a new technology to make fusion with other technologies more efficient.

본 실시예는 VMI 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집하고, 수집한 품질 변경 항목정보를 기반으로 VMI 클라이언트 단말기에 지원되는 VM 영상에 대한 영상 품질을 실기간으로 조절하여 제공함으로써 사용자로 하여금 보다 효율적인 VMI 서비스를 지원받을 수 있도록 하는 데 그 목적이 있다.This embodiment collects quality change item information including at least one of network status information, VM service type information, and user operation information in connection with the VMI service, and based on the collected quality change item information to the VMI client terminal. The purpose is to enable users to receive more efficient VMI services by adjusting and providing image quality for supported VM images in real time.

본 실시예는, VMI(Virtual Mobile Infrastructure) 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집하는 데이터 수집부; 상기 품질 변경 항목정보를 기반으로 상기 VMI 서비스에 상응하여 VMI 클라이언트 단말기에 지원되는 VM 영상에 대한 영상 품질 변경여부를 판단하는 판단부; 및 상기 판단부의 판단결과에 따라 상기 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정하여 출력하는 서비스 제어부를 포함하는 것을 특징으로 하는 VMI 서버장치를 제공한다.This embodiment includes a data collection unit for collecting quality change item information including at least one of network status information, VM service type information, and user operation information in connection with a Virtual Mobile Infrastructure (VMI) service; A determination unit for determining whether to change a video quality for a VM video supported by a VMI client terminal in accordance with the VMI service based on the quality change item information; And a service control unit for adaptively adjusting and outputting a transmission bit rate value for the VM image according to the determination result of the determination unit.

또한, 본 실시예의 다른 측면에 의하면, VMI 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집하는 과정; 상기 품질 변경 항목정보를 기반으로 상기 VMI 서비스에 상응하여 VMI 클라이언트 단말기에 지원되는 VM 영상에 대한 영상 품질 변경여부를 판단하는 과정; 및 상기 판단하는 과정의 판단결과에 따라 상기 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정하여 출력하는 과정을 포함하는 것을 특징으로 하는 VM 영상 품질 변경방법을 제공한다.In addition, according to another aspect of the present embodiment, a process of collecting quality change item information including at least one of network status information, VM service type information, and user operation information in relation to a VMI service; Determining whether to change the video quality of the VM video supported by the VMI client terminal in accordance with the VMI service based on the quality change item information; And adaptively adjusting and outputting a transmission bit rate value for the VM image according to the determination result of the determination process.

또한, 본 실시예의 다른 측면에 의하면, 하드웨어와 결합되어, VMI 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집하는 과정; 상기 품질 변경 항목정보를 기반으로 상기 VMI 서비스에 상응하여 VMI 클라이언트 단말기에 지원되는 VM 영상에 대한 영상 품질 변경여부를 판단하는 과정; 및 상기 판단하는 과정의 판단결과에 따라 상기 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정하여 출력하는 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 VM 영상 품질 변경 프로그램을 제공한다.In addition, according to another aspect of the present embodiment, a process of collecting quality change item information including at least one of network status information, VM service type information, and user operation information associated with VMI service in combination with hardware; Determining whether to change the video quality of the VM video supported by the VMI client terminal in accordance with the VMI service based on the quality change item information; And a VM image quality change program stored in a computer-readable recording medium in order to adaptively adjust and output a transmission bit rate value for the VM image according to the determination result of the determination process.

본 실시예에 따르면, VMI 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집하고, 수집한 품질 변경 항목정보를 기반으로 VMI 클라이언트 단말기에 지원되는 VM 영상에 대한 영상 품질을 실기간으로 조절하여 제공함으로써 사용자로 하여금 보다 효율적인 VMI 서비스를 지원받을 수 있도록 하는 효과가 있다.According to the present embodiment, quality change item information including at least one of network status information, VM service type information, and user operation information related to the VMI service is collected, and the VMI client is based on the collected quality change item information. There is an effect of allowing the user to receive a more efficient VMI service by adjusting and providing the video quality for the VM video supported on the terminal in real time.

또한, 본 실시예에 따르면, En/Decoding에 소요되는 시간을 절감하고, 불필요한 N/W Traffic도 절감하는 효과를 제공하며, VMI Client에서는 끊기지 않는 Frame 단위의 영상을 받아 고객 체감 품질을 향상시킴으로써 On-device 환경과 최대한 차이가 없는 VMI 서비스 환경 제공이 가능하고, VMI Server의 CPU/GPU 자원도 절약할 수 있는 효과가 있다.In addition, according to the present embodiment, the time required for En / Decoding is reduced, and unnecessary N / W traffic is also reduced. On the VMI client, the quality of the customer experience is improved by receiving uninterrupted frame unit images. -It is possible to provide a VMI service environment that is not as different from the device environment as possible, and also has the effect of saving CPU / GPU resources of the VMI Server.

도 1은 본 실시예에 따른 VMI 서비스 시스템을 예시한 예시도이다.
도 2는 본 실시예에 따른 VMI 서버장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 VM 영상 품질 변경방법을 설명하기 위한 순서도이다.
도 4 내지 도 7는 본 실시예에 따른 VM 영상 품질 설정방법을 설명하기 위한 예시도이다.
도 8 내지 도 11은 본 실시예에 따른 VM 영상 품질 변경방법을 설명하기 위한 예시도이다.1 is an exemplary view illustrating a VMI service system according to the present embodiment.
2 is a block diagram schematically showing a VMI server device according to the present embodiment.
3 is a flowchart for explaining a method for changing VM image quality according to the present embodiment.
4 to 7 are exemplary views for explaining a VM image quality setting method according to the present embodiment.
8 to 11 are exemplary views for explaining a method for changing VM image quality according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.

VMI(Virtual Mobile Infrastructure)는 가상의 스마트폰 환경을 사용자에게 제공해주는 솔루션으로, 서버에서 생성/관리하는 사용자 VM(Virtual Machine)을 개별 사용자의 모바일 기기에 노출시켜 서비스를 제공하는 기술이다.VMI (Virtual Mobile Infrastructure) is a solution that provides users with a virtual smartphone environment, and is a technology that provides services by exposing user VMs (Virtual Machines) created / managed on a server to individual users' mobile devices.

본 실시예는 이러한 VMI 기술과 관련하여 모바일 기기들에서 초고속/저지연 N/W 기반의 차별화된 VMI 서비스를 제공 가능토록 하면서도, 다른 기술들과의 융합이 보다 효율적으로 이루어질 수 있도록 하는 새로운 방안을 제안한다. 예컨대, 본 실시예에서는 사용자 동작, 사용중인 App/Web/컨텐츠 상태, 디바이스의 N/W 품질 상태에 따라 비트레이트(Bitrate)를 실시간으로 조절할 수 있는 방법을 정의한다.This embodiment enables a new method to enable convergence with other technologies to be more efficient while enabling differentiated VMI services based on ultra-fast / low-latency N / W on mobile devices in connection with the VMI technology. Suggest. For example, in this embodiment, a method for adjusting a bit rate in real time according to a user operation, an App / Web / content state in use, and a N / W quality state of a device is defined.

도 1은 본 실시예에 따른 VMI 서비스 시스템을 예시한 예시도이다.1 is an exemplary view illustrating a VMI service system according to the present embodiment.

도 1에 도시하듯이, 본 실시예에 따른 VMI 서비스 시스템(100)은 VMI 클라이언트 단말기(110), VMI 게이트웨이 장치(120) 및 VMI 서버장치(130)를 포함한다. 여기서, 본 실시예에 따른 VMI 서비스 시스템(100)에 포함되는 구성 요소는 반드시 이에 한정되는 것은 아니다. 예컨대, 이러한, VMI 서비스 시스템(100)은 다른 기능의 구현을 위해 도시한 것보다 많거나 적은 구성요소 또는 상이한 구성요소의 구성을 가질 수 있음을 인식하여야 한다.1, the VMI service system 100 according to the present embodiment includes a VMI client terminal 110, a VMI gateway device 120, and a VMI server device 130. Here, the components included in the VMI service system 100 according to the present embodiment are not necessarily limited thereto. For example, it should be recognized that the VMI service system 100 may have more or fewer components or different components than those illustrated for the implementation of other functions.

VMI 클라이언트 단말기(110)는 사용자의 키 조작 또는 명령에 따라 네트워크를 경유하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다.The VMI client terminal 110 refers to a terminal capable of transmitting and receiving various data via a network according to a user's key operation or command, and a tablet PC, a laptop, and a personal computer (PC). ), A smart phone, a personal digital assistant (PDA), and a mobile communication terminal.

VMI 클라이언트 단말기(110)는 VMI 서비스 애플리케이션을 탑재하여 사용자로 하여금 VMI 서비스를 제공받을 수 있도록 동작한다. 즉, VMI 클라이언트 단말기(110)는 사용자의 조작 또는 명령에 의해 VMI 서비스 애플리케이션을 구동하며, VMI 서비스 애플리케이션을 통해 On-device에 가상의 VM(Virtual Machine)을 표시하기 위한 기능을 수행한다.The VMI client terminal 110 is equipped with a VMI service application to operate the user to receive the VMI service. That is, the VMI client terminal 110 drives a VMI service application by a user's manipulation or command, and performs a function for displaying a virtual VM (Virtual Machine) on the on-device through the VMI service application.

예컨대, VMI 클라이언트 단말기(110)는 실제 화면에 대해 VMI 서버장치(130)에서 실시간 인코딩 처리를 한 VM 영상 화면을 받아 On-device의 디스플레이 상에 표시할 수 있다. 이때, VM 영상 화면은 VMI 클라이언트 단말기(110)에 프레임 단위로 전송되며, VMI 클라이언트 단말기(110)와 VMI 서버장치(130)는 VMI 클라이언트 단말기(110)에 영상을 출력하기 위해 최초 접속 시 필요한 정보를 교환한다.For example, the VMI client terminal 110 may receive a VM video screen subjected to real-time encoding processing by the VMI server device 130 on an actual screen and display it on the display of the on-device. At this time, the VM video screen is transmitted in frame units to the VMI client terminal 110, and the VMI client terminal 110 and the VMI server device 130 require information for the first connection to output the image to the VMI client terminal 110. To exchange.

VMI 클라이언트 단말기(110)는 VMI 최초 영상 품질 설정을 위해 VMI 서버장치(130)로 영상 품질 요청 메시지를 송신한다. 한편, VMI 클라이언트 단말기(110)가 VMI 서버장치(130)로 영상 품질 요청 메시지로 교환되는 패킷 정보는 도 4와 같으며, 별도의 시그널링 프로토콜 등을 통해 교환 가능하다.The VMI client terminal 110 transmits a video quality request message to the VMI server device 130 to set the first VMI video quality. Meanwhile, the packet information exchanged by the VMI client terminal 110 as a video quality request message to the VMI server device 130 is as shown in FIG. 4 and can be exchanged through a separate signaling protocol.

VMI 클라이언트 단말기(110)는 VMI 게이트웨이 장치(120)에 인증 요청을 한 후 사용 허가를 받으면 상기의 영상 품질 요청 메시지를 송신할 수 있다.The VMI client terminal 110 may transmit the video quality request message when receiving an authorization after using the VMI gateway device 120 for authentication.

VMI 클라이언트 단말기(110)는 VMI 서버장치(130)로부터 영상 품질 요청 메시지에 대응하여 응답 정보 패킷을 수신하며, 이를 기반으로 VMI 서버장치(130)가 제시한 만료(Expire) 시간 동안 비트레이트를 유지하여 프레임을 받는다.The VMI client terminal 110 receives a response information packet in response to a video quality request message from the VMI server device 130, and based on this, the VMI server device 130 maintains a bit rate for an expiration time suggested by the VMI server device 130 To receive the frame.

즉, VMI 클라이언트 단말기(110)와 VMI 서버장치(130)는 VMI 클라이언트 단말기(110)에 상응하여 지원되는 VM(Virtual Machine)에 대해 "Bitrate", "Expire" 값을 저장한다. 이때, "Expire" 값은 실시간으로 시간이 경과하면 값이 감소하며, "Expire" 값이 0이되면, VMI 클라이언트 단말기(110)는 VMI 서버장치(130)에 "Bitrate" 갱신을 요청한다.That is, the VMI client terminal 110 and the VMI server device 130 store “Bitrate” and “Expire” values for a virtual machine (VM) supported corresponding to the VMI client terminal 110. At this time, the value of "Expire" decreases as time passes in real time, and when the value of "Expire" becomes 0, the VMI client terminal 110 requests the VMI server device 130 to update the "Bitrate".

본 실시예에 있어서, VMI 클라이언트 단말기(110)는 VMI 서비스 사용 중 VM 영상에 대한 영상 품질의 변경 즉, 비트레이트의 조절이 필요한 경우, VMI 서버장치(130)와 영상 품질 변경 메시지를 교환할 수 있다.In the present embodiment, the VMI client terminal 110 may exchange a video quality change message with the VMI server device 130 when it is necessary to change the video quality for the VM video while using the VMI service, that is, to adjust the bit rate. have.

VMI 클라이언트 단말기(110)는 VMI 서버장치(130)로 On-device의 네트워크 상태정보를 포함하는 영상 품질 변경 메시지를 송신할 수 있다. 이는, VMI 클라이언트 단말기(110)의 네트워크 상태정보에 따라 VM 영상에 대한 영상 품질 변경이 필요한 경우에 해당될 수 있다. 예컨대, VMI 클라이언트 단말기(110)는 On-device의 N/W(Lte, 5G, Wi-Fi 등) 품질이 일정 기준을 벗어나게 되면, 상기의 영상 품질 변경 메시지를 송신할 수 있다.The VMI client terminal 110 may transmit a video quality change message including network status information of the on-device to the VMI server device 130. This may be the case when the image quality for the VM image needs to be changed according to the network status information of the VMI client terminal 110. For example, when the quality of N / W (Lte, 5G, Wi-Fi, etc.) of the on-device exceeds the predetermined standard, the VMI client terminal 110 may transmit the above image quality change message.

VMI 클라이언트 단말기(110)는 VMI 서버장치(130)로부터 영상 품질 변경 메시지에 대한 응답 메시지를 수신하며, 이를 기반으로 VMI 서버장치(130)가 새로이 제시한 "Bitrate", "Expire" 값에 기반하여 프레임을 수신한다.The VMI client terminal 110 receives a response message for the video quality change message from the VMI server device 130, based on this, based on the newly proposed "Bitrate" and "Expire" values of the VMI server device 130 The frame is received.

다른 실시예에 있어서, VMI 클라이언트 단말기(110)는 VMI 서버장치(130)로부터 영상 품질 변경 메시지를 수신할 수 있다. 이는, 사용자 동작, 사용중인 App/Web/컨텐츠 상태에 따라 VM 영상에 대한 영상 품질 변경이 필요한 경우에 해당될 수 있다.In another embodiment, the VMI client terminal 110 may receive an image quality change message from the VMI server device 130. This may be the case when a video quality change for a VM video is required according to a user's operation or an App / Web / content state in use.

마찬가지로, VMI 클라이언트 단말기(110)는 VMI 서버장치(130)로부터 수신한 영상 품질 변경 메시지 내 제시된 "Bitrate", "Expire" 값에 기반하여 프레임을 수신한다.Similarly, the VMI client terminal 110 receives a frame based on the "Bitrate" and "Expire" values provided in the image quality change message received from the VMI server device 130.

VMI 클라이언트 단말기(110)는 VMI 게이트웨이 장치(120)와 연결되어 사용자 인증, VMI 서비스 제공 수준(N/W 대역폭, 해상도 등) 확정, 데이터 보안 통신 등의 기능을 수행한다.The VMI client terminal 110 is connected to the VMI gateway device 120 to perform functions such as user authentication, VMI service provision level (N / W bandwidth, resolution, etc.) determination, and data security communication.

VMI 클라이언트 단말기(110)는 사용자 기본 정보, 디바이스의 Local 정보(H/W, S/W 등), 사용자 Action 정보(터치, 스크롤 등) 등을 수집하여 VMI 서버장치(130)로 전달한다.The VMI client terminal 110 collects user basic information, device local information (H / W, S / W, etc.) and user action information (touch, scroll, etc.) and transmits it to the VMI server device 130.

VMI 클라이언트 단말기(110)는 환경 설정 기능을 제공하며, 이를 통해, 사용자로 하여금 VMI 서비스와 관련하여 다양한 옵션을 설정할 수 있도록 한다.The VMI client terminal 110 provides an environment setting function, through which the user can set various options related to the VMI service.

VMI 게이트웨이 장치(120)는 VMI 서비스 제공을 위해 VMI 클라이언트 단말기(110) 및 VMI 서버장치(130) 사이에 중개 역할을 수행하는 장치를 의미한다. 즉, VMI 게이트웨이 장치(120)는 VMI 클라이언트 단말기(110)에 대한 인증을 수행하고, 인증결과에 따라 VMI 서비스 제공을 위한 적절한 VMI 서버장치(130)와의 연결을 중개하는 기능을 수행한다.The VMI gateway device 120 refers to a device that serves as an intermediary between the VMI client terminal 110 and the VMI server device 130 to provide VMI services. That is, the VMI gateway device 120 performs authentication for the VMI client terminal 110 and intermediaries the connection with the appropriate VMI server device 130 for providing VMI service according to the authentication result.

VMI 게이트웨이 장치(120)는 VMI 클라이언트 단말기(110)로부터 VMI 서비스와 관련하여 입력된 사용자 입력정보를 VMI 서버장치(130)로 전달하고, VMI 서버장치(130)로부터의 응답을 VMI 클라이언트 단말기(110)로 전달할 수 있다. 예컨대, VMI 게이트웨이 장치(120)는 VMI 클라이언트 단말기(110)로부터 사용자 Action 정보(터치, 스크롤 등) 등을 수신하여 VMI 서버장치(130)로 전달하고, 이에 대응하여, VMI 서버장치(130)로부터 인코딩된 영상을 제공받아, VMI 클라이언트 단말기(110)로 전달할 수 있다.The VMI gateway device 120 transmits user input information input in connection with the VMI service from the VMI client terminal 110 to the VMI server device 130, and sends a response from the VMI server device 130 to the VMI client terminal 110. ). For example, the VMI gateway device 120 receives user action information (touch, scroll, etc.) from the VMI client terminal 110 and transmits it to the VMI server device 130, and correspondingly, from the VMI server device 130 The encoded image may be provided and transmitted to the VMI client terminal 110.

VMI 게이트웨이 장치(120)는 외부 장치 예컨대, 이동통신 인프라(MNO Infra)의 가입자 관리 서버 및 부가서비스 서버 등과 연동하여 사용자 기본정보를 수집할 수 있다.The VMI gateway device 120 may collect user basic information in connection with an external device, for example, a subscriber management server and an additional service server of a mobile communication infrastructure (MNO Infra).

VMI 서버장치(130)는 VMI 서비스 제공과 관련하여, VMI 클라이언트 단말기(110)가 사용할 VM을 생성하고 관리하는 기능을 수행한다. 즉, VMI 서버장치(130)는 사용자별 VM에 대하여 저장공간/메모리 등을 설정하고, 애플리케이션 설치/업데이트 관리, 사용자 설정값 등을 저장한다.The VMI server device 130 performs a function of creating and managing a VM to be used by the VMI client terminal 110 in connection with the provision of the VMI service. That is, the VMI server device 130 sets a storage space / memory, etc. for each VM, and stores application installation / update management, user setting values, and the like.

VMI 서버장치(130)는 VMI 클라이언트 단말기(110)를 통해 사용자 동작을 입력받으면, 해당 동작을 처리하여 VMI 클라이언트 단말기(110)로 전달한다. 예컨대, VMI 서버장치(130)는 VMI 클라이언트 단말기(110)를 통해 입력받은 사용자 동작에 기반하여 실제 화면에 대해 실시간 인코딩 처리를 하고, 인코딩된 영상을 VMI 클라이언트 단말기(110)로 전달한다. 이를 위해, VMI 서버장치(130)는 고성능의 CPU, GPU를 탑재하여 On-device 대비 고품질 영상 및 빠른 연산 처리 기능을 제공 가능토록 구현될 수 있다.When the VMI server device 130 receives a user action through the VMI client terminal 110, the VMI server device 130 processes the corresponding action and transmits it to the VMI client terminal 110. For example, the VMI server device 130 performs real-time encoding processing on the actual screen based on the user action received through the VMI client terminal 110 and delivers the encoded image to the VMI client terminal 110. To this end, the VMI server device 130 is equipped with a high-performance CPU and GPU, so that it can be implemented to provide high-quality images and fast calculation processing functions compared to on-devices.

본 실시예에 있어서, VMI 서버장치(130)는 VMI 최초 영상 품질 설정을 위해 VMI 클라이언트 단말기(110)와의 연동을 통해 영상 품질 요청 메시지를 교환한다. 이후, VMI 서버장치(130)는 VMI 클라이언트 단말기(110)로부터의 영상 품질 요청 메시지에 대응하여 응답 정보 패킷을 송신한다. 한편, VMI 서버장치(130)가 VMI 클라이언트 단말기(110)로 전송하는 응답 정보 패킷의 정보는 도 5와 같으며, 별도의 시그널링 프로토콜 등을 통해 교환 가능하다. 예컨대, 응답 정보 패킷 상에는 VM 영상을 전송한 비트레이트의 크기("Bitrate") 및 영상 품질 유지 시간("Expire") 등의 정보가 포함될 수 있다.In the present embodiment, the VMI server device 130 exchanges a video quality request message through interworking with the VMI client terminal 110 to set the first VMI video quality. Thereafter, the VMI server device 130 transmits a response information packet in response to the video quality request message from the VMI client terminal 110. Meanwhile, the information of the response information packet that the VMI server device 130 transmits to the VMI client terminal 110 is as shown in FIG. 5 and can be exchanged through a separate signaling protocol. For example, the response information packet may include information such as the size of a bit rate (“Bitrate”) that transmits a VM image (“Bitrate”) and an image quality maintenance time (“Expire”).

이와 더불어, 본 실시예에 있어서, VMI 서버장치(130)는 영상 품질 설정 과정에서, N/W Slicing 및 Zero Rating을 위한 정보를 VMI 클라이언트 단말기(110)와 추가로 교환할 수 있다. N/W Slicing은 5G의 주요 특징 중 하나로, 하나의 물리적 N/W 위에서, 서로 다른 특성을 갖는 다양한 서비스 타입을 위한 전용 N/W를 구성하는 기술이다. VMI 서비스의 경우, eMBB Slice를 부여할 수 있지만, 초저지연 실시간 VM 영상 전송을 위해 URLCC Slice 부여도 가능하다. Zero Rating은 특정 서비스에 대한 데이터 사용에 대해 비과금 처리를 하며, 가입자별 요금제 확인과 N/W Slicing을 통해 제공 가능하다. 이러한, N/W Slicing 및 Zero Rating 서비스의 구현을 위해, VMI 서버장치(130)와 VMI 클라이언트 단말기(110)과 교환하는 세부 메시지 패킷 정보는 도 6 및 도 7과 같다.In addition, in the present embodiment, the VMI server device 130 may additionally exchange information for N / W Slicing and Zero Rating with the VMI client terminal 110 in the image quality setting process. N / W Slicing is one of the main features of 5G, and is a technology that configures dedicated N / W for various service types with different characteristics on one physical N / W. In the case of VMI service, eMBB Slice can be assigned, but URLCC Slice can also be assigned for ultra-low latency real-time VM video transmission. Zero Rating does not charge for the use of data for a specific service, and can be provided through subscriber-specific billing and N / W Slicing. For implementation of the N / W Slicing and Zero Rating service, detailed message packet information exchanged with the VMI server device 130 and the VMI client terminal 110 is shown in FIGS. 6 and 7.

앞서 설명한 바와 같이, 본 실시예에 따른, VMI 서버장치(130)는 VMI 서비스 사용 중 VM 영상에 대한 영상 품질의 변경 즉, 비트레이트의 조절이 필요한 경우, VMI 클라이언트 단말기(110)와 영상 품질 변경 메시지를 교환할 수 있다.As described above, according to the present embodiment, the VMI server device 130 changes the video quality of the VM video while using the VMI service, that is, when it is necessary to adjust the bit rate, the VMI client terminal 110 and the video quality change You can exchange messages.

본 실시예에 있어서, VMI 서버장치(130)는 사용자 동작, 사용중인 App/Web/컨텐츠 상태, 디바이스의 N/W 품질 상태에 따라 VM 영상에 대한 영상 품질을 적응적으로 조정할 수 있다. 이를 위해, VMI 서버장치(130)는 VMI 클라이언트 단말기(110)로부터 On-device의 네트워크 상태정보를 포함하는 영상 품질 변경 메시지를 수신할 수 있다. 또한, VMI 서버장치(130)는 VMI 클라이언트 단말기에 상응하여 지원되는 VM(Virtual Machine) 상에 현재 실행 중인 애플리케이션, 웹 및 동영상에 대한 타입정보 및 사용정보 중 적어도 하나를 수집할 수 있다. 또한, VMI 서버장치(130)는 VMI 클라이언트 단말기(110)를 통해 입력된 사용자 입력 이벤트를 수집할 수 있다.In this embodiment, the VMI server device 130 may adaptively adjust the video quality for the VM video according to the user operation, the App / Web / content state being used, and the N / W quality state of the device. To this end, the VMI server device 130 may receive an image quality change message including network status information of the on-device from the VMI client terminal 110. In addition, the VMI server device 130 may collect at least one of type information and usage information for currently running applications, web, and video on a virtual machine (VM) supported corresponding to the VMI client terminal. In addition, the VMI server device 130 may collect user input events input through the VMI client terminal 110.

한편, 본 실시예에 따른 VMI 서버장치(130)가 사용자 동작, 사용중인 App/Web/컨텐츠 상태, 디바이스의 N/W 품질 상태에 따라 VM 영상에 대한 영상 품질을 적응적으로 조정하는 구체적인 동작에 대해서는 도 2를 설명하는 과정에서 후술토록 한다.On the other hand, the VMI server device 130 according to the present embodiment is a specific operation to adaptively adjust the video quality for the VM video according to the user operation, the App / Web / content status in use, and the N / W quality status of the device. This will be described later in the process of describing FIG. 2.

도 2는 본 실시예에 따른 VMI 서버장치를 개략적으로 나타낸 블록 구성도이다.2 is a block diagram schematically showing a VMI server device according to the present embodiment.

도 2에 도시하듯이, 본 실시예에 따른 VMI 서버장치(130)는 데이터 수집부(200), 판단부(210) 및 서비스 제어부(220)를 포함한다. 본 실시예에 따른 VMI 서버장치(130)에 포함되는 구성 요소는 반드시 이에 한정되는 것은 아니다. 즉 도 2의 경우 본 실시예에 따른 VM 영상 품질 변경을 위한 VMI 서버장치(130)의 필수 구성요소만을 예시적으로 도시한 것으로서, 이러한, VMI 서버장치(130)는 다른 기능의 구현을 위해 도시한 것보다 많거나 적은 구성요소 또는 상이한 구성요소의 구성을 가질 수 있음을 인식하여야 한다.As shown in FIG. 2, the VMI server device 130 according to the present embodiment includes a data collection unit 200, a determination unit 210, and a service control unit 220. The components included in the VMI server device 130 according to the present embodiment are not necessarily limited thereto. That is, in the case of FIG. 2, only essential components of the VMI server device 130 for changing the VM image quality according to the present embodiment are exemplarily illustrated, and the VMI server device 130 is illustrated to implement other functions. It should be recognized that it may have more or fewer components or different components.

데이터 수집부(200)는 VMI 클라이언트 단말기(110) 및 외부 장치 예컨대, 이동통신 인프라(MNO Infra)의 가입자 관리 서버 및 부가서비스 서버 등과 연동하여 품질 변경 항목정보를 수집하는 기능을 수행한다.The data collection unit 200 performs a function of collecting quality change item information in conjunction with a VMI client terminal 110 and an external device, such as a subscriber management server and an additional service server of a mobile communication infrastructure (MNO Infra).

본 실시예에 따른 데이터 수집부(200)는 VMI 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 품질 변경 항목정보로서 수집할 수 있다. 이러한, 품질 변경 항목정보는 이후, 판단부(210)가 VMI 서비스에 상응하여 VMI 클라이언트 단말기(110)에 지원되는 VM 영상에 대한 영상 품질 변경여부를 판단하는 과정에 있어서, 기준 파라미터로서 활용될 수 있다.The data collection unit 200 according to the present embodiment may collect at least one of network status information, VM service type information, and user operation information in relation to the VMI service as quality change item information. The quality change item information may be used as a reference parameter in the process of determining whether the video quality change for the VM video supported by the VMI client terminal 110 is determined by the determining unit 210 in accordance with the VMI service. have.

이하, 본 실시예에 따른 품질 변경 항목정보로서 수집되는 정보들에 대해 보다 구체적으로 설명하도록 한다.Hereinafter, information collected as quality change item information according to the present embodiment will be described in more detail.

본 실시예에 따른 데이터 수집부(200)는 VMI 클라이언트 단말기(110)와의 연동을 통해 VMI 클라이언트 단말기(110)로부터 수집한 On-device의 네트워크 상태정보를 수신할 수 있다. 예컨대, 이러한, 네트워크 상태정보는 도 8에 도시된 바와 같이, VMI 클라이언트 단말기(110)로부터 송신되는 영상 품질 변경 메시지 내 포함되는 형태로 데이터 수집부(200)로 제공될 수 있으나 반드시 이에 한정되는 것은 아니다.The data collection unit 200 according to the present embodiment may receive network status information of the on-device collected from the VMI client terminal 110 through interworking with the VMI client terminal 110. For example, as illustrated in FIG. 8, the network status information may be provided to the data collection unit 200 in a form included in an image quality change message transmitted from the VMI client terminal 110, but is not limited thereto. no.

한편, 도 8을 참조하면, VMI 클라이언트 단말기(110)는 네트워크 품질이 기 설정된 임계치 미만인 경우 VM 영상의 품질을 낮추기 위한 영상 품질 변경 메시지를 데이터 수집부(200)로 전송하며, 이때, "Expected_bitrate" 값은 0으로 설정될 수 있다. 반대로, VMI 클라이언트 단말기(110)는 네트워크 품질이 기 설정된 임계치 이상인 경우 VM 영상의 품질을 높히기 위한 영상 품질 변경 메시지를 데이터 수집부(200)로 전송하며, 이때, "Expected_bitrate" 값은 1로 설정될 수 있다.Meanwhile, referring to FIG. 8, the VMI client terminal 110 transmits an image quality change message for reducing the quality of the VM image to the data collection unit 200 when the network quality is less than a preset threshold, wherein “Expected_bitrate” The value can be set to 0. Conversely, the VMI client terminal 110 transmits an image quality change message for increasing the quality of the VM image to the data collection unit 200 when the network quality is greater than or equal to a preset threshold, and the “Expected_bitrate” value is set to 1 You can.

이와 같이, 데이터 수집부(200)는 VMI 클라이언트 단말기(110)로부터 On-device의 네트워크 상태에 변경이 발생하는 경우 한해서 상기의 네트워크 상태정보를 수신할 수도 있다. 다른 실시예에서, 데이터 수집부(200)는 VMI 클라이언트 단말기(110)로부터 주기적으로 상기의 네트워크 상태정보를 수신할 수도 있다As described above, the data collection unit 200 may receive the network status information only when a change in the network status of the on-device occurs from the VMI client terminal 110. In another embodiment, the data collection unit 200 may periodically receive the network status information from the VMI client terminal 110.

또한, 데이터 수집부(200)는 VMI 클라이언트 단말기(110)에 상응하여 지원되는 VM 상에 현재 실행 중인 VM 서비스 예컨대, 애플리케이션, 웹 및 동영상에 대한 타입정보 및 사용정보 중 적어도 하나를 VM 서비스 타입정보로서 수집할 수 있다. 여기서 타입정보로는, 현재 사용자에 의해 실행되는 VM 서비스의 종류(ex: 동영상 Play) 및 카테고리 정보(ex: 뉴스 웹, 게임 APP) 등이 수집될 수 있다. 사용정보로는 해당 VM 서비스에 대한 자원 소모량(ex: CPU/GPU 자원, 사용 데이터 등)이 수집될 수 있다.In addition, the data collection unit 200 VM service type information for at least one of the type information and usage information for the VM service, for example, application, web and video currently running on the VM supported corresponding to the VMI client terminal 110 Can be collected. Here, as the type information, the type (eg: video play) and category information (ex: news web, game APP) of the VM service currently executed by the user may be collected. As the usage information, resource consumption (eg, CPU / GPU resources, usage data, etc.) for the corresponding VM service may be collected.

데이터 수집부(200)는 VM 내부의 애플리케이션 등의 사용 내역을 바탕으로 상기의 VM 사용 내역정보를 수집할 수 있다. 예컨대, 데이터 수집부(200)는 VM 상에서 현재 실행되는 APP 정보(App ID, 화면 전환 이벤트 등)을 모니터링하고, CPU.GPU 사용랑의 변화를 파악할 수 있다.The data collection unit 200 may collect the VM usage history information based on usage history of an application in the VM. For example, the data collection unit 200 may monitor APP information (App ID, screen change event, etc.) currently executed on the VM and grasp changes in CPU and GPU usage.

또한, 데이터 수집부(200)는 VMI 클라이언트 단말기(110)로부터 VMI 서비스와 관련하여 입력된 사용자 입력 이벤트를 사용자 동작정보로서 수집할 수 있다. 예컨대, 데이터 수집부(200)는 가상 키보드 혹은 펜과 같은 입력 수단을 통해 VMI 클라이언트 단말기(110)의 사용자로부터 텍스트 입력 등이 발생한 경우, 이를, 사용자 입력 이벤트로서 수집할 수 있다.Also, the data collection unit 200 may collect user input events input in connection with the VMI service from the VMI client terminal 110 as user operation information. For example, when data input or the like occurs from a user of the VMI client terminal 110 through an input means such as a virtual keyboard or a pen, the data collection unit 200 may collect it as a user input event.

이와 더불어, 데이터 수집부(200)는 사용자의 터치 동작 및 스크롤 등의 동작이 발생할 때마다, 이를 사용자 동작정보로서 추가 수집할 수 있다.In addition, the data collection unit 200 may additionally collect, as user motion information, whenever a user's touch motion or scrolling motion occurs.

또한, 데이터 수집부(200)는 이동통신 인프라(MNO Infra)의 가입자 관리 서버 및 부가서비스 서버 등과 연동하여 VMI 클라이언트 단말기(110)의 사용자에 대한 사용자 기본정보(ex: 요금제, 잔여 데이터 등) 및 서비스 정책(ex: Zero_Rating 정책 등) 등을 추가로 수집할 수 있다.In addition, the data collection unit 200 interworking with a subscriber management server and an additional service server of the mobile communication infrastructure (MNO Infra), such as user basic information about the user of the VMI client terminal 110 (ex: plan, residual data, etc.) and Service policies (ex: Zero_Rating policy, etc.) can be additionally collected.

판단부(210)는 데이터 수집부(200)를 통해 수집된 품질 변경 항목정보를 기반으로 VMI 서비스에 상응하여 VMI 클라이언트 단말기(110)에 지원되는 VM 영상에 대한 품질 변경 여부를 판단하는 기능을 수행한다.The determination unit 210 performs a function of determining whether to change the quality of the VM image supported by the VMI client terminal 110 in correspondence with the VMI service based on the quality change item information collected through the data collection unit 200 do.

본 실시예에 있어서, 판단부(210)는 데이터 수집부(200)를 통해 수집된 품질 변경 항목정보를 기반으로, 네트워크 품질변화, 기 정의된 타임정보에 상응하는 VM 서비스의 실행 여부 및 사용자 입력 이벤트 발생 여부 중 적어도 하나의 요건에 대한 매칭 여부를 판단하여 상기의 품질 변경 여부를 결정한다.In this embodiment, the determination unit 210 is based on the quality change item information collected through the data collection unit 200, the network quality change, whether to run the VM service corresponding to the predefined time information and user input It is determined whether or not the quality is changed by determining whether or not a match is made to at least one of the events.

판단부(210)는 품질 변경 여부에 대한 판단결과 및 관련된 정보들을 서비스 제어부(220)로 전달한다.The determination unit 210 transmits the determination result for the quality change or not and related information to the service control unit 220.

서비스 제어부(220)는 데이터 수집부(200)를 통해 수집된 품질 변경 항목정보 및 판단부(210)의 판단결과를 토대로, VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정하여 출력하는 기능을 수행한다. 예컨대, 본 실시예에 있어서, 서비스 제어부(220)는 네트워크 품질변화, 기 정의된 타임정보에 상응하는 VM 서비스의 실행 여부 및 사용자 입력 이벤트 발생 여부 중 적어도 하나의 요건에 기반하여 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정할 수 있다.The service control unit 220 adaptively adjusts and outputs a transmission bit rate value for the VM image based on the quality change item information collected through the data collection unit 200 and the determination result of the determination unit 210. Perform. For example, in the present embodiment, the service control unit 220 transmits a VM image based on at least one of a change in network quality, whether to execute a VM service corresponding to predefined time information, and whether a user input event occurs. The bitrate value can be adjusted adaptively.

서비스 제어부(220)는 네트워크 상태정보를 기반으로, VMI 클라이언트 단말기(110)의 네트워크 품질이 낮아진 경우에는 전송 비트레이트 값이 현재보다 작게 설정되도록 조정하고, VMI 클라이언트 단말기(110)의 네트워크 품질이 높아진 경우에는 전송 비트레이트 값이 현재보다 크게 설정되도록 조정한다.The service control unit 220 adjusts the transmission bit rate value to be set smaller than the current when the network quality of the VMI client terminal 110 is lowered based on the network status information, and the network quality of the VMI client terminal 110 is increased. In this case, the transmission bit rate value is adjusted to be set larger than the present.

또한, 서비스 제어부(220)는 VM 서비스 타입정보를 기반으로, 현재 VM 상에서 제공 중인 VM 서비스에 대한 자원 소모량 및 서비스 정책 적용여부 중 적어도 하나를 확인하고, 확인결과에 따라 전송 비트레이트 값을 적응적으로 조정한다. 예컨대, 서비스 제어부(220)는 동영상 Play 및 게임 APP 같이 CPU/GPU 자원을 많이 소모하는 VM 서비스가 VM 상에서 실행 중인 경우에는 전송 비트레이트 값이 현재보다 작게 설정되도록 조정한다. 반대로, 서비스 제어부(220)는 뉴스/포탈 APP 및 런처 화면과 같이 CPU/GPU 자원을 적게 소모하는 VM 서비스가 VM 상에서 실행 중인 경우에는 전송 비트레이트 값이 현재보다 크게 설정되도록 조정한다.In addition, the service control unit 220 checks at least one of resource consumption and service policy for the VM service currently being provided on the VM based on the VM service type information, and adapts the transmission bit rate value according to the confirmation result. Adjust with. For example, the service control unit 220 adjusts the transmission bit rate value to be set smaller than the current when a VM service that consumes a lot of CPU / GPU resources such as video play and game APP is running on the VM. Conversely, the service control unit 220 adjusts the transmission bit rate value to be set larger than the current when a VM service that consumes less CPU / GPU resources, such as news / portal APP and launcher screen, is running on the VM.

서비스 제어부(220)는 VMI 클라이언트 단말기(110)의 사용자가 낮은 요금제를 쓰거나 정책 상 잔여 데이터가 일정 수준 이하로 남은 경우, 전송 비트레이트 값이 현재보다 작게 설정되도록 조정함으로써 화면 압축률을 크게 조정하고, 이를 통해, 최대한 저용량 영상으로 VM 영상이 VMI 클라이언트 단말기(110)로 전송될 수 있도록 한다.When the user of the VMI client terminal 110 writes a low rate plan or the residual data remains below a certain level in accordance with the policy, the service control unit 220 adjusts the screen compression rate significantly by adjusting the transmission bit rate value to be set smaller than the current value. Through this, it is possible to transmit the VM image to the VMI client terminal 110 as a low-capacity image as much as possible.

서비스 제어부(220)는 현재 VM 상에서 실행 중인 VM 서비스 예컨대, 애플리케이션이 Zero Rating 대상 애플리케이션인 경우 사용자 만족도 제고 및 B2B 데이터 수익성 개선, VMI 서비스 활성화 측면에서 전송 비트레이트 값이 현재보다 크게 설정되도록 조정한다.The service control unit 220 adjusts the VM service currently running on the VM, for example, if the application is a Zero Rating target application, increases user satisfaction, improves B2B data profitability, and sets the transmission bit rate value larger than the present in terms of VMI service activation.

또한, 서비스 제어부(220)는 사용자 동작정보를 기반으로, 텍스트 정보 입력을 포함한 사용자 입력 이벤트 발생이 인지되는 경우 전송 비트레이트 값이 현재보다 작게 설정되도록 조정한다. 한편, 모바일 단말기 환경에서는 사용자의 텍스트 입력(가상 키보드), 펜으로 필기 입력 등을 수행할 시 기존 화면을 점유하게 된다. 이런 경우, 기존의 APP/Web/동영상 화면은 입력 화면에 가려지게 되어 사용자는 입력 화면을 주시하므로, 현재 보다 낮은 비트레이트로 설정 가능하다.In addition, the service control unit 220 adjusts the transmission bit rate value to be set smaller than the current when a user input event including text information input is recognized based on the user motion information. On the other hand, in a mobile terminal environment, when performing a user's text input (virtual keyboard) or handwriting input with a pen, the existing screen is occupied. In this case, the existing APP / Web / video screen is obscured by the input screen, so the user watches the input screen and can be set to a lower bit rate.

서비스 제어부(220)는 사용자 동작정보를 기반으로, VMI 클라이언트 단말기(110)의 사용자의 행동 패턴에 대한 통계 분석을 수행하고, 사용자 행동 통계 데이터 및 기 정의된 기준 행동 통계 데이터에 대한 비교결과에 따라 전송 비트레이트 값을 적응적으로 조정할 수 있다.The service control unit 220 performs statistical analysis on the user's behavior pattern of the VMI client terminal 110 based on the user's motion information, and according to the comparison result of the user behavior statistics data and predefined reference behavior statistics data. The transmission bit rate value can be adjusted adaptively.

즉, 서비스 제어부(220)는 사용자 터치 간격(시간), 스크롤 하는 속도 등을 이벤트가 발생할 때마다 저장하여 통계를 계산한다. 이를 통해, 사용자 터치/스크롤 속도를 미리 예측해서 전송 비트레이트를 조절할 수 있다. 예컨대, 서비스 제어부(220)는 일정수준의 시간 기준값을 두어 수집한 터치 간격, 스크롤 속도의 통계값이 기준 값보다 큰 경우 화면이 천천히 움직이므로 전송 비트레이트 값을 변경하지 않고 현상태를 유지한다. 반대로, 터치 간격, 스크롤 속도 통계값이 기준 값보다 작은 경우 화면이 빠르게 움직이므로 전송 비트레이트 값을 현재보다 작게 설정한다.That is, the service controller 220 calculates statistics by storing the user touch interval (time), the scrolling speed, and the like each time an event occurs. Through this, the user's touch / scroll speed can be predicted in advance to adjust the transmission bit rate. For example, the service controller 220 maintains the status quo without changing the transmission bit rate value because the screen moves slowly when the statistical value of the touch interval and scroll speed collected by setting a certain time reference value is greater than the reference value. Conversely, if the touch interval and scroll speed statistics are smaller than the reference value, the screen moves quickly, so the bit rate value is set smaller than the current.

서비스 제어부(220)는 설정된 전송 비트레이트 값을 포함하는 영상 품질 변경 메시지를 VMI 클라이언트 단말기(110)로 전송한다. 예컨대, 이러한, 서비스 제어부(220)의 영상 품질 변경 메시지는 도 9 내지 도 11을 통해 확인할 수 있다.The service control unit 220 transmits an image quality change message including the set transmission bit rate value to the VMI client terminal 110. For example, the image quality change message of the service controller 220 may be confirmed through FIGS. 9 to 11.

도 3은 본 실시예에 따른 VM 영상 품질 변경방법을 설명하기 위한 순서도이다.3 is a flowchart for explaining a method for changing VM image quality according to the present embodiment.

VMI 서버장치(130)는 VMI 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집한다(S302). 단계 S302에서 VMI 서버장치(130)는 VMI 클라이언트 단말기(110) 및 외부 장치 예컨대, 이동통신 인프라(MNO Infra)의 가입자 관리 서버 및 부가서비스 서버 등과 연동하여 품질 변경 항목정보를 수집할 수 있다.The VMI server device 130 collects quality change item information including at least one of network status information, VM service type information, and user operation information in connection with the VMI service (S302). In step S302, the VMI server device 130 may collect quality change item information in conjunction with the VMI client terminal 110 and an external device, such as a subscriber management server and an additional service server of a mobile communication infrastructure (MNO Infra).

VMI 서버장치(130)는 단계 S302에서 수집된 품질 변경 항목정보를 기반으로 VMI 클라이언트 단말기(110)에 지원되는 VM 영상에 대한 영상 품질 변경여부를 판단한다(S304).The VMI server device 130 determines whether to change the video quality for the VM video supported by the VMI client terminal 110 based on the quality change item information collected in step S302 (S304).

VMI 서버장치(130)는 단계 S304의 판단결과를 기반으로 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정하여 출력하다(S306). 단계 S306에서 VMI 서버장치(130)는 네트워크 품질변화, 기 정의된 타임정보에 상응하는 VM 서비스의 실행 여부 및 사용자 입력 이벤트 발생 여부 중 적어도 하나의 요건에 기반하여 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정할 수 있다.The VMI server device 130 adaptively adjusts and outputs a transmission bit rate value for the VM image based on the determination result in step S304 (S306). In step S306, the VMI server device 130 determines a transmission bit rate value for the VM image based on at least one of a change in network quality, execution of a VM service corresponding to predefined time information, and occurrence of a user input event. It can be adjusted adaptively.

여기서, 단계 S302 내지 S306은 앞서 설명된 VMI 서버장치(130)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.Here, since steps S302 to S306 correspond to the operation of each component of the VMI server device 130 described above, further detailed description will be omitted.

도 3에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.Although FIG. 3 describes that each process is executed sequentially, the present invention is not limited thereto. In other words, since the process described in FIG. 3 may be changed and executed or one or more processes may be executed in parallel, FIG. 3 is not limited to a time series sequence.

전술한 바와 같이 도 3에 기재된 VM 영상 품질 변경방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.As described above, the VM image quality changing method shown in FIG. 3 is implemented as a program and can be read using a computer software (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device) Etc.).

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present embodiment, and those skilled in the art to which this embodiment belongs may be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical spirit of the present embodiment, but to explain, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of the present embodiment should be interpreted by the claims below, and all technical spirits within the equivalent range should be interpreted as being included in the scope of the present embodiment.

100: VMI 서비스 시스템 110: VMI 클라이언트 단말기
120: VMI 게이트웨이 장치 130: VMI 서버장치
200: 데이터 수집부 210: 판단부
220: 서비스 제어부100: VMI service system 110: VMI client terminal
120: VMI gateway device 130: VMI server device
200: data collection unit 210: judgment unit
220: service control unit

Claims (11)

VMI(Virtual Mobile Infrastructure) 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집하는 데이터 수집부;
상기 품질 변경 항목정보를 기반으로 상기 VMI 서비스에 상응하여 VMI 클라이언트 단말기에 지원되는 VM 영상에 대한 영상 품질 변경여부를 판단하는 판단부; 및
상기 판단부의 판단결과에 따라 상기 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정하여 출력하는 서비스 제어부
를 포함하는 것을 특징으로 하는 VMI 서버장치.A data collection unit for collecting quality change item information including at least one of network status information, VM service type information, and user operation information in connection with a virtual mobile infrastructure (VMI) service;
A determination unit for determining whether to change a video quality for a VM video supported by a VMI client terminal in accordance with the VMI service based on the quality change item information; And
A service control unit adaptively adjusting and outputting a transmission bit rate value for the VM image according to the determination result of the determination unit
VMI server device comprising a. 제 1항에 있어서,
상기 데이터 수집부는,
상기 VMI 클라이언트 단말기로부터 상기 네트워크 상태정보를 포함하는 영상 품질 변경 메시지를 수신하는 것을 특징으로 하는 특징으로 하는 VMI 서버장치.According to claim 1,
The data collection unit,
VMI server device, characterized in that for receiving the video quality change message including the network status information from the VMI client terminal. 제 1항에 있어서,
상기 데이터 수집부는,
상기 VMI 클라이언트 단말기에 상응하여 지원되는 VM(Virtual Machine) 상에 현재 실행 중인 애플리케이션, 웹 및 동영상에 대한 타입정보 및 사용정보 중 적어도 하나를 상기 VM 서비스 타입정보로서 수집하는 것을 특징으로 하는 VMI 서버장치.According to claim 1,
The data collection unit,
VMI server device characterized by collecting at least one of type information and usage information for currently running applications, web and video on a virtual machine (VM) supported in correspondence with the VMI client terminal as the VM service type information. . 제 1항에 있어서,
상기 데이터 수집부는,
상기 VMI 클라이언트 단말기를 통해 입력된 사용자 입력 이벤트를 상기 사용자 동작정보로서 수집하는 것을 특징으로 하는 VMI 서버장치.According to claim 1,
The data collection unit,
VMI server device, characterized in that for collecting the user input event input through the VMI client terminal as the user operation information. 제 1항에 있어서,
상기 판단부는,
상기 품질 변경 항목정보를 기반으로 네트워크 품질변화, 기 정의된 타입정보에 상응하는 VM 서비스의 실행 여부 및 사용자 입력 이벤트 발생 여부 중 적어도 하나의 요건에 대한 매칭 여부를 판단하여 상기 영상 품질 변경여부를 결정하는 것을 특징으로 하는 VMI 서버장치.According to claim 1,
The determination unit,
Based on the quality change item information, it is determined whether or not the video quality is changed by determining whether to match the network quality change, whether to execute the VM service corresponding to the predefined type information, and whether or not a user input event occurs. VMI server device, characterized in that. 제 1항에 있어서,
상기 서비스 제어부는,
상기 네트워크 상태정보를 기반으로, 상기 VMI 클라이언트 단말기의 네트워크 품질이 낮아진 경우에는 상기 전송 비트레이트 값이 현재보다 작게 설정되도록 조정하고, 상기 VMI 클라이언트 단말기의 네트워크 품질이 높아진 경우에는 상기 전송 비트레이트 값이 현재보다 크게 설정되도록 조정하는 것을 특징으로 하는 VMI 서버장치.According to claim 1,
The service control unit,
Based on the network status information, when the network quality of the VMI client terminal is lowered, the transmission bit rate value is adjusted to be set smaller than the present, and when the network quality of the VMI client terminal is increased, the transmission bit rate value is VMI server device characterized in that the adjustment to be set larger than the current. 제 1항에 있어서,
상기 서비스 제어부는,
상기 VM 서비스 타입정보를 기반으로, 현재 VM 상에서 제공 중인 VM 서비스에 대한 자원 소모량 및 서비스 정책 적용여부 중 적어도 하나를 확인하고, 확인결과에 따라 상기 전송 비트레이트 값을 적응적으로 조정하는 것을 특징으로 하는 VMI 서버장치.According to claim 1,
The service control unit,
Based on the VM service type information, it checks at least one of resource consumption for a VM service currently being provided on a VM and whether a service policy is applied, and adaptively adjusts the transmission bit rate value according to the confirmation result. VMI server device. 제 1항에 있어서,
상기 서비스 제어부는,
상기 사용자 동작정보를 기반으로, 텍스트 정보 입력을 포함한 사용자 입력 이벤트 발생이 인지되는 경우 상기 전송 비트레이트 값이 현재보다 작게 설정되도록 조정하는 것을 특징으로 하는 VMI 서버장치.According to claim 1,
The service control unit,
VMI server device, characterized in that the transmission bit rate value is adjusted to be set smaller than the current when the occurrence of a user input event including text information input is recognized based on the user motion information. 제 8항에 있어서,
상기 서비스 제어부는,
상기 사용자 동작정보를 기반으로, 상기 VMI 클라이언트 단말기의 사용자의 행동패턴에 대한 통계분석을 수행하고, 사용자 행동 통계 데이터 및 기 정의된 기준 행동 통계 데이터에 대한 비교결과에 따라 상기 전송 비트레이트 값을 적응적으로 조정하는 것을 특징으로 하는 VMI 서버장치.The method of claim 8,
The service control unit,
Based on the user behavior information, statistical analysis of the user's behavior pattern of the VMI client terminal is performed, and the transmission bit rate value is adapted according to the comparison result of user behavior statistics data and predefined reference behavior statistics data. VMI server device characterized in that to adjust the enemy. VMI 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집하는 과정;
상기 품질 변경 항목정보를 기반으로 상기 VMI 서비스에 상응하여 VMI 클라이언트 단말기에 지원되는 VM 영상에 대한 영상 품질 변경여부를 판단하는 과정; 및
상기 판단하는 과정의 판단결과에 따라 상기 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정하여 출력하는 과정
을 포함하는 것을 특징으로 하는 VM 영상 품질 변경방법.Collecting quality change item information including at least one of network status information, VM service type information, and user operation information in connection with the VMI service;
Determining whether to change the video quality of the VM video supported by the VMI client terminal in accordance with the VMI service based on the quality change item information; And
A process of adaptively adjusting and outputting a transmission bit rate value for the VM image according to the determination result of the determining process
VM image quality change method comprising a. 하드웨어와 결합되어,
VMI 서비스와 관련하여 네트워크 상태정보, VM 서비스 타입정보 및 사용자 동작정보 중 적어도 하나의 정보를 포함하는 품질 변경 항목정보를 수집하는 과정;
상기 품질 변경 항목정보를 기반으로 상기 VMI 서비스에 상응하여 VMI 클라이언트 단말기에 지원되는 VM 영상에 대한 영상 품질 변경여부를 판단하는 과정; 및
상기 판단하는 과정의 판단결과에 따라 상기 VM 영상에 대한 전송 비트레이트 값을 적응적으로 조정하여 출력하는 과정
을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 VM 영상 품질 변경 프로그램.Combined with the hardware,
Collecting quality change item information including at least one of network status information, VM service type information, and user operation information in connection with the VMI service;
Determining whether to change the video quality of the VM video supported by the VMI client terminal in accordance with the VMI service based on the quality change item information; And
A process of adaptively adjusting and outputting a transmission bit rate value for the VM image according to the determination result of the determining process
VM image quality change program stored in a computer-readable recording medium to execute the program.
KR1020180119036A 2018-10-05 2018-10-05 Method and Apparatus for Changing VMI Service Image Quality KR102526963B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180119036A KR102526963B1 (en) 2018-10-05 2018-10-05 Method and Apparatus for Changing VMI Service Image Quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180119036A KR102526963B1 (en) 2018-10-05 2018-10-05 Method and Apparatus for Changing VMI Service Image Quality

Publications (2)

Publication Number Publication Date
KR20200039301A true KR20200039301A (en) 2020-04-16
KR102526963B1 KR102526963B1 (en) 2023-04-27

Family

ID=70454501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180119036A KR102526963B1 (en) 2018-10-05 2018-10-05 Method and Apparatus for Changing VMI Service Image Quality

Country Status (1)

Country Link
KR (1) KR102526963B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110728A (en) * 2013-03-07 2014-09-17 삼성전자주식회사 Computing system with contextual interaction mechanism and method of operation thereof
US20150063166A1 (en) * 2013-08-27 2015-03-05 Futurewei Technologies, Inc. System and Method for Mobile Network Function Virtualization
KR20170065166A (en) * 2015-12-03 2017-06-13 주식회사 엘지유플러스 System and method for managing network quality and fault

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110728A (en) * 2013-03-07 2014-09-17 삼성전자주식회사 Computing system with contextual interaction mechanism and method of operation thereof
US20150063166A1 (en) * 2013-08-27 2015-03-05 Futurewei Technologies, Inc. System and Method for Mobile Network Function Virtualization
KR20170065166A (en) * 2015-12-03 2017-06-13 주식회사 엘지유플러스 System and method for managing network quality and fault

Also Published As

Publication number Publication date
KR102526963B1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
CN106713485B (en) Cloud computing mobile terminal
CN111135569A (en) Cloud game processing method and device, storage medium and electronic equipment
US9606819B2 (en) Wireless network, implementation method thereof, and terminal
CN102821150B (en) Based on application management method and the Cloud Server of cloud service
US10110647B2 (en) Method and apparatus for altering bandwidth consumption
He et al. CBM: Online strategies on cost-aware buffer management for mobile video streaming
CN104144351A (en) Video playing method and device applying virtualization platform
CN106664449A (en) Device switching for a streaming service
CN111090691B (en) Data processing method and device, electronic equipment and storage medium
US20200241894A1 (en) Solution which can improve vdi user experience automatically
US10602413B2 (en) Policy state propagation system
CN113117326A (en) Frame rate control method and device
KR20160102683A (en) Proxy server for cloud streaming service, cloud streaming system and method using the same
KR102526963B1 (en) Method and Apparatus for Changing VMI Service Image Quality
WO2014015731A1 (en) Method and system for adjusting service on the basis of terminal capability
US7441086B2 (en) Data caching method and computer-readable medium storing a program executing the method
US20230379763A1 (en) Dynamic continuous quality of service adjustment system
KR20160097957A (en) Cloud computing system using cache and method using the same
KR102615305B1 (en) Method And Apparatus for Sharing Virtual Mobile Infrastructure Screen
Shi et al. Learning-based fuzzy bitrate matching at the edge for adaptive video streaming
KR102537913B1 (en) Method And Apparatus for Displaying VMI Screen and Local Screen in Specific Region
CN114095496A (en) Terminal application processing method, edge cloud application server, system and medium
KR20200036226A (en) Method and Apparatus for Providing VMI Service Using Service Statistics Data
KR102123815B1 (en) Method and Apparatus for Providing VMI Push Service
KR102552753B1 (en) VMI Screen Display Method And Apparatus for Delay Reduction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant