KR102306889B1

KR102306889B1 - System for cloud streaming service, method of image cloud streaming service using data substitution and apparatus for the same

Info

Publication number: KR102306889B1
Application number: KR1020150065347A
Authority: KR
Inventors: 이동수
Original assignee: 에스케이플래닛 주식회사
Priority date: 2015-05-11
Filing date: 2015-05-11
Publication date: 2021-09-30
Also published as: KR20160132607A

Abstract

클라우드 스트리밍 서비스 시스템, 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치가 개시된다. 어플리케이션 실행화면에 포함된 적어도 하나의 그림 데이터를 용량이 감소된 적어도 하나의 변형 데이터로 치환하여 렌더링하고, 렌더링된 어플리케이션 실행화면에서 단말에게 전송될 이미지를 캡처할 프레임을 검출하고, 프레임이 적어도 하나의 변형 데이터에 상응하는지 여부에 따라 프레임을 적어도 하나의 그림 데이터로 복원하여 이미지를 캡처하고, 이미지를 스틸 이미지 인코딩하여 단말로 전송할 수 있다. 이미지 클라우드 스트리밍 서비스 시 렌더링에 필요한 리소스를 절약할 수 있어 시스템 효율을 향상시키는 것이 가능하다.A cloud streaming service system, an image cloud streaming service method through data replacement, and an apparatus therefor are disclosed. At least one picture data included in the application execution screen is rendered by replacing at least one modified data with reduced capacity, and a frame to capture an image to be transmitted to the terminal is detected from the rendered application execution screen, and the frame is at least one Depending on whether it corresponds to the transformed data of the frame may be restored to at least one picture data to capture an image, and the image may be encoded as a still image and transmitted to the terminal. In the case of image cloud streaming service, it is possible to save resources required for rendering, thereby improving system efficiency.

Description

Cloud streaming service system, image cloud streaming service method through data substitution, and device therefor

본 발명은 이미지 기반의 클라우드 스트리밍 서비스 시 그림 데이터를 용량이 작은 데이터로 치환하여 렌더링을 수행함으로써 렌더링 수행 시 클라우드 스트리밍 서버의 리소스를 절약할 수 있는 클라우드 스트리밍 서비스 시스템, 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치에 관한 것이다.The present invention provides a cloud streaming service system that can save resources of a cloud streaming server when rendering is performed by replacing picture data with data with a small capacity in the case of an image-based cloud streaming service, and image cloud streaming service through data replacement It relates to a method and an apparatus therefor.

인터넷의 급속한 발달은 개인의 통신 속도를 급격히 향상시키는 결과를 가져왔으며, 이러한 통신 속도의 향상은 원격지에 위치한 컴퓨터에 접속하여 대용량의 데이터를 다운로드 또는 업로드 하거나, 원격지 컴퓨터 제어 프로그램을 사용하여 마치 원격지 컴퓨터에 로컬 로그인한 것과 같이 원격지 컴퓨터를 이용할 수 있는 환경을 제공하고 있다.The rapid development of the Internet has resulted in a rapid increase in personal communication speed, and this improvement in communication speed is like downloading or uploading large amounts of data by accessing a computer located at a remote location, or using a remote computer control program as if it were a remote computer. It provides an environment where you can use a remote computer as if you were logged in locally.

또한, 스마트폰과 같은 이동통신 단말에서 구동되는 어플리케이션이 다양하게 개발되면서, 비교적 낮은 성능의 사용자 단말에서 높은 성능을 필요로 하는 어플리케이션을 구동하기 위한 가상화 기술들이 많이 제안되고 있다. In addition, as applications driven in mobile communication terminals such as smartphones have been developed in various ways, many virtualization technologies have been proposed for driving applications requiring high performance in user terminals with relatively low performance.

그 중에서 어플리케이션을 서버에서 구동시키고 구동화면은 비디오 인코딩(Encoding)을 통해 압축하여 클라이언트로 전송하고, 클라이언트는 전송된 비디오를 재생하여 마치 자신의 단말에서 어플리케이션이 구동되는 것과 같은 효과를 내는 화면 가상화 기반의 클라우드 스트리밍 서비스가 각광받고 있는 추세이다.Among them, a screen virtualization base that runs an application on the server, compresses the driving screen through video encoding, and transmits it to the client, and the client plays the transmitted video to have the same effect as if the application is running on its own terminal. of cloud streaming services are in the spotlight.

클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법이 적용되었다. 그러나 메뉴 디스플레이와 같이 정적인 화면을 서비스 하는 경우에도 불필요하게 화면 전체를 캡처하고 비디오 코덱을 이용하여 동작하게 되어 시스템 전체적으로 비효율적인 측면이 존재하였다.The cloud streaming service basically applied the video codec-based cloud streaming technique. However, even in the case of servicing a static screen such as a menu display, the entire screen is unnecessarily captured and the video codec is used to operate, which is inefficient as a whole system.

또한, 클라우드 스트리밍 서비스에서 CPU 등의 자원 효율을 가장 많이 소비하는 구성 요소는 그림 데이터일 수 있다. 따라서, 클라우드 스트리밍 서버에서 그림 데이터를 렌더링 할 때 각 브라우저에 부담이 될 수 있다. 그러나 클라우드 스트리밍 서버의 경우 실제 화면을 정확히 렌더링할 필요가 없기 때문에 이와 같은 렌더링 과정 또한 비효율적인 측면에 해당한다. In addition, the component that consumes the most resource efficiency such as CPU in the cloud streaming service may be picture data. Therefore, when rendering picture data on the cloud streaming server, it can be a burden on each browser. However, since the cloud streaming server does not need to render the actual screen accurately, this rendering process is also inefficient.

따라서, 어플리케이션 실행화면에서 정적인 부분의 이미지만을 캡처하여 사용자의 단말로 제공하되, 렌더링 수행 시 부담을 줄일 수 있도록 적은 용량의 데이터로 치환하여 렌더링을 수행하는 이미지 기반의 클라우드 스트리밍 서비스 기술이 절실하게 대두된다.Therefore, there is an urgent need for an image-based cloud streaming service technology that captures only the static image of the application execution screen and provides it to the user's terminal, but replaces it with a small amount of data to reduce the burden during rendering. is brought up

한국 공개 특허 제2014-0056673호, 2014년 05월 12일 등록 (명칭: 클라우드 스트리밍 기반의 게임 제공 방법, 이를 위한 시스템, 이를 위한 클라이언트 단말기, 이를 위한 서비스장치 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록 매체)Korean Patent Publication No. 2014-0056673, registered on May 12, 2014 (Name: Cloud streaming-based game providing method, system therefor, client terminal for this, service device for the same, and computer readable method recording this method recording medium)

본 발명의 목적은, 렌더링 시 발생하는 부하를 감소시켜 이미지 클라우드 스트리밍 시스템의 효율을 향상시키는 것이다.An object of the present invention is to improve the efficiency of an image cloud streaming system by reducing a load generated during rendering.

또한, 본 발명의 목적은 사용자에게 제공되는 서비스 품질은 유지하면서 클라우드 스트리밍 서버의 리소스를 보다 효과적으로 사용할 수 있는 서비스 방법을 제공하는 것이다.In addition, an object of the present invention is to provide a service method that can more effectively use the resources of the cloud streaming server while maintaining the service quality provided to the user.

또한, 본 발명의 목적은 어플리케이션 실행화면에서 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공하는 것이다.In addition, an object of the present invention is to provide a high-spec application execution screen even in a low-spec terminal by processing only the changed image on the application execution screen and providing it to the user terminal.

상기한 목적을 달성하기 위한 본 발명에 따른 클라우드 스트리밍 서버는, 어플리케이션 실행화면에 포함된 적어도 하나의 그림 데이터를 용량이 감소된 적어도 하나의 변형 데이터로 치환하여 렌더링하는 치환 렌더링부; 렌더링된 상기 어플리케이션 실행화면에서 단말에게 전송될 이미지를 캡처할 프레임을 검출하는 프레임 검출부; 상기 프레임이 상기 적어도 하나의 변형 데이터에 상응하는지 여부에 따라 상기 프레임을 상기 적어도 하나의 그림 데이터로 복원하여 상기 이미지를 캡처하는 캡처부; 및 상기 이미지를 스틸 이미지 인코딩하여 상기 단말로 전송하는 스트리밍부를 포함한다.Cloud streaming server according to the present invention for achieving the above object, a substitution rendering unit for rendering by replacing at least one picture data included in the application execution screen with at least one modified data with reduced capacity; a frame detector for detecting a frame to capture an image to be transmitted to the terminal on the rendered application execution screen; a capture unit for capturing the image by restoring the frame to the at least one picture data according to whether the frame corresponds to the at least one modified data; and a streaming unit for encoding the still image and transmitting the image to the terminal.

이 때, 캡처부는 상기 프레임에 상기 적어도 하나의 그림 데이터가 치환되었다는 치환 표식이 포함되어 있는 경우에 상기 프레임이 상기 적어도 하나의 변형 데이터에 상응하는 것으로 판단할 수 있다.In this case, when the frame includes a replacement mark indicating that the at least one picture data has been replaced, the capture unit may determine that the frame corresponds to the at least one modified data.

이 때, 캡처부는 상기 프레임이 상기 적어도 하나의 변형 데이터에 상응하는 경우에, 상기 적어도 하나의 그림 데이터 중 상기 프레임에 상응하는 그림 데이터를 복원하여 상기 이미지를 캡처할 수 있다.In this case, when the frame corresponds to the at least one modified data, the capture unit may capture the image by restoring picture data corresponding to the frame among the at least one picture data.

이 때, 치환 렌더링부는 상기 적어도 하나의 그림 데이터와 상기 적어도 하나의 변형 데이터를 매핑하여 치환할 수 있다.In this case, the substitution rendering unit may be substituted by mapping the at least one picture data and the at least one transformation data.

이 때, 캡처부는 상기 적어도 하나의 변형 데이터 중 상기 프레임에 상응하는 변형 데이터와 매핑된 상기 프레임에 상응하는 그림 데이터를 복원할 수 있다.In this case, the capture unit may restore the picture data corresponding to the frame mapped with the modified data corresponding to the frame among the at least one modified data.

이 때, 캡처부는 상기 프레임의 이전 프레임과 비교하여 변화된 부분에 상응하는 상기 이미지를 캡처할 수 있다.In this case, the capture unit may capture the image corresponding to the changed portion compared to the previous frame of the frame.

이 때, 캡처부는 상기 프레임이 상기 적어도 하나의 변형 데이터에 상응하지 않는 경우에 상기 복원을 수행하지 않고 상기 이미지를 캡처할 수 있다.In this case, when the frame does not correspond to the at least one piece of deformation data, the capture unit may capture the image without performing the restoration.

또한, 본 발명에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은, 어플리케이션 실행화면에 포함된 적어도 하나의 그림 데이터를 용량이 감소된 적어도 하나의 변형 데이터로 치환하여 렌더링하는 단계; 렌더링된 상기 어플리케이션 실행화면에서 단말에게 전송될 이미지를 캡처할 프레임을 검출하는 단계; 상기 프레임이 상기 적어도 하나의 변형 데이터에 상응하는지 여부에 따라 상기 프레임을 상기 적어도 하나의 그림 데이터로 복원하여 상기 이미지를 캡처하는 단계; 및 상기 이미지를 스틸 이미지 인코딩하여 상기 단말로 전송하는 단계를 포함한다.In addition, the image cloud streaming service method through data replacement according to the present invention, rendering at least one picture data included in the application execution screen by replacing the capacity of at least one modified data reduced; detecting a frame to capture an image to be transmitted to a terminal on the rendered application execution screen; capturing the image by restoring the frame to the at least one picture data according to whether the frame corresponds to the at least one deformation data; and encoding the still image and transmitting the image to the terminal.

이 때, 캡처하는 단계는 상기 프레임에 상기 적어도 하나의 그림 데이터가 치환되었다는 치환 표식이 포함되어 있는지 여부를 확인하는 단계를 포함하고, 상기 치환 표식이 포함되어 있는 경우에 상기 프레임이 상기 적어도 하나의 변형 데이터에 상응하는 것으로 판단할 수 있다.In this case, the capturing includes checking whether a substitution mark indicating that the at least one picture data has been replaced is included in the frame, and when the substitution mark is included, the frame is It can be determined that it corresponds to the modified data.

이 때, 캡처하는 단계는 상기 프레임이 상기 적어도 하나의 변형 데이터에 상응하는 경우에 상기 적어도 하나의 그림 데이터 중 상기 프레임에 상응하는 그림 데이터를 복원하여 상기 이미지를 캡처할 수 있다.In this case, in the capturing step, when the frame corresponds to the at least one modified data, the image may be captured by restoring picture data corresponding to the frame among the at least one picture data.

이 때, 치환하여 렌더링하는 단계는 상기 적어도 하나의 그림 데이터와 상기 적어도 하나의 변형 데이터를 매핑하여 치환할 수 있다.In this case, the substituting and rendering may be performed by mapping the at least one picture data and the at least one transform data.

이 때, 캡처하는 단계는 상기 적어도 하나의 변형 데이터 중 상기 프레임에 상응하는 변형 데이터와 매핑된 상기 프레임에 상응하는 그림 데이터를 복원할 수 있다.In this case, the capturing may restore the picture data corresponding to the frame mapped with the modified data corresponding to the frame among the at least one modified data.

이 때, 캡처하는 단계는 상기 프레임의 이전 프레임과 비교하여 변화된 부분에 상응하는 상기 이미지를 캡처할 수 있다.In this case, the capturing may include capturing the image corresponding to a changed portion compared with the previous frame of the frame.

이 때, 캡처하는 단계는 상기 프레임이 상기 적어도 하나의 변형 데이터에 상응하지 않는 경우에 상기 복원을 수행하지 않고 상기 이미지를 캡처할 수 있다.In this case, the capturing may include capturing the image without performing the restoration when the frame does not correspond to the at least one modified data.

본 발명에 따르면, 렌더링 시 발생하는 부하를 감소시켜 이미지 클라우드 스트리밍 시스템의 효율을 향상시킬 수 있다.According to the present invention, it is possible to improve the efficiency of the image cloud streaming system by reducing the load generated during rendering.

또한, 본 발명은 사용자에게 제공되는 서비스 품질은 유지하면서 클라우드 스트리밍 서버의 리소스를 보다 효과적으로 사용할 수 있는 서비스 방법을 제공할 수 있다.In addition, the present invention can provide a service method that can more effectively use the resources of the cloud streaming server while maintaining the service quality provided to the user.

또한, 본 발명은 어플리케이션 실행화면에서 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공할 수 있다.In addition, the present invention can provide a high-spec application execution screen even in a low-spec terminal by processing only the changed image on the application execution screen and providing it to the user terminal.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 데이터 치환 과정을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 이미지 캡처 과정을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 매핑 테이블을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 8은 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 과정을 나타낸 도면이다.1 is a block diagram showing a cloud streaming service system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an example of the cloud streaming server shown in FIG. 1 .
3 is a diagram illustrating a data replacement process according to an embodiment of the present invention.
4 is a diagram illustrating an image capturing process according to an embodiment of the present invention.
5 is a diagram illustrating a mapping table according to an embodiment of the present invention.
6 is an operation flowchart illustrating an image cloud streaming service method through data substitution according to an embodiment of the present invention.
7 is a detailed operation flowchart illustrating an image cloud streaming service method through data substitution according to an embodiment of the present invention.
8 is a diagram illustrating an image cloud streaming service process through data substitution according to an embodiment of the present invention.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention in the following description and accompanying drawings will be omitted. Also, it should be noted that throughout the drawings, the same components are denoted by the same reference numerals as much as possible. The embodiments of the present invention are provided in order to more completely explain the present invention to those of ordinary skill in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer description.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.The terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventor is appropriate as a concept of terms for describing his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined in Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention, and do not represent all of the technical spirit of the present invention. It should be understood that there may be equivalents and variations. In addition, terms such as first, second, etc. are used to describe various components, and are used only for the purpose of distinguishing one component from other components, and are not used to limit the components.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.1 is a block diagram showing a cloud streaming service system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템은 클라우드 스트리밍 서버(110), 단말(120-1~ 120-N) 및 네트워크(130)를 포함한다.Referring to FIG. 1 , the cloud streaming service system according to an embodiment of the present invention includes a cloud streaming server 110 , terminals 120-1 to 120-N, and a network 130 .

클라우드 스트리밍 서버(110)는 어플리케이션 실행화면에 포함된 적어도 하나의 그림 데이터를 용량이 감소된 적어도 하나의 변형 데이터로 치환하여 렌더링한다.The cloud streaming server 110 renders by replacing at least one picture data included in the application execution screen with at least one modified data with reduced capacity.

이 때, 적어도 하나의 그림 데이터와 적어도 하나의 변형 데이터를 매핑하여 치환할 수 있다.In this case, at least one picture data and at least one deformation data may be mapped and replaced.

또한, 클라우드 스트리밍 서버(110)는 렌더링된 어플리케이션 실행화면에서 단말(120-1~ 120-N)에게 전송될 이미지를 캡처할 프레임을 검출한다.In addition, the cloud streaming server 110 detects a frame to capture an image to be transmitted to the terminals (120-1 ~ 120-N) in the rendered application execution screen.

또한, 클라우드 스트리밍 서버(110)는 프레임이 적어도 하나의 변형 데이터에 상응하는지 여부에 따라 프레임을 적어도 하나의 그림 데이터로 복원하여 이미지를 캡처한다.In addition, the cloud streaming server 110 captures the image by restoring the frame to at least one picture data according to whether the frame corresponds to the at least one deformation data.

이 때, 프레임에 적어도 하나의 그림 데이터가 치환되었다는 치환 표식이 포함되어 있는 경우에 프레임이 적어도 하나의 변형 데이터에 상응하는 것으로 판단할 수 있다.In this case, when the frame includes a substitution mark indicating that at least one picture data has been replaced, it may be determined that the frame corresponds to the at least one modified data.

이 때, 프레임이 적어도 하나의 변형 데이터에 상응하는 경우에 적어도 하나의 그림 데이터 중 프레임에 상응하는 그림 데이터를 복원하여 이미지를 캡처할 수 있다.In this case, when the frame corresponds to at least one piece of deformed data, the image may be captured by restoring picture data corresponding to the frame among at least one piece of picture data.

이 때, 적어도 하나의 변형 데이터 중 프레임에 상응하는 변형 데이터와 매핑된 프레임에 상응하는 그림 데이터를 복원할 수 있다.In this case, the picture data corresponding to the frame mapped with the transformed data corresponding to the frame among the at least one transformed data may be restored.

이 때, 프레임의 이전 프레임과 비교하여 변화된 부분에 상응하는 이미지를 캡처할 수 있다.In this case, it is possible to capture an image corresponding to the changed portion compared to the previous frame of the frame.

이 때, 프레임이 적어도 하나의 변형 데이터에 상응하지 않는 경우에 복원을 수행하지 않고 이미지를 캡처할 수 있다.In this case, when the frame does not correspond to the at least one piece of deformation data, the image may be captured without performing restoration.

또한, 이미지를 스틸 이미지 인코딩하여 단말(120-1~ 120-N)로 전송한다.In addition, the image is encoded as a still image and transmitted to the terminals 120-1 to 120-N.

이 때, 스틸 이미지 인코딩 방식을 이용하여 이미지를 스틸 이미지 인코딩할 수 있다.In this case, the still image may be encoded using a still image encoding method.

단말(120-1~ 120-N)은 클라우드 스트리밍 서버(110)로부터 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행화면을 수신하여 사용자에게 제공한다.The terminals 120-1 to 120-N receive the application execution screen corresponding to the cloud streaming service from the cloud streaming server 110 and provide it to the user.

또한, 단말(120-1~ 120-N)은 각각 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말(120-1~ 120-N)은 각각 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.In addition, each of the terminals 120-1 to 120-N is a device that is connected to a communication network and can execute an application based on a cloud computing system, and is not limited to a mobile communication terminal, and includes all information and communication devices, multimedia terminals, wired terminals, It may be various terminals such as a fixed terminal and an IP (Internet Protocol) terminal. In addition, the terminals 120-1 to 120-N are each a mobile phone, a PMP (Portable Multimedia Played), a MID (Mobile Internet Device), a smart phone, a desktop, a tablet PC, and a notebook computer, respectively. It may be a mobile terminal having various mobile communication specifications, such as a note book, a net book, a personal digital assistant (PDA), a smart TV, and an information communication device.

또한, 단말(120-1~ 120-N)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 단말(120-1~ 120-N)의 기능 제어와 관련하여 입력되는 신호를 입력부를 통해 제어부로 전달할 수 있다. 또한, 단말(120-1~ 120-N)의 입력부는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성할 수 있다. 이 때, 단말(120-1~ 120-N)의 입력부는 단말(120-1~ 120-N)의 표시부와 함께 하나의 터치패널(또는 터치 스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 단말(120-1~ 120-N)의 입력부는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 특히, 본 발명에 따른 단말(120-1~ 120-N)의 입력부는 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 하거나 다운로드 하기 위한 입력 신호를 단말(120-1~ 120-N)의 제어부로 전달할 수 있다.In addition, the terminals 120-1 to 120-N receive various information, such as number and character information, and receive signals input in connection with setting various functions and controlling functions of the terminals 120-1 to 120-N. It can be transmitted to the control unit through the input unit. In addition, the input unit of the terminals 120-1 to 120-N may be configured to include at least one of a keypad and a touchpad that generate an input signal according to a user's touch or manipulation. At this time, the input unit of the terminals 120-1 to 120-N is configured in the form of a single touch panel (or touch screen) together with the display unit of the terminals 120-1 to 120-N, so that input and The display function can be performed at the same time. In addition, as the input unit of the terminals 120-1 to 120-N, all types of input means that may be developed in the future may be used in addition to input devices such as a keyboard, a keypad, a mouse, and a joystick. In particular, the input unit of the terminals 120-1 to 120-N according to the present invention may transmit an input signal for uploading or downloading content based on cloud computing to the control unit of the terminals 120-1 to 120-N.

또한, 단말(120-1~ 120-N)의 표시부는 단말(120-1~ 120-N)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시할 수 있다. 또한, 단말(120-1~ 120-N)의 표시부는 단말(120-1~ 120-N)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 단말(120-1~ 120-N)의 표시부는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이 때, 단말(120-1~ 120-N)의 표시부가 터치스크린 형태로 구성된 경우, 단말(120-1~ 120-N)의 표시부는 단말(120-1~ 120-N)의 입력부의 기능 중 일부 또는 전부를 수행할 수 있다. 특히, 본 발명에 따른 단말(120-1~ 120-N)의 표시부는 클라우드 컴퓨팅 기반으로 제공되는 컨텐츠의 실행과 관련된 정보를 화면으로 표시할 수 있다.In addition, the display unit of the terminals 120-1 to 120-N may display information about a series of operation states and operation results that occur while the functions of the terminals 120-1 to 120-N are performed. Also, the display unit of the terminals 120-1 to 120-N may display menus of the terminals 120-1 to 120-N and user data input by the user. Here, the display unit of the terminals 120-1 to 120-N includes a liquid crystal display (LCD), an ultra-thin liquid crystal display (TFT-LCD, Thin Film Transistor LCD), and a light emitting diode (LED, Light Emitting Diode). , organic light emitting diode (OLED, Organic LED), active organic light emitting diode (AMOLED, Active Matrix OLED), retina display (Retina Display), flexible display (Flexible display) and three-dimensional (3 Dimension) display, etc. have. At this time, when the display unit of the terminals 120-1 to 120-N is configured in the form of a touch screen, the display unit of the terminals 120-1 to 120-N functions as an input unit of the terminals 120-1 to 120-N. You can do some or all of them. In particular, the display unit of the terminals 120-1 to 120-N according to the present invention may display information related to the execution of content provided based on cloud computing on a screen.

또한, 단말(120-1~ 120-N)의 저장부는 데이터를 저장하기 위한 장치로, 주 기억장치 및 보조 기억장치를 포함하고, 단말(120-1~ 120-N)의 기능 동작에 필요한 응용 프로그램을 저장할 수 있다. 이러한 단말(120-1~ 120-N)의 저장부는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 단말(120-1~ 120-N)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어부의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다. 특히, 본 발명에 따른 단말(120-1~ 120-N)의 저장부는 단말(120-1~ 120-N)를 부팅시키는 운영체제, 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 하거나 다운로드하기 위한 프로그램 등을 저장할 수 있다. 또한, 단말(120-1~ 120-N)의 저장부는 다수의 컨텐츠를 저장하는 컨텐츠 DB와 단말(120-1~ 120-N)의 정보를 저장할 수 있다. 이 때, 컨텐츠 DB는 컨텐츠를 실행하기 위한 실행 데이터와 컨텐츠에 대한 속성 정보를 포함하고, 컨텐츠 실행에 따른 컨텐츠 사용 정보 등이 저장될 수 있다. 그리고, 단말(120-1~ 120-N)의 정보는 단말 사양 정보를 포함할 수 있다.In addition, the storage unit of the terminals 120-1 to 120-N is a device for storing data, and includes a main memory and an auxiliary memory, and is an application necessary for the functional operation of the terminals 120-1 to 120-N. program can be saved. The storage unit of the terminals 120-1 to 120-N may largely include a program area and a data area. Here, when each function is activated in response to a user's request, the terminals 120-1 to 120-N execute corresponding application programs under the control of the control unit to provide each function. In particular, the storage unit of the terminals 120-1 to 120-N according to the present invention can store an operating system for booting the terminals 120-1 to 120-N, a program for uploading or downloading content based on cloud computing, etc. have. In addition, the storage unit of the terminals 120-1 to 120-N may store a content DB for storing a plurality of contents and information of the terminals 120-1 to 120-N. In this case, the content DB includes execution data for executing the content and attribute information on the content, and content usage information according to the content execution may be stored. And, the information of the terminals 120-1 to 120-N may include terminal specification information.

또한, 단말(120-1~ 120-N)의 통신부는 클라우드 스트리밍 서버(110)와 네트워크(130)을 통해 데이터를 송수신하기 위한 기능을 수행할 수 있다. 여기서 단말(120-1~ 120-N)의 통신부는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함할 수 있다. 이러한 단말(120-1~ 120-N)의 통신부는 무선통신 모듈 및 유선통신 모듈 중 적어도 하나를 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 단말(120-1~ 120-N)이 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 클라우드 스트리밍 서버(110)로 송수신할 수 있다. 또한, 유선통신 모듈은 유선으로 데이터를 송수신하기 위한 것이다. 유선통신 모듈은 유선을 통해 네트워크(130)에 접속하여, 클라우드 스트리밍 서버(110)에 데이터를 송수신할 수 있다. 즉 단말(120-1~ 120-N)은 무선통신 모듈 또는 유선통신 모듈을 이용하여 네트워크(130)에 접속하며, 네트워크(130)을 통해 클라우드 스트리밍 서버(110)와 데이터를 송수신할 수 있다. 특히, 본 발명에 따른 네트워크(130)는 클라우드 스트리밍 서버(110) 또는 다른 단말(120-1~ 120-N)과 통신하여 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 또는 다운로드 하는데 필요한 데이터를 송수신할 수 있다.In addition, the communication unit of the terminals 120-1 to 120-N may perform a function for transmitting and receiving data through the cloud streaming server 110 and the network 130 . Here, the communication unit of the terminals 120-1 to 120-N may include an RF transmitting means for up-converting and amplifying the frequency of the transmitted signal, and an RF receiving means for low-noise amplifying the received signal and down-converting the frequency. . The communication unit of the terminals 120-1 to 120-N may include at least one of a wireless communication module and a wired communication module. In addition, the wireless communication module is a configuration for transmitting and receiving data according to a wireless communication method, and when the terminals 120-1 to 120-N use wireless communication, a wireless network communication module, a wireless LAN communication module, and a wireless fan communication module Using any one of the data can be transmitted and received to the cloud streaming server (110). In addition, the wired communication module is for transmitting and receiving data by wire. The wired communication module may connect to the network 130 through a wire and transmit/receive data to/from the cloud streaming server 110 . That is, the terminals 120-1 to 120-N may connect to the network 130 using a wireless communication module or a wired communication module, and may transmit/receive data to and from the cloud streaming server 110 through the network 130 . In particular, the network 130 according to the present invention may communicate with the cloud streaming server 110 or other terminals 120-1 to 120-N to transmit and receive data required to upload or download content based on cloud computing.

또한, 단말 장치(120-1~ 120-N)의 제어부는 운영 체제((OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 예를 들어, 제어부는 클라우드 스트리밍 서버(110)에 접속하는 과정 전반을 제어할 수 있다. 별도의 서비스 어플리케이션을 통해 클라우드 스트리밍 서버(110)에 접속하는 경우, 사용자의 요청에 따라 서비스 어플리케이션을 실행되는 과정 전반을 제어할 수 있으며, 실행과 동시에 클라우드 스트리밍 서버(110)로 서비스 이용 요청이 전송되도록 제어할 수 있으며, 이때 사용자 인증에 필요한 단말(120-1~ 120-N)의 정보가 함께 전송되도록 제어할 수 있다.In addition, the control unit of the terminal devices 120-1 to 120-N may be a process device for driving an operating system (OS, Operation System) and each configuration. For example, the control unit is a cloud streaming server 110 . When accessing the cloud streaming server 110 through a separate service application, it is possible to control the overall process of executing the service application according to the user's request, and simultaneously with the execution of the cloud It is possible to control the request to use the service to be transmitted to the streaming server 110, and at this time, it is possible to control so that information of the terminals 120-1 to 120-N required for user authentication is transmitted together.

또한, 단말(120-1~ 120-N)의 제어부는 사용자의 요청에 따라 단말(120-1~ 120-N)의 저장부에 저장된 특정 컨텐츠를 실행할 수 있다. 이때, 제어부는 컨텐츠 실행에 따른 컨텐츠 사용 이력을 컨텐츠 사용 정보로 저장할 수 있다.In addition, the controller of the terminals 120-1 to 120-N may execute specific content stored in the storage unit of the terminals 120-1 to 120-N according to a user's request. In this case, the controller may store the content use history according to the content execution as content use information.

또한, 단말(120-1~ 120-N)의 제어부는 컨텐츠를 실행하기 위한 실행 데이터와, 컨텐츠에 대한 속성 정보를 포함하는 컨텐츠 정보와, 컨텐츠 사용 이력에 따른 정보인 컨텐츠 사용 정보를 함께 클라우드 스트리밍 서버(110)로 전송하여 업로드 할 수 있다. 이후, 제어부는 클라우드 스트리밍 서버(110)에 전송하여 업로드된 컨텐츠에 대해서는 사용자의 요청에 따라 단말(120-1~ 120-N)의 저장부에서 삭제할 수 있으며, 클라우드 스트리밍 서버(110)에 접속하여 클라우드 스트리밍 서버(110)를 통해 컨텐츠를 실행하여 이용할 수도 있다.In addition, the control unit of the terminals 120-1 to 120-N performs cloud streaming together with execution data for executing the content, content information including attribute information about the content, and content use information, which is information according to the content use history. It can be uploaded by sending it to the server 110 . Thereafter, the control unit can delete the uploaded content by transmitting to the cloud streaming server 110 from the storage unit of the terminals 120-1 to 120-N according to the user's request, and accessing the cloud streaming server 110 to Content may be executed and used through the cloud streaming server 110 .

또한, 단말(120-1~ 120-N)의 제어부는 클라우드 스트리밍 서버(110)에 접속하여 다른 단말(120-1~ 120-N)로부터 컨텐츠를 다운로드한 후 저장부에 저장되도록 제어할 수도 있으며, 클라우드 스트리밍 서버(110)를 통해 컨텐츠 실행 시, 실행에 필요한 데이터만을 수신한 후 컨텐츠가 실행되도록 제어할 수도 있다.In addition, the control unit of the terminals (120-1 to 120-N) may be controlled to be stored in the storage after accessing the cloud streaming server 110 to download the content from the other terminals (120-1 to 120-N), , when executing content through the cloud streaming server 110, it is also possible to control the content to be executed after receiving only the data necessary for execution.

네트워크(130)는 클라우드 스트리밍 서버(110) 및 단말(120-1~ 120-N) 사이 에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(130)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크(130)의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 1에서 클라우드 스트리밍 서버(110)와 단말(120-1~ 120-N) 사이에 사용되는 네트워크는 단말(120-1~ 120-N)들 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.The network 130 is a concept that provides a path for transferring data between the cloud streaming server 110 and the terminals 120-1 to 120-N, and encompasses both existing networks and networks that can be developed in the future. . For example, the network 130 is a wired/wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between mobile bodies and between the mobile body and the outside of the mobile body, and communication between the earth station and the earth station using satellites. It may be a satellite communication network providing Meanwhile, the transmission method standard of the network 130 is not limited to the existing transmission method standard, and may include all transmission method standards to be developed in the future. In addition, the network used between the cloud streaming server 110 and the terminals 120-1 to 120-N in FIG. 1 may be different from the network used between the terminals 120-1 to 120-N, It may be the same.

도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.FIG. 2 is a block diagram illustrating an example of the cloud streaming server shown in FIG. 1 .

도 2를 참조하면, 도 1에 도시된 클라우드 스트리밍 서버(110)는 통신부(210), 치환 렌더링부(220), 프레임 검출부(230), 캡처부(240), 스트리밍부(250) 및 저장부(260)를 포함한다.Referring to FIG. 2 , the cloud streaming server 110 shown in FIG. 1 includes a communication unit 210 , a substitution rendering unit 220 , a frame detection unit 230 , a capture unit 240 , a streaming unit 250 and a storage unit. (260).

통신부(210)는 도 1에 도시된 네트워크와 같은 통신망을 통해 다수의 단말들과 관련된 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(210)는 클라우드 스트리밍 서비스에 대한 요청을 단말로부터 수신하고, 단말이 요청한 클라우드 스트리밍 서비스에 상응하는 어플리케이션의 실행결과를 단말로 제공할 수 있다.The communication unit 210 serves to transmit and receive information related to a plurality of terminals through a communication network such as the network shown in FIG. 1 . In particular, the communication unit 210 according to an embodiment of the present invention may receive a request for a cloud streaming service from a terminal, and provide the terminal with an execution result of an application corresponding to the cloud streaming service requested by the terminal.

이 때, 단말이 요청한 클라우드 스트리밍 서비스에 대해서 클라우드 스트리밍 서버로부터 어플리케이션 실행결과를 수신할 수 있다.At this time, it is possible to receive the application execution result from the cloud streaming server for the cloud streaming service requested by the terminal.

치환 렌더링부(220)는 어플리케이션 실행화면에 포함된 적어도 하나의 그림 데이터를 용량이 감소된 적어도 하나의 변형 데이터로 치환하여 렌더링한다.The substitution rendering unit 220 renders by substituting at least one image data included in the application execution screen with at least one modified data having a reduced capacity.

비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이미지 기반의 클라우드 스트리밍 기법과 같이 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.The video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to the screen on which the application operates. However, when the frame-to-frame change is not large on the screen on which the application operates, still image encoding is performed by capturing only the changed area of the frame that has changed compared to the previous frame, as in the image-based cloud streaming technique, and displayed on the user's terminal. It is possible to display in a way that shows the same part except for the change area and changes only the change area.

이러한 이미지 기반의 클라우드 스트리밍 서비스에서 CPU 등의 자원을 가장 많이 소비하게 하게 하는 구성 요소가 바로 그림 데이터이다. 이 때, 그림 데이터는 자연 이미지나 합성 이미지 중 적어도 하나를 포함할 수 있으며, 적어도 하나의 컬러를 포함하는 이미지일 수 있다. 또한, 그림 데이터는 텍스트와 같은 일반 데이터에 비해서 렌더링을 수행할 때 클라우드 스트리밍 서버에서 더 많은 리소스를 사용할 수 있다. In this image-based cloud streaming service, the component that consumes the most resources such as CPU is picture data. In this case, the picture data may include at least one of a natural image and a synthetic image, and may be an image including at least one color. In addition, picture data can use more resources on the cloud streaming server when rendering compared to general data such as text.

렌더링은 컴퓨터 프로그램을 사용하여 여러 씬들로부터 영상을 만들어내는 과정을 말할 수 있다. 하나의 씬 파일에는 정확히 정의된 언어나 자료 구조로 이루어진 개체들이 있으며, 여기에는 가상의 씬을 표현하는 도형의 배열, 시점, 텍스처 매핑, 조명, 셰이딩 정보 등이 포함될 수 있다. 이와 같은 씬 파일에 포함된 자료들은 렌더링되어 결과물로서 디지털 이미지, 래스터 그래픽스 이미지 파일을 만들어낼 수 있다. 렌더링 방식은 기술적으로 매우 다양하지만 그래픽 처리 장치(GPU) 같은 렌더링 장치를 통한 그래픽스 파이프라인을 따라 씬 파일에 저장되어있는 3차원 연출로부터 2차원의 그림을 만들어낸다는 점은 동일하다. 또한, GPU는 중앙 처리 장치(CPU)가 복잡한 렌더링 계산을 수행할 때 도움을 주도록 만들어진 장치이다.Rendering can refer to the process of creating images from multiple scenes using a computer program. One scene file contains objects of a precisely defined language or data structure, which may include an array of figures representing a virtual scene, viewpoint, texture mapping, lighting, shading information, and the like. Materials included in such a scene file can be rendered to create a digital image or raster graphics image file as a result. Rendering methods are technically very diverse, but the same is true in that they create a two-dimensional picture from a three-dimensional rendering stored in a scene file along a graphics pipeline through a rendering device such as a graphics processing unit (GPU). Also, a GPU is a device designed to help when a central processing unit (CPU) performs complex rendering calculations.

그러나 클라우드 스트리밍 서비스 시, 어플리케이션 실행화면을 렌더링한 화면을 사용자가 보는 것이 아니기 때문에 높은 품질로 렌더링할 필요가 없을 수 있다. 즉, 그림 데이터를 좋은 품질로 렌더링할 필요가 없다는 의미와 상통할 수 있다. However, in the case of a cloud streaming service, it may not be necessary to render in high quality because the user does not see the screen on which the application execution screen is rendered. In other words, it can correspond to the meaning of not having to render picture data in good quality.

따라서, 본 발명에서는 클라우드 스트리밍 서버에서 그림 데이터를 렌더링할 때 사용되는 리소스를 절약하기 위해서, 그림 데이터를 보다 용량이 작은 변형 데이터로 치환한 뒤 렌더링을 수행할 수 있다. 이 때, 변형 데이터는 그림 데이터의 품질을 저하시켜 용량을 감소시킨 데이터에 상응할 수 있다. 예를 들어, 그림 데이터에서 컬러 수를 줄여서 용량을 감소시킨 변형 데이터로 치환할 수 있다.Therefore, in the present invention, in order to save resources used when rendering picture data in the cloud streaming server, the rendering can be performed after replacing the picture data with modified data having a smaller capacity. In this case, the deformed data may correspond to the data whose capacity is reduced by degrading the quality of the picture data. For example, by reducing the number of colors in picture data, it can be replaced with modified data with reduced capacity.

이 때, 어플리케이션 실행화면에 치환되어 포함되는 적어도 하나의 변형 데이터는 각각 치환 표식을 포함할 수 있다. 치환 표식은 추후에 캡처를 수행할 때 캡처될 대상이 변형 데이터인지 여부를 확인하기 위해 사용될 수 있다. At this time, the at least one transformation data substituted and included in the application execution screen may each include a substitution mark. The substitution mark may be used to confirm whether the object to be captured is modified data when capturing is performed later.

이 때, 치환 표식은 변형 데이터와 그림 데이터가 매핑되어 저장될 때 함께 저장될 수도 있다. 또한, 치환 표식은 각각의 변형 데이터마다 고유한 형태로 포함될 수 있고, 또는 모두 동일한 형태의 치환 표식이 포함될 수도 있다.In this case, the substitution mark may be stored together when the transformation data and the picture data are mapped and saved. In addition, the substitution mark may be included in a unique form for each variant data, or all of the substitution marks may be included in the same form.

이 때, 매핑 테이블에 적어도 하나의 그림 데이터와 적어도 하나의 변형 데이터를 매핑하여 저장할 수 있다. 예를 들어 매핑 테이블을 생성하고, 테이블의 항목마다 치환된 변형 데이터와 변형 데이터에 상응하는 그림 데이터를 저장할 수 있다. In this case, at least one picture data and at least one transformation data may be mapped and stored in the mapping table. For example, you can create a mapping table, and store the substituted transformation data for each table item and the picture data corresponding to the transformation data.

프레임 검출부(230)는 렌더링된 어플리케이션 실행화면에서 단말에게 전송될 이미지를 캡처할 프레임을 검출한다.The frame detector 230 detects a frame to capture an image to be transmitted to the terminal on the rendered application execution screen.

이 때, 렌더링된 어플리케이션의 실행화면에 상응하는 프레임들 중 프레임간의 변화가 적은 구간들을 검출하고, 프레임간의 변화가 적은 구간에서 이미지를 캡처할 프레임을 검출할 수 있다. 예를 들어, 프레임간의 변화가 많은 구간은 캡처할 이미지의 수가 많아 이미지 기반의 클라우드 스트리밍 서비스를 제공하는 것이 비효율적일 수 있다. 따라서, 이와 같이 변화가 많은 구간은 비디오 코덱 기반의 클라우드 스트리밍 기법을 통해 서비스를 수행하고, 프레임간 변화가 적은 구간에서만 이미지 기반의 클라우드 스트리밍 서비스를 수행하기 위해 변화된 프레임에서 이미지를 캡처할 수 있다.In this case, it is possible to detect sections with little change between frames among frames corresponding to the execution screen of the rendered application, and detect a frame for capturing an image in a section with little change between frames. For example, it may be inefficient to provide an image-based cloud streaming service because the number of images to be captured is large in a section where there is a lot of change between frames. Accordingly, in such a section with many changes, a service is performed through a video codec-based cloud streaming technique, and an image can be captured from a changed frame in order to perform an image-based cloud streaming service only in a section with little change between frames.

캡처부(240)는 프레임이 적어도 하나의 변형 데이터에 상응하는지 여부에 따라 프레임을 적어도 하나의 그림 데이터로 복원하여 이미지를 캡처한다. 렌더링을 수행할 때 치환된 변형 데이터에서 이미지를 캡처한다면, 용량을 감소시키기 위해 화질이 저하된 상태에서 캡처를 하게 되므로 사용자에게도 화질이 저하된 이미지를 제공하게 될 수 있다. 따라서, 사용자에게는 기본의 방식과 동일하게 화질을 보장하여 서비스를 제공하기 위해서 변형 데이터를 원래의 그림 데이터로 복원하여 캡처할 수 있다.The capture unit 240 captures an image by restoring the frame to at least one picture data according to whether the frame corresponds to at least one piece of modified data. If an image is captured from the substituted transformed data when rendering, the image is captured in a state in which the image quality is lowered to reduce the capacity, so that the image with the lowered image quality may be provided to the user. Therefore, in order to provide a service by guaranteeing image quality in the same way as in the basic method, the deformed data can be restored to the original picture data and captured.

이 때, 프레임에 적어도 하나의 그림 데이터가 치환되었다는 치환 표식이 포함되어 있는 경우에 프레임이 적어도 하나의 변형 데이터에 상응하는 것으로 판단할 수 있다. 데이터를 치환할 때, 그림 데이터와 치환되는 변형 데이터에는 해당 데이터가 치환되었다는 것을 알리기 위해 치환 표식을 포함할 수 있다. 따라서, 캡처하기 위한 프레임이 치환된 변형 데이터인지 확인하기 위해서는 프레임에 상응하는 데이터에 치환 표식이 포함되어있는지 여부를 확인함으로써 판단할 수 있다.In this case, when the frame includes a substitution mark indicating that at least one picture data has been replaced, it may be determined that the frame corresponds to the at least one modified data. When replacing data, the figure data and the transformed data to be replaced may include a replacement mark to indicate that the corresponding data has been replaced. Therefore, in order to check whether the frame to be captured is the substituted modified data, it can be determined by checking whether the data corresponding to the frame includes the substitution mark.

예를 들어, 어플리케이션 실행화면에서 치환된 적어도 하나의 변형 데이터와 적어도 하나의 그림 데이터를 매핑하여 저장하는 매핑 테이블에서 프레임에 상응하는 변형 데이터를 검색할 수 있다. 이 후 검색된 변형 데이터와 매핑되어 테이블에 저장된 그림 데이터로 어플리케이션 실행화면을 복원할 수 있다. For example, the transformation data corresponding to the frame may be searched for in a mapping table that maps and stores at least one transformation data and at least one picture data substituted on the application execution screen. After that, the application execution screen can be restored with the picture data stored in the table that is mapped with the found transformation data.

또한, 프레임에 상응하는 변형 데이터에 포함된 치환 표식을 이용하여 매핑 테이블에서 프레임에 상응하는 그림 데이터를 획득할 수도 있다. 예를 들어, 적어도 하나의 변형 데이터마다 각각 상이한 치환 표식을 가질 수 있고, 치환 표식도 매핑 테이블에 함께 매핑하여 저장하는 경우에 치환 표식을 주소값처럼 검색하여 함께 매핑된 그림 데이터를 획득할 수도 있다. In addition, picture data corresponding to a frame may be obtained from the mapping table by using a substitution mark included in the deformation data corresponding to the frame. For example, each at least one piece of transformation data may have a different replacement mark, and when the replacement mark is also mapped and stored in the mapping table, the replacement mark is searched like an address value to obtain picture data mapped together. .

이 때, 어플리케이션 실행화면에서 치환된 적어도 하나의 변환 데이터와 적어도 하나의 그림 데이터를 서로 매핑하는 방법은 매핑 테이블을 이용한 방법 말고도 다양한 방법이 사용될 수 있다.In this case, as a method of mapping at least one converted data substituted on the application execution screen and at least one picture data to each other, various methods other than a method using a mapping table may be used.

이 때, 프레임의 이전 프레임과 비교하여 변화된 부분에 상응하는 이미지를 캡처할 수 있다. 예를 들어, 어플리케이션 실행화면을 구성하는 많은 프레임들 중에서 현재 프레임과 이전 프레임을 비교하고, 두 프레임간에 차이가 있는 부분을 변화된 부분으로 판단하여 이미지로 캡처할 수 있다. 또한, 변화된 부분이 프레임 상에서 복수의 영역으로 검출되는 경우에는, 복수의 영역을 포함하는 하나의 영역을 이미지로 캡처하거나 복수의 영역을 각각 여러 이미지로 캡처할 수도 있다.In this case, it is possible to capture an image corresponding to the changed portion compared to the previous frame of the frame. For example, it is possible to compare the current frame with the previous frame among many frames constituting the application execution screen, determine the difference between the two frames as the changed part, and capture it as an image. Also, when the changed portion is detected as a plurality of regions on the frame, one region including the plurality of regions may be captured as an image or the plurality of regions may be captured as multiple images, respectively.

이 때, 프레임이 적어도 하나의 변형 데이터에 상응하지 않는 경우에 복원을 수행하지 않고 이미지를 캡처할 수 있다. 즉, 이미지를 캡처하는 부분이 치환된 부분이 아니기 때문에 복원하는 과정 없이 바로 캡처를 수행할 수 있다. In this case, when the frame does not correspond to the at least one piece of deformation data, the image may be captured without performing restoration. That is, since the part where the image is captured is not a substituted part, the capture can be performed immediately without a process of restoration.

스트리밍부(250)는 이미지를 스틸 이미지 인코딩하여 단말로 전송한다.The streaming unit 250 encodes the still image and transmits it to the terminal.

이 때, 여러 스틸 이미지 인코딩 방식 중 이미지에 상응하는 방식을 선택하여 스틸 이미지 인코딩을 수행할 수 있다. In this case, still image encoding may be performed by selecting a method corresponding to an image among several still image encoding methods.

이 때, 스틸 이미지 인코딩 방식은 클라우드 스트리밍 서버(110)에서 발생하는 부하량, 서비스 속도, 이미지의 화질 또는 인코딩된 이미지를 수신하여 렌더링하는 단말의 성능 등을 고려하여 결정할 수 있다. 예를 들어, 클라우드 스트리밍 서비스의 속도를 향상시키기 위해서는 압축률이 높고 부하가 적게 발생하는 팔렛트 PNG 인코딩 방식으로 이미지를 압축할 수 있다. 또한, 부하량은 상관하지 않고 이미지의 화질을 좋게 제공하고 싶다면, PNG32bit 인코딩 방식 또는 JPEG 인코딩 방식 등을 이용하여 이미지를 압축할 수 있다.In this case, the still image encoding method may be determined in consideration of the load generated by the cloud streaming server 110, service speed, image quality, or performance of a terminal that receives and renders the encoded image. For example, in order to improve the speed of a cloud streaming service, an image may be compressed using a palette PNG encoding method that has a high compression rate and a low load. In addition, if you want to provide a good image quality regardless of the load, you can compress the image using a PNG32bit encoding method or a JPEG encoding method.

저장부(260)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.The storage unit 260 stores various information generated in the process of the cloud streaming service according to the embodiment of the present invention as described above.

실시예에 따라, 저장부(260)는 클라우드 스트리밍 서버(110)와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부(260)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the storage unit 260 may be configured independently of the cloud streaming server 110 to support a function for a cloud streaming service. In this case, the storage unit 260 may operate as a separate mass storage and may include a control function for performing an operation.

또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버(110)는 하나 이상의 서버로 구현될 수 있다.In addition, the cloud streaming server 110 configured as described above may be implemented as one or more servers.

한편, 클라우드 스트리밍 서버(110)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the cloud streaming server 110 is equipped with a memory can store information in the device. For one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in another implementation, the memory may be a non-volatile memory unit. In one embodiment, the storage device is a computer-readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 클라우드 스트리밍 서버(110)를 통해 이미지 기반의 클라우드 스트리밍 시 렌더링을 수행할 때 발생하는 부하량을 감소시켜 이미지 클라우드 스트리밍 시스템의 효율을 향상시킬 수 있다.It is possible to improve the efficiency of the image cloud streaming system by reducing the load generated when rendering is performed during image-based cloud streaming through the cloud streaming server 110 as described above.

또한, 사용자에게 제공되는 서비스 품질은 유지하면서도 클라우드 스트리밍 서버의 리소스는 절약할 수 있어 보다 효과적으로 클라우드 스트리밍 서비스 시스템을 운용하는 것이 가능하다.In addition, it is possible to more effectively operate the cloud streaming service system by saving the resources of the cloud streaming server while maintaining the service quality provided to the user.

도 3은 본 발명의 일실시예에 따른 데이터 치환 과정을 나타낸 도면이다.3 is a diagram illustrating a data replacement process according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 데이터 치환 과정은 먼저 어플리케이션 실행화면을 구성하는 프레임들(310) 중에서 그림 데이터에 상응하는 프레임(311)을 검색하는 과정을 수행할 수 있다.Referring to FIG. 3 , in the data replacement process according to an embodiment of the present invention, a process of searching for a frame 311 corresponding to picture data from among frames 310 constituting an application execution screen may be performed first.

클라우드 스트리밍 서비스 시, 어플리케이션 실행화면을 렌더링한 화면을 사용자가 보는 것이 아니기 때문에 높은 품질로 렌더링할 필요가 없을 수 있다. 즉, 그림 데이터를 좋은 품질로 렌더링할 필요가 없다는 의미와 상통할 수 있다.In the case of cloud streaming service, it may not be necessary to render in high quality because the user does not see the rendered screen of the application execution screen. In other words, it can correspond to the meaning of not having to render picture data in good quality.

따라서, 본 발명에서는 클라우드 스트리밍 서버에서 그림 데이터를 렌더링할 때 사용되는 리소스를 절약하기 위해서, 그림 데이터를 보다 용량이 작은 변형 데이터로 치환한 뒤 렌더링을 수행할 수 있는데, 이를 위해 먼저 어플리케이션 실행화면에서 그림 데이터를 검색할 수 있다.Therefore, in the present invention, in order to save resources used when rendering picture data in the cloud streaming server, the rendering can be performed after replacing the picture data with modified data having a smaller capacity. Picture data can be retrieved.

이 후, 검색된 그림 데이터에 상응하는 프레임(311)을 변형 데이터에 상응하는 프레임(321)으로 치환할 수 있다.Thereafter, the frame 311 corresponding to the retrieved picture data may be replaced with a frame 321 corresponding to the modified data.

이 때, 어플리케이션 실행화면에 치환되어 포함되는 적어도 하나의 변형 데이터, 즉 프레임(321)은 치환 표식을 포함할 수 있다. 이 때, 치환 표식은 추후에 캡처을 수행할 때 캡처될 대상이 변형 데이터인지 여부를 확인하기 위해 사용될 수 있다. At this time, at least one transformation data included in the application execution screen substituted for, that is, the frame 321 may include a substitution mark. In this case, the substitution mark may be used to confirm whether a target to be captured is modified data when capturing is performed later.

이 때, 그림 데이터에 상응하는 프레임(311)과 변형 데이터에 상응하는 프레임(321)을 매핑하여 저장할 수 있다.In this case, the frame 311 corresponding to the picture data and the frame 321 corresponding to the deformation data may be mapped and stored.

또한, 치환 표식은 변형 데이터와 그림 데이터가 매핑되어 저장될 때 함께 저장될 수도 있다. 또한, 치환 표식은 각각의 변형 데이터마다 고유한 형태로 포함될 수 있고, 또는 모두 동일한 형태의 치환 표식이 포함될 수도 있다.In addition, the substitution mark may be stored together when the transformation data and the picture data are mapped and saved. In addition, the substitution mark may be included in a unique form for each variant data, or all of the substitution marks may be included in the same form.

이 때, 매핑 테이블을 이용하여 그림 데이터에 상응하는 프레임(311)과 변형 데이터에 상응하는 프레임(321)을 매핑하여 저장할 수 있다. 예를 들어 매핑 테이블을 생성하고, 테이블의 항목마다 치환된 변형 데이터와 변형 데이터에 상응하는 그림 데이터를 저장할 수 있다.In this case, the frame 311 corresponding to the picture data and the frame 321 corresponding to the deformation data may be mapped and stored using the mapping table. For example, you can create a mapping table, and store the substituted transformation data for each table item and the picture data corresponding to the transformation data.

도 4는 본 발명의 일실시예에 따른 이미지 캡처 과정을 나타낸 도면이다.4 is a diagram illustrating an image capturing process according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 이미지 캡처 과정은 이전 프레임(410)과 현재 프레임(420)을 비교하여, 두 프레임간의 차이가 있는 부분을 변화된 부분으로 판단하여 이미지로 캡처할 수 있다.4, in the image capturing process according to an embodiment of the present invention, the previous frame 410 and the current frame 420 are compared, and the difference between the two frames is determined as the changed part and captured as an image. can

예를 들어, 도 4의 이전 프레임(410)과 현재 프레임(420)을 비교하면, 이전 프레임(410)의 A부터 D까지 4개의 영역 중에서 A와 B에 해당하는 두 개의 영역이 현재 프레임(420)에서는 A'와 B'로 변한 것을 확인할 수 있다. 즉, 실제 화면에서 해당 영역의 다른 내용이 표시되었다는 의미와 상통할 수 있다. For example, comparing the previous frame 410 and the current frame 420 of FIG. 4 , two regions corresponding to A and B among the four regions A to D of the previous frame 410 are the current frame 420 . ), it can be seen that A' and B' are changed. That is, it may correspond to the meaning that other contents of the corresponding area are displayed on the actual screen.

따라서, 클라우드 스트리밍 서버의 캡처단에서는 변화된 A'와 B'에 해당하는 영역을 캡처 이미지(430)로 판단하고 캡처를 수행할 수 있다.Therefore, the capture end of the cloud streaming server may determine the area corresponding to the changed A' and B' as the capture image 430 and perform the capture.

이와 같은 캡처 이미지(430)는 비교되는 프레임에 따라 다양하게 생성될 수 있다. 또한, 캡처 이미지(430)는 하나의 이미지가 아닌 여러 이미지로 생성될 수도 있다. Such a captured image 430 may be generated in various ways according to the frame to be compared. Also, the captured image 430 may be generated as multiple images instead of one image.

예를 들어, 이전 프레임과 현재 프레임을 비교하였을 때, 서로 맞닿지 않는 여러 영역이 변했다고 가정한다면, 변화가 발생한 영역을 각각 캡처 이미지로 생성하여 캡처를 수행할 수도 있다.For example, if it is assumed that several regions that do not come into contact with each other have changed when the previous frame and the current frame are compared, capturing may be performed by generating each changed region as a capture image.

또한, 변화가 발생한 여러 영역을 모두 포함하는 하나의 영역을 새롭게 생성하고, 새롭게 생성한 영역을 하나의 캡처 이미지로 생성할 수도 있다. 이와 같이 여러 개의 캡처 영역을 하나의 영역으로 합쳐서 캡처 이미지를 생성함으로써, 후에 캡처된 이미지를 스틸 이미지 인코딩할 때 한번의 인코딩만으로 서비스를 수행할 수 있어 서버에서 사용되는 리소스를 절약할 수도 있다.In addition, one area including all of the various areas in which changes have occurred may be newly created, and the newly created area may be generated as one captured image. By merging several capture areas into a single area in this way to create a captured image, when encoding a captured image later, a service can be performed with only one encoding, thereby saving resources used in the server.

따라서, 캡처를 수행하는 방법은 해당하는 클라우드 스트리밍 서버의 성능이나 이미지를 수신하는 단말의 성능을 고려하여 다양한 방법으로 수행될 수 있으며, 관리자에 설정에 따라 자유롭게 설정 변경이 가능할 수 있다.Therefore, the method of performing the capture may be performed in various ways in consideration of the performance of the corresponding cloud streaming server or the performance of the terminal receiving the image, and the setting may be freely changed according to the setting of the administrator.

도 5는 본 발명의 일실시예에 따른 매핑 테이블을 나타낸 도면이다.5 is a diagram illustrating a mapping table according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 매핑 테이블(510)은 치환 표식, 변형 데이터, 그림 데이터를 포함할 수 있다.Referring to FIG. 5 , a mapping table 510 according to an embodiment of the present invention may include a substitution mark, transformation data, and picture data.

본 발명에 따르면, 어플리케이션 실행화면을 렌더링할 때, 렌더링한 화면이 사용자에게 출력되는 것이 아니기 때문에 렌더링 화면이 높은 품질로 생성될 필요가 없다. According to the present invention, when rendering an application execution screen, the rendered screen does not need to be generated with high quality because the rendered screen is not output to the user.

따라서, 렌더링에 많은 리소스를 필요로 하는 그림 데이터들의 경우 렌더링 전에 데이터 용량이 감소된 변형 데이터로 치환된 후 렌더링을 수행할 수 있는데, 클라우드 스트리밍 서버의 캡처단에서 캡처를 수행할 때에는 치환된 데이터를 다시 그림 데이터로 복원하는 과정을 수행해야 할 수 있다. 이는 이미지가 캡처되는 프레임이 데이터 용량이 감소된 변형 데이터인 경우에는 실제로 사용자에게 출력되는 이미지의 화질이 떨어질 수 있기 때문일 수 있다.Therefore, in the case of picture data that requires a lot of resources for rendering, rendering can be performed after being substituted with transformed data with reduced data capacity before rendering. You may need to perform the process of restoring the picture data again. This may be because, when the frame in which the image is captured is modified data with reduced data capacity, the quality of the image actually output to the user may deteriorate.

따라서 복원할 때 변형 데이터에 상응하는 그림 데이터를 수월하게 획득하기 위해서 치환할 때 도 5와 같은 매핑 테이블을 생성하여 저장해 둘 수 있다.Therefore, in order to easily obtain picture data corresponding to the deformed data when restoring, a mapping table as shown in FIG. 5 can be created and stored when replacing.

이 때, 치환 표식은 그림 데이터와 치환되는 변형 데이터에 포함되는 표식으로써, 캡처단에서 캡처를 수행하기 위해 검출된 프레임이 치환된 변형 데이터인지 여부를 확인하기 위한 수단일 수 있다. 즉, 프레임에 치환 표식이 포함되어있다면, 해당 프레임을 변형 데이터로 판단하고 복원 과정을 수행한 뒤 이미지를 캡처할 수 있다.In this case, the substitution mark is a mark included in the transformed data to be substituted with the picture data, and may be a means for confirming whether the frame detected to perform the capture by the capture stage is the substituted transformed data. That is, if the frame includes a substitution mark, the image can be captured after determining the frame as deformed data and performing a restoration process.

이 때, 치환 표식은 도 5와 같이 각각의 변형 데이터마다 고유하게 생성될 수도 있다. 이와 같이 고유하게 생성된 치환 표식을 매핑 테이블(510)에 함께 저장함으로써, 변형 데이터에 대한 그림 데이터를 매핑 테이블에서 검색할 때, 치환 표식을 주소값처럼 사용하여 그림 데이터를 획득할 수도 있다.In this case, the substitution mark may be uniquely generated for each modified data as shown in FIG. 5 . By storing the uniquely generated substitution mark together in the mapping table 510, when retrieving the figure data for the deformed data from the mapping table, the figure data may be obtained by using the substitution mark as an address value.

또한, 변형 데이터들이 모두 동일한 형식의 치환 표식을 포함할 수도 있는데, 이 때에는 변형 데이터 자체를 매핑 테이블(510)의 주소값처럼 사용하여 그림 데이터를 획득할 수 있다.Also, all of the transformed data may include a substitution mark of the same format. In this case, the picture data may be obtained by using the transformed data itself as an address value of the mapping table 510 .

이 때, 어플리케이션 실행화면에서 치환된 변환 데이터와 그림 데이터를 매핑하는 방법은 도 5와 같은 매핑 테이블(510)을 이용한 방법 말고도 다양한 방법이 사용될 수 있다.In this case, as a method of mapping the substituted conversion data and the picture data on the application execution screen, various methods other than the method using the mapping table 510 as shown in FIG. 5 may be used.

도 6은 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.6 is an operation flowchart illustrating an image cloud streaming service method through data substitution according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은 어플리케이션 실행화면에 포함된 적어도 하나의 그림 데이터를 용량이 감소된 적어도 하나의 변형 데이터로 치환하여 렌더링한다(S610).6, the image cloud streaming service method through data substitution according to an embodiment of the present invention renders by replacing at least one picture data included in the application execution screen with at least one modified data with reduced capacity. (S610).

이러한 이미지 기반의 클라우드 스트리밍 서비스에서 CPU 등의 자원을 가장 많이 소비하게 하게 하는 구성 요소가 바로 그림 데이터이다. 이 때, 그림 데이터는 자연 이미지나 합성 이미지 중 적어도 하나를 포함할 수 있으며, 적어도 하나의 컬러를 포함하는 이미지일 수 있다. 또한, 그림 데이터는 텍스트와 같은 일반 데이터에 비해서 렌더링을 수행할 때 클라우드 스트리밍 서버에서 더 많은 리소스를 사용할 수 있다. The component that consumes the most resources such as CPU in this image-based cloud streaming service is picture data. In this case, the picture data may include at least one of a natural image and a synthetic image, and may be an image including at least one color. In addition, picture data can use more resources on the cloud streaming server when rendering compared to general data such as text.

렌더링은 컴퓨터 프로그램을 사용하여 여러 씬들로부터 영상을 만들어내는 과정을 말할 수 있다. 하나의 씬 파일에는 정확히 정의된 언어나 자료 구조로 이루어진 개체들이 있으며, 여기에는 가상의 씬을 표현하는 도형의 배열, 시점, 텍스처 매핑, 조명, 셰이딩 정보 등이 포함될 수 있다. 이와 같은 씬 파일에 포함된 자료들은 렌더링되어 결과물로서 디지털 이미지, 래스터 그래픽스 이미지 파일을 만들어낼 수 있다. 렌더링 방식은 기술적으로 매우 다양하지만 그래픽 처리 장치(GPU) 같은 렌더링 장치를 통한 그래픽스 파이프라인을 따라 씬 파일에 저장되어있는 3차원 연출로부터 2차원의 그림을 만들어낸다는 점은 동일하다. 또한, GPU는 중앙 처리 장치(CPU)가 복잡한 렌더링 계산을 수행할 때 도움을 주도록 만들어진 장치이다.Rendering can refer to the process of creating images from multiple scenes using a computer program. One scene file contains objects of a precisely defined language or data structure, which may include an array of figures representing a virtual scene, viewpoint, texture mapping, lighting, and shading information. Materials included in such a scene file can be rendered to create a digital image or raster graphics image file as a result. Rendering methods are technically very diverse, but the same is true in that they create a two-dimensional picture from a three-dimensional rendering stored in a scene file along a graphics pipeline through a rendering device such as a graphics processing unit (GPU). Also, a GPU is a device designed to help when a central processing unit (CPU) performs complex rendering calculations.

이 때, 어플리케이션 실행화면에 치환되어 포함되는 적어도 하나의 변형 데이터는 각각 치환 표식을 포함할 수 있다. 치환 표식은 추후에 캡처을 수행할 때 캡처될 대상이 변형 데이터인지 여부를 확인하기 위해 사용될 수 있다. At this time, the at least one transformation data substituted and included in the application execution screen may each include a substitution mark. The substitution mark may be used to confirm whether the object to be captured is modified data when capturing is performed later.

이 때, 치환 표식은 변형 데이터와 그림 데이터가 매핑되어 저장될 때 함께 저장될 수도 있다. 또한, 치환 표식은 각각의 변형 데이터마다 고유한 형태로 포함될 수 있고, 또는 모두 동일한 형태의 치환 표식이 포함될 수도 있다.In this case, the substitution mark may be stored together when the transformation data and the picture data are mapped and saved. In addition, substitution marks may be included in a unique form for each variant data, or substitution marks of the same form may be included in all of them.

이 때, 매핑 테이블에 적어도 하나의 그림 데이터와 적어도 하나의 변형 데이터를 매핑하여 저장할 수 있다. 예를 들어 매핑 테이블을 생성하고, 테이블의 항목마다 치환된 변형 데이터와 변형 데이터에 상응하는 그림 데이터를 저장할 수 있다.In this case, at least one picture data and at least one transformation data may be mapped and stored in the mapping table. For example, you can create a mapping table, and store the substituted transformation data for each table item and the picture data corresponding to the transformation data.

또한, 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은 렌더링된 어플리케이션 실행화면에서 단말에게 전송될 이미지를 캡처할 프레임을 검출한다(S620).In addition, the image cloud streaming service method through data substitution according to an embodiment of the present invention detects a frame to capture an image to be transmitted to the terminal in the rendered application execution screen (S620).

또한, 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은 프레임이 적어도 하나의 변형 데이터에 상응하는지 여부에 따라 프레임을 적어도 하나의 그림 데이터로 복원하여 이미지를 캡처한다(S630). 렌더링을 수행할 때 치환된 변형 데이터에서 이미지를 캡처한다면, 용량을 감소시키기 위해 화질이 저하된 상태에서 캡처를 하게 되므로 사용자에게도 화질이 저하된 이미지를 제공하게 될 수 있다. 따라서, 사용자에게는 기본의 방식과 동일하게 화질을 보장하여 서비스를 제공하기 위해서 변형 데이터를 원래의 그림 데이터로 복원하여 캡처할 수 있다.In addition, the image cloud streaming service method through data substitution according to an embodiment of the present invention captures an image by restoring the frame to at least one picture data according to whether the frame corresponds to at least one modified data (S630) . If an image is captured from the substituted transformed data when rendering, the image is captured in a state in which the image quality is lowered to reduce the capacity, so that the image with the lowered image quality may be provided to the user. Therefore, in order to provide a service by guaranteeing image quality in the same way as in the basic method, the deformed data can be restored to the original picture data and captured.

이 때, 프레임이 적어도 하나의 변형 데이터에 상응하지 않는 경우에 복원을 수행하지 않고 이미지를 캡처할 수 있다. 즉, 이미지를 캡처하는 부분이 치환된 부분이 아니기 때문에 복원하는 과정 없이 바로 캡처를 수행할 수 있다.In this case, when the frame does not correspond to the at least one piece of deformation data, the image may be captured without performing restoration. That is, since the part where the image is captured is not a substituted part, the capture can be performed immediately without a process of restoration.

또한, 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은 이미지를 스틸 이미지 인코딩하여 단말로 전송한다(S640). In addition, in the image cloud streaming service method through data substitution according to an embodiment of the present invention, the image is encoded as a still image and transmitted to the terminal (S640).

이 때, 스틸 이미지 인코딩 방식은 클라우드 스트리밍 서버에서 발생하는 부하량, 서비스 속도, 이미지의 화질 또는 인코딩된 이미지를 수신하여 렌더링하는 단말의 성능 등을 고려하여 결정할 수 있다. 예를 들어, 클라우드 스트리밍 서비스의 속도를 향상시키기 위해서는 압축률이 높고 부하가 적게 발생하는 팔렛트 PNG 인코딩 방식으로 이미지를 압축할 수 있다. 또한, 부하량은 상관하지 않고 이미지의 화질을 좋게 제공하고 싶다면, PNG32bit 인코딩 방식 또는 JPEG 인코딩 방식 등을 이용하여 이미지를 압축할 수 있다.In this case, the still image encoding method may be determined in consideration of the load generated by the cloud streaming server, service speed, image quality, or performance of a terminal that receives and renders the encoded image. For example, in order to improve the speed of a cloud streaming service, an image may be compressed using a palette PNG encoding method that has a high compression rate and a low load. In addition, if you want to provide a good image quality regardless of the load, you can compress the image using a PNG32bit encoding method or a JPEG encoding method.

또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은 도 1에 도시된 네트워크와 같은 통신망을 통해 다수의 단말들과 관련된 정보를 송수신한다. 특히, 본 발명의 일실시예에 따르면 클라우드 스트리밍 서비스에 대한 요청을 단말로부터 수신하고, 단말이 요청한 클라우드 스트리밍 서비스에 상응하는 어플리케이션의 실행결과를 단말로 제공할 수 있다.In addition, although not shown in FIG. 6 , the image cloud streaming service method through data substitution according to an embodiment of the present invention transmits and receives information related to a plurality of terminals through a communication network such as the network shown in FIG. 1 . In particular, according to an embodiment of the present invention, it is possible to receive a request for a cloud streaming service from a terminal, and provide the terminal with an execution result of an application corresponding to the cloud streaming service requested by the terminal.

또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.In addition, although not shown in FIG. 6, the image cloud streaming service method through data substitution according to an embodiment of the present invention stores various information generated in the process of the cloud streaming service according to the embodiment of the present invention as described above. do.

실시예에 따라, 다양한 정보를 저장하는 저장 모듈은 클라우드 스트리밍 서버와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장 모듈은 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the storage module for storing various information may be configured independently of a cloud streaming server to support a function for a cloud streaming service. In this case, the storage module may operate as a separate mass storage and may include a control function for performing the operation.

또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버는 하나 이상의 서버로 구현될 수 있다.In addition, the cloud streaming server configured as described above may be implemented as one or more servers.

한편, 클라우드 스트리밍 서버는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the cloud streaming server is equipped with a memory can store information in the device. For one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in another implementation, the memory may be a non-volatile memory unit. In one embodiment, the storage device is a computer-readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법을 이용함으로써 렌더링 시 필요한 서버의 리소스를 감소시켜 전체적인 시스템의 효율을 향상시키는 것이 가능하다.By using the image cloud streaming service method through such data substitution, it is possible to reduce the server resources required for rendering and improve the efficiency of the overall system.

또한, 서비스 품질을 유지하되 보다 효과적으로 클라우드 스트리밍 시스템을 운용할 수 있으며, 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공받을 수 있다.In addition, while maintaining the service quality, it is possible to operate the cloud streaming system more effectively, and by processing only the changed image and providing it to the user terminal, a high-spec application execution screen can be provided even in a low-spec terminal.

도 7은 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.7 is a detailed operation flowchart illustrating an image cloud streaming service method through data substitution according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은 먼저 어플리케이션 실행화면에서 그림 데이터를 검색한다(S710). 클라우드 스트리밍 서비스 시, 어플리케이션 실행화면을 렌더링한 화면을 사용자가 보는 것이 아니기 때문에 높은 품질로 렌더링할 필요가 없을 수 있다. 즉, 그림 데이터를 좋은 품질로 렌더링할 필요가 없다는 의미와 상통할 수 있다.Referring to FIG. 7 , in the image cloud streaming service method through data substitution according to an embodiment of the present invention, picture data is first retrieved from the application execution screen (S710). In the case of cloud streaming service, it may not be necessary to render in high quality because the user does not see the rendered screen of the application execution screen. In other words, it can correspond to the meaning of not having to render picture data in good quality.

이 후, 검색된 그림 데이터를 데이터 용량이 감소된 변형 데이터로 치환한다(S720).Thereafter, the retrieved picture data is replaced with modified data having a reduced data capacity (S720).

이 후, 변형 데이터로 치환된 어플리케이션 실행화면을 렌더링한다(S730).Thereafter, the application execution screen replaced with the transformed data is rendered (S730).

이 후, 렌더링된 어플리케이션 실행화면에서 단말로 전송될 이미지를 캡처할 프레임을 검출한다(S740).Thereafter, a frame for capturing an image to be transmitted to the terminal is detected from the rendered application execution screen (S740).

이 후, 검출된 프레임에 치환 표식이 포함되어있는지 여부를 판단한다(S745).Thereafter, it is determined whether a substitution mark is included in the detected frame (S745).

만약, 렌더링을 수행할 때 치환된 변형 데이터에서 이미지를 캡처한다면, 용량을 감소시키기 위해 화질이 저하된 상태에서 캡처를 하게 되므로 사용자에게도 화질이 저하된 이미지를 제공하게 될 수 있다. 따라서, 사용자에게는 기본의 방식과 동일하게 화질을 보장하여 서비스를 제공하기 위해서 변형 데이터를 원래의 그림 데이터로 복원하여 캡처할 수 있다. If an image is captured from the substituted transformed data when rendering is performed, the image is captured in a state in which the image quality is lowered in order to reduce the capacity, so that the image with the lowered image quality may be provided to the user. Therefore, in order to provide a service by guaranteeing image quality in the same way as in the basic method, the deformed data can be restored to the original picture data and captured.

단계(S745)의 판단결과 치환 표식이 포함되었으면, 프레임이 치환된 것으로 판단하고 해당 프레임을 그림 데이터로 복원한다(S750).As a result of the determination of step S745, if the replacement mark is included, it is determined that the frame has been replaced and the frame is restored as picture data (S750).

이 후, 복원된 그림 데이터에서 이미지를 캡처한다(S760).After that, an image is captured from the restored picture data (S760).

또한, 단계(S745)의 판단결과 치환 표식이 포함되지 않았으면, 프레임이 치환되지 않은 것으로 판단하고 복원을 수행하지 않고 이미지를 캡처한다(S760). 즉, 이미지를 캡처하는 부분이 치환된 부분이 아니기 때문에 복원하는 과정 없이 바로 캡처를 수행할 수 있다.In addition, if it is determined that the replacement mark is not included as a result of the determination in step S745, it is determined that the frame is not replaced and the image is captured without performing restoration (S760). That is, since the part where the image is captured is not a substituted part, the capture can be performed immediately without a process of restoration.

이 후, 캡처된 이미지를 스틸 이미지 인코딩 방식으로 스틸 이미지 인코딩한다(S770).Thereafter, the captured image is still image-encoded using a still image encoding method (S770).

이 후, 스틸 이미지 인코딩된 이미지를 사용자의 단말로 전송한다(S780).Thereafter, the still image-encoded image is transmitted to the user's terminal (S780).

도 8은 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 과정을 나타낸 도면이다.8 is a diagram illustrating an image cloud streaming service process through data substitution according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일실시예에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 과정은 먼저 웹 서버(810)가 어플리케이션을 실행하고, 어플리케이션 실행화면을 클라우드 스트리밍 서버(110)의 통신부로 전송한다(S802).Referring to FIG. 8 , in the image cloud streaming service process through data substitution according to an embodiment of the present invention, the web server 810 first executes the application, and transmits the application execution screen to the communication unit of the cloud streaming server 110 . do (S802).

이 후, 클라우드 스트리밍 서버(110)의 통신부는 어플리케이션 실행화면을 수신하여(S804) 치환 렌더링부로 전달한다.Thereafter, the communication unit of the cloud streaming server 110 receives the application execution screen (S804) and delivers it to the replacement rendering unit.

이 후, 클라우드 스트리밍 서버(110)의 치환 렌더링부에서는 어플리케이션 실행화면에서 그림 데이터를 검색한다(S806). Thereafter, the replacement rendering unit of the cloud streaming server 110 searches for picture data in the application execution screen (S806).

이 때, 클라우드 스트리밍 서비스 시, 어플리케이션 실행화면을 렌더링한 화면을 사용자가 보는 것이 아니기 때문에 높은 품질로 렌더링할 필요가 없을 수 있다. 즉, 그림 데이터를 좋은 품질로 렌더링할 필요가 없다는 의미와 상통할 수 있다.At this time, in the case of a cloud streaming service, it may not be necessary to render in high quality because the user does not see the screen on which the application execution screen is rendered. In other words, it can correspond to the meaning of not having to render picture data in good quality.

이 후, 치환 렌더링부에서는 검색된 그림 데이터를 데이터 용량이 감소된 변형 데이터로 치환한다(S808).Thereafter, the replacement rendering unit replaces the retrieved picture data with modified data having a reduced data capacity ( S808 ).

이 후, 치환 렌더링부에서 변형 데이터로 치환된 어플리케이션 실행화면을 렌더링한다(S810).Thereafter, the substitution rendering unit renders the application execution screen substituted with the transformed data (S810).

이 후, 클라우드 스트리밍 서버(110)의 프레임 검출부에서는 렌더링된 어플리케이션 실행화면에서 단말(120-1)로 전송될 이미지를 캡처할 프레임을 검출한다(S812).Thereafter, the frame detection unit of the cloud streaming server 110 detects a frame to capture an image to be transmitted to the terminal 120-1 in the rendered application execution screen (S812).

이 후, 클라우드 스트리밍 서버(110)의 캡처부에서는 검출된 프레임에 치환 표식이 포함되어있는지 여부를 판단한다(S814).Thereafter, the capture unit of the cloud streaming server 110 determines whether a substitution mark is included in the detected frame (S814).

단계(S814)의 판단결과 치환 표식이 포함되었으면, 프레임이 치환된 것으로 판단하고 해당 프레임을 그림 데이터로 복원한다(S816).As a result of the determination of step S814, if the replacement mark is included, it is determined that the frame has been replaced and the frame is restored as picture data (S816).

이 후, 복원된 그림 데이터에서 이미지를 캡처한다(S818).Thereafter, an image is captured from the restored picture data (S818).

또한, 단계(S814)의 판단결과 치환 표식이 포함되지 않았으면, 프레임이 치환되지 않은 것으로 판단하고 복원을 수행하지 않고 이미지를 캡처한다(S818). 즉, 이미지를 캡처하는 부분이 치환된 부분이 아니기 때문에 복원하는 과정 없이 바로 캡처를 수행할 수 있다.In addition, if it is determined that the replacement mark is not included as a result of the determination in step S814, it is determined that the frame is not replaced and the image is captured without performing restoration (S818). That is, since the part where the image is captured is not a substituted part, the capture can be performed immediately without a process of restoration.

이 후, 클라우드 스트리밍 서버(110)의 스트리밍부에서는 캡처된 이미지를 스틸 이미지 인코딩 방식으로 스틸 이미지 인코딩한다(S820).Thereafter, the streaming unit of the cloud streaming server 110 encodes the captured image as a still image encoding method ( S820 ).

이 후, 스틸 이미지 인코딩된 이미지를 사용자의 단말(120-1)로 전송한다(S822).Thereafter, the still image-encoded image is transmitted to the user's terminal 120-1 (S822).

이 후, 단말(120-1)에서는 수신된 이미지를 렌더링하여(S824) 사용자에게 디스플레이 한다(S826).Thereafter, the terminal 120-1 renders the received image (S824) and displays it to the user (S826).

본 발명에 따른 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The image cloud streaming service method through data substitution according to the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - Includes magneto-optical media, and any form of hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those generated by a compiler. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상에서와 같이 본 발명에 따른 클라우드 스트리밍 서비스 시스템, 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, in the cloud streaming service system according to the present invention, the image cloud streaming service method through data substitution, and the apparatus for the same, the configuration and method of the embodiments described above are not limitedly applicable, but the above embodiment Examples may be configured by selectively combining all or part of each embodiment so that various modifications can be made.

본 발명에 의하면 어플리케이션 실행화면에 포함된 적어도 하나의 그림 데이터를 용량이 감소된 적어도 하나의 변형 데이터로 치환하여 렌더링하고, 렌더링된 어플리케이션 실행화면에서 단말에게 전송될 이미지를 캡처할 프레임을 검출하고, 프레임이 적어도 하나의 변형 데이터에 상응하는지 여부에 따라 프레임을 적어도 하나의 그림 데이터로 복원하여 이미지를 캡처하고, 이미지를 스틸 이미지 인코딩하여 단말로 전송할 수 있다. 나아가, 이미지 기반의 클라우드 스트리밍 서비스 시 렌더링에 사용하는 자원을 절약함으로써 클라우드 스트리밍 서버를 보다 효율적으로 운용하는 것이 가능하다.According to the present invention, at least one picture data included in the application execution screen is rendered by replacing at least one modified data with reduced capacity, and a frame to capture an image to be transmitted to the terminal is detected on the rendered application execution screen, Depending on whether the frame corresponds to at least one piece of modified data, the frame may be restored to at least one piece of picture data to capture an image, and the image may be encoded as a still image and transmitted to the terminal. Furthermore, it is possible to more efficiently operate the cloud streaming server by saving resources used for rendering in the case of an image-based cloud streaming service.

110: 클라우드 스트리밍 서버 120-1~ 120-N: 단말
130: 네트워크 210: 통신부
220: 치환 렌더링부 230: 프레임 검출부
240: 캡처부 250: 스트리밍부
260: 저장부 310: 프레임들
311, 312: 프레임 410: 이전 프레임
420: 현재 프레임 430: 캡처 이미지
510: 매핑 테이블110: cloud streaming server 120-1~ 120-N: terminal
130: network 210: communication unit
220: substitution rendering unit 230: frame detection unit
240: capture unit 250: streaming unit
260: storage 310: frames
311, 312: Frame 410: Previous frame
420: current frame 430: captured image
510: mapping table

Claims

a substitution rendering unit that renders by replacing at least one picture data included in the application execution screen with at least one modified data having a reduced capacity in order to reduce a load generated during rendering;
a frame detection unit for detecting a frame for capturing an image to be transmitted to the terminal on the rendered application execution screen;
a capture unit for capturing the image by restoring the frame to the at least one picture data according to whether the frame corresponds to the at least one modified data; and
Streaming unit for encoding the still image and transmitting the image to the terminal
including,
The substitution rendering unit
A cloud streaming server, characterized in that it replaces the at least one modified data mapped to the at least one picture data based on a mapping table in which the picture data and the modified data are mapped and stored.

◈Claim 2 was abandoned when paying the registration fee.◈

The method according to claim 1,
the capture unit
Cloud streaming server, characterized in that when the frame includes a replacement mark indicating that the at least one picture data has been replaced, it is determined that the frame corresponds to the at least one modified data.

◈Claim 3 was abandoned when paying the registration fee.◈

3. The method according to claim 2,
the capture unit
Cloud streaming server, characterized in that when the frame corresponds to the at least one modified data, the image is captured by restoring the picture data corresponding to the frame among the at least one picture data.

delete

◈Claim 5 was abandoned when paying the registration fee.◈

4. The method according to claim 3,
the capture unit
Cloud streaming server, characterized in that for restoring the picture data corresponding to the frame mapped with the transformed data corresponding to the frame among the at least one transformed data.

delete

In order to reduce the load generated during rendering, rendering at least one picture data included in the application execution screen by replacing the at least one modified data with a reduced capacity;
detecting a frame to capture an image to be transmitted to a terminal on the rendered application execution screen;
capturing the image by restoring the frame to the at least one picture data according to whether the frame corresponds to the at least one deformation data; and
encoding the still image and transmitting the image to the terminal
including,
The rendering step
Image cloud streaming service method through data substitution, characterized in that the image data and the transformation data are mapped and replaced with the at least one transformation data mapped to the at least one image data based on the stored mapping table.

delete