KR102286430B1

KR102286430B1 - Method for providing of cloud streaming service, and apparatus thereof

Info

Publication number: KR102286430B1
Application number: KR1020150035145A
Authority: KR
Inventors: 윤홍서
Original assignee: 에스케이플래닛 주식회사
Priority date: 2015-03-13
Filing date: 2015-03-13
Publication date: 2021-08-05
Also published as: KR20160110844A

Abstract

본 발명은 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치에 관한 것으로서, 컨텐츠 실행 화면 중 비디오 객체 또는 이미지 객체가 저장된 주소 정보와 함께 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 랜더링하여 인코딩한 영상 데이터를 사용자 장치로 제공할 수 있는 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치에 관한 것이다.
이를 위한, 본 발명의 일 실시 예에 따른 클라우드 스트리밍 서버는 컨텐츠의 실행 화면 중 비디오 객체 또는 이미지 객체가 표시되는 영역을 데이터 용량이 작은 흰색 또는 검정색으로 처리하여 상기 컨텐츠의 실행 화면을 랜더링 및 인코딩하고, 비디오 객체 또는 이미지 객체가 저장된 주소 정보와 함께 사용자 장치로 제공한다. 사용자 장치는 수신한 주소 정보를 기반으로 리소스 서버에 비디오 객체 또는 이미지 객체를 함께 수신한 랜더링 및 인코딩한 실행 화면에 삽입하여 오버레이 처리를 수행한 후 최종 출력 화면을 출력 장치로 전송함으로써 PIP요구사항이 없고 풀브라우징이 필요 없으며 데이터 용량을 최소화할 수 있으므로 경제적인 효과가 있다.The present invention relates to a method for providing a cloud streaming service and an apparatus therefor, wherein the video data encoded by rendering the remaining area excluding the video object or image object together with address information in which a video object or image object is stored in a content execution screen is displayed on a user device It relates to a method of providing a cloud streaming service that can be provided as and an apparatus therefor.
For this purpose, the cloud streaming server according to an embodiment of the present invention renders and encodes the execution screen of the content by processing the area where the video object or the image object is displayed in the execution screen of the content as white or black with a small data capacity, and , the video object or image object is provided to the user device along with the stored address information. Based on the received address information, the user device inserts a video object or an image object into the received rendering and encoded execution screen to the resource server, performs overlay processing, and then transmits the final output screen to the output device to meet the PIP requirements. There is no need for full browsing, and the data capacity can be minimized, so there is an economic effect.

Description

A method for providing a cloud streaming service and an apparatus therefor

본 발명은 클라우드 스트리밍 서비스 제공 방법, 이를 위한 장치에 관한 것으로서, 클라우드 스트리밍을 이용하여 컨텐츠를 제공할 때, 컨텐츠 실행 화면 중에서 비디오 객체 또는 이미지 객체가 표시되는 영역을 제외한 나머지 실행 화면을 인코딩하여 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보와 함께 사용자 장치로 전송하고, 사용자 장치에서 수신한 주소 정보를 기반으로 이미지 객체 또는 비디오 객체를 리소스 서버에서 직접 제공받아 비디오 또는 이미지 객체가 표시되는 영역에 삽입하는 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치에 관한 것이다.The present invention relates to a method for providing a cloud streaming service and an apparatus therefor, and when providing content using cloud streaming, encoding the remaining execution screens except for the area in which a video object or an image object is displayed among the content execution screens to encode the video Cloud that transmits the object or image object together with the stored address information to the user device, receives the image object or video object directly from the resource server based on the address information received from the user device, and inserts it into the area where the video or image object is displayed It relates to a method of providing a streaming service and an apparatus therefor.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.

컴퓨터 네트워크의 기술 발전에 따라, 각 단말기의 독립적인 하드웨어 성능에 의존하던 기존의 컴퓨팅 환경은 네트워크상의 모든 컴퓨팅 자원을 활용하여 단말의 요청에 따라 해당 서비스를 제공하는 클라우드 컴퓨팅(Cloud Computing) 형태로 진화하고 있다.With the technological development of computer networks, the existing computing environment, which relied on the independent hardware performance of each terminal, has evolved into a form of cloud computing that utilizes all computing resources on the network to provide the corresponding service according to the request of the terminal. are doing

클라우드 컴퓨팅이란, 인터넷과 같은 정보 통신망을 통한 '컴퓨팅 자원의 온 디맨드 아웃소싱 서비스'라고 정의할 수 있다. 클라우드 컴퓨팅 환경에서, 서비스 제공자는 여러 곳에 분산되어 있는 데이터 센터를 가상화 기술로 통합하여 사용자들에게 필요로 하는 서비스를 제공한다. 서비스 사용자는 어플리케이션(Application), 스토리지(Storage), 운영체제(OS), 보안(Security) 등의 컴퓨팅 자원을 각 사용자 소유의 단말에 설치하여 사용하는 것이 아니라, 가상화 기술을 통해 생성된 가상 공간상의 서비스를 원하는 시점에 원하는 만큼 골라서 사용한다. 다시 말하면, 클라우트 컴퓨팅은 구름(cloud)과 같이 무형의 형태로 존재하는 하드웨어/소프트웨어 등의 컴퓨팅 자원을 자신이 필요한 만큼 빌려 쓰고 이에 대한 사용요금을 지급하는 방식의 컴퓨팅 서비스로, 서로 다른 물리적인 위치에 존재하는 컴퓨팅 자원을 가상화 기술로 통합해 제공하는 기술을 말한다.Cloud computing can be defined as an 'on-demand outsourcing service of computing resources' through an information communication network such as the Internet. In a cloud computing environment, service providers integrate data centers that are dispersed in several places with virtualization technology to provide users with the services they need. The service user does not install and use computing resources such as application, storage, operating system (OS), and security in each user's own terminal, but rather a service in a virtual space created through virtualization technology. Select and use as many times as you want at the desired time. In other words, cloud computing is a computing service that borrows computing resources such as hardware/software that exist in an intangible form such as a cloud as much as one needs and pays a usage fee. It refers to a technology that integrates and provides computing resources existing in a location with virtualization technology.

이러한 클라우드 컴퓨팅에 따르면, 사용자는 네트워크 접속과 기본적인 연산 기능만을 수행하는 단말기를 통해 클라우드 망에 접속하여 대용량의 저장 장치와 고성능 컴퓨팅 리소스가 필요한 작업들을 수행하고, 다양한 서비스를 제공받을 수 있다.According to such cloud computing, a user can access a cloud network through a terminal that performs only network access and basic arithmetic functions, performs tasks requiring a large-capacity storage device and high-performance computing resources, and can receive various services.

클라우드 스트리밍 서비스는 이러한 클라우드 컴퓨팅 환경을 기반으로 한 서비스로서, 서버 자원을 활용하여 웹 어플리케이션 등의 컨텐츠를 서버 측에서 실행한 후, 그 실행 화면을 GUI 화면으로 캡쳐 및 인코딩하여 실시간으로 단말로 전송하고, 단말 측에서는 입력 및 출력만 이루어지도록 함으로써, 단말 사양에 관계없이 고성능 컴퓨팅 리소스가 요구되는 어플리케이션이나 컨텐츠를 사용자가 이용할 수 있도록 하는 것이다.The cloud streaming service is a service based on such a cloud computing environment. After executing contents such as web applications by utilizing server resources on the server side, the execution screen is captured and encoded as a GUI screen and transmitted to the terminal in real time. , so that only input and output are made on the terminal side, so that a user can use an application or content requiring high-performance computing resources regardless of terminal specifications.

현재까지의 클라우드 스트리밍 서비스는 어플리케이션 등의 컨텐츠를 서버 측에서 실행한 후, 그 실행 화면을 GUI(Graphic User Interface)화면으로 랜더링하여 실시간으로 전송하고, 단말 측에서는 입력 및 출력이 이루어 지도록 하는 것이다. 그러나, 기존 방식의 클라우드 스트리밍 서비스는 클라우드 스트리밍 서버에서 랜더링된 GUI화면을 인코딩하고, 인코딩된 데이터를 전송하는 것으로, 실행 화면 중 비디오 객체 또는 이미지 객체를 제외한 나머지 영역만 랜더링하고, 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 별도로 제공 받아 사용자 장치에서 직접 수신하도록 하는 것이 불가능하다는 문제점이 있다.Cloud streaming service up to now runs content such as an application on the server side, and then renders the execution screen as a GUI (Graphic User Interface) screen and transmits it in real time, and inputs and outputs are made on the terminal side. However, the existing cloud streaming service encodes the GUI screen rendered in the cloud streaming server and transmits the encoded data, and renders only the remaining area of the execution screen except the video object or image object, and the video object or image object There is a problem in that it is impossible to receive the stored address information separately and directly receive it from the user device.

한국등록특허 제10-0925042호, 2009년 07월 28일 출원 (명칭: IPTV의 VOD 정보 제공 방법)Korean Patent Registration No. 10-0925042, filed on July 28, 2009 (Title: IPTV VOD information provision method)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 특히 컨텐츠의 실행화면에서, 비디오 객체 또는 이미지 객체를 데이터 용량이 적은 흰색 또는 검정색으로 처리하고, 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 랜더링하여 인코딩하고, 비디오 객체 또는 이미지 객체의 주소 정보와 함께 사용자 장치로 제공하며, 사용자 장치는 수신한 주소 정보를 통해 리소스 서버에서 직접 비디오 객체 또는 이미지 객체를 수신하여 실행화면에 삽입함으로써, 클라우드 스트리밍 서버의 부하를 줄이고 보다 편리하게 오버레이 처리를 수행할 수 있는 클라우드 서비스 제공 방법 및 이를 위한 장치를 제공하는 데 목적이 있다.The present invention has been proposed to solve the above-mentioned problems of the prior art. In particular, in the execution screen of content, a video object or an image object is processed as white or black with a small data capacity, and the remaining area except for the video object or image object is Rendering and encoding, and providing to the user device along with the address information of the video object or image object, the user device receives the video object or image object directly from the resource server through the received address information and inserts it into the execution screen, thereby cloud streaming An object of the present invention is to provide a method for providing a cloud service that can reduce a server load and perform overlay processing more conveniently, and an apparatus for the same.

그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above object, and other objects not mentioned will be clearly understood from the following description.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 클라우드 스트리밍 서버는 사용자 장치가 요청한 컨텐츠의 실행화면에서, 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 인코딩하여 제1 영상 데이터를 생성하는 화면 처리 모듈; 상기 화면 처리 모듈에서 생성한 제1 영상 데이터 및 상기 비디오 객체 또는 이미지 이미지가 저장된 주소 정보를 상기 사용자 장치로 제공하는 컨텐츠 전송 모듈; 을 포함하여 구성될 수 있다.The cloud streaming server according to an embodiment of the present invention for achieving the above object is a screen for generating first image data by encoding the remaining area excluding the video object or image object in the execution screen of the content requested by the user device processing module; a content transmission module that provides the first image data generated by the screen processing module and address information in which the video object or image image is stored to the user device; It may be composed of

이때, 화면 처리 모듈은, 상기 제1 영상 데이터의 코딩 방식에 따라서, 상기 비디오 객체 또는 이미지 객체가 표시되는 영역을 흰색 또는 검정색으로 처리하여, 상기 실행 화면을 인코딩할 수 있다.In this case, the screen processing module may encode the execution screen by processing the area in which the video object or the image object is displayed as white or black according to the coding method of the first image data.

또한, 클라우드 스트리밍 서버는 상기 컨텐츠를 실행시키는 컨텐츠 실행 모듈을 더 포함할 수 있다.In addition, the cloud streaming server may further include a content execution module for executing the content.

또한, 클라우드 스트리밍 서버는 상기 컨텐츠를 파싱하여, 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 생성하는 파싱 처리 모듈;을 더 포함할 수 있다.In addition, the cloud streaming server parses the content, a parsing processing module for generating the address information in which the video object or the image object is stored; may further include.

이때, 파싱 처리 모듈은, 상기 컨텐츠를 파싱하여, 상기 비디오 객체 또는 이미지 객체가 상기 실행화면에 표시되는 위치, 크기, 색상, 모양, 화면 출력 형식 중 하나 이상을 포함하는 태그 정보를 더 생성할 수 있으며, 컨텐츠 전송 모듈은, 상기 제1 영상 데이터 및 주소 정보와 함께 상기 태그 정보를 더 전송할 수 있다.In this case, the parsing processing module may parse the content to further generate tag information including one or more of a position, size, color, shape, and screen output format of the video object or image object displayed on the execution screen. In addition, the content transmission module may further transmit the tag information together with the first image data and address information.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 사용자 장치는 통신망을 통해서 클라우드 스트리밍 서버를 포함하는 외부서버와 접속하여 데이터를 송수신하는 통신모듈; 상기 통신모듈을 통해 클라우드 스트리밍 서버로 컨텐츠를 요청하면, 그에 대한 응답으로 상기 컨텐츠의 실행화면 중 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 인코딩한 제1 영상 데이터 및 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 수신하고, 상기 수신한 주소 정보를 기반으로 상기 비디오 객체 또는 이미지 객체를 수신하는 제어 모듈; 상기 수신한 제1 영상 데이터를 디코딩하는 제1 디코딩 모듈; 상기 수신한 비디오 객체 또는 이미지 객체를 디코딩하는 제2 디코딩 모듈; 및 상기 디코딩한 제1 영상 데이터 및 상기 디코딩한 비디오 객체 또는 이미지 객체를 오버레이 처리하여 최종출력화면을 생성하는 합성 모듈; 을 포함할 수 있다.A user device according to an embodiment of the present invention for achieving the above object includes a communication module for transmitting and receiving data by connecting to an external server including a cloud streaming server through a communication network; When the content is requested from the cloud streaming server through the communication module, in response to the request, the first image data encoding the remaining area excluding the video object or the image object in the execution screen of the content and the video object or the image object is stored a control module for receiving information and receiving the video object or the image object based on the received address information; a first decoding module for decoding the received first image data; a second decoding module for decoding the received video object or image object; and a synthesis module for generating a final output screen by overlaying the decoded first image data and the decoded video object or image object. may include.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 방법은 클라우드 스트리밍 서버가 사용자 장치에 의해 요청된 컨텐츠의 실행화면 중 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 인코딩하여 제1 영상 데이터를 생성하는 단계; 상기 클라우드 스트리밍 서버가 상기 컨텐츠를 파싱하여, 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 생성하는 단계; 및 상기 클라우드 스트리밍 서버가 상기 제1 영상 데이터 및 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 상기 사용자 장치로 제공하는 단계; 를 포함할 수 있다.In the cloud streaming service method according to an embodiment of the present invention for achieving the above object, the cloud streaming server encodes the remaining area except for the video object or the image object among the execution screen of the content requested by the user device, so that the first generating image data; generating, by the cloud streaming server, address information in which a video object or an image object is stored by parsing the content; and providing, by the cloud streaming server, address information in which the first image data and the video object or image object is stored to the user device; may include.

이때, 제1 데이터를 생성하는 단계는, 상기 제1 영상 데이터의 코딩 방식에 따라서, 상기 비디오 객체 또는 이미지 객체가 표시되는 영역을 흰색 또는 검정색으로 처리하여, 상기 실행화면을 인코딩 할 수 있다.In this case, in the generating of the first data, the execution screen may be encoded by processing the video object or an area in which the image object is displayed as white or black according to the coding method of the first image data.

또한, 주소 정보를 생성하는 단계는, 상기 컨텐츠를 파싱하여, 상기 비디오 객체 또는 이미지 객체가 상기 실행화면에 표시되는 위치, 크기, 색상, 모양, 화면 출력 형식 중 하나 이상을 포함하는 태그 정보를 더 생성하고, 사용자 장치로 제공하는 단계는, 상기 제1 영상 데이터 및 상기 주소 정보와 함께 상기 태그 정보를 더 전송할 수 있다.In addition, the generating of the address information may include parsing the content to further generate tag information including at least one of a location, size, color, shape, and screen output format of the video object or image object displayed on the execution screen. The generating and providing to the user device may further transmit the tag information together with the first image data and the address information.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 사용자 장치에서의 서비스 방법은, 클라우드 스트리밍 서버에 컨텐츠를 요청하는 단계; 상기 클라우드 스트리밍 서버로부터, 상기 컨텐츠의 실행 화면 중 비디오 객체 또는 이미지 객체가 표시되는 영역을 제외한 나머지 영역을 인코딩한 제1 영상 데이터 및 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 수신하는 단계; 상기 수신한 주소 정보를 기반으로 비디오 객체 또는 이미지 객체를 수신하는 단계; 상기 수신한 제1 영상 데이터를 디코딩하는 단계; 상기 수신한 비디오 객체 또는 이미지 객체를 디코딩하는 단계; 및 상기 디코딩한 제1 영상 데이터 및 상기 디코딩한 비디오 객체 또는 이미지 객체를 오버레이 처리하여 최종출력화면을 생성하는 단계; 를 포함할 수 있다.A service method in a user device according to an embodiment of the present invention for achieving the above object includes: requesting content from a cloud streaming server; Receiving, from the cloud streaming server, first image data and address information in which the video object or the image object is stored, encoding the remaining area except for the area in which the video object or the image object is displayed in the execution screen of the content; receiving a video object or an image object based on the received address information; decoding the received first image data; decoding the received video object or image object; and overlaying the decoded first image data and the decoded video object or image object to generate a final output screen. may include.

본 발명의 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치에 의하면, 클라우드 스트리밍 서버에서 컨텐츠의 실행 화면 중 비디오 객체 또는 이미지 객체를 제외한 나머지 영역만을 랜더링 및 인코딩하여 비디오 객체 또는 이미지 객체가 저장된 주소 정보와 함께 전송하고, 사용자 장치는 상기 주소 정보를 기반으로 리소스 서버에서 직접 비디오 객체 또는 이미지 객체를 직접 수신하여 상기 랜더링 및 인코딩된 데이터에 삽입하여 출력함으로써, 리소스의 부하를 분산하여 클라우드 스트리밍 서버의 부하를 줄일 수 있다.According to the method for providing a cloud streaming service of the present invention and an apparatus therefor, the cloud streaming server renders and encodes only the remaining area excluding the video object or the image object among the execution screen of the content, and transmits the video object or the image object together with the stored address information. And, the user device directly receives the video object or image object from the resource server based on the address information, inserts it into the rendered and encoded data and outputs it, thereby distributing the load of the resource and reducing the load on the cloud streaming server. there is.

또한, 본 발명의 클라우드 스트리밍 서버가 컨텐츠의 실행 화면 중 비디오 객체 또는 이미지 객체가 표시되는 영역을 흰색 또는 검정색으로 처리함으로써, 데이터 용량을 줄일 수 있다.In addition, the cloud streaming server of the present invention may reduce the data capacity by processing a video object or an image object display area of the execution screen of the content in white or black.

또한, 본 발명의 사용자 장치에서 상기 랜더링 및 인코딩된 데이터와 비디오 객체 또는 이미지 객체를 오버레이 처리하여 합성함으로써, PIP(Picture in picture)요구사항이 없고, 풀브라우징이 필요 없으므로 기존 방식에 비하여 경제적이다.In addition, by overlaying and synthesizing the rendered and encoded data and a video object or an image object in the user device of the present invention, there is no picture in picture (PIP) requirement and no full browsing is required, so it is more economical than the existing method.

도 1은 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 시스템의 개략적인 구성을 나타낸 도면이다.
도 2는 도 1에 도시된 본 발명의 실시 예에 따른 클라우드 스트리밍 서버의 주요 구성을 나타낸 도면이다.
도 3은 도 1에 도시된 본 발명의 실시 예에 따른 사용자 장치의 주요 구성을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 사용자 장치에서의 서비스 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 절차를 나타낸 도면이다.
도 7a는 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 방법을 설명하기 위한 예시도이다.
도 7b는 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 방법을 설명하기 위한 예시도이다.
도8은 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 제공을 위한 장치의 오퍼레이팅 환경을 나타낸 도면이다.1 is a diagram showing a schematic configuration of a cloud streaming service system according to an embodiment of the present invention.
2 is a view showing the main configuration of the cloud streaming server according to the embodiment of the present invention shown in FIG.
FIG. 3 is a diagram illustrating a main configuration of a user device according to an embodiment of the present invention shown in FIG. 1 .
4 is a flowchart illustrating a cloud streaming service method according to an embodiment of the present invention.
5 is a flowchart illustrating a service method in a user device according to an embodiment of the present invention.
6 is a diagram illustrating a cloud streaming service procedure according to an embodiment of the present invention.
7A is an exemplary diagram for explaining a cloud streaming service method according to an embodiment of the present invention.
7B is an exemplary diagram for explaining a cloud streaming service method according to an embodiment of the present invention.
8 is a diagram illustrating an operating environment of an apparatus for providing a cloud streaming service according to an embodiment of the present invention.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.In order to clarify the characteristics and advantages of the problem solving means of the present invention, the present invention will be described in more detail with reference to specific embodiments of the present invention shown in the accompanying drawings.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention in the following description and accompanying drawings will be omitted.

또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Also, it should be noted that throughout the drawings, like elements are denoted by like reference numerals whenever possible.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. The terms or words used in the following description and drawings should not be construed as being limited to conventional or dictionary meanings, and the inventor may appropriately define the concept of terms for describing his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that there is.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention, and do not represent all the technical ideas of the present invention, so at the time of the present application, various It should be understood that there may be equivalents and variations.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first, second, etc. are used to describe various components, and are used only for the purpose of distinguishing one component from other components, and to limit the components. not used For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.In addition, when an element is referred to as being “connected” or “connected” to another element, it means that it is logically or physically connected or can be connected. In other words, it should be understood that a component may be directly connected or connected to another component, but another component may exist in the middle, and may be indirectly connected or connected.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In addition, the terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise.

또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, terms such as "comprises" or "have" described in this specification are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or the It should be understood that the above does not preclude the possibility of the existence or addition of other features or numbers, steps, operations, components, parts, or combinations thereof.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.In addition, embodiments within the scope of the present invention include computer-readable media having or carrying computer-executable instructions or data structures stored in the computer-readable media. Such computer readable media can be any available media that can be accessed by a general purpose or special purpose computer system. By way of example, such computer-readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer-executable instructions, computer-readable instructions, or data structures. It may include, but is not limited to, a physical storage medium such as any other medium that can be used to store or convey any program code means in .

이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. In the following description and claims, a “network” is defined as one or more data links that enable the transfer of electronic data between computer systems and/or modules. When information is transmitted or provided to a computer system via a network or other communication connection (wired, wireless, or a combination of wired or wireless), the connection may be understood as a computer-readable medium.

컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.Computer readable instructions include, for example, instructions and data that cause a general purpose computer system or special purpose computer system to perform a particular function or group of functions. The computer executable instructions may be, for example, binary, intermediate format instructions such as assembly language, or even source code.

아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서 실시될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.Furthermore, the present invention relates to personal computers, laptop computers, handheld devices, multiprocessor systems, microprocessor-based or programmable consumer electronics, network PCs, minicomputers, mainframe computers, mobile telephones, PDAs, pagers. It may be implemented in a network computing environment having various types of computer system configurations, including (pager) and the like. The invention may also be practiced in distributed system environments where both local and remote computer systems linked through a network by a wired data link, a wireless data link, or a combination of wired and wireless data links perform tasks. In a distributed system environment, program modules may be located in local and remote memory storage devices.

설명에 앞서, 본 발명은 클라우드 컴퓨팅 환경을 기반으로 화면 가상화를 통해 사용자가 단말의 성능에 관계 없이 소정의 서비스 혹은 기능을 이용할 수 있도록 하는 클라우드 스트리밍 서비스에 관한 것이다. Prior to description, the present invention relates to a cloud streaming service that allows a user to use a predetermined service or function regardless of the performance of a terminal through screen virtualization based on a cloud computing environment.

이러한 본 발명의 명세서에서 기술하는 데이터는 기본적으로는 UI(User Interface)에 대한 웹 어플리케이션을 의미하며, 이때의 웹 어플리케이션은 다수의 웹 페이지로 구성되며 브라우저 단위로 캡쳐될 수 있다. The data described in the specification of the present invention basically means a web application for a user interface (UI), in this case, the web application is composed of a plurality of web pages and may be captured in units of browsers.

그러나, 본 발명에서 기술하는 데이터는 UI 웹 어플리케이션에 한정되는 것은 아니며, 실시간 방송, VOD 서비스, 게임 서비스 등 다양한 형태의 컨텐츠 데이터를 포함할 수 있으며, 복수의 데이터의 집합을 의미할 수도 있다. However, the data described in the present invention is not limited to the UI web application, and may include various types of content data such as real-time broadcasting, VOD service, and game service, and may mean a set of a plurality of data.

이러한 본 발명의 실시 예에 따른 데이터는 클라우드 스트리밍 서비스 방식에 따라 클라이언트 장치로 제공될 수 있는 것이라면, 그 어떠한 형태도 본 발명의 데이터로 적용될 수 있다.As long as the data according to an embodiment of the present invention can be provided to a client device according to a cloud streaming service method, any form can be applied to the data of the present invention.

이제, 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치에 대하여 도면을 참조하여 상세하게 설명하도록 한다.Now, a cloud streaming service providing method and an apparatus therefor according to an embodiment of the present invention will be described in detail with reference to the drawings.

먼저, 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 시스템의 전체 구조에 대해 개략적으로 설명하도록 한다.First, the overall structure of the cloud streaming service system according to an embodiment of the present invention will be schematically described.

도 1은 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 시스템의 구조를 개략적으로 설명하기 위한 도면이다.1 is a diagram schematically illustrating the structure of a cloud streaming service system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 클라우드 스트리밍 시스템(1000)은, 클라우드 스트리밍 서버(100), 사용자 장치(200), 사용자 장치(200)로부터 데이터를 제공받아 출력하는 출력 장치(400), 리소스 서버(300), 그리고 사용자 장치(200)와 클라우드 스트리밍 서버(100)를 포함하는 외부 서버간의 정보의 송수신을 지원하는 통신망(500)을 포함하여 구성될 수 있다.Referring to FIG. 1 , a cloud streaming system 1000 according to an embodiment of the present invention is an output device 400 that receives data from a cloud streaming server 100 , a user device 200 , and outputs data from the user device 200 . ), a resource server 300 , and a communication network 500 supporting transmission and reception of information between the user device 200 and an external server including the cloud streaming server 100 .

각 구성요소에 대해 개략적으로 설명하면, 먼저, 본 발명의 사용자 장치(200)는 사용자의 조작에 따라 통신망(500)을 경유하여 각종 데이터를 송수신할 수 있는 사용자의 장치를 의미한다. Briefly describing each component, first, the user device 200 of the present invention refers to a user device capable of transmitting and receiving various data via the communication network 500 according to a user's manipulation.

이러한 사용자 장치(200)는 통신망(500)을 통해 음성 또는 데이터 통신을 수행할 수 있으며, 클라우드 스트리밍 서버(100)에 접근하여 클라우드 스트리밍 서비스 방식으로 클라우드 스트리밍 서버(100)가 제공하는 다양한 정보를 수신하고, 사용자의 입력을 클라우드 스트리밍 서버(100)로 전송할 수 있다.The user device 200 may perform voice or data communication through the communication network 500 , and access the cloud streaming server 100 to receive various information provided by the cloud streaming server 100 in a cloud streaming service method. and may transmit the user's input to the cloud streaming server 100 .

이를 위한 본 발명의 사용자 장치(200)는 정보의 송수신을 위한 브라우저, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다.To this end, the user device 200 of the present invention may include a browser for transmitting and receiving information, a memory for storing programs and protocols, and a microprocessor for executing and controlling various programs.

특히, 본 발명의 실시 예에 따른 사용자 장치(200)는 통신망(500)을 거쳐 클라우드 스트리밍 서버(100)에 접속하여 상기 클라우드 스트리밍 서버(100)가 제공하는 다수의 데이터 중 특정 데이터의 실행을 요청하고, 클라우드 스트리밍 서버(100)로부터 데이터 실행에 따른 결과 정보를 스트리밍 방식으로 수신함으로써, 사용자 장치(200)의 사용자는 해당 데이터를 이용할 수 있게 된다. In particular, the user device 200 according to an embodiment of the present invention accesses the cloud streaming server 100 via the communication network 500 and requests execution of specific data among a plurality of data provided by the cloud streaming server 100 . And, by receiving the result information according to the data execution from the cloud streaming server 100 in a streaming manner, the user of the user device 200 can use the corresponding data.

이때, 실제 데이터의 실행은 사용자 장치(200)의 원격지에 위치하는 클라우드 스트리밍 서버(100)에서 실행되는 것이나, 사용자 장치(200)의 사용자는 자신의 사용자 장치(200)에서 해당 데이터가 실행되는 것과 똑같이 어플리케이션을 이용할 수 있게 된다. 이때의 데이터는 예컨대 메뉴 어플리케이션과 같은 UI 어플리케이션을 포함하는 개념이 될 수 있다.At this time, the execution of the actual data is executed in the cloud streaming server 100 located at a remote location of the user device 200 , but the user of the user device 200 is executing the corresponding data in his or her user device 200 . You can use the same application. In this case, the data may be a concept including a UI application such as a menu application.

이러한 본 발명의 사용자 장치(200)는 기본적으로 인코딩된 스트리밍 데이터를 수신하여 디코딩하는 기능을 구비할 수 있으며, 여기에 더하여 디코딩된 비디오 데이터를 랜더링하여 출력하는 기능을 포함할 수 있다.The user device 200 of the present invention may basically have a function of receiving and decoding encoded streaming data, and in addition to this, may include a function of rendering and outputting the decoded video data.

이러한 본 발명의 실시 예에 따른 사용자 장치(200)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 사용자 장치(200)는 스마트폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 데스크탑 컴퓨터, 셋톱박스 등과 같은 고정 단말기가 사용될 수도 있다.The user device 200 according to an embodiment of the present invention may be implemented in various forms. For example, the user device 200 described herein is a mobile terminal such as a smart phone, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), or an MP3 player. Of course, a fixed terminal such as a smart TV, a desktop computer, and a set-top box may be used.

또한, 본 발명의 실시 예에 따른 사용자 장치(200)는 출력 기능을 보유한 장치와, 출력 기능을 보유하지 않은 장치로 구분될 수 있으며, 상기 출력 기능을 보유하지 않은 장치는 TV, 모니터, 프로젝터와 같은 출력 장치(400)와 연결되어, 상기 출력 장치(400)로 데이터를 전송함으로써, 상기 출력 장치(400)를 통해서 클라우드 스트리밍 서버(100)로부터 스트리밍 방식으로 수신한 데이터를 재생하여 출력할 수 있다.In addition, the user device 200 according to an embodiment of the present invention may be divided into a device having an output function and a device not having an output function, and the device not having an output function is a TV, a monitor, a projector and a TV. By being connected to the same output device 400 and transmitting data to the output device 400, data received in a streaming manner from the cloud streaming server 100 through the output device 400 can be reproduced and output. .

본 발명의 실시 예에 따른 사용자 장치(200)는 클라우드 스트리밍 서버(100)로부터 클라우드 스트리밍 서비스를 실행하기 위한 컨텐츠 실행 화면을 본 발명의 실시 예에 따라 처리한 영상 데이터 및 컨텐츠를 파싱하여 생성한 주소 정보 및 태그 정보 중 하나 이상을 포함하는 컨텐츠 관련 데이터를 수신하여, 상기 데이터를 기반으로 리소스 서버(300)로 컨텐츠 실행 화면에 표시할 비디오 객체 또는 이미지 객체를 직접 요청하여 수신할 수 있다.The user device 200 according to an embodiment of the present invention is an address generated by parsing the image data and content processed according to the embodiment of the present invention on the content execution screen for executing the cloud streaming service from the cloud streaming server 100 . By receiving content-related data including one or more of information and tag information, the resource server 300 may directly request and receive a video object or an image object to be displayed on the content execution screen based on the data.

또한, 사용자 장치(200)는 클라우드 스트리밍 서버(100)로부터 수신한 영상 데이터에 상기 수신한 비디오 객체 또는 이미지 객체를 삽입하여 오버레이 처리를 수행할 수 있다.In addition, the user device 200 may perform overlay processing by inserting the received video object or image object into the image data received from the cloud streaming server 100 .

이때, 영상 데이터와 비디오 객체 또는 이미지 객체의 결합은 오버레이 처리뿐만 아니라, 두 영상 데이터를 결합하여 합성하는 처리하는 방법일 수 있으며, 다양한 합성 방법 및 기술을 포함할 수 있다. In this case, the combination of the image data and the video object or the image object may be not only an overlay process but also a method of combining and synthesizing two image data, and may include various synthesizing methods and techniques.

이러한 본 발명의 사용자 장치(200)는 디지털 기기의 컨버전스(convergence) 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 유닛들과 동등한 수준의 유닛이 본 발명에 따른 사용자 장치(200)로 사용될 수 있으며, 통신망(500)을 통해 클라우드 스트리밍 서버(100)와 정보를 송수신하고, 클라우드 스트리밍 서버(100)로부터 스트리밍 방식으로 전달되는 인코딩 데이터를 디코딩하여 재생할 수 있는 장치라면, 그 어떠한 장치도 본 발명의 실시 예에 따른 사용자 장치(200)로 이용될 수 있다.The user device 200 of the present invention can not enumerate all the variations of the portable device according to the convergence trend of digital devices, but it is not possible to enumerate all of them. If it is a device that can be used as the user device 200, transmits and receives information to and from the cloud streaming server 100 through the communication network 500, and decodes and reproduces encoded data transmitted from the cloud streaming server 100 in a streaming manner , any device may be used as the user device 200 according to an embodiment of the present invention.

클라우드 스트리밍 서버(100)는 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스를 제공하는 구성으로, 화면 가상화 기능을 통해 사용자 장치(200)에서 요청된 서비스 혹은 기능을 사용자 장치(200)로 제공하는 역할을 수행한다. 여기서 화면 가상화는 사용자 장치(200)에서 실행된 것과 같이 특정 데이터의 실행 화면을 통신망(500)을 통해 연결된 서버 측, 즉, 클라우드 스트리밍 서버(100)에서 구현하여 사용자 장치(200)로 제공하는 것을 의미한다. The cloud streaming server 100 is configured to provide a cloud streaming service according to an embodiment of the present invention, and serves to provide a service or function requested by the user device 200 to the user device 200 through a screen virtualization function. carry out Here, the screen virtualization implements the execution screen of specific data as executed in the user device 200 on the server side connected through the communication network 500, that is, the cloud streaming server 100, and provides it to the user device 200. it means.

이를 위하여, 상기 클라우드 스트리밍 서버(100)는 자신이 보유하거나 이용 가능한 다양한 데이터, 예컨대, UI 어플리케이션, 게임 어플리케이션, 영화 시청 어플리케이션 등 다양한 데이터를 실행하고, 그 실행 화면을 브라우저 단위로 캡쳐하여 캡쳐 이미지를 생성하고, 이를 인코딩하여 스트리밍 방식으로 사용자 장치(200)로 전송한다. 이때 상기 클라우드 스트리밍 서버(100)는 상기 데이터를 사용자 장치(200)로부터 전송되는 사용자 요청 신호에 따라서 구동시키며, 변경된 실행 화면을 상기 스트리밍 방식으로 사용자 장치(200)로 전송함으로써, 사용자 장치(200)의 사용자는 자신의 사용자 장치(200)에서 직접 데이터를 실행하는 것과 동일한 사용자 경험을 제공받을 수 있다.To this end, the cloud streaming server 100 executes various data, such as a UI application, a game application, a movie watching application, etc., of various data possessed or available to the cloud streaming server 100, and captures the execution screen in a browser unit to capture the captured image. generated, encoded and transmitted to the user device 200 in a streaming manner. At this time, the cloud streaming server 100 drives the data according to the user request signal transmitted from the user device 200, and transmits the changed execution screen to the user device 200 in the streaming manner, thereby the user device 200 A user of may be provided with the same user experience as directly executing data on his/her user device 200 .

특히, 본 발명의 실시 예에 따른 클라우드 스트리밍 서버(100)는 사용자 장치(200)의 요청 신호에 따라 컨텐츠를 실행하고, 실행 화면 중 비디오 객체 또는 이미지 객체가 표시되는 화면을 제외한 나머지 영역을 랜더링하고, 상기 비디오 객체 또는 이미지 객체가 표시되는 영역은 코딩 방식에 따라서 데이터 용량이 가장 작은 흰색 또는 검정색으로 처리하여 제1 영상 데이터를 생성할 수 있다.In particular, the cloud streaming server 100 according to an embodiment of the present invention executes the content according to the request signal of the user device 200, and renders the remaining area of the execution screen except for the screen on which the video object or the image object is displayed. , a region in which the video object or the image object is displayed may be processed as white or black having the smallest data capacity according to a coding method to generate the first image data.

또한, 클라우드 스트리밍 서버(100)는 사용자 장치(200)에서의 요청에 따라 실행된 컨텐츠를 파싱하여 비디오 객체 또는 이미지 객체가 저장된 주소 정보 및 상기 비디오 객체 또는 이미지 객체가 컨텐츠의 실행 화면에 표시되는 상태를 알 수 있는 태그 정보를 생성할 수 있다.In addition, the cloud streaming server 100 parses the content executed according to the request from the user device 200, and the address information in which the video object or image object is stored and the video object or image object is displayed on the execution screen of the content It is possible to create tag information that can know

이때, 상기 주소 정보는 웹 사이트 주소 및 컴퓨터 네트워크상의 자원을 모두 나타낼 수 있는 URL(Uniform Resource Locator) 정보 일 수 있다.In this case, the address information may be URL (Uniform Resource Locator) information that can indicate both a web site address and a resource on a computer network.

이러한 클라우드 스트리밍 서버(100)는 상기 제1 영상 데이터, 주소 정보 및 태그 정보를 사용자 장치(200)로 제공함으로써, 보다 경제적이고 서버 부하가 적은 클라우드 스트리밍 서비스의 지원을 가능하게 한다.The cloud streaming server 100 provides the first image data, address information, and tag information to the user device 200, thereby enabling support of a cloud streaming service that is more economical and has less server load.

본 발명의 실시 예에 따른 리소스 서버(300)는, 클라우드 스트리밍 서버(100) 및 사용자 장치(200)에서의 데이터 요청 신호를 수신하여 다양한 데이터를 제공할 수 있는 것으로, 특히, 다수의 웹 페이지의 집합인 웹 어플리케이션을 제공할 수 있는 웹 어플리케이션 서버(WAS; Web Application Server)를 의미할 수 있다. 이러한 리소스 서버(300)는 예컨대, IPTV Head-End system 또는 케이블 TV의 QAM Transmitter 등이 될 수 있으며, 이때, 리소스 서버(300)가 클라우드 스트리밍 서버(100)에 연결되는 경우, 리소스 서버(300)는 클라우드 스트리밍 서버(100)로 데이터를 전달하여 클라우드 스트리밍 서버(100)에 의해 자신의 제공하는 데이터의 클라우드 스트리밍 서비스를 지원할 수 있다.The resource server 300 according to an embodiment of the present invention is capable of providing various data by receiving a data request signal from the cloud streaming server 100 and the user device 200, in particular, of a plurality of web pages. It may mean a web application server (WAS; Web Application Server) capable of providing a set of web applications. Such a resource server 300 may be, for example, an IPTV Head-End system or a QAM Transmitter of a cable TV, etc. At this time, when the resource server 300 is connected to the cloud streaming server 100, the resource server 300 may support the cloud streaming service of data provided by the cloud streaming server 100 by delivering data to the cloud streaming server 100 .

특히, 본 발명에 있어서 리소스 서버(300)는, 사용자 장치(200)로부터의 비디오 객체 또는 오디오 객체가 저장된 주소 정보를 기반으로 상기 주소 정보에 대응하는 데이터를 요청 받고, 사용자 장치(200)로 상기 데이터를 전송할 수 있다. In particular, in the present invention, the resource server 300 receives a request for data corresponding to the address information from the user device 200 based on the address information in which the video object or the audio object is stored, and sends the data to the user device 200 . data can be transmitted.

본 발명의 실시 예에 따른 출력 장치(400)는, 사용자 장치(200)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시한다. 또한, 출력 장치(400)는 사용자 장치(200)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 출력 장치(400)는 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Actice Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이 (3 Dimension) 등으로 구성될 수 있다. 이때, 출력 장치(400)는 터치스크린(touch screen) 형태로 구성될 수 있고, 이와 같이, 출력 장치(400)가 터치스크린 형태로 형성된 경우, 출력 장치(400)는 입력장치(미도시)의 기능 중 일부 또는 전부를 수행할 수 있다. The output device 400 according to an embodiment of the present invention displays information about a series of operation states and operation results that occur while the user device 200 performs a function. Also, the output device 400 may display a menu of the user device 200 and user data input by the user. Here, the output device 400 is a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), an organic light emitting diode (OLED), a light emitting diode (LED), an action matrix organic LED (AMOLED), a flexible display ( Flexible display) and three-dimensional display (3 Dimension) may be configured. At this time, the output device 400 may be configured in the form of a touch screen. As such, when the output device 400 is formed in the form of a touch screen, the output device 400 is the Some or all of the functions may be performed.

특히, 본 발명의 실시 예에 따른 출력 장치(400)는 사용자 장치(200)로부터 디코딩한 영상 데이터를 수신하여 출력할 수 있다. 사용자 장치(200)는 클라우드 스트리밍 서버(100)로부터 수신한 제1 영상 데이터와, 리소스 서버(300)로부터 수신한 비디오 객체 또는 이미지 객체를 디코딩한 후, 두 데이터를 결합하여 오버레이 처리한 데이터를 출력 장치(400)를 통해 출력할 수 있다.In particular, the output device 400 according to an embodiment of the present invention may receive and output decoded image data from the user device 200 . The user device 200 decodes the first image data received from the cloud streaming server 100 and the video object or image object received from the resource server 300, and then combines the two data to output the overlay-processed data. It can be output through the device 400 .

이때, 출력 장치(400)는 사용자 장치(200)의 내부에 탑재되어 있을 수 있고, 내부에 탑재되어 있지 않는 경우, 사용자 장치(200)는 출력 기능을 가진 외부 장치와 통신망(500)으로 연결되어 상기 영상 데이터를 출력할 수 있다.In this case, the output device 400 may be mounted inside the user device 200 , and when not mounted therein, the user device 200 is connected to an external device having an output function through the communication network 500 . The image data may be output.

본 발명의 실시 예에 따른 통신망(500)은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식을 이용하는 것이 바람직하나, 이에 한정되는 것은 아니며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있다.The communication network 500 according to an embodiment of the present invention uses a wireless communication method such as WLAN (Wireless LAN), Wi-Fi, Wibro, Wimax, and High Speed Downlink Packet Access (HSDPA). However, it is not limited thereto, and depending on the system implementation method, Ethernet, xDSL (ADSL, VDSL), HFC (Hybrid Fiber Coaxial Cable), FTTC (Fiber to The Curb), FTTH (Fiber To The Home) It is also possible to use a wired communication method such as

아울러, 본 발명의 통신망(500)은 예컨대, 다수의 접속망(미도시) 및 코어망(미도시)을 포함하며, 외부망, 예컨대 인터넷망(미도시)을 포함하여 구성될 수 있다. 여기서, 접속망(미도시)은 사용자 장치(200)와 유무선 통신을 수행하는 접속망으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구현될 수 있다. In addition, the communication network 500 of the present invention includes, for example, a plurality of access networks (not shown) and a core network (not shown), and may be configured to include an external network, for example, an Internet network (not shown). Here, the access network (not shown) is an access network for performing wired/wireless communication with the user device 200, for example, a plurality of base stations such as BS (Base Station), BTS (Base Transceiver Station), NodeB, eNodeB, and the like, and BSC. (Base Station Controller), may be implemented as a base station controller such as RNC (Radio Network Controller).

또한, 상기 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함과 무선 유니트(Radio Unit, 이하 RU라 함)으로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU(미도시)를 집중화된 DU(미도시)와 연결하여 구성할 수도 있다.In addition, the digital signal processing unit and the wireless signal processing unit, which were integrally implemented in the base station, are divided into digital units (Digital Unit, hereinafter referred to as DU and Radio Unit, hereinafter referred to as RU), respectively, and each A plurality of RUs (not shown) may be installed, and a plurality of RUs (not shown) may be connected and configured with a centralized DU (not shown).

또한, 접속망(미도시)과 함께 모바일 망을 구성하는 코어망(미도시)은 접속망(미도시)과 외부 망, 예컨대, 인터넷망(미도시)을 연결하는 역할을 수행한다.In addition, the core network (not shown) constituting the mobile network together with the access network (not shown) serves to connect the access network (not shown) and an external network, for example, an Internet network (not shown).

이러한 코어망(미도시)은 앞서 설명한 바와 같이, 접속망(미도시) 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 모바일 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망(미도시)은 주파수간 이동성을 관리하고, 접속망(미도시) 및 코어망(미도시) 내의 트래픽 및 다른 네트워크, 예컨대 인터넷망(미도시)과의 연동을 위한 역할을 수행할 수도 있다. 이러한 코어망(미도시)은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.As described above, the core network (not shown) is a network system that performs a main function for a mobile communication service such as mobility control and switching between access networks (not shown), and is a network system that performs circuit switching or packet switching. switching), and manages and controls packet flow in the mobile network. In addition, the core network (not shown) manages inter-frequency mobility, and performs a role for interworking with traffic in the access network (not shown) and the core network (not shown) and other networks, for example, the Internet network (not shown). may be Such a core network (not shown) further includes Serving GateWay (SGW), PDN GateWay (PGW), Mobile Switching Center (MSC), Home Location Register (HLR), Mobile Mobility Entity (MME) and Home Subscriber Server (HSS). It may be configured to include.

또한, 인터넷망(미도시)은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미하는 것으로, 클라우드 스트리밍 서버(100) 및 리소스 서버(300)와 연결되며, 클라우드 스트리밍 서버(100) 및 리소스 서버(300)으로부터 제공되는 정보를 코어망(미도시) 및 접속망(미도시)을 거쳐 사용자 장치(200)로 제공할 수 있으며, 사용자 장치(200)로부터 제공되는 정보를 접속망(미도시) 및 코어망(미도시)을 거쳐 클라우드 스트리밍 서버(100) 및 리소스 서버(300)로 제공할 수도 있다. 그러나, 이에 한정되는 것은 아니며, 클라우드 스트리밍 서버(100) 및 리소스 서버(300)는 코어망(미도시)과 일체로 구현될 수도 있다. In addition, the Internet network (not shown) refers to a common open communication network, that is, a public network, through which information is exchanged according to the TCP/IP protocol, and is connected to the cloud streaming server 100 and the resource server 300, and is connected to the cloud Information provided from the streaming server 100 and the resource server 300 may be provided to the user device 200 through a core network (not shown) and an access network (not shown), and information provided from the user device 200 . may be provided to the cloud streaming server 100 and the resource server 300 via an access network (not shown) and a core network (not shown). However, it is not limited thereto, and the cloud streaming server 100 and the resource server 300 may be implemented integrally with the core network (not shown).

또한, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.In addition, in addition to the above-described communication methods, other well-known or future communication methods may be included.

도 2는 본 발명의 실시 예에 따른 클라우드 스트리밍 서버의 주요 구성을 나타낸 도면이다. 2 is a view showing the main configuration of a cloud streaming server according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 클라우드 스트리밍 서버(100)는 화면 처리 모듈(101), 컨텐츠 전송 모듈(102), 컨텐츠 실행 모듈(103) 및 파싱 처리 모듈(104)을 포함할 수 있다.Referring to FIG. 2 , the cloud streaming server 100 of the present invention may include a screen processing module 101 , a content transmission module 102 , a content execution module 103 , and a parsing processing module 104 .

보다 구체적으로 설명하면, 클라우드 스트리밍 서버(100)의 화면 처리 모듈(101)은, 사용자 장치(200)에서의 요청에 의해 컨텐츠 실행 모듈(103)의 명령으로 실행되는 컨텐츠의 실행 화면 중에서, 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 랜더링하고, 인코딩하여 제1 영상 데이터를 생성할 수 있다. 이때, 상기 제1 영상 데이터는 정지된 영상인 이미지 및 움직이는 영상인 비디오를 모두 포함할 수 있다.More specifically, the screen processing module 101 of the cloud streaming server 100 is a video object among the execution screens of the content executed by the command of the content execution module 103 at the request of the user device 200 . Alternatively, the remaining area excluding the image object may be rendered and encoded to generate the first image data. In this case, the first image data may include both an image that is a still image and a video that is a moving image.

또한, 화면 처리 모듈(101)은 제1 영상 데이터의 코딩 방식에 따라 상기 비디오 객체 또는 이미지 객체가 표시되는 영역을 흰색 또는 검정으로 처리할 수 있다. Also, the screen processing module 101 may process the video object or the area in which the image object is displayed as white or black according to the coding method of the first image data.

상기 코딩 방식은 이미지를 압축 저장하는 방식, 즉, 이미지 포맷 방식으로써, 대표적으로 JPEG(Joint photographic Experts Group,JPG), GIF(Graphics Interchange Format), PNG(Portable Network Graphics) 및 BMP(Bitmap) 중 어느 하나일 수 있으며, 이 밖에도 이미지를 저장하는 형식이라면 상기 코딩 방식이 될 수 있다.The coding method is a method of compressing and storing an image, that is, as an image format method, representatively any one of Joint photographic Experts Group (JPEG), Graphics Interchange Format (GIF), Portable Network Graphics (PNG), and Bitmap (BMP). It may be one, and in addition, if it is a format for storing an image, the coding method may be used.

상기 이미지 포맷 방식에 있어서, 이미지 파일의 용량은 이미지 파일에 사용된 색상의 종류가 많아짐에 따라 함께 증가할 수 있다. 또한, 상기 이미지 포맷 방식에 있어서, 상기 이미지 파일의 용량은 상기 이미지 파일이 단색으로 이루어진 경우, 더 작을 수 있다. 또한, 상기 이미지 파일의 용량은 색상 별로 다를 수 있다. In the image format method, the capacity of the image file may increase as the number of colors used in the image file increases. Also, in the image format method, the capacity of the image file may be smaller when the image file is formed of a single color. In addition, the capacity of the image file may be different for each color.

즉, 상기 코딩 방식에 따라서, 상기 비디오 객체 또는 이미지 객체를 표시하는 영역을 데이터 크기를 가장 작게 저장할 수 있는 검정색 또는 흰색으로 처리할 수 있다. 그리고, 상기 처리한 영역과 함께, 상기 영역을 제외한 나머지 영역을 랜더링하고, 인코딩하여 제1 영상 데이터를 생성할 수 있다.That is, according to the coding method, the region displaying the video object or the image object may be processed as black or white that can store the smallest data size. In addition, the first image data may be generated by rendering and encoding the region other than the region along with the processed region.

본 발명의 실시 예에 따른 클라우드 스트리밍 장치(100)의 컨텐츠 실행 모듈(103)은 상기 사용자 장치(200)의 요청에 의하여 컨텐츠를 실행할 수 있다.The content execution module 103 of the cloud streaming device 100 according to an embodiment of the present invention may execute the content at the request of the user device 200 .

예컨대, 컨텐츠 실행 모듈(103)은 HTML 5 브라우저일 수 있고, 이 밖에 다양한 버전의 브라우저가 될 수 있다.For example, the content execution module 103 may be an HTML 5 browser, and other browsers of various versions.

이때, 상기 클라우드 스트리밍 장치(100)의 파싱 처리 모듈(104)은, 상기 컨텐츠를 파싱할 수 있다. 상기 파싱은, 사용자가 원하는 특정 데이터를 추출하는 기술로써, 본 발명의 실시 예에 따른 파싱 처리 모듈(104)는 상기 컨텐츠를 파싱하여 컨텐츠 실행화면에 표시 될 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 생성할 수 있다.At this time, the parsing processing module 104 of the cloud streaming device 100 may parse the content. The parsing is a technique for extracting specific data desired by a user, and the parsing processing module 104 according to an embodiment of the present invention parses the content and stores address information in which a video object or an image object to be displayed on the content execution screen is stored. can create

또한, 상기 파싱 모듈(104)은, 상기 컨텐츠를 파싱하여 상기 비디오 객체 또는 이미지 객체가 표시되는 위치, 크기, 색상, 모양, 화면 출력 형식 중 하나 이상을 포함하는 태그 정보를 더 생성할 수 있다.In addition, the parsing module 104 may parse the content to further generate tag information including one or more of a position, size, color, shape, and screen output format of the video object or image object.

본 발명에 따른 클라우드 스트리밍 서버(100)의 컨텐츠 전송 모듈(102)은 통신망(500)을 통해 사용자 장치(200)로부터 컨텐츠 요청 신호를 수신하고, 컨텐츠 실행 모듈(103)은 상기 사용자 장치(200)의 요청에 응답하기 위하여 컨텐츠를 실행하며, 상기 화면 처리 모듈(101)이 생성한 제1 영상 데이터, 상기 파싱 처리 모듈(104)이 생성한 비디오 객체 또는 이미지 객체가 저장된 주소 정보, 상기 비디오 객체 또는 이미지 객체가 실행화면에 어떻게 표시되는지를 알 수 있는 태그 정보 중 하나 이상을 포함한 정보를 사용자 장치(200)로 전송할 수 있다.The content transmission module 102 of the cloud streaming server 100 according to the present invention receives a content request signal from the user device 200 through the communication network 500, and the content execution module 103 is the user device 200 The content is executed in order to respond to a request of Information including one or more pieces of tag information indicating how the image object is displayed on the execution screen may be transmitted to the user device 200 .

또한, 본 발명의 실시 예에 따른 클라우드 스트리밍 서버(100)는, 상기 파싱 처리 모듈(104)에 의하여 생성된 태그 정보 및 상기 주소 정보는 태그 등을 이용하여 데이터의 구조를 명기하는 언어의 한가지인 마크업 언어를 통해 태그의 속성으로 기술될 수 있다. 마크업 언어로는 대표적으로, HTML(Hypertext Markup Language), XHTML(eXtensible Hypertext Markup Language), XML(eXtensible Markup Language) 및 JSON(Javascript Object Notation)이 있으며, 상기 마크업 형태로 기술된 상기 주소 정보 및 태그 정보를 사용자 장치(200)에 제공할 수 있다.In addition, the cloud streaming server 100 according to an embodiment of the present invention, the tag information and the address information generated by the parsing processing module 104 are one of the languages that specify the structure of data using a tag. It can be described as an attribute of a tag through a markup language. Representative markup languages include Hypertext Markup Language (HTML), eXtensible Hypertext Markup Language (XHTML), eXtensible Markup Language (XML) and Javascript Object Notation (JSON), and the address information described in the markup form and The tag information may be provided to the user device 200 .

또한, 상기 제1 영상 데이터는 스트링 형태로 변환되어 상기 마크업 형태 중 어느 하나의 형태로 삽입되어 사용자 장치(200)로 제공할 수 있다.In addition, the first image data may be converted into a string form, inserted in any one of the markup forms, and provided to the user device 200 .

본 발명의 실시 예에 따른 클라우드 스트리밍 서버(100)는 하드웨어적으로는 통상적인 웹서버(Web Server) 또는 네트워크 서버와 동일한 구성을 하고 있다. 그러나, 소프트웨어적으로는 C, C++, Java, Visual Basic, Visual C 등과 같은 언어를 통하여 구현되는 프로그램 모듈(Module)을 포함한다. Cloud streaming server 100 according to an embodiment of the present invention has the same configuration as a typical web server (Web Server) or network server in terms of hardware. However, in terms of software, program modules implemented through languages such as C, C++, Java, Visual Basic, and Visual C are included.

클라우드 스트리밍 서버(100)는 전술한 바와 같이 웹서버 또는 네트워크 서버의 형태로 구현될 수 있으며, 웹서버는 일반적으로 인터넷과 같은 개방형 컴퓨터 네트워크를 통하여 불특정 다수 클라이언트 및/또는 다른 서버와 연결되어 있고, 클라이언트 또는 다른 웹서버의 작업수행 요청을 접수하고 그에 대한 작업 결과를 도출하여 제공하는 컴퓨터 시스템 및 그를 위하여 설치되어 있는 컴퓨터 소프트웨어(웹서버 프로그램)를 뜻하는 것이다. 그러나, 전술한 웹서버 프로그램 이외에도, 웹서버 상에서 동작하는 일련의 응용 프로그램(Application Program)과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 이러한 클라우드 스트리밍 서버(100)는 일반적인 서버용 하드웨어에 도스(DOS), 윈도우(Windows), 리눅스(Linux), 유닉스(UNIX), 매킨토시(Macintosh) 등의 운영체제에 따라 다양하게 제공되고 있는 웹서버 프로그램을 이용하여 구현될 수 있으며, 대표적인 것으로는 윈도우 환경에서 사용되는 웹사이트(Website), IIS(Internet Information Server)와 유닉스환경에서 사용되는 CERN, NCSA, APPACH 등이 이용될 수 있다. 또한, 클라우드 스트리밍 서버(100)는 서비스 가입 정보를 분류하여 회원 데이터베이스(Database)에 저장시키고 관리할 수 있으며, 이러한 데이터베이스는 클라우드 스트리밍 서버(100)의 내부 또는 외부에 구현될 수 있다. The cloud streaming server 100 may be implemented in the form of a web server or a network server as described above, and the web server is generally connected to an unspecified number of clients and/or other servers through an open computer network such as the Internet, It refers to a computer system that receives a request for performing work from a client or other web server, derives the work result and provides it, and computer software (web server program) installed therefor. However, in addition to the above-described web server program, it should be understood as a broad concept including a series of application programs operating on the web server and, in some cases, various databases built therein. This cloud streaming server 100 is a web server program that is provided in various ways according to operating systems such as DOS, Windows, Linux, UNIX, and Macintosh on general server hardware. It can be implemented using, and representative examples include a website used in a Windows environment, Internet Information Server (IIS), and CERN, NCSA, APPACH, etc. used in a Unix environment. In addition, the cloud streaming server 100 may classify service subscription information, store and manage it in a member database (Database), and this database may be implemented inside or outside the cloud streaming server 100 .

또한, 본 발명의 실시 예에 따른 클라우드 스트리밍 서버(100)는 하나의 슈퍼 컴퓨터 또는 여러 대의 컴퓨터가 하나의 컴퓨터처럼 작동하도록 연결된 동일한 하드웨어 플랫폼상에서 복수의 사용자에게 독립적인 가상 머신(Virtual Machine:VM)을 제공하는 분산 컴퓨팅 시스템의 형태로 구현될 수 있다. In addition, the cloud streaming server 100 according to an embodiment of the present invention is an independent virtual machine (VM) to a plurality of users on the same hardware platform connected to one super computer or multiple computers to operate as one computer. It can be implemented in the form of a distributed computing system that provides

한편, 사용자 장치(200) 또는 클라우드 스트리밍 서버(100)에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the memory mounted on the user device 200 or the cloud streaming server 100 stores information in the device. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in another implementation, the memory may be a non-volatile memory unit. In one embodiment, the storage device is a computer-readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

아울러, 본 발명의 실시 예에서 사용되는 '~모듈'이라는 용어는 소프트웨어 구성요소를 의미하며, '~모듈'은 어떤 역할들을 수행한다. 일 예로서 '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 또한, 구성요소들과 '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~모듈'들로 결합되거나 추가적인 구성요소들과 '~모듈'들로 더 분리될 수 있다.In addition, the term '~ module' used in the embodiment of the present invention means a software component, and '~ module' performs certain roles. As an example, '~module' refers to components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and sub-components. It includes routines, segments of program code, drivers, data, databases, data structures, tables, arrays, and variables. In addition, the functions provided in the components and '~modules' may be combined into a smaller number of components and '~modules' or may be further separated into additional components and '~modules'.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although this specification and drawings describe exemplary device configurations, implementations of the functional operations and subject matter described herein may be embodied in other types of digital electronic circuits, or may involve the structures disclosed herein and structural equivalents thereof. It may be implemented as computer software, firmware, or hardware including, or a combination of one or more of these. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a tangible program storage medium for execution by or for controlling the operation of an apparatus according to the invention. It can be implemented as the above modules. The computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of matter that affects a machine readable radio wave signal, or a combination of one or more thereof.

이하, 본 발명의 실시 예에 따른 사용자 장치(200)의 주요 구성에 대해 설명하도록 한다.Hereinafter, the main configuration of the user device 200 according to an embodiment of the present invention will be described.

도 3은 도 1에 도시된 본 발명의 실시 예에 따른 사용자 장치(200)의 주요 구성을 도시한 도면이다.FIG. 3 is a diagram illustrating a main configuration of the user device 200 according to the embodiment of the present invention shown in FIG. 1 .

도 3을 참조하면 본 발명의 사용자 장치(200)는 통신 모듈(201), 제어 모듈(202), 합성 모듈(203), 제1 디코딩 모듈(204) 및 제2 디코딩 모듈(205)를 포함할 수 있다.Referring to FIG. 3 , the user device 200 of the present invention may include a communication module 201 , a control module 202 , a synthesis module 203 , a first decoding module 204 , and a second decoding module 205 . can

본 발명의 실시 예에 따른 사용자 장치(200)의 통신 모듈(201)은, 통신망(500)을 통해서 클라우드 스트리밍 서버(100) 및 리소스 서버(300)를 포함하는 외부 서버와 접속하여 데이터를 송수신할 수 있다.The communication module 201 of the user device 200 according to an embodiment of the present invention connects to an external server including the cloud streaming server 100 and the resource server 300 through the communication network 500 to transmit and receive data. can

본 발명의 통신 모듈(201)은, 사용자 장치(200)의 컨텐츠 요청 신호를 클라우드 스트리밍 서버(100)로 전송할 수 있다.The communication module 201 of the present invention may transmit a content request signal of the user device 200 to the cloud streaming server 100 .

또한, 상기 통신 모듈(201)은, 비디오 객체 또는 이미지 객체를 수신하기 위하여 리소스 파일 요청 신호를 리소스 서버(300)로 전송할 수 있다.Also, the communication module 201 may transmit a resource file request signal to the resource server 300 in order to receive a video object or an image object.

본 발명의 실시 예에 따른 사용자 장치(200)의 제어 모듈(202)는, 상기 통신 모듈(201)을 통해서 클라우드 스트리밍 서버(100)로 컨텐츠를 요청하고, 그에 대한 응답으로 상기 클라우드 스트리밍 서버(100)로부터 상기 컨텐츠의 실행 화면 중 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 인코딩한 제1 영상데이터 및 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 제공받을 수 있다.The control module 202 of the user device 200 according to an embodiment of the present invention requests content to the cloud streaming server 100 through the communication module 201, and in response thereto, the cloud streaming server 100 ) of the execution screen of the content, first image data encoding the remaining area except for the video object or the image object, and address information in which the video object or the image object is stored may be provided.

이때, 상기 제1 영상데이터는 클라우드 스트리밍 서버(100)의 화면 처리 장치(101)에 의하여 상기 비디오 객체 또는 이미지 객체가 표시되는 영역이 흰색 또는 검정색으로 처리될 수 있다.In this case, as for the first image data, the area in which the video object or the image object is displayed may be processed as white or black by the screen processing device 101 of the cloud streaming server 100 .

또한, 상기 제어 모듈(202)은 상기 클라우드 스트리밍 서버(100)로부터 상기 비디오 객체 또는 이미지 객체가 상기 실행 화면에 표시되는 위치, 크기, 색상, 모양, 화면 출력 형식 중 하나 이상을 포함하는 태그 정보를 더 제공받을 수 있다.In addition, the control module 202 from the cloud streaming server 100, the video object or the image object is displayed on the execution screen location, size, color, shape, tag information including one or more of the screen output format more can be provided.

또한, 상기 제어 모듈(202)은, 상기 수신한 주소 정보를 기반으로 리소스 서버(300)에 리소스 파일, 즉, 비디오 객체 또는 이미지 객체를 요청할 수 있다. Also, the control module 202 may request a resource file, that is, a video object or an image object, from the resource server 300 based on the received address information.

이후, 상기 통신 모듈(201)은 통신망(500)을 통해 리소스 서버(300)에 상기 리소스 파일을 요청하는 요청 신호를 전송할 수 있다. Thereafter, the communication module 201 may transmit a request signal for requesting the resource file to the resource server 300 through the communication network 500 .

상기 제어 모듈(202)은, 상기 수신된 제1 영상데이터를 디코딩 하기 위하여 제1 디코딩 모듈(204)로 전송하며, 상기 수신된 비디오 객체 또는 이미지 객체를 디코딩 하기 위하여 제2 디코딩 모듈(205)로 전송할 수 있다. The control module 202 sends the received first image data to the first decoding module 204 to decode, and to the second decoding module 205 to decode the received video object or image object. can be transmitted

본 발명의 실시 예에 따른 사용자 장치(200)의 제1 디코딩 모듈(204)은, 상기 수신한 제1 영상데이터를 디코딩하여 합성 모듈(203)로 전송할 수 있다.The first decoding module 204 of the user device 200 according to an embodiment of the present invention may decode the received first image data and transmit it to the synthesis module 203 .

또한 본 발명의 실시 예에 따른 사용자 장치(200)의 제2 디코딩 모듈(205)는, 상기 수신한 비디오 객체 또는 이미지 객체를 디코딩 하여 상기 합성 모듈(203)로 전송할 수 있다.Also, the second decoding module 205 of the user device 200 according to an embodiment of the present invention may decode the received video object or image object and transmit it to the synthesis module 203 .

본 발명의 실시 예에 따른 사용자 장치(200)의 합성 모듈(203)은, 상기 제1 영상 데이터 및 상기 비디오 객체 또는 이미지 객체를 디코딩한 데이터를 모두 수신하고, 상기 두 데이터를 결합할 수 있다.The synthesis module 203 of the user device 200 according to an embodiment of the present invention may receive both the first image data and the video object or data obtained by decoding the image object, and combine the two data.

상기 합성 모듈(203)은, 상기 디코딩한 제1 영상데이터 및 상기 비디오 객체 또는 이미지 객체를 결합하기 위하여 오버레이 처리를 수행할 수 있다.The synthesis module 203 may perform overlay processing to combine the decoded first image data and the video object or image object.

이때, 상기 두 데이터를 결합하기 위한 방식은 이미지를 결합하는 기술적인 방법을 모두 포함할 수 있으며, 이미지 데이터를 합성하는 다양한 기술적 방법을 이용할 수 있다.In this case, the method for combining the two data may include all technical methods for combining images, and various technical methods for synthesizing image data may be used.

상술한 과정으로 상기 합성 모듈(203)은, 출력 장치(400)에서 출력할 최종 출력 화면을 생성할 수 있다.상기 최종 출력 화면은 통신 모듈(203)에 의하여 통신망(500)과 접속하여 출력 장치(400)로 전송될 수 있다.Through the above-described process, the synthesis module 203 may generate a final output screen to be output by the output device 400 . The final output screen is connected to the communication network 500 by the communication module 203 to output the output device. 400 .

본 발명에 따른 출력 장치(400)는, 사용자 장치(200)에 내장되어 있을 수 있고, 사용자 장치(200)에 내장되어 있지 않는 외부 출력 장치인 경우, 통신 모듈(201)을 통하여 통신망(500)과 접속하여 최종 출력 화면을 상기 외부 출력 장치로 제공할 수 있다.The output device 400 according to the present invention may be built in the user device 200 , and in the case of an external output device that is not built in the user device 200 , the communication module 201 may be used for the communication network 500 . and may provide a final output screen to the external output device.

도 4는 본 발명의 실시 예에 따른 클라우드 스트리밍 서버에서의 서비스 방법을 보다 더 구체적으로 설명하기 위한 흐름도이다.4 is a flowchart for explaining in more detail a service method in a cloud streaming server according to an embodiment of the present invention.

도 4를 참조하면, 클라우드 스트리밍 서버(100)는, 사용자 장치(200)의 컨텐츠 요청 신호를 수신하여 컨텐츠 실행 모듈(103)을 통해 컨텐츠를 실행한다(S101). 이후, 클라우드 스트리밍 서버(100)의 화면 처리 모듈(101)은 컨텐츠의 실행 화면을 효과적으로 랜더링 및 인코딩하여 사용자 장치(200)로 전송하기 위하여, 컨텐츠의 실행 화면 중에서 비디오 객체 또는 이미지 객체가 표시되는 영역을 컨텐츠의 실행 화면을 압축할 포맷 형식에 따라서 검정색 또는 흰색으로 처리할 수 있다(S103). 즉, 클라우드 스트리밍 서버(100)는 클라우드 스트리밍 서비스를 제공하기 위하여 생성하는 영상 데이터의 코딩 방식에 따라서, 비디오 객체 또는 이미지 객체가 표시되는 영역을 검정색 또는 흰색으로 처리할 수 있다.Referring to FIG. 4 , the cloud streaming server 100 receives the content request signal from the user device 200 and executes the content through the content execution module 103 ( S101 ). Thereafter, the screen processing module 101 of the cloud streaming server 100 effectively renders and encodes the execution screen of the content and transmits it to the user device 200, the area in which the video object or the image object is displayed among the execution screen of the content. may be processed in black or white according to the format format to compress the execution screen of the content (S103). That is, the cloud streaming server 100 may process an area in which a video object or an image object is displayed in black or white according to a coding method of image data generated to provide a cloud streaming service.

이때, 상기 이미지 포맷 방식 즉 코딩 방식은, JPEG(Joint photographic Experts Group,JPG), GIF(Graphics Interchange Format), PNG(Portable Network Graphics) 및 BMP(Bitmap) 중 어느 하나일 수 있으며, 이 밖에도 이미지를 저장하는 형식이라면 상기 코딩 방식이 될 수 있다.In this case, the image format method, that is, the coding method, may be any one of JPEG (Joint photographic Experts Group, JPG), GIF (Graphics Interchange Format), PNG (Portable Network Graphics), and BMP (Bitmap). If it is a storage format, it may be the above coding method.

각각의 코딩 방식은, 그 이미지에 사용한 색상의 종류가 적을수록 데이터 용량이 작고, 사용한 색상에 따라서 데이터 용량이 감소 또는 증가할 수 있다.In each coding method, the smaller the type of color used in the image, the smaller the data capacity, and the data capacity may be decreased or increased according to the color used.

따라서, 본 발명의 실시 예에 따르면, 상기 비디오 객체 또는 이미지 객체가 표시되는 영역을 데이터 용량을 가장 최소화 할 수 있는 검정색 또는 흰색 중 상기 코딩 방식에 따라서 선택하여 처리할 수 있다.Accordingly, according to an embodiment of the present invention, the region in which the video object or the image object is displayed may be selected and processed from among black or white, which can minimize the data capacity, according to the coding scheme.

클라우드 스트리밍 서버(100)는 컨텐츠의 실행 화면 중 비디오 객체 또는 이미지 객체가 표시되는 영역을 검정색 또는 흰색으로 처리하고, 비디오 객체 또는 이미지 객체를 제외한 영역을 랜더링하고 인코딩하여 상기 컨텐츠의 실행 화면을 통해 제1 영상 데이터를 생성할 수 있다(S105).The cloud streaming server 100 processes an area in which a video object or an image object is displayed among the execution screen of the content in black or white, and renders and encodes an area excluding the video object or image object, and is produced through the execution screen of the content. 1 It is possible to generate image data (S105).

클라우드 스트리밍 서버(100)의 파싱 처리 모듈(104)는 상기 사용자 장치(200)가 요청한 컨텐츠를 파싱(S107) 상기 컨텐츠의 비디오 객체 또는 이미지 객체가 저장된 주소 정보 및 상기 비디오 객체 또는 이미지 객체가 실행 화면에 표시되는 위치, 크기, 색상, 모양, 화면 출력 형식 중 하나 이상을 포함하는 태그 정보를 생성할 수 있다(S109).The parsing processing module 104 of the cloud streaming server 100 parses the content requested by the user device 200 (S107), the address information in which the video object or image object of the content is stored, and the video object or image object execution screen It is possible to generate tag information including one or more of a position, size, color, shape, and screen output format displayed on the screen (S109).

이후, 상기 클라우드 스트리밍 서버(100)는 상기 주소 정보 및 태그 정보를 JSON 및 XML 형태를 포함하는 마크업 언어 중 어느 하나로 변환할 수 있다(S111).Then, the cloud streaming server 100 may convert the address information and the tag information into any one of a markup language including JSON and XML format (S111).

또한, 클라우드 스트리밍 서버(100)는 상기 S105단계에서 생성한 제1 영상 데이터를 스트링 형태로 변환한 후, 상기 S111단계에서 상기 마크업 언어로 기술된 주소 정보 및 태그 정보에 삽입한다(S113). 이 후, 클라우드 스트리밍 서버(100)는 상기 마크업 언어로 변환된 정보를 사용자 장치(200)로 제공한다(S115).In addition, the cloud streaming server 100 converts the first image data generated in step S105 into a string form, and then inserts it into the address information and tag information described in the markup language in step S111 (S113). Thereafter, the cloud streaming server 100 provides the information converted into the markup language to the user device 200 (S115).

도 5는 본 발명의 실시 예에 따른 사용자 장치에서의 서비스 방법을 보다 더 구체적으로 설명하기 위한 흐름도이다.5 is a flowchart illustrating in more detail a service method in a user device according to an embodiment of the present invention.

도 5를 참조하면, 사용자 장치(200)의 제어 모듈(202)은 클라우드 스트리밍 서버(100)에 컨텐츠를 실행을 요청한다(S201). 이때, 사용자 장치(200)의 통신 모듈(201)에의하여 사용자 장치(200)의 컨텐츠 실행 요청 신호가 전송될 수 있다. 이후, 사용자 장치(200)의 제어 모듈(202)은 클라우드 스트리밍 서버(100)로부터 사용자 장치(200)가 요청한 컨텐츠의 실행 화면 중, 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 랜더링 및 인코딩한 제1 영상 데이터 및 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 수신한다(S203). Referring to FIG. 5 , the control module 202 of the user device 200 requests the cloud streaming server 100 to execute content (S201). In this case, the content execution request signal of the user device 200 may be transmitted by the communication module 201 of the user device 200 . Thereafter, the control module 202 of the user device 200 renders and encodes the remaining area excluding the video object or the image object among the execution screen of the content requested by the user device 200 from the cloud streaming server 100. Receives image data and address information in which the video object or image object is stored (S203).

또한, 사용자 장치(200)의 제어 모듈(202)은 상기 클라우드 스트리밍 서버(100)로부터 제1 영상 데이터 및 주소 정보와 함께, 상기 비디오 객체 및 이미지 객체가 컨텐츠 실행 화면에 표시되는 위치, 크기, 생상, 모양, 화면 출력 형식 중 하나 이상을 포함하는 태그 정보를 더 수신할 수 있다.In addition, the control module 202 of the user device 200, together with the first image data and address information from the cloud streaming server 100, the location, size, and production of the video object and the image object displayed on the content execution screen. , shape, and tag information including at least one of a screen output format may be further received.

사용자 장치(200)의 제어 모듈(202)은 상기 수신한 주소 정보를 기반으로 리소스 서버(300)에 상기 주소 정보에 대응하는 비디오 객체 또는 이미지 객체를 요청하여 수신한다(S205). 이때, 사용자 장치(200)의 통신 모듈(201)에 의하여 요청 신호가 전송될 수 있다. 즉, 사용자 장치(200)는 리소스 서버(300)로부터 컨텐츠의 실행 화면에 표시할 비디오 리소스 데이터 또는 이미지 리소스 데이터를 수신할 수 있다.The control module 202 of the user device 200 requests and receives a video object or an image object corresponding to the address information from the resource server 300 based on the received address information (S205). In this case, the request signal may be transmitted by the communication module 201 of the user device 200 . That is, the user device 200 may receive video resource data or image resource data to be displayed on the execution screen of the content from the resource server 300 .

사용자 장치(200)는 상기 수신한 제1 영상 데이터를 제1 디코딩 모듈(204)에서 디코딩하고(S207), 상기 수신한 비디오 객체 또는 이미지 객체를 제2 디코딩 모듈(205)에서 디코딩할 수 있다(S209).The user device 200 may decode the received first image data in the first decoding module 204 (S207), and decode the received video object or image object in the second decoding module 205 ( S209).

이후, 사용자 장치(200)는 상기 디코딩한 제1 영상 데이터 및 비디오 객체 또는 오디오 객체를 오버레이 처리를 통해 합성하며(S211), 상기 컨텐츠 실행화면에 표시할 최종 출력 화면을 생성할 수 있다(S213).Thereafter, the user device 200 may synthesize the decoded first image data and the video object or audio object through overlay processing (S211), and generate a final output screen to be displayed on the content execution screen (S213). .

상술한 과정을 통해, 사용자 장치(200)는 상기 S213단계에서 생성한 최종 출력 화면을 출력 장치로 전송할 수 있다(S215).Through the above-described process, the user device 200 may transmit the final output screen generated in step S213 to the output device (S215).

도 6은 본 발명의 실시 예에 따른 클라우드 스트리밍 서버의 서비스 절차를 나타낸 도면이다. 6 is a diagram illustrating a service procedure of a cloud streaming server according to an embodiment of the present invention.

도 6을 참조하면, S301 단계에서, 사용자 장치(200)는 클라우드 스트리밍 서버(100)로 컨텐츠를 요청한다. 이후 클라우드 스트리밍 서버(100)는 컨텐츠 실행 모듈(103)을 구동하여 상기 사용자 장치(200)에 의해 요청된 컨텐츠를 실행하고(S303), 화면 처리 모듈(101)을 통해 상기 컨텐츠의 실행 화면 중에서 비디오 객체 또는 이미지 객체가 표시되는 부분을 제외한 나머지 영역을 랜더링 및 인코딩한 제1 영상데이터를 생성한다(S305). Referring to FIG. 6 , in step S301 , the user device 200 requests content from the cloud streaming server 100 . Then, the cloud streaming server 100 drives the content execution module 103 to execute the content requested by the user device 200 (S303), and through the screen processing module 101, a video from the execution screen of the content. First image data obtained by rendering and encoding an object or a region other than a portion on which an image object is displayed is generated (S305).

이후, 파싱 처리 모듈(104)를 통해 상기 컨텐츠를 파싱하고(S307), 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 생성한다(S309).Thereafter, the content is parsed through the parsing processing module 104 (S307), and address information in which the video object or the image object is stored is generated (S309).

상기 클라우드 스트리밍 서버(100)는 상기 S305 및 S309 단계에서 생성한 제1 영상 데이터 및 주소 정보를 사용자 장치(200)로 제공한다(S311).The cloud streaming server 100 provides the first image data and address information generated in steps S305 and S309 to the user device 200 (S311).

이 후, 사용자 장치(200)는 상기 제1 영상 데이터 및 주소 정보를 수신하여 상기 주소 정보를 기반으로 비디오 객체 또는 이미지 객체를 리소스 서버(300)로 요청할 수 있다(S313).Thereafter, the user device 200 may receive the first image data and address information and request a video object or an image object from the resource server 300 based on the address information (S313).

또한, 리소스 서버(300)는 사용자 장치(200)로부터 상기 요청을 수신하여 상기 주소 정보에 대응하는 비디오 객체 또는 이미지 객체를 사용자 장치(200)로 제공한다(S315). Also, the resource server 300 receives the request from the user device 200 and provides a video object or an image object corresponding to the address information to the user device 200 ( S315 ).

사용자 장치(200)는 상기 S311 단계에서 수신한 제1 영상 데이터를 제1 디코딩 모듈(204)에서 디코딩하고(S317), 상기 S315 단계에서 리소스 서버(300)로부터 수신한 비디오 객체 또는 이미지 객체를 제2 디코딩 모듈(205)에서 디코딩한다(S319). 이후, 사용자 장치(200)는 디코딩한 제1 영상데이터 및 비디오 객체 또는 이미지 객체를 오버레이 처리하여 합성한다(S321). 그리고, 사용자 장치(200)는 상기 S321단계에서 합성한 데이터로 최종 출력 화면을 생성하여 출력 장치(400)로 제공한다(S323).The user device 200 decodes the first image data received in step S311 in the first decoding module 204 (S317), and provides the video object or image object received from the resource server 300 in step S315. 2 decoded by the decoding module 205 (S319). Thereafter, the user device 200 overlays the decoded first image data and the video object or the image object to synthesize it ( S321 ). Then, the user device 200 generates a final output screen with the data synthesized in step S321 and provides it to the output device 400 (S323).

도 7a는 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 방법을 설명하기 위한 예시도이다. 도 7a는, 사용자 장치(200)에서 제공한 제1 영상 데이터를 출력 장치(400)에서 출력한 것이다.7A is an exemplary diagram for explaining a cloud streaming service method according to an embodiment of the present invention. In FIG. 7A , the output device 400 outputs the first image data provided by the user device 200 .

도 7a를 참조하면, 클라우드 스트리밍 서버(100)가 사용자 장치(200)의 요청에 의하여 실행한 컨텐츠의 실행 화면(30)과, 비디오 객체 또는 이미지 객체가 표시되는 영역(32a, 32b, 32c, 32d)을 표시한 예시도이다.Referring to Figure 7a, the cloud streaming server 100, the execution screen 30 of the content executed by the request of the user device 200, and the video object or image object is displayed areas (32a, 32b, 32c, 32d) ) is an example diagram.

이때, 클라우드 스트리밍 서버(100)는 상기 컨텐츠의 실행 화면(30)에서 비디오 객체 또는 이미지 객체가 표시되는 영역(32a, 32b, 32c, 32d)를 제외한 영역을 랜더링 및 인코딩하여 제1 영상 데이터를 생성하고, 사용자 장치(200)로 제공한다.At this time, the cloud streaming server 100 renders and encodes an area other than the areas 32a, 32b, 32c, and 32d where the video object or the image object is displayed on the execution screen 30 of the content to generate the first image data. and provided to the user device 200 .

이때, 상기 제1 영상 데이터의 이미지 압축 포맷 형식, 즉, 코딩 방식에 따라서 비디오 객체 또는 이미지 객체가 표시되는 영역(32a, 32b, 32c, 32d)를 검정색 또는 흰색으로 처리할 수 있다.In this case, according to the image compression format of the first image data, that is, the coding method, the video object or the regions 32a, 32b, 32c, and 32d in which the image object is displayed may be processed as black or white.

상술한 바와 같이 본 발명의 실시 예에 따른 클라우드 스트리밍 서버(100)는 상기 비디오 객체 또는 이미지 객체가 표시되는 영역(32a, 32b, 32c, 32d)을 검정색 또는 흰색으로 처리한 후 랜더링 및 인코딩하여 제1 영상 데이터를 생성할 수 있다.As described above, the cloud streaming server 100 according to an embodiment of the present invention renders and encodes the regions 32a, 32b, 32c, and 32d in which the video object or image object is displayed in black or white, and then renders and encodes them. 1 You can create image data.

도 7b는 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 방법을 설명하기 위한 예시도이다.7B is an exemplary diagram for explaining a cloud streaming service method according to an embodiment of the present invention.

도 7b를 참조하면, 상술한 도 7a에서의 컨텐츠 실행화면에서, 비디오 객체 또는 이미지 객체가 표시되는 영역(33a, 33b, 33c, 33d)에 서로 다른 이미지 데이터가 삽입되어 있다.Referring to FIG. 7B , in the above-described content execution screen of FIG. 7A , different image data are inserted into regions 33a , 33b , 33c , and 33d in which video objects or image objects are displayed.

사용자 장치(200)가 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 기반으로 리소스 서버(300)로 데이터를 요청하여 비디오 객체 또는 이미지 객체를 수신하고, 사용자 장치(200)의 제2 디코딩 모듈에서 디코딩되고, 상기 제1 영상 데이터에 삽입된 실행 화면을 볼 수 있다.The user device 200 receives the video object or image object by requesting data from the resource server 300 based on the address information in which the video object or image object is stored, and is decoded in the second decoding module of the user device 200 and , you can see the execution screen inserted into the first image data.

상기 도 7a, 7b에 따르면, 사용자 장치(200)는 컨텐츠의 실행 화면 중 비디오 객체 또는 이미지 객체를 제외한 나머지 영역을 인코딩한 제1 영상 데이터 및 상기 비디오 객체 또는 이미지 객체가 저장된 주소 정보를 수신하고, 상기 주소 정보를 통해 리소스 서버(300)로부터 직접 비디오 객체 또는 이미지 객체를 수신하여 상기 제1 영상 데이터에 비디오 객체 또는 이미지 객체를 표시하는 영역(32a, 32b, 32c, 32d)에 상기 수신한 비디오 객체 또는 이미지 객체를 디코딩하여 삽입(33a, 33b, 33c, 33d)하는 과정을 보여준다.도 8은 본 발명의 실시 예에 따른 클라우드 스트리밍 서비스 제공을 위한 장치의 오퍼레이팅 환경을 나타낸 도면이다.7A and 7B, the user device 200 receives the first image data encoding the remaining area except for the video object or the image object in the execution screen of the content and the address information in which the video object or the image object is stored, A video object or an image object is directly received from the resource server 300 through the address information, and the received video object is located in the areas 32a, 32b, 32c, 32d for displaying the video object or image object in the first image data. Alternatively, it shows a process of decoding and inserting an image object (33a, 33b, 33c, 33d). FIG. 8 is a view showing an operating environment of a device for providing a cloud streaming service according to an embodiment of the present invention.

도 8 및 이하의 설명은 본 발명이 구현될 수 있는 적절한 컴퓨팅 환경의 간단하고, 일반적인 설명을 제공하고자 한다. 요구사항은 아니지만, 본 발명은 컴퓨터 시스템에 의해 실행되고 있는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 관련하여 기술될 수 있다. 8 and the following description are intended to provide a brief, general description of a suitable computing environment in which the present invention may be implemented. Although not required, the invention may be described in the context of computer-executable instructions, such as program modules, being executed by a computer system.

일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 컴퓨터 실행가능 명령어, 관련 데이터 구조, 및 프로그램 모듈은 본 명세서에 개시된 발명의 행위를 실행하는 프로그램 코드 수단의 예를 나타낸다.Generally, program modules include routines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types. Computer executable instructions, associated data structures, and program modules represent examples of program code means for carrying out the acts of the invention disclosed herein.

도 8을 참조하면, 본 발명을 구현하는 예시적인 컴퓨팅 시스템은 프로세싱 유닛(11), 시스템 메모리(12), 및 상기 시스템 메모리(12)를 포함하는 다양한 시스템 컴포넌트를 상기 프로세싱 유닛(11)에 연결시키는 시스템 버스(10)를 포함하는 형태로 된 컴퓨팅 장치를 포함한다. Referring to FIG. 8 , an exemplary computing system embodying the present invention connects a processing unit 11 , a system memory 12 , and various system components including the system memory 12 to the processing unit 11 . and a computing device in a form including a system bus (10).

프로세싱 유닛(11)은 본 발명의 특징을 구현하도록 설계된 컴퓨터-실행가능 명령어를 실행시킬 수 있다. The processing unit 11 may execute computer-executable instructions designed to implement aspects of the present invention.

시스템 버스(10)는 다양한 버스 아키텍처 중의 임의의 것을 사용하는 로컬 버스, 주변 버스, 및 메모리 버스 또는 메모리 컨트롤러를 포함하는 몇 가지 유형의 버스 구조 중의 임의의 것일 수 있다. 시스템 메모리(12)는 ROM(Read Only Memory)(12a) 및 RAM(Random Access Memory)(12b)을 포함한다. 시동중과 같은 때에 컴퓨팅 시스템 내의 구성요소들 간에 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(BIOS)(13a)은 일반적으로 ROM(12a)에 저장될 수 있다.The system bus 10 may be any of several types of bus structures including a local bus, a peripheral bus, and a memory bus or memory controller using any of a variety of bus architectures. The system memory 12 includes a read only memory (ROM) 12a and a random access memory (RAM) 12b. A basic input/output system (BIOS) 13a containing basic routines that help transfer information between components within the computing system, such as during startup, may be stored generally in ROM 12a.

컴퓨팅 시스템은 저장 수단을 포함할 수 있는데, 예를 들어, 하드 하드 디스크로부터 정보를 판독하거나 그 하드 디스크에 정보를 기록하는 하드 디스크 드라이브(15), 자기 디스크로부터 정보를 판독하거나 그 자기 디스크에 정보를 기록하는 자기 디스크 드라이브(16), 및 예를 들면, CD-ROM 또는 기타 광 매체 등의 광 디스크로부터 정보를 판독하거나 그 광 디스크에 정보를 기록하는 광 디스크 드라이브(17)를 포함할 수 있다. 하드 디스크 드라이브(15), 자기 디스크 드라이브(16), 및 광 디스크 드라이브(17)는 각각 하드 디스크 드라이브 인터페이스(18), 자기 디스크 드라이브-인터페이스(19), 및 광 드라이브 인터페이스(20)에 의해 시스템 버스(10)에 접속된다. The computing system may comprise storage means, for example a hard disk drive 15 for reading information from or writing information to, a hard disk drive 15 for reading information from or writing information to a magnetic disk. may include a magnetic disk drive 16 for writing to, and an optical disk drive 17 for reading information from, or writing information to, an optical disk, such as, for example, a CD-ROM or other optical medium. . The hard disk drive 15 , the magnetic disk drive 16 , and the optical disk drive 17 are connected to the system by a hard disk drive interface 18 , a magnetic disk drive-interface 19 , and an optical drive interface 20 , respectively. connected to the bus 10 .

또한, 컴퓨팅 시스템은, 저장 수단으로서 외장 메모리(21)를 더 구비할 수 있다. 상기 외장 메모리(21)는 입출력 인터페이스(24)를 통해서 시스템 버스(10)에 접속될 수 있다.In addition, the computing system may further include an external memory 21 as a storage means. The external memory 21 may be connected to the system bus 10 through the input/output interface 24 .

상술한 드라이브 및 그 드라이브에 의해 판독 및 기록되는 관련 컴퓨터 판독가능 매체는 컴퓨터 실행가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 비휘발성 저장을 제공한다. 본 명세서에서 기술된 예시적인 환경은 하드 디스크(15), 자기 디스크(16) 및 광 디스크(17)를 예시하고 있으나, 이외에 자기 카세트, 플래쉬 메모리 카드, DVD, 베루누이 카트리지(Bernoulli cartridge), RAM, ROM, 등을 포함하는, 데이터를 저장하는 다른 유형의 컴퓨터 판독가능 매체가 이용될 수 있다.The drives described above and associated computer readable media read and written by the drives provide non-volatile storage of computer executable instructions, data structures, program modules, and other data. The exemplary environment described herein illustrates hard disk 15, magnetic disk 16 and optical disk 17, but in addition to magnetic cassettes, flash memory cards, DVDs, Bernoulli cartridges, RAM Other tangible computer-readable media for storing data may be used, including , ROM, and the like.

상기 프로세싱 유닛(11)에 의해 로딩되어 실행되는, 오퍼레이팅 시스템(13b), 하나 이상의 애플리케이션 프로그램(13c), 기타 프로그램 모듈(13d), 및 프로그램 데이터(13c)를 포함하는 하나 이상의 프로그램 모듈을 포함하는 프로그램 코드 수단은 하드 디스크(15), 자기 디스크(16), 광 디스크(17), ROM(12a) 또는 RAM(12b)에 저장될 수 있다. an operating system (13b), one or more application programs (13c), other program modules (13d), and one or more program modules including program data (13c), which are loaded and executed by the processing unit (11) The program code means may be stored in the hard disk 15, magnetic disk 16, optical disk 17, ROM 12a or RAM 12b.

아울러, 상기 컴퓨팅 시스템은, 키보드, 포인팅 장치, 마이크로폰, 조이 스틱, 게임 패드, 스캐너, 등과 같은 기타 입력 장치(22)를 통해 사용자로부터 명령 및 정보를 입력 받을 수 있다. In addition, the computing system may receive commands and information from a user through other input devices 22 such as a keyboard, a pointing device, a microphone, a joystick, a game pad, a scanner, and the like.

이들 입력 장치(22)는 시스템 버스(10)에 연결된 입출력 인터페이스(24)를 통해 프로세싱 유닛(11)에 접속될 수 있다. These input devices 22 may be connected to the processing unit 11 via an input/output interface 24 coupled to the system bus 10 .

입출력 인터페이스(24)는 예를 들면, 직렬 포트 인터페이스, PS/2 인터페이스, 병렬 포트 인터페이스, USB 인터페이스, IEEE(Institute of Electrical and Electronics Engineers) 1394 인터페이스(즉, 파이어와이어(FireWire) 인터페이스)와 같은 매우 다양한 서로 다른 인터페이스 중 임의의 것을 논리적으로 나타내거나, 다른 인터페이스의 조합까지도 논리적으로 나타낼 수 있다. The input/output interface 24 is a very flexible interface such as, for example, a serial port interface, a PS/2 interface, a parallel port interface, a USB interface, an Institute of Electrical and Electronics Engineers (IEEE) 1394 interface (ie, a FireWire interface). It can logically represent any of a variety of different interfaces, or even a combination of different interfaces.

더하여, 본 발명이 적용되는 컴퓨팅 시스템은, 모니터 혹은 LCD와 같은 디스플레이 장치(26) 또는 스피커나 마이크로폰과 같은 오디오 장치(27)를 더 포함할 수 있으며, 이들은, 비디오/오디오 인터페이스(25)를 통해서 시스템 버스(10)에 접속된다. In addition, the computing system to which the present invention is applied may further include a display device 26 such as a monitor or LCD, or an audio device 27 such as a speaker or microphone, which are connected via the video/audio interface 25 . connected to the system bus 10 .

예를 들면, 스피커 및 프린터 등의 (도시되지 않은) 기타 주변 출력 장치가 컴퓨터 시스템(420)에 또한 접속될 수 있다. 상기 비디오/오디오 인터페이스부(25)는 HDMI(High Definition Multimedia Interface), GDI(Graphics Device Interface) 등을 포함할 수 있다.Other peripheral output devices (not shown) may also be connected to the computer system 420 , such as, for example, speakers and printers. The video/audio interface unit 25 may include a High Definition Multimedia Interface (HDMI), a Graphics Device Interface (GDI), or the like.

또한, 본 발명을 실행하는 컴퓨팅 시스템은, 예를 들면, 사무실-광역 또는 기업-광역 컴퓨터 네트워크, 홈 네트워크, 인트라넷, 및/또는 인터넷과 같은 네트워크에 접속 가능하다. 컴퓨터 시스템은 이러한 네트워크를 통해, 예를 들면, 원격 컴퓨터 시스템, 원격 애플리케이션, 및/또는 원격 데이터베이스와 같은 외부 소스들과의 데이터를 교환할 수 있다.Further, a computing system embodying the present invention is connectable to networks such as, for example, office-wide or enterprise-wide computer networks, home networks, intranets, and/or the Internet. Computer systems may exchange data via such networks with external sources, such as, for example, remote computer systems, remote applications, and/or remote databases.

이를 위해 본 발명이 적용되는 컴퓨팅 시스템은 외부 소스로부터 데이터를 수신하고/거나 외부 소스로 데이터를 전송하는 네트워크 인터페이스(27)를 포함한다. To this end, the computing system to which the present invention is applied includes a network interface 27 that receives data from and/or transmits data to an external source.

본 발명에 있어서, 이러한 컴퓨팅 시스템은, 네트워크 인터페이스(27)를 통해서 원격지에 위치한 장치와 정보를 송수신 할 수 있다.In the present invention, such a computing system may transmit/receive information to and from a device located at a remote location through the network interface 27 .

예컨대, 컴퓨팅 시스템이 사용자 장치(200)를 의미하는 경우, 네트워크 인터페이스(27)을 통해 클라우드 스트리밍 서버(100) 및 리소스 서버(300)와 정보를 송수신할 수 있다. 반면, 컴퓨팅 시스템이 클라우드 스트리밍 서버(100)를 의미하는 경우, 네트워크 인터페이스(27)을 통해 사용자 장치(200)와 정보를 송수신할 수 있다. For example, when the computing system refers to the user device 200 , information may be transmitted and received with the cloud streaming server 100 and the resource server 300 through the network interface 27 . On the other hand, when the computing system refers to the cloud streaming server 100 , information may be transmitted and received with the user device 200 through the network interface 27 .

네트워크 인터페이스(27)는, 예를 들면, 네트워크 인터페이스 카드 및 대응하는 네트워크 드라이버 인터페이스 사양(Network Driver Interface Specification: "NDIS") 스택과 같은 하나 이상의 소프트웨어 및/또는 하드웨어 모듈의 논리적 조합으로 나타낼 수 있다. Network interface 27 may represent a logical combination of one or more software and/or hardware modules, such as, for example, a network interface card and a corresponding Network Driver Interface Specification (“NDIS”) stack.

마찬가지로, 컴퓨터 시스템은 입출력 인터페이스(24)를 통해 외부 소스로부터 데이터를 수신하거나 외부 소스로 데이터를 전송한다. 입출력 인터페이스(24)는 모뎀(23)(예를 들면, 표준 모뎀, 케이블 모뎀, 또는 디지털 가입자선(digital subscriber line: “DSL”) 모뎀)에 연결될 수 있으며, 이러한 모뎀(23)을 통해 외부 소스로부터 데이터를 수신하고/거나 외부 소스로 데이터를 전송할 수 있다. Likewise, the computer system receives data from, or transmits data to, an external source via input/output interface 24 . The input/output interface 24 may be coupled to a modem 23 (eg, a standard modem, cable modem, or digital subscriber line (“DSL”) modem), through which an external source It may receive data from and/or transmit data to an external source.

도 8은 본 발명에 적절한 오퍼레이팅 환경을 나타내지만, 본 발명의 원리는, 필요하다면 적절한 수정으로, 본 발명의 원리를 구현할 수 있는 임의의 시스템에 채용될 수 있다. 도 8에 도시된 환경은 단지 예시적이며 본 발명의 원리가 구현될 수 있는 매우 다양한 환경의 작은 일부도 나타내지 못한다.8 illustrates an operating environment suitable for the present invention, the principles of the present invention may be employed in any system capable of implementing the principles of the present invention, with appropriate modifications, if necessary. The environment depicted in FIG. 8 is exemplary only and does not represent a small fraction of the wide variety of environments in which the principles of the present invention may be implemented.

아울러, 본 발명의 클라우드 스트리밍 서비스 프로그램 실행 시 발생되는 다양한 정보는 도 8과 같은 컴퓨팅 시스템에 관련된 임의의 컴퓨터 판독가능 매체에 저장되고 액세스될 수 있다. In addition, various information generated during execution of the cloud streaming service program of the present invention may be stored and accessed in any computer-readable medium related to the computing system as shown in FIG.

예를 들면, 이러한 프로그램 모듈들의 일부 및 관련 프로그램 데이터의 일부는, 시스템 메모리(12)에 저장하기 위해, 오퍼레이팅 시스템(13b), 애플리케이션 프로그램(13c), 프로그램 모듈(13d), 및/또는 프로그램 데이터(13e)에 포함될 수 있다.For example, some of these program modules and some of the associated program data, for storage in system memory 12 , may include operating system 13b , application programs 13c , program modules 13d , and/or program data (13e) may be included.

또한, 하드 디스크와 같은 대용량(mass) 저장 장치가 컴퓨팅 시스템에 연결되면, 이러한 프로그램 모듈 및 관련 프로그램 데이터는 대용량 저장 장치에 저장될 수 있다. Also, when a mass storage device such as a hard disk is connected to the computing system, such program modules and related program data may be stored in the mass storage device.

네트워크 환경에서, 본 발명과 관련된 프로그램 모듈 또는 그 일부는 입출력 인터페이스(24)의 모뎀(23) 또는 네트워크 인터페이스(25)를 통해 연결된 원격 컴퓨터 시스템, 예를 들어, 사용자 장치(200) 및 클라우드 스트리밍 서버(100)의 컴퓨팅 시스템에 관련된 시스템 메모리 및/또는 대용량 저장 장치와 같은 원격 메모리 저장 장치에 저장될 수 있다. 이러한 모듈의 실행은 전술한 바와 같이 분산형 환경에서 수행될 수 있다.In a network environment, a program module or a part thereof related to the present invention may be connected to a remote computer system via a modem 23 or a network interface 25 of the input/output interface 24, for example, a user device 200 and a cloud streaming server. may be stored in system memory associated with the computing system of 100 and/or in a remote memory storage device, such as a mass storage device. Execution of these modules may be performed in a distributed environment as described above.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. As described above, while this specification contains numerous specific implementation details, these are not to be construed as limiting as to the scope of any invention or claim, but rather may be specific to particular embodiments of a particular invention. It should be understood as a description of features. Certain features that are described herein in the context of separate embodiments may be implemented in combination in a single embodiment.

반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Furthermore, although features operate in a particular combination and may be initially depicted as claimed as such, one or more features from a claimed combination may in some cases be excluded from the combination, the claimed combination being a sub-combination. or a variant of a sub-combination.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Likewise, although acts are depicted in the figures in a particular order, it should not be construed that all acts shown must be performed or that such acts must be performed in the specific order or sequential order shown in order to achieve desirable results. In certain cases, multitasking and parallel processing may be advantageous. Further, the separation of the various system components of the above-described embodiments should not be construed as requiring such separation in all embodiments, and the program components and systems described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.Certain embodiments of the subject matter described herein have been described. Other embodiments are within the scope of the following claims. For example, acts recited in the claims may be performed in a different order and still achieve desirable results. As an example, the processes illustrated in the accompanying drawings do not necessarily require the specific illustrated order or sequential order to achieve desirable results. In certain implementations, multitasking and parallel processing may be advantageous.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The present description sets forth the best mode of the invention, and provides examples to illustrate the invention, and to enable any person skilled in the art to make or use the invention. This written specification does not limit the present invention to the specific terms presented. Accordingly, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art can make modifications, changes, and modifications to the examples without departing from the scope of the present invention.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be defined by the described embodiments, but should be defined by the claims.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the present specification and drawings are merely presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

본 발명은 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치에 관한 것으로, 클라우드 스트리밍 서비스를 제공하는 데 있어서, 컨텐츠의 실행 화면 중에서 비디오 객체 또는 이미지 객체가 표시되는 화면을 제외한 나머지 영역을 랜더링 및 인코딩하여 비디오 객체 또는 이미지 객체가 저장된 주소 정보와 함께 제공함으로써, 수신한 주소 정보를 기반으로 사용자 장치에서 직접 비디오 또는 이미지 리소스를 제공받아 삽입하여 오버레이 처리함으로써 PIP 요구사항이 없고 풀 브라우징이 필요 없으며 기존 방식에 비하여 경제적이므로 이를 통해 클라우드 서비스 산업의 발전에 이바지할 수 있다.The present invention relates to a method for providing a cloud streaming service and an apparatus therefor, and in providing a cloud streaming service, a video object by rendering and encoding the remaining area except for a screen on which a video object or an image object is displayed among execution screens of content Alternatively, by providing the image object with the stored address information, video or image resources are provided directly from the user device based on the received address information and inserted and overlayed, so there is no PIP requirement, no full browsing, and more economical than the existing method Therefore, it can contribute to the development of the cloud service industry through this.

더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.In addition, the present invention has industrial applicability because it has sufficient potential for marketing or business, as well as a degree that can be clearly implemented in reality.

100: 클라우드 스트리밍 서버 200: 사용자 장치
300: 리소스 서버 400: 출력 장치
500: 통신망 101: 화면 처리 모듈
102: 컨텐츠 전송 모듈 103: 컨텐츠 실행 모듈
104: 파싱 처리 모듈 201: 통신 모듈
202: 제어 모듈 203: 합성 모듈
204: 제1 디코딩 모듈 205: 제2 디코딩 모듈100: cloud streaming server 200: user device
300: resource server 400: output device
500: communication network 101: screen processing module
102: content transmission module 103: content execution module
104: parsing processing module 201: communication module
202: control module 203: synthesis module
204: first decoding module 205: second decoding module

Claims

delete

a communication module for transmitting and receiving data by connecting to an external server including a cloud streaming server and a resource server through a communication network;
When the content is requested from the cloud streaming server through the communication module, in response to the request, the first image data encoded in the remaining area excluding the area in which a plurality of preset video objects or image objects are displayed among the execution screen of the content; a control module for receiving address information stored in the plurality of video objects or image objects, respectively, and receiving the plurality of video objects or image objects from the resource server based on the received address information;
a first decoding module for decoding the received first image data;
a second decoding module for decoding the received plurality of video objects or image objects to correspond to regions outputted for each object; and
a synthesis module for overlaying the decoded first image data and the decoded plurality of video objects or image objects to generate a menu of contents and a final output screen including a plurality of different video objects or image objects;
User device comprising a.

delete

requesting content to a cloud streaming server;
Address in which the first image data and the plurality of video objects or image objects are respectively encoded from the cloud streaming server, the remaining regions excluding the region in which a plurality of preset video objects or image objects are displayed among the execution screen of the content receiving information;
receiving the plurality of video objects or image objects from a resource server based on each of the received address information;
decoding the received first image data;
decoding the received plurality of video objects or image objects to correspond to regions outputted for each object; and
generating a final output screen including a menu of contents and a plurality of different video objects or image objects by overlaying the decoded first image data and the decoded plurality of video objects or image objects;
A service method in a user device comprising a.