KR20170000670A - System for cloud streaming service, method of image cloud streaming service using property of scene region and method using the same - Google Patents

System for cloud streaming service, method of image cloud streaming service using property of scene region and method using the same Download PDF

Info

Publication number
KR20170000670A
KR20170000670A KR1020150089895A KR20150089895A KR20170000670A KR 20170000670 A KR20170000670 A KR 20170000670A KR 1020150089895 A KR1020150089895 A KR 1020150089895A KR 20150089895 A KR20150089895 A KR 20150089895A KR 20170000670 A KR20170000670 A KR 20170000670A
Authority
KR
South Korea
Prior art keywords
image
characteristic
encoding
cloud streaming
still image
Prior art date
Application number
KR1020150089895A
Other languages
Korean (ko)
Other versions
KR102354269B1 (en
Inventor
이동수
Original Assignee
엔트릭스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔트릭스 주식회사 filed Critical 엔트릭스 주식회사
Priority to KR1020150089895A priority Critical patent/KR102354269B1/en
Publication of KR20170000670A publication Critical patent/KR20170000670A/en
Application granted granted Critical
Publication of KR102354269B1 publication Critical patent/KR102354269B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Disclosed are a system for a cloud streaming service, a method of an image cloud streaming service using a scene region characteristic, and an apparatus therefor. A cloud streaming server according to the present invention may receive, from a web server, scene region characteristic information corresponding to an application execution screen together with the application execution screen, capture an image corresponding to a changed portion after rendering the application execution screen, encode the image to a still image by using at least one still image encoding technique corresponding to the image on the basis of the scene region characteristic information, and then transmit the encoded image to a user terminal. In addition, resources of a cloud streaming server needed for image processing can be saved, and therefore, the service system can be operated more efficiently.

Description

클라우드 스트리밍 서비스 시스템, 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 {SYSTEM FOR CLOUD STREAMING SERVICE, METHOD OF IMAGE CLOUD STREAMING SERVICE USING PROPERTY OF SCENE REGION AND METHOD USING THE SAME}Technical Field [0001] The present invention relates to a cloud streaming service system, a cloud streaming service system, an image cloud streaming service method using scene area characteristics,

본 발명은 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 기술에 관한 것으로, 특히 어플리케이션 실행화면에 대한 씬 영역 특성에 대한 정보를 제공함으로써 클라우드 스트리밍 서버가 이미지 프로세싱을 수행하지 않고 적합한 스틸 이미지 인코딩 기법을 선택할 수 있는 클라우드 스트리밍 서비스 시스템, 씬 영역 특성을 이용한 이미지 클라우드 서비스 방법 및 이를 위한 장치에 관한 것이다.The present invention relates to an image cloud streaming service technology using scene area characteristics, and in particular, by providing information on scene area characteristics of an application execution screen, a cloud streaming server can select an appropriate still image encoding technique without performing image processing A cloud streaming service system, an image cloud service method using scene area characteristics, and an apparatus therefor.

인터넷의 급속한 발달은 개인의 통신 속도를 급격히 향상시키는 결과를 가져왔으며, 이러한 통신 속도의 향상은 원격지에 위치한 컴퓨터에 접속하여 대용량의 데이터를 다운로드 또는 업로드 하거나, 원격지 컴퓨터 제어 프로그램을 사용하여 마치 원격지 컴퓨터에 로컬 로그인한 것과 같이 원격지 컴퓨터를 이용할 수 있는 환경을 제공하고 있다.The rapid development of the Internet has resulted in a rapid increase in the communication speed of an individual. The improvement in the communication speed can be achieved by downloading or uploading a large amount of data by accessing a computer located at a remote place, or by using a remote computer control program, As well as providing an environment in which a remote computer can be used.

또한, 스마트폰과 같은 이동통신 단말에서 구동되는 어플리케이션이 다양하게 개발되면서, 비교적 낮은 성능의 사용자 단말에서 높은 성능을 필요로 하는 어플리케이션을 구동하기 위한 가상화 기술들이 많이 제안되고 있다. In addition, as a variety of applications have been developed for mobile communication terminals such as smart phones, many virtualization technologies have been proposed for driving applications requiring high performance in relatively low performance user terminals.

그 중에서 어플리케이션을 서버에서 구동시키고 구동화면은 비디오 인코딩(Encoding)을 통해 압축하여 클라이언트로 전송하고, 클라이언트는 전송된 비디오를 재생하여 마치 자신의 단말에서 어플리케이션이 구동되는 것과 같은 효과를 내는 화면 가상화 기반의 클라우드 스트리밍 서비스가 각광받고 있는 추세이다.Among them, the application is driven on the server, the driving screen is compressed through video encoding and transmitted to the client, and the client reproduces the transmitted video to generate a screen virtualization Cloud streaming service is becoming popular.

클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법이 적용되었다. 그러나 메뉴 디스플레이와 같이 정적인 화면을 서비스 하는 경우에도 불필요하게 화면 전체를 캡처하고 비디오 코덱을 이용하여 동작하게 되어 시스템 전체적으로 비효율적인 측면이 존재하였다.The cloud streaming service basically adopts the cloud streaming method based on the video codec. However, even when a static screen such as a menu display is serviced, the entire screen is unnecessarily captured and operated using a video codec, which makes the overall system ineffective.

따라서, 사용자 요청에 따라 실행된 어플리케이션의 실행화면에서 정적인 부분의 변화된 이미지만을 캡처하여 사용자의 단말로 제공하되, 별도의 이미지 프로세싱을 수행하지 않고도 빠르게 이미지의 특성을 구분하여 적합한 인코딩을 수행할 수 있는 이미지 기반의 클라우드 스트리밍 서비스 기술이 절실하게 대두된다.Therefore, it is possible to capture only the changed image of the static part on the execution screen of the application executed according to the user's request and provide the changed image to the terminal of the user. However, it is possible to quickly distinguish the characteristics of the image without performing separate image processing, Image-based cloud streaming service technology.

한국 공개 특허 제2014-0055132호, 2014년 05월 09일 공개 (명칭: 클라우드 서버를 이용하여 단말 장치에서 웹페이지를 처리하는 방법 및 장치)Korean Patent Laid-Open Publication No. 2014-0055132, published May 09, 2014 (name: method and apparatus for processing a web page in a terminal device using a cloud server)

본 발명의 목적은, 씬 영역 특성을 기반으로 스틸 이미지 인코딩 기법을 선택함으로써 이미지 프로세싱을 수행하기 위해 필요했던 클라우드 스트리밍 서버의 자원을 절약하는 것이다.It is an object of the present invention to save the resources of a cloud streaming server that were needed to perform image processing by selecting still image encoding techniques based on scene area characteristics.

또한, 본 발명의 목적은 이미지 프로세싱에 필요한 처리 시간을 단축함으로써 클라우스 스트리밍 서비스 사용자에게 보다 신속하게 서비스를 제공하는 것이다. It is also an object of the present invention to provide a service to a Klaus streaming service user more quickly by shortening the processing time required for image processing.

또한, 본 발명의 목적은 어플리케이션 실행화면에서 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공하는 것이다.It is another object of the present invention to provide a high-performance application execution screen even in a low-end terminal by processing only the changed image on the application execution screen and providing it to the user terminal.

상기한 목적을 달성하기 위한 본 발명에 따른 클라우드 스트리밍 서버는 웹 서버로부터 어플리케이션 실행화면과 함께 상기 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신하는 수신부; 상기 어플리케이션 실행화면을 렌더링하여 변화된 부분에 상응하는 이미지를 캡처하는 캡처부; 상기 씬 영역 특성 정보를 기반으로 상기 이미지에 상응하는 적어도 하나의 스틸 이미지 인코딩 기법을 선택하여 상기 이미지를 스틸 이미지 인코딩하는 인코딩부; 및 스틸 이미지 인코딩된 상기 이미지를 사용자의 단말로 전송하는 센딩부를 포함한다.According to an aspect of the present invention, there is provided a cloud streaming server comprising: a receiving unit for receiving scene area characteristic information corresponding to an application execution screen together with an application execution screen from a web server; A capture unit for rendering the application execution screen and capturing an image corresponding to the changed portion; An encoding unit for selecting at least one still image encoding scheme corresponding to the image based on the scene area characteristic information to still image encode the image; And a sending unit for transmitting the still image encoded image to the user terminal.

이 때, 인코딩부는 상기 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득하고, 상기 이미지에 상응하는 영역 중 상기 특성 영역에 상응하는 영역이 존재하는지 여부를 비교하여 상기 적어도 하나의 스틸 이미지 인코딩 기법을 선택할 수 있다.At this time, the encoding unit acquires the coordinates of the characteristic area classified according to the image characteristic in the scene area characteristic information, and compares whether there is an area corresponding to the characteristic area among the areas corresponding to the image, You can choose still image encoding techniques.

이 때, 인코딩부는 상기 이미지에 상응하는 일부 영역이 상기 특성 영역에 상응하는 경우에, 상기 특성 영역의 이미지 특성에 상응하게 선택된 스틸 이미지 인코딩 기법으로 상기 일부 영역을 스틸 이미지 인코딩할 수 있다.At this time, the encoding unit may still image-encode the partial area with a still image encoding technique selected corresponding to the image characteristic of the characteristic area, when a partial area corresponding to the image corresponds to the characteristic area.

이 때, 이미지 특성은 자연 이미지 및 합성 이미지 중 적어도 하나에 상응할 수 있다.At this time, the image characteristic may correspond to at least one of a natural image and a composite image.

이 때, 인코딩부는 상기 일부 영역이 상기 이미지 특성이 상기 자연 이미지인 특성 영역에 상응하는 경우에 상기 일부 영역을 JPEG(Joint Photography Experts Group) 인코딩 기법을 이용하여 스틸 이미지 인코딩하고, 상기 일부 영역이 상기 이미지 특성이 상기 합성 이미지인 특성 영역에 상응하는 경우에 상기 일부 영역을 PNG(Portable Network Graphics) 인코딩 기법을 이용하여 스틸 이미지 인코딩할 수 있다.In this case, the encoding unit may still image encode the partial area using a Joint Photographic Experts Group (JPEG) encoding method when the partial area corresponds to the characteristic area, which is the natural image, When the image characteristic corresponds to the characteristic region, which is the composite image, the partial region can be still image encoded using a PNG (Portable Network Graphics) encoding technique.

이 때, 인코딩부는 상기 이미지가 상기 특성 영역에 상응하지 않는 경우에, 기설정된 디폴트 기법에 상응하는 어느 하나의 스틸 이미지 인코딩 기법으로 상기 이미지를 스틸 이미지 인코딩할 수 있다.At this time, if the image does not correspond to the characteristic region, the encoding unit may still image-encode the image with any still image encoding technique corresponding to a predetermined default technique.

이 때, 캡처부는 상기 어플리케이션 실행화면에 상응하는 복수개의 프레임들을 비교하여 상기 이미지를 캡처할 수 있다.At this time, the capture unit can capture the image by comparing a plurality of frames corresponding to the application execution screen.

이 때, 캡처부는 상기 복수개의 프레임들 중 현재 프레임과 이전 프레임을 비교하여 변화된 경우에 상기 이미지를 캡처할 수 있다.At this time, the capture unit compares the current frame and the previous frame among the plurality of frames, and can capture the image when it is changed.

또한, 본 발명에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법은 웹 서버로부터 어플리케이션 실행화면과 함께 상기 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신하는 단계; 상기 어플리케이션 실행화면을 렌더링하여 변화된 부분에 상응하는 이미지를 캡처하는 단계; 상기 씬 영역 특성 정보를 기반으로 상기 이미지에 상응하는 적어도 하나의 스틸 이미지 인코딩 기법을 선택하여 상기 이미지를 스틸 이미지 인코딩하는 단계; 및 스틸 이미지 인코딩된 상기 이미지를 사용자의 단말로 전송하는 단계를 포함한다.According to another aspect of the present invention, there is provided an image cloud streaming service method using a scene region characteristic, the method comprising: receiving scene region characteristic information corresponding to the application execution screen together with an application execution image from a web server; Rendering the application execution screen and capturing an image corresponding to the changed portion; Selecting at least one still image encoding technique corresponding to the image based on the scene area characteristic information to still image encode the image; And transmitting the still image encoded image to a user's terminal.

이 때, 인코딩하는 단계는 상기 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득하는 단계; 및 상기 이미지에 상응하는 영역 중 상기 특성 영역에 상응하는 영역이 존재하는지 여부를 비교하는 단계를 포함하고, 상기 비교한 결과에 따라 상기 적어도 하나의 스틸 이미지 인코딩 기법을 선택할 수 있다.At this time, the encoding step may include obtaining coordinates of a characteristic area that is classified according to an image characteristic in the scene area characteristic information; And comparing whether there is an area corresponding to the characteristic area among the areas corresponding to the image, and may select the at least one still image encoding technique according to the comparison result.

이 때, 인코딩하는 단계는 상기 이미지에 상응하는 일부 영역이 상기 특성 영역에 상응하는 경우에, 상기 특성 영역의 이미지 특성에 상응하게 선택된 스틸 이미지 인코딩 기법으로 상기 일부 영역을 스틸 이미지 인코딩할 수 있다.At this time, the encoding step can still image the partial area with a still image encoding technique selected corresponding to the image characteristic of the characteristic area, when a partial area corresponding to the image corresponds to the characteristic area.

이 때, 이미지 특성은 자연 이미지 및 합성 이미지 중 적어도 하나에 상응할 수 있다.At this time, the image characteristic may correspond to at least one of a natural image and a composite image.

이 때, 인코딩하는 단계는 상기 일부 영역이 상기 이미지 특성이 상기 자연 이미지인 특성 영역에 상응하는 경우에 상기 일부 영역을 JPEG(Joint Photography Experts Group) 인코딩 기법을 이용하여 스틸 이미지 인코딩하고, 상기 일부 영역이 상기 이미지 특성이 상기 합성 이미지인 특성 영역에 상응하는 경우에 상기 일부 영역을 PNG(Portable Network Graphics) 인코딩 기법을 이용하여 스틸 이미지 인코딩할 수 있다.In this case, the encoding may include still image encoding the partial area using a Joint Photographic Experts Group (JPEG) encoding method when the partial area corresponds to the characteristic area in which the image characteristic is the natural image, And if the image characteristic corresponds to the characteristic area which is the composite image, the still image encoding may be performed on the partial area using a PNG (Portable Network Graphics) encoding technique.

이 때, 인코딩하는 단계는 상기 이미지가 상기 특성 영역에 상응하지 않는 경우에, 기설정된 디폴트 기법에 상응하는 어느 하나의 스틸 이미지 인코딩 기법으로 상기 이미지를 스틸 이미지 인코딩할 수 있다.At this time, the encoding step can still image encode the image with any still image encoding technique corresponding to a predetermined default technique, in case the image does not correspond to the characteristic region.

이 때, 캡처하는 단계는 상기 어플리케이션 실행화면에 상응하는 복수개의 프레임들을 비교하여 상기 이미지를 캡처할 수 있다.At this time, the capturing step may capture the image by comparing a plurality of frames corresponding to the application execution screen.

이 때, 캡처하는 단계는 상기 복수개의 프레임들 중 현재 프레임과 이전 프레임을 비교하여 변화된 경우에 상기 이미지를 캡처할 수 있다.At this time, the capturing step may compare the current frame and the previous frame among the plurality of frames to capture the image when the change is made.

본 발명에 따르면, 씬 영역 특성을 기반으로 스틸 이미지 인코딩 기법을 선택함으로써 이미지 프로세싱을 수행하기 위해 필요했던 클라우드 스트리밍 서버의 자원을 절약할 수 있다.According to the present invention, it is possible to save the resources of the cloud streaming server that were necessary to perform image processing by selecting the still image encoding technique based on the scene area property.

또한 본 발명은, 이미지 프로세싱에 필요한 처리 시간을 단축함으로써 클라우스 스트리밍 서비스 사용자에게 보다 신속하게 서비스를 제공할 수 있다.Further, the present invention can provide a service to a Klaus streaming service user more quickly by shortening the processing time required for image processing.

또한 본 발명은, 어플리케이션 실행화면에서 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공할 수 있다.Further, according to the present invention, only the changed image is processed in the application execution screen and provided to the user terminal, so that a high-performance application execution screen can be provided even in low-end terminals.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 이미지 기반의 클라우드 스트리밍 서비스 시스템의 동작 과정을 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 어플리케이션 실행화면과 좌표를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 씬 영역 특성 정보를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따라 어플리케이션 실행화면을 캡처하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 8은 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 9는 본 발명의 일실시예에 따른 씬 영역 특성에 기반하여 스틸 이미지 인코딩을 수행하는 방법을 나타낸 동작 흐름도이다.
1 is a block diagram illustrating a cloud streaming service system according to an embodiment of the present invention.
2 is a diagram illustrating an example of the cloud streaming server shown in FIG.
3 is a block diagram illustrating an operation of an image-based cloud streaming service system according to an exemplary embodiment of the present invention.
4 is a diagram showing application execution screens and coordinates according to an embodiment of the present invention.
5 is a view illustrating scene area characteristic information according to an embodiment of the present invention.
6 is a diagram illustrating a process of capturing an application execution screen according to an embodiment of the present invention.
7 is a flowchart illustrating an image cloud streaming service method using a scene area characteristic according to an exemplary embodiment of the present invention.
8 is a flowchart illustrating an image cloud streaming service method using a scene area characteristic according to an exemplary embodiment of the present invention.
9 is a flowchart illustrating a method of performing still image encoding based on scene area characteristics according to an embodiment of the present invention.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.The terms and words used in the present specification and claims should not be construed to be limited to ordinary or dictionary meanings and the inventor is not limited to the concept of terminology for describing his or her invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible. Also, the terms first, second, etc. are used for describing various components and are used only for the purpose of distinguishing one component from another component, and are not used to define the components.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.1 is a block diagram illustrating a cloud streaming service system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템은 클라우드 스트리밍 서버(110), 웹 서버(120), 단말(130-1~ 130-N) 및 네트워크를 포함한다.Referring to FIG. 1, a cloud streaming service system according to an embodiment of the present invention includes a cloud streaming server 110, a web server 120, terminals 130-1 to 130-N, and a network.

클라우드 스트리밍 서버(110)는 웹 서버(120)로부터 어플리케이션 실행화면과 함께 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신한다.The cloud streaming server 110 receives the application execution screen from the web server 120 and the scene area characteristic information corresponding to the application execution screen.

이 때, 씬 영역 특성 정보는 이미지 특성과 이미지 특성에 따라 구분된 특성 영역의 좌표를 포함할 수 있다.At this time, the scene area characteristic information may include the coordinates of the characteristic area divided according to the image characteristic and the image characteristic.

이 때, 이미지 특성은 자연 이미지 및 합성 이미지 중 적어도 하나에 상응할 수 있다.At this time, the image characteristic may correspond to at least one of a natural image and a composite image.

또한, 클라우드 스트리밍 서버(110)는 어플리케이션 실행화면을 렌더링하여 변화된 부분에 상응하는 이미지를 캡처한다.In addition, the cloud streaming server 110 renders an application execution screen to capture an image corresponding to the changed portion.

이 때, 어플리케이션 실행화면에 상응하는 복수개의 프레임들을 비교하여 이미지를 캡처할 수 있다.At this time, an image can be captured by comparing a plurality of frames corresponding to an application execution screen.

이 때, 복수개의 프레임들 중 현재 프레임과 이전 프레임을 비교하여 변화된 경우에 이미지를 캡처할 수 있다.At this time, the current frame and the previous frame among the plurality of frames may be compared to capture an image when the frame is changed.

또한, 클라우드 스트리밍 서버(110)는 씬 영역 특성 정보를 기반으로 이미지에 상응하는 적어도 하나의 스틸 이미지 인코딩 기법을 선택하여 이미지를 스틸 이미지 인코딩한다.In addition, the cloud streaming server 110 still images the image by selecting at least one still image encoding technique corresponding to the image based on the scene area property information.

이 때, 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득하고, 이미지에 상응하는 영역 중 특성 영역에 상응하는 영역이 존재하는지 여부를 비교하여 적어도 하나의 스틸 이미지 인코딩 기법을 선택할 수 있다.At this time, the coordinates of the characteristic region classified according to the image characteristic are obtained from the scene characteristic information, and whether or not there is a region corresponding to the characteristic region among the regions corresponding to the image exists is selected to select at least one still image encoding technique .

이 때, 이미지에 상응하는 일부 영역이 특성 영역에 상응하는 경우에, 특성 영역의 이미지 특성에 상응하게 선택된 스틸 이미지 인코딩 기법으로 상기 일부 영역을 스틸 이미지 인코딩할 수 있다.At this time, if some of the areas corresponding to the images correspond to the characteristic areas, the still areas may be still image-encoded with the still image encoding technique selected corresponding to the image characteristics of the characteristic areas.

이 때, 일부 영역이 이미지 특성이 자연 이미지인 특성 영역에 상응하는 경우에 일부 영역을 JPEG(Joint Photography Experts Group) 인코딩 기법을 이용하여 스틸 이미지 인코딩하고, 일부 영역이 이미지 특성이 합성 이미지인 특성 영역에 상응하는 경우에 일부 영역을 PNG(Portable Network Graphics) 인코딩 기법을 이용하여 스틸 이미지 인코딩할 수 있다.In this case, when a certain region corresponds to a characteristic region in which the image characteristic is a natural image, some regions are still-image encoded using a JPEG (Joint Photography Experts Group) encoding technique, It is possible to still image encode some areas using a Portable Network Graphics (PNG) encoding technique.

이 때, 이미지가 특성 영역에 상응하지 않는 경우에, 기설정된 디폴트 기법에 상응하는 어느 하나의 스틸 이미지 인코딩 기법으로 이미지를 스틸 이미지 인코딩할 수 있다.At this time, when the image does not correspond to the characteristic region, the still image can be still-image-encoded with any still image encoding technique corresponding to a predetermined default technique.

또한, 클라우드 스트리밍 서버(110)는 스틸 이미지 인코딩된 이미지를 사용자의 단말(130-1~ 130-N)로 전송한다.Also, the cloud streaming server 110 transmits the still image encoded image to the user terminals 130-1 to 130-N.

웹 서버(120)는 단말(130-1~ 130-N)을 통한 사용자의 요청에 따라 어플리케이션을 실행하는 수단으로, 사용자의 요청을 받아 HTML이나 오브젝트를 HTTP 프로토콜을 이용하여 전송하는 웹 서버 또는 JSP, servlet과 같은 프로그램을 실행하여 동적인 결과를 제공할 수 있는 웹 어플리케이션 서버에 상응할 수 있다.The web server 120 is a means for executing an application according to a user's request through the terminals 130-1 to 130-N. The web server 120 is a web server or a JSP , a web application server that can execute programs such as servlets to provide dynamic results.

단말(130-1~ 130-N)은 클라우드 스트리밍 서버(120)로부터 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행화면을 수신하여 사용자에게 제공한다.The terminals 130-1 to 130-N receive an application execution screen corresponding to the cloud streaming service from the cloud streaming server 120 and provide them to the user.

또한, 단말(130-1~ 130-N)은 각각 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말(130-1~ 130-N)은 각각 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.Each of the terminals 130-1 to 130-N is connected to a communication network and is capable of executing applications on the basis of a cloud computing system. The terminal 130-1 to 130-N are not limited to a mobile communication terminal but may be any information communication device, a multimedia terminal, A fixed terminal and an IP (Internet Protocol) terminal. Each of the terminals 130-1 to 130-N may be a mobile phone, a portable multimedia player (PMP), a mobile Internet device (MID), a smart phone, a desktop, a tablet PC, A mobile terminal having various mobile communication specifications such as a notebook computer, a notebook computer, a netbook, a personal digital assistant (PDA), a smart TV, and an information communication device.

또한, 단말(130-1~ 130-N)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 단말(130-1~ 130-N)의 기능 제어와 관련하여 입력되는 신호를 입력부를 통해 제어부로 전달할 수 있다. 또한, 단말(130-1~ 130-N)의 입력부는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성할 수 있다. 이 때, 단말(130-1~ 130-N)의 입력부는 단말(130-1~ 130-N)의 표시부와 함께 하나의 터치패널(또는 터치 스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 단말(130-1~ 130-N)의 입력부는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 특히, 본 발명에 따른 단말(130-1~ 130-N)의 입력부는 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 하거나 다운로드 하기 위한 입력 신호를 단말(130-1~ 130-N)의 제어부로 전달할 수 있다.The terminals 130-1 to 130-N receive various kinds of information such as numbers and character information, set various functions, and transmit signals inputted in association with the function control of the terminals 130-1 to 130-N And can be transmitted to the control unit through the input unit. The input unit of the terminals 130-1 to 130-N may include at least one of a keypad and a touch pad for generating an input signal according to a user's touch or operation. At this time, the input units of the terminals 130-1 to 130-N are configured in the form of one touch panel (or touch screen) together with the display units of the terminals 130-1 to 130-N, Display function can be performed at the same time. The input units of the terminals 130-1 to 130-N may be input means such as a keyboard, a keypad, a mouse, a joystick, etc., as well as any type of input means that can be developed in the future. In particular, the input units of the terminals 130-1 to 130-N according to the present invention can transmit input signals for uploading or downloading contents based on cloud computing to the control units of the terminals 130-1 to 130-N.

또한, 단말(130-1~ 130-N)의 표시부는 단말(130-1~ 130-N)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시할 수 있다. 또한, 단말(130-1~ 130-N)의 표시부는 단말(130-1~ 130-N)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 단말(130-1~ 130-N)의 표시부는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이 때, 단말(130-1~ 130-N)의 표시부가 터치스크린 형태로 구성된 경우, 단말(130-1~ 130-N)의 표시부는 단말(130-1~ 130-N)의 입력부의 기능 중 일부 또는 전부를 수행할 수 있다. 특히, 본 발명에 따른 단말(130-1~ 130-N)의 표시부는 클라우드 컴퓨팅 기반으로 제공되는 컨텐츠의 실행과 관련된 정보를 화면으로 표시할 수 있다.In addition, the display units of the terminals 130-1 to 130-N can display information on a series of operation states, operation results, and the like that occur during the performance of the functions of the terminals 130-1 to 130-N. In addition, the display units of the terminals 130-1 to 130-N can display menus of the terminals 130-1 to 130-N and user data input by the user. The display units of the terminals 130-1 to 130-N may be a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), a light emitting diode (LED) An organic light emitting diode (OLED), an organic light emitting diode (AMOLED), an active matrix OLED, a retina display, a flexible display, and a three-dimensional display have. In this case, when the display units of the terminals 130-1 to 130-N are configured as touch screens, the display units of the terminals 130-1 to 130-N function as the input units of the terminals 130-1 to 130- Some or all of them. In particular, the display unit of the terminals 130-1 to 130-N according to the present invention can display information related to execution of content provided on a cloud computing basis on a screen.

또한, 단말(130-1~ 130-N)의 저장부는 데이터를 저장하기 위한 장치로, 주 기억장치 및 보조 기억장치를 포함하고, 단말(130-1~ 130-N)의 기능 동작에 필요한 응용 프로그램을 저장할 수 있다. 이러한 단말(130-1~ 130-N)의 저장부는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 단말(130-1~ 130-N)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어부의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다. 특히, 본 발명에 따른 단말(130-1~ 130-N)의 저장부는 단말(130-1~ 130-N)를 부팅시키는 운영체제, 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 하거나 다운로드하기 위한 프로그램 등을 저장할 수 있다. 또한, 단말(130-1~ 130-N)의 저장부는 다수의 컨텐츠를 저장하는 컨텐츠 DB와 단말(130-1~ 130-N)의 정보를 저장할 수 있다. 이 때, 컨텐츠 DB는 컨텐츠를 실행하기 위한 실행 데이터와 컨텐츠에 대한 속성 정보를 포함하고, 컨텐츠 실행에 따른 컨텐츠 사용 정보 등이 저장될 수 있다. 그리고, 단말(130-1~ 130-N)의 정보는 단말 사양 정보를 포함할 수 있다.The storage units of the terminals 130-1 to 130-N are devices for storing data and include a main storage device and an auxiliary storage device and are used for applications required for functional operations of the terminals 130-1 to 130- You can save the program. The storage units of the terminals 130-1 to 130-N may largely include a program area and a data area. Here, when the terminals 130-1 to 130-N activate the respective functions in response to a request from the user, the terminals 130-1 to 130-N provide respective functions by executing the corresponding application programs under the control of the controller. In particular, the storage units of the terminals 130-1 to 130-N according to the present invention may store operating systems for booting the terminals 130-1 to 130-N, programs for uploading or downloading contents based on cloud computing have. Also, the storage units of the terminals 130-1 to 130-N may store information of the content DB storing the plurality of contents and information of the terminals 130-1 to 130-N. At this time, the content DB includes execution data for executing the content and attribute information about the content, and content usage information according to the execution of the content can be stored. The information of the terminals 130-1 to 130-N may include terminal specification information.

또한, 단말(130-1~ 130-N)의 통신부는 클라우드 스트리밍 서버(120)와 네트워크(140)을 통해 데이터를 송수신하기 위한 기능을 수행할 수 있다. 여기서 단말(130-1~ 130-N)의 통신부는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함할 수 있다. 이러한 단말(130-1~ 130-N)의 통신부는 무선통신 모듈 및 유선통신 모듈 중 적어도 하나를 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 단말(130-1~ 130-N)이 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 클라우드 스트리밍 서버(120)로 송수신할 수 있다. 또한, 유선통신 모듈은 유선으로 데이터를 송수신하기 위한 것이다. 유선통신 모듈은 유선을 통해 네트워크(140)에 접속하여, 클라우드 스트리밍 서버(120)에 데이터를 송수신할 수 있다. 즉 단말(130-1~ 130-N)은 무선통신 모듈 또는 유선통신 모듈을 이용하여 네트워크(140)에 접속하며, 네트워크(140)을 통해 클라우드 스트리밍 서버(120)와 데이터를 송수신할 수 있다. 특히, 본 발명에 따른 네트워크(140)는 클라우드 스트리밍 서버(120) 또는 다른 단말(130-1~ 130-N)과 통신하여 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 또는 다운로드 하는데 필요한 데이터를 송수신할 수 있다.In addition, the communication units of the terminals 130-1 to 130-N can perform a function of transmitting and receiving data through the cloud streaming server 120 and the network 140. [ Here, the communication unit of the terminals 130-1 to 130-N may include RF transmitting means for up-converting and amplifying the frequency of the transmitted signal, RF receiving means for low-noise amplifying the received signal and down-converting the frequency . The communication units of the terminals 130-1 to 130-N may include at least one of a wireless communication module and a wired communication module. In the case where the terminals 130-1 to 130-N use wireless communication, the wireless communication module is a wireless communication module, a wireless LAN communication module, and a wireless fan communication module The data can be transmitted / received to / from the cloud streaming server 120 by using any one of them. The wired communication module is for transmitting / receiving data by wire. The wired communication module may connect to the network 140 via a wired network and transmit / receive data to / from the cloud streaming server 120. That is, the terminals 130-1 to 130-N access the network 140 using a wireless communication module or a wired communication module and transmit and receive data to and from the cloud streaming server 120 through the network 140. [ In particular, the network 140 according to the present invention can communicate with the cloud streaming server 120 or other terminals 130-1 to 130-N to transmit / receive data necessary for uploading or downloading content based on cloud computing.

또한, 단말 장치(130-1~ 130-N)의 제어부는 운영 체제((OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 예를 들어, 제어부는 클라우드 스트리밍 서버(120)에 접속하는 과정 전반을 제어할 수 있다. 별도의 서비스 어플리케이션을 통해 클라우드 스트리밍 서버(120)에 접속하는 경우, 사용자의 요청에 따라 서비스 어플리케이션을 실행되는 과정 전반을 제어할 수 있으며, 실행과 동시에 클라우드 스트리밍 서버(120)로 서비스 이용 요청이 전송되도록 제어할 수 있으며, 이때 사용자 인증에 필요한 단말(130-1~ 130-N)의 정보가 함께 전송되도록 제어할 수 있다.The control unit of the terminal devices 130-1 to 130-N may be an operating system (OS) and a process device for driving each configuration. For example, the control unit may include a cloud streaming server 120, When accessing the cloud streaming server 120 through a separate service application, it is possible to control the entire process of executing the service application according to the request of the user, and at the same time, It is possible to control the streaming server 120 to transmit the service use request and control the information of the terminals 130-1 to 130-N necessary for user authentication to be transmitted together.

또한, 단말(130-1~ 130-N)의 제어부는 사용자의 요청에 따라 단말(130-1~ 130-N)의 저장부에 저장된 특정 컨텐츠를 실행할 수 있다. 이때, 제어부는 컨텐츠 실행에 따른 컨텐츠 사용 이력을 컨텐츠 사용 정보로 저장할 수 있다.In addition, the control units of the terminals 130-1 to 130-N can execute specific contents stored in the storage units of the terminals 130-1 to 130-N at the request of the user. At this time, the control unit may store the content usage history according to the execution of the content as the content usage information.

또한, 단말(130-1~ 130-N)의 제어부는 컨텐츠를 실행하기 위한 실행 데이터와, 컨텐츠에 대한 속성 정보를 포함하는 컨텐츠 정보와, 컨텐츠 사용 이력에 따른 정보인 컨텐츠 사용 정보를 함께 클라우드 스트리밍 서버(120)로 전송하여 업로드 할 수 있다. 이후, 제어부는 클라우드 스트리밍 서버(120)에 전송하여 업로드된 컨텐츠에 대해서는 사용자의 요청에 따라 단말(130-1~ 130-N)의 저장부에서 삭제할 수 있으며, 클라우드 스트리밍 서버(120)에 접속하여 클라우드 스트리밍 서버(120)를 통해 컨텐츠를 실행하여 이용할 수도 있다.In addition, the control unit of the terminals 130-1 to 130-N executes the content data including the execution data for executing the content, the content information including the attribute information about the content, and the content use information, And uploaded to the server 120 for uploading. Thereafter, the controller transmits the uploaded content to the cloud streaming server 120, deletes the uploaded content from the storage of the terminals 130-1 to 130-N according to the user's request, connects to the cloud streaming server 120 The content may be executed through the cloud streaming server 120 and used.

또한, 단말(130-1~ 130-N)의 제어부는 클라우드 스트리밍 서버(120)에 접속하여 다른 단말(130-1~ 130-N)로부터 컨텐츠를 다운로드한 후 저장부에 저장되도록 제어할 수도 있으며, 클라우드 스트리밍 서버(120)를 통해 컨텐츠 실행 시, 실행에 필요한 데이터만을 수신한 후 컨텐츠가 실행되도록 제어할 수도 있다.The control units of the terminals 130-1 to 130-N may access the cloud streaming server 120 and download the contents from the other terminals 130-1 to 130-N and control the contents to be stored in the storage unit , It is possible to control the content to be executed after receiving only the data necessary for execution at the time of executing the content through the cloud streaming server 120. [

네트워크(140)는 웹 서버(120)와 클라우드 스트리밍 서버(110) 사이 및 클라우드 스트리밍 서버(110)와 단말(130-1~ 130-N) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(140)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크(140)의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 1에서 웹 서버(120)와 클라우드 스트리밍 서버(110) 사이 및 클라우드 스트리밍 서버(110)와 단말(130-1~ 130-N) 사이에 사용되는 네트워크는 단말(130-1~ 130-N)들 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.The network 140 provides a path for transferring data between the web server 120 and the cloud streaming server 110 and between the cloud streaming server 110 and the terminals 130-1 to 130-N. It is a concept that encompasses both the network used and the network that can be developed in the future. For example, the network 140 may be a wired or wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between mobile objects and mobile objects outside the mobile object, Or a wired / wireless communication network, or a combination of two or more. Meanwhile, the transmission standard of the network 140 is not limited to the existing transmission standard, and may include all transmission standard to be developed in the future. 1, a network used between the web server 120 and the cloud streaming server 110 and between the cloud streaming server 110 and the terminals 130-1 to 130- N may be the same or different from the network used between them.

도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 도면이다.2 is a diagram illustrating an example of the cloud streaming server shown in FIG.

도 2를 참조하면, 도 1에 도시된 클라우드 스트리밍 서버(110)는 수신부(210), 캡처부(220), 인코딩부(230), 센딩부(240) 및 저장부(250)를 포함한다.2, the cloud streaming server 110 shown in FIG. 1 includes a receiving unit 210, a capturing unit 220, an encoding unit 230, a sending unit 240, and a storage unit 250.

수신부(210)는 웹 서버로부터 어플리케이션 실행화면과 함께 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신한다. The receiving unit 210 receives the application execution screen from the web server and the scene area characteristic information corresponding to the application execution screen.

이 때, 사용자가 단말을 이용하여 서비스 요청을 입력하면, 이를 수신한 웹 서버에서는 서비스 요청에 상응하게 어플리케이션을 실행할 수 있다. 예를 들어, 사용자가 단말에서 키를 입력하면 클라우드 스트리밍 서버를 통해 웹 서버로 전송될 수 있다. 즉, 사용자의 단말과 클라우드 스트리밍 서버가 통신하여 클라우드 스트리밍 서버에서 사용자 입력을 수신한 뒤, 클라우드 스트리밍 서버가 다시 웹 서버와 통신하여 사용자 입력을 전달하는 방식으로 웹 서버에서도 사용자 입력을 획득할 수 있다.At this time, if the user inputs a service request using the terminal, the web server receiving the service request can execute the application corresponding to the service request. For example, when a user enters a key in a terminal, the user can be transmitted to the web server through a cloud streaming server. That is, after the user's terminal and the cloud streaming server communicate with each other and receive user input from the cloud streaming server, the cloud streaming server communicates with the web server again to transmit the user input, .

이 때, 도 1에 도시된 네트워크와 같은 통신망을 통해 사용자 입력을 수신할 수 있다.At this time, user input can be received through a communication network such as the network shown in Fig.

이 때, 웹 서버는 어플리케이션 실행화면을 생성하고, 생성된 어플리케이션 실행화면과 함께 어플리케이션 실행화면에 대한 씬 영역 특성 정보를 생성하여 클라우드 스트리밍 서버로 전달할 수 있다. At this time, the web server generates an application execution screen, and generates scene area characteristic information for the application execution screen together with the generated application execution screen, and can transmit the generated scene area characteristic information to the cloud streaming server.

이 때, 씬 영역 특성 정보는 어플리케이션 실행화면에 포함된 이미지 특성과 이미지 특성에 따라 구분된 특성 영역의 좌표를 포함할 수 있다.At this time, the scene area characteristic information may include coordinates of the characteristic area classified according to the image characteristic included in the application execution screen and the image characteristic.

이 때, 씬 영역 특성 정보를 함께 수신함으로써 추후 이미지 프로세싱을 위한 과정을 생략할 수 있다. 종래의 이미지 기반의 클라우드 스트리밍 서비스 방법에서는 어플리케이션 실행화면에서 캡처되는 이미지에 대한 이미지 프로세싱을 수행함으로써, 이미지를 스틸 이미지 인코딩 할 인코더를 결정하는 과정을 수행할 수 있었다. 그러나, 이와 같은 이미지 프로세싱을 수행하기 위해 클라우드 스트리밍 서버의 서버 자원과 시간이 소비됨으로써 시스템 전체의 부하량을 가중시키는 원인이 될 수 있었다. At this time, the process for later image processing can be omitted by receiving the scene area characteristic information together. In the conventional image-based cloud streaming service method, image processing is performed on an image captured on an application execution screen, thereby determining an encoder for still image encoding an image. However, in order to perform such image processing, the server resource and time of the cloud streaming server may be consumed, thereby increasing the load of the entire system.

따라서, 본 발명에서는 이와 같은 문제점을 해결하기 위해 이미지 프로세싱의 결과와 상응하는 정보인 씬 영역 특성 정보를 어플리케이션 실행화면과 함께 제공받음으로써 보다 효율적으로 시스템을 운용할 수 있다.Therefore, in order to solve such a problem, in the present invention, the scene area characteristic information, which is information corresponding to the result of the image processing, is provided together with the application execution screen, so that the system can be operated more efficiently.

캡처부(220)는 어플리케이션 실행화면을 렌더링하여 변화된 부분에 상응하는 이미지를 캡처한다.The capture unit 220 renders an application execution screen to capture an image corresponding to the changed portion.

비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이미지 기반의 클라우드 스트리밍 기법과 같이 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.The cloud streaming technique based on the video codec can capture and encode all the frames corresponding to the screen on which the application operates. However, when the frame-to-frame change on the screen on which the application operates is not large, the still-image encoding is performed by capturing only the change area of the changed frame as compared with the previous frame like the image-based cloud streaming technique, It is possible to display the parts except for the change area in the same manner and display only the change area.

따라서, 본 발명에 따른 클라우드 스트리밍 서비스 시스템에는 비디오 코덱 기반의 클라우드 스트리밍 기법보다는 이미지 기반의 클라우드 스트리밍 기법을 이용할 수 있다.Therefore, the cloud streaming service system according to the present invention can use an image-based cloud streaming technique rather than a video codec-based cloud streaming technique.

이 때, 어플리케이션 실행화면에 상응하는 복수개의 프레임들을 비교하여 이미지를 캡처할 수 있다.At this time, an image can be captured by comparing a plurality of frames corresponding to an application execution screen.

이 때, 복수개의 프레임들 중 프레임간의 변화가 적은 구간들을 검출하고, 프레임간의 변화가 적은 구간에서 이미지를 캡처할 수 있다. 예를 들어, 프레임간의 변화가 많은 구간은 캡처할 이미지의 수가 많아 이미지 기반의 클라우드 스트리밍 서비스를 제공하는 것이 비효율적일 수 있다. 따라서, 이와 같이 변화가 많은 구간은 비디오 코덱 기반의 클라우드 스트리밍 기법을 통해 서비스를 수행하고, 프레임간 변화가 적은 구간에서만 이미지 기반의 클라우드 스트리밍 서비스를 수행하기 위해 변화된 영역의 이미지를 캡처할 수 있다.In this case, it is possible to detect intervals in which a change between frames is small among a plurality of frames, and to capture an image in a section where a change between frames is small. For example, it may be inefficient to provide an image-based cloud streaming service because there are a large number of images to be captured with a large number of frames between frames. Accordingly, in such a period, a service can be performed through a cloud streaming technique based on a video codec, and an image of a changed region can be captured in order to perform an image-based cloud streaming service only in a period in which there is little change between frames.

이 때, 복수개의 프레임들 중 현재 프레임과 이전 프레임을 비교하여 변화된 경우에 이미지를 캡처할 수 있다. 예를 들어, 이전 프레임의 메뉴 화면과 현재 프레임의 메뉴 화면을 비교하였을 때 현재 프레임의 메뉴에서 활성화된 표시가 이전 프레임과 비교하며 변하였다고 가정한다면, 현재 프레임의 메뉴에서 활성화된 표시가 있는 부분을 이미지로 캡처할 수 있다.At this time, the current frame and the previous frame among the plurality of frames may be compared to capture an image when the frame is changed. For example, when comparing the menu screen of the previous frame with the menu screen of the current frame, it is assumed that the display activated in the menu of the current frame is changed compared with the previous frame, It can be captured as an image.

인코딩부(230)는 씬 영역 특성 정보를 기반으로 이미지에 상응하는 적어도 하나의 스틸 이미지 인코딩 기법을 선택하여 이미지를 스틸 이미지 인코딩한다.The encoding unit 230 still image encodes the image by selecting at least one still image encoding technique corresponding to the image based on the scene area characteristic information.

일반적으로 이미지 기반의 클라우드 스트리밍 서비스 시스템에서 스틸 이미지 인코딩 기법은 클라우드 스트리밍 서버에서 발생하는 부하량, 서비스 속도, 이미지의 화질 또는 인코딩된 이미지를 수신하여 렌더링하는 단말의 성능 등을 고려하여 결정할 수 있다. 예를 들어, 클라우드 스트리밍 서비스의 속도를 향상시키기 위해서는 압축률이 높고 부하가 적게 발생하는 팔렛트 PNG 인코딩 방식으로 이미지를 압축할 수 있다. 또한, 부하량은 상관하지 않고 이미지의 화질을 좋게 제공하고 싶다면, PNG32bit 인코딩 방식 또는 JPEG 인코딩 방식 등을 이용하여 이미지를 압축할 수 있다.Generally, in the image-based cloud streaming service system, the still image encoding technique can be determined in consideration of the load generated in the cloud streaming server, the service speed, the image quality of the image, or the performance of the terminal receiving and rendering the encoded image. For example, to improve the speed of the cloud streaming service, you can compress the image with a palette PNG encoding method that has a high compression ratio and low load. In addition, if it is desired to provide a good image quality without regard to the load, the image can be compressed using the PNG 32-bit encoding method or the JPEG encoding method.

이에 따라, 본 발명에서는 씬 영역 특성 정보를 통해 획득한 이미지에 대한 정보를 이용하여 적어도 하나의 스틸 이미지 인코딩 기법을 선택할 수 있다.Accordingly, in the present invention, at least one still image encoding technique can be selected using information on the image acquired through the scene area characteristic information.

이 때, 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득하고, 이미지에 상응하는 영역 중 특성 영역에 상응하는 영역이 존재하는지 여부를 비교하여 적어도 하나의 스틸 이미지 인코딩 기법을 선택할 수 있다. At this time, the coordinates of the characteristic region classified according to the image characteristic are obtained from the scene characteristic information, and whether or not there is a region corresponding to the characteristic region among the regions corresponding to the image exists is selected to select at least one still image encoding technique .

이 때, 이미지 특성은 자연 이미지 및 합성 이미지 중 적어도 하나에 상응할 수 있다. 예를 들어, 자연 이미지는 하나의 사진이나 그림과 같은 이미지를 의미할 수 있다. 즉, JPEG, PNG 및 GIF와 같은 이미지 형식에 상응하는 이미지일 수 있다. 또한, 합성 이미지는 여러 개의 이미지를 합쳐서 만들어진 이미지에 상응할 수 있다. 즉, 어플리케이션 실행화면에서 텍스트를 나타내는 화면이나 배경화면 등에 상응할 수 있다.At this time, the image characteristic may correspond to at least one of a natural image and a composite image. For example, a natural image can mean an image, such as a picture or a picture. That is, it may be an image corresponding to an image format such as JPEG, PNG, and GIF. Also, a composite image may correspond to an image created by combining multiple images. That is, it may correspond to a screen representing a text on an application execution screen, a background screen, and the like.

따라서, 씬 영역 특성 정보를 통해서 어플리케이션 실행화면의 어떤 위치에 자연 이미지가 포함되어 있고, 또 다른 어떤 위치에 합성 이미지가 포함되어 있는지 알 수 있다. 즉, 이러한 정보를 바탕으로 자연 이미지에 해당하는 특성 영역 또는 합성 이미지에 해당하는 특성 영역 중 어느 영역에서 이미지가 캡처되었는지 확인하면 보다 수월하게 이미지를 스틸 이미지 인코딩할 스틸 이미지 인코딩 기법을 선택할 수 있다.Therefore, through the scene area characteristic information, it is possible to know at which position of the application execution screen the natural image is included and at which other position the composite image is included. That is, based on such information, it is possible to select a still image encoding method for still image encoding of the image more easily by checking which region of the characteristic region corresponding to the natural image or the characteristic region corresponding to the composite image has been captured.

예를 들어, 어플리케이션 실행화면에서 왼쪽 상단 꼭지점의 좌표가 (x1=100, y1=100)이고 오른쪽 하단 꼭지점의 좌표가 (x2=200, y2=200)인 사각형의 특성 영역의 이미지 특성이 자연 이미지이고, 왼쪽 상단 꼭지점의 좌표가 (x1=50, y1=50)이고 오른쪽 하단 꼭지점의 좌표가 (x2=500, y2=250)인 사각형의 영역이 서비스를 위한 이미지로 캡처되었다고 가정할 수 있다. 이 때, 캡처된 이미지에 상응하는 영역이 자연 이미지에 상응하는 특성 영역을 포함하는 것을 확인할 수 있다. 따라서, 캡처된 이미지에 상응하는 영역 중 특성 영역에 해당하는 영역은 자연 이미지에 상응하는 스틸 이미지 인코딩 기법으로 스틸 이미지 인코딩 되도록 설정할 수 있다. 또한, 캡처된 이미지에 상응하는 영역 중 특성 영역이 아닌 나머지 영역에 대해서는 기설정된 디폴트 기법에 상응하는 어느 하나의 스틸 이미지 인코딩 기법을 이용하여 인코딩 되도록 설정할 수도 있다. For example, in the application execution screen, the image characteristic of the rectangular characteristic region having the coordinates of the upper left vertex (x1 = 100, y1 = 100) and the coordinates of the lower right vertex (x2 = 200, y2 = 200) (X1 = 50, y1 = 50) and the coordinates of the lower right vertex (x2 = 500, y2 = 250) are captured as an image for the service. At this time, it can be confirmed that the region corresponding to the captured image includes the characteristic region corresponding to the natural image. Therefore, the region corresponding to the characteristic region among the regions corresponding to the captured image can be set to be still image encoded by the still image encoding technique corresponding to the natural image. In addition, it is also possible to set the remaining region, which is not the characteristic region, of the region corresponding to the captured image to be encoded using any still image encoding technique corresponding to a predetermined default technique.

이 때, 이미지에 상응하는 일부 영역이 특성 영역에 상응하는 경우에, 특성 영역의 이미지 특성에 상응하게 선택된 스틸 이미지 인코딩 기법으로 일부 영역을 스틸 이미지 인코딩할 수 있다. 예를 들어, 특성 영역에 상응하는 이미지 특성이 자연 이미지에 상응한다고 가정한다면, 일부 영역을 자연 이미지에 상응하는 스틸 이미지 인코딩 기법으로 스틸 이미지 인코딩할 수 있다. 또한, 특성 영역에 상응하는 이미지 특성이 합성 이미지에 상응한다고 가정한다면, 일부 영역을 합성 이미지에 상응하는 스틸 이미지 인코딩 기법으로 스틸 이미지 인코딩할 수 있다.At this time, if some of the regions corresponding to the images correspond to the characteristic regions, some regions may be still image encoded with the still image encoding technique selected corresponding to the image characteristic of the characteristic regions. For example, if it is assumed that the image characteristic corresponding to the characteristic region corresponds to the natural image, some regions may be still image encoded with the still image encoding technique corresponding to the natural image. Further, if it is assumed that the image characteristic corresponding to the characteristic region corresponds to the composite image, some regions may be still image encoded by a still image encoding technique corresponding to the composite image.

이 때, 일부 영역이 이미지 특성이 자연 이미지인 특성 영역에 상응하는 경우에 일부 영역을 JPEG(Joint Photography Experts Group) 인코딩 기법을 이용하여 스틸 이미지 인코딩하고, 일부 영역이 이미지 특성이 합성 이미지인 특성 영역에 상응하는 경우에 일부 영역을 PNG(Portable Network Graphics) 인코딩 기법을 이용하여 스틸 이미지 인코딩할 수 있다.In this case, when a certain region corresponds to a characteristic region in which the image characteristic is a natural image, some regions are still-image encoded using a JPEG (Joint Photography Experts Group) encoding technique, It is possible to still image encode some areas using a Portable Network Graphics (PNG) encoding technique.

이 때, JPEG 인코딩 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다. 따라서, 자연 이미지와 같이 데이터의 크기가 큰 이미지의 경우에는 JPEG 인코딩 기법을 이용하여 스틸 이미지 인코딩함으로써 네트워크 전송 시 전송 데이터 량을 대폭 감소시킬 수 있다.In this case, the JPEG encoding scheme can greatly reduce the amount of data to be transmitted during encoding because of its high compression efficiency, but it can generate a large system load when performing encoding and decoding as the compression efficiency is large. Therefore, in the case of an image having a large data size such as a natural image, the still image encoding is performed using the JPEG encoding technique, thereby greatly reducing the amount of data to be transmitted during network transmission.

또한, PNG 인코딩 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 즉, 합성 이미지와 같이 이미지의 화질이 선명하지 않지만 자연 이미지보다 비교적 데이터의 크기가 작은 이미지의 경우에는 PNG 인코딩 기법을 이용하여 스틸 이미지 인코딩함으로써 사용자에게 제공되는 이미지의 화질을 보장할 수 있다. In addition, the PNG encoding scheme can improve the image quality when encoding, but the transmission speed may be lowered when the bandwidth of the transmission network is low due to a large data size. That is, in the case of an image whose image quality is not clear like a composite image but whose data size is relatively smaller than that of a natural image, the image quality of the image provided to the user can be guaranteed by still image encoding using the PNG encoding technique.

또한, JPEG 인코딩 기법이나 PNG 인코딩 기법 이외에도, 인코딩 시 이미지의 데이터 크기가 줄어들어 전송 속도는 보장할 수 있지만, 8비트로 색상을 표현하기 때문에 이미지 화질에 열화를 가져올 수 있는 팔렛티드 PNG 인코딩 기법 또한 클라우드 스트리밍 서버의 성능에 따라 채택하여 사용할 수도 있다.In addition to the JPEG encoding method and the PNG encoding method, a palette PNG encoding method which can deteriorate the image quality due to the 8-bit color representation can also be used in the cloud streaming Depending on the performance of the server, it can be adopted.

이 때, 이미지가 특성 영역에 상응하지 않는 경우에, 기설정된 디폴트 기법에 상응하는 어느 하나의 스틸 이미지 인코딩 기법으로 이미지를 스틸 이미지 인코딩할 수 있다. 즉, 씬 영역 특성 정보에 어플리케이션 실행화면에 상응하는 모든 영역의 정보가 포함되지 않은 경우에는 관용적으로 사용될 수 있는 디폴트 기법을 미리 설정하여 사용할 수 있다. 예를 들어, 디폴트 기법으로 PNG 인코딩 기법을 설정하였다고 가정한다면, 이미지가 특성 영역에 상응하지 않는 경우에 이미지를 PNG 인코딩 기법으로 스틸 이미지 인코딩할 수 있다.At this time, when the image does not correspond to the characteristic region, the still image can be still-image-encoded with any still image encoding technique corresponding to a predetermined default technique. That is, when the scene area characteristic information does not include information of all areas corresponding to the application execution screen, a default technique that can be used arbitrarily can be set and used in advance. For example, assuming that the PNG encoding scheme is set as the default scheme, the image can be still-image encoded using the PNG encoding scheme if the image does not correspond to the feature region.

센딩부(240)는 스틸 이미지 인코딩된 이미지를 사용자의 단말로 전송한다.The sending unit 240 transmits the still image encoded image to the user terminal.

이 때, 단말에서는 스틸 이미지 인코딩된 이미지를 수신하면, 다시 이미지를 렌더링하고, 렌더링된 이미지를 단말의 화면에 띄워 사용자에게 디스플레이 할 수 있다.At this time, when the terminal receives the still image encoded image, it can render the image again, display the rendered image on the screen of the terminal, and display it to the user.

저장부(250)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생하는 다양한 정보를 저장한다.The storage unit 250 stores various information generated in the cloud streaming service process according to the embodiment of the present invention as described above.

실시예에 따라, 저장부(250)는 클라우드 스트리밍 서버(110)와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부(250)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the storage unit 250 may be configured independently of the cloud streaming server 110 to support a function for the cloud streaming service. At this time, the storage unit 250 may operate as a separate mass storage and may include a control function for performing operations.

또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버(110)는 하나 이상의 서버로 구현될 수 있다.In addition, the cloud streaming server 110 configured as described above may be implemented as one or more servers.

한편, 클라우드 스트리밍 서버(110)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the cloud streaming server 110 can store information in the memory on which the memory is mounted. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in other embodiments, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may comprise, for example, a hard disk device, an optical disk device, or any other mass storage device.

이와 같은 클라우드 스트리밍 서버(110)를 통해 이미지 기반의 클라우드 스트리밍 서비스를 제공함으로써 이미지 프로세싱을 수행하기 위해 필요했던 클라우드 스트리밍 서버의 자원을 절약할 수 있다.By providing an image-based cloud streaming service through the cloud streaming server 110, resources of the cloud streaming server, which is necessary to perform image processing, can be saved.

또한, 이미지 프로세싱에 필요한 처리 시간을 단축함으로써 클라우스 스트리밍 서비스 사용자에게 보다 신속하게 서비스를 제공할 수 있다.Further, by shortening the processing time required for image processing, it is possible to provide the service to the Klaus streaming service user more quickly.

또한, 어플리케이션 실행화면에서 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공할 수 있다.In addition, by processing only the changed image on the application execution screen and providing it to the user terminal, it is possible to provide a high-performance application execution screen even in low-end terminals.

도 3은 본 발명의 일실시예에 따른 이미지 기반의 클라우드 스트리밍 서비스 시스템의 동작 과정을 나타낸 블록도이다.3 is a block diagram illustrating an operation of an image-based cloud streaming service system according to an exemplary embodiment of the present invention.

도 3을 참조하면, 웹 서버(320)에서는 사용자의 단말(330)로부터 입력되는 사용자 입력(User Input)에 상응하게 어플리케이션을 실행할 수 있다. 이 때, 웹 서버(320)에서는 실행한 어플리케이션의 어플리케이션 실행화면을 생성하고, 어플리케이션 실행화면을 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보와 함께 클라우드 스트리밍 서버(310)의 수신부(311)로 전송할 수 있다.Referring to FIG. 3, the web server 320 may execute an application corresponding to a user input inputted from the user terminal 330. [ At this time, the web server 320 generates an application execution screen of the executed application, and transmits the application execution screen to the receiving section 311 of the cloud streaming server 310 together with the scene area characteristic information corresponding to the application execution screen have.

이 때, 씬 영역 특성 정보는 이미지 특성과 이미지 특성에 따라 구분된 특성 영역의 좌표를 포함할 수 있다.At this time, the scene area characteristic information may include the coordinates of the characteristic area divided according to the image characteristic and the image characteristic.

이 때, 이미지 특성은 자연 이미지 및 합성 이미지 중 어느 하나에 상응할 수 있다.At this time, the image characteristic may correspond to either the natural image or the composite image.

이 후, 클라우드 스트리밍 서버(310)의 캡처부(312)에서는 웹 서버(320)로부터 수신된 어플리케이션 실행화면에서 사용자의 단말(330)로 전송할 이미지를 캡처할 수 있다.Thereafter, the capture unit 312 of the cloud streaming server 310 may capture an image to be transmitted to the user's terminal 330 on the application execution screen received from the web server 320. [

이 때, 어플리케이션 실행화면을 구성하는 복수개의 프레임들 중에서 비교적 변화가 적은 부분을 추출하고, 추출된 부분의 프레임들을 각각 비교하여 변화된 프레임에서 이미지를 캡처할 수 있다. 예를 들어, 이전 프레임과 현재 프레임을 비교하였을 때, 현재 프레임에 변화가 있는 경우에는 현재 프레임에서 변화가 있는 부분을 이미지로 캡처할 수 있다.At this time, it is possible to extract a relatively small portion of a plurality of frames constituting the application execution screen, and to compare the frames of the extracted portion, thereby capturing an image in the changed frame. For example, when the current frame is compared with the previous frame, if there is a change in the current frame, the portion with the change in the current frame can be captured as an image.

이 후, 클라우드 스트리밍 서버(310)의 인코딩부(313)에서는 씬 영역 특성 정보를 기반으로 이미지를 스틸 이미지 인코딩하기 위한 적어도 하나의 스틸 이미지 인코딩 기법을 선택할 수 있다.Thereafter, the encoding unit 313 of the cloud streaming server 310 may select at least one still image encoding technique for still image encoding the image based on the scene area characteristic information.

이 때, 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득하고, 이미지에 해당하는 영역이 특성 영역에 포함되는지 비교할 수 있다. 또한, 이미지에 해당하는 일부 영역 또는 전체 영역이 특성 영역에 포함된 경우, 특성 영역의 이미지 특성에 따라 스틸 이미지 인코딩 기법을 선택할 수 있다.At this time, the coordinates of the characteristic region classified according to the image characteristic in the scene region characteristic information are obtained, and it is possible to compare whether the region corresponding to the image is included in the characteristic region. In addition, when a partial region or an entire region corresponding to an image is included in the characteristic region, the still image encoding technique can be selected according to the image characteristic of the characteristic region.

또한, 이미지가 특성 영역에 전혀 포함되지 않은 경우에는 시스템 관리자에 의해 기설정된 디폴트 기법으로 스틸 이미지 인코딩 기법을 선택할 수 있다.In addition, when the image is not included in the characteristic area at all, the still image encoding technique can be selected by the default technique set by the system administrator.

이 후, 선택한 스틸 이미지 인코딩 기법으로 이미지를 스틸 이미지 인코딩 할 수 있다.Thereafter, the still image can be still image encoded using the selected still image encoding technique.

예를 들어, 특성 영역의 이미지 특성이 자연 이미지이며 이미지의 일부 영역이 이에 해당한다고 가정하면, 이미지의 일부 영역은 JEPG 인코딩 기법으로 스틸 이미지 인코딩하고, 이미지의 일부 영역을 제외한 나머지 영역은 PNG 인코딩 기법으로 스틸 이미지 인코딩할 수 있다. For example, assuming that the image characteristic of the characteristic region is a natural image and that a part of the image corresponds to this, some regions of the image are still image encoded by the JEPG encoding technique, and the remaining regions except for a portion of the image are PNG encoding technique As shown in FIG.

또한, 디폴트 기법으로 PNG 인코딩 기법이 설정되고 이미지가 특성 영역에 전혀 포함되지 않는다고 가정하면, 이미지를 디폴트 기법에 상응하는 PNG 인코딩 기법으로 스틸 이미지 인코딩할 수도 있다.Also, assuming that the PNG encoding scheme is set as the default scheme and the image is not included in the feature area at all, the image may still be image encoded with the PNG encoding scheme corresponding to the default scheme.

이 후, 클라우드 스트리밍 서버(310)의 센딩부(314)에서 스틸 이미지 인코딩된 이미지를 사용자의 단말(330)로 전송할 수 있다.Thereafter, the sending unit 314 of the cloud streaming server 310 may transmit the still image encoded image to the user's terminal 330.

도 4는 본 발명의 일실시예에 따른 어플리케이션 실행화면과 좌표를 나타낸 도면이다.4 is a diagram showing application execution screens and coordinates according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실예에 따른 어플리케이션 실행화면(410)은 자연 이미지에 상응하는 두 개의 포스터 P1(411)과 P2(412)를 포함할 수 있다.Referring to FIG. 4, an application execution screen 410 according to an exemplary embodiment of the present invention may include two posters P1 411 and P2 412 corresponding to a natural image.

이 때, 씬 영역 특성 정보에서는 두 개의 포스터(411, 412)에 상응하는 특성 영역을 좌표로 나타낼 수 있다. 예를 들어, 어플리케이션 실행화면(410)의 가로를 X축, 세로를 Y축이라고 가정하고, 왼쪽 상단을 기준으로 두 개의 포스터(411, 412)의 왼쪽 상단 꼭지점과 오른쪽 하단 꼭지점의 좌표를 나타낼 수 있다. At this time, in the scene area characteristic information, characteristic areas corresponding to the two posters 411 and 412 can be represented by coordinates. For example, assuming that the horizontal axis of the application execution screen 410 is the X axis and the vertical axis is the Y axis, the coordinates of the upper left vertex and the lower right vertex of the two posters 411 and 412 can be represented have.

이와 관련된 씬 영역 특성 정보에 대한 설명은 도 5를 통해 서술하도록 한다.The description of the scene area characteristic information related thereto will be described with reference to FIG.

도 5는 본 발명의 일실시예에 따른 씬 영역 특성 정보를 나타낸 도면이다.5 is a view illustrating scene area characteristic information according to an embodiment of the present invention.

도 5를 참조하면, 도 4에 도시된 어플리케이션 실행화면(410)에 포함된 두 개의 포스터 P1(411)과 P2(412)에 대한 씬 영역 특성 정보(511)를 알 수 있다.Referring to FIG. 5, it is possible to know the scene area characteristic information 511 for the two posters P1 411 and P2 412 included in the application execution screen 410 shown in FIG.

이 때, 씬 영역 특성 정보(511)에는 두 개의 포스터 P1(411)과 P2(412) 각각에 대한 좌표 정보(511, 512)를 포함한 것을 확인할 수 있다.At this time, it can be confirmed that the scene area characteristic information 511 includes the coordinate information 511 and 512 for the two posters P1 411 and P2 412, respectively.

이 때, 포스터 P1(411)에 대한 좌표 정보(511)는, 포스터 P1(411)의 왼쪽 상단 꼭지점의 좌표인 '<x1=100/> <y1=100/>'와 오른쪽 하단 꼭지점의 좌표인 '<x2=400/> <y2=300/>'를 포함하는 것을 알 수 있다. At this time, the coordinate information 511 for the poster P1 411 is the coordinate of the upper left vertex of the poster P1 411 and the coordinates of the lower right vertex of the poster P1 411, '<x1 = 100 /> <y1 = 100 / &lt; x2 = 400 / &lt; y2 = 300 / &gt; '.

또한, 좌표 정보(511)에는 포스터 P1(411)의 이미지 특성이 자연 이미지임을 알 수 있도록 '<imgProperty = "Natural"/>'이라는 정보도 포함할 수 있다.In addition, the coordinate information 511 may include information such as '<imgProperty = "Natural" />' so that the image characteristic of the poster P1 411 is a natural image.

이 때, 씬 영역 특성 정보(511)는 도 4의 어플리케이션 실행화면(410)에서 자연 이미지에 상응하는 특성 영역에 대한 좌표 정보를 모두 포함할 수 있다.At this time, the scene area characteristic information 511 may include all the coordinate information for the characteristic area corresponding to the natural image on the application execution screen 410 of FIG.

따라서, 씬 영역 특성 정보(511)는 포스터 P1(411)에 대한 좌표 정보(511)과 함께 포스터 P2(412)에 대한 좌표 정보(512)도 포함할 수 있다.Therefore, the scene area characteristic information 511 may also include the coordinate information 512 for the poster P2 412 together with the coordinate information 511 for the poster P1 411.

이 때, 포스터 P2(412)에 대한 좌표 정보(512)는, 포스터 P2(412)의 왼쪽 상단 꼭지점의 좌표인 '<x1=500/> <y1=100/>'와 오른쪽 하단 꼭지점의 좌표인 '<x2=800/> <y2=300/>'를 포함하는 것을 알 수 있다. At this time, the coordinate information 512 for the poster P2 412 is the coordinates of the upper left vertex of the poster P2 412 and the coordinates of the lower right vertex, which are '<x1 = 500 /> <y1 = 100 />' &lt; x2 = 800 / < y2 = 300 / > '.

또한, 좌표 정보(512)에도 포스터 P2(412)의 이미지 특성이 자연 이미지임을 알 수 있도록 '<imgProperty = "Natural"/>'이라는 정보가 포함될 수 있다. In addition, the coordinate information 512 may include information such as '<imgProperty = "Natural" />' so that the image characteristic of the poster P2 412 is a natural image.

이와 같이 씬 영역 특성 정보(510)와 씬 영역 특성 정보(510)에 상응하는 영역의 좌표 정보(511, 512)를 클라우드 스트리밍 서버로 제공함으로써, 클라우드 스트리밍 서버에서는 스틸 이미지 인코딩을 수행 시 이미지 특성에 적합한 스틸 이미지 인코딩 기법을 선택하기 위해 이미지 프로세싱을 수행하는 과정을 생략할 수 있다. 즉, 이미지 프로세싱 과정을 생략함으로써 클라우드 스트리밍 서버 내의 리소스를 보다 절약할 수 있고, 서비스를 제공받는 사용자들에게도 과정이 생략됨에 따라 보다 신속하게 서비스를 제공하는 것이 가능할 수 있다.By providing the cloud streaming server with the coordinate information (511, 512) of the area corresponding to the scene area characteristic information 510 and the scene area characteristic information 510 as described above, the cloud streaming server The process of performing image processing to select a suitable still image encoding technique may be omitted. That is, it is possible to save resources in the cloud streaming server by omitting the image processing process, and it is possible to provide the service more quickly as the process is omitted for the users who are provided with the service.

도 6은 본 발명의 일실시예에 따라 어플리케이션 실행화면을 캡처하는 과정을 나타낸 도면이다.6 is a diagram illustrating a process of capturing an application execution screen according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따라 어플리케이션 실행화면을 캡처하는 과정은 어플리케이션 실행화면에 상응하는 복수개의 프레임들 중에서 화면의 변화가 적은 부분의 프레임들을 획득할 수 있다.Referring to FIG. 6, in the process of capturing an application execution screen according to an embodiment of the present invention, frames of a portion with a small screen change among a plurality of frames corresponding to an application execution screen can be obtained.

이 때, 화면의 변화가 많은 부분에 대해서는 비디오 코덱 기반의 클라우드 스트리밍 서비스를 통해 사용자에게 어플리케이션 실행화면을 제공하는 것이 더 효율적일 수 있다.At this time, it may be more efficient to provide the application execution screen to the user through the cloud streaming service based on the video codec for the part where the screen changes much.

이 후, 변화가 적은 부분의 프레임들 중 이전 프레임(610)과 현재 프레임(620)을 비교할 수 있다. 예를 들어, 도 6에 나타낸 이전 프레임(610)과 현재 프레임(620)을 비교하면, 두 프레임의 C 영역 및 D 영역에 대해서는 변화가 없으나, 이전 프레임(610)의 A 영역 및 B 영역이 현재 프레임(620)에서는 A' 와 B'로 변한 것을 확인할 수 있다. Thereafter, it is possible to compare the previous frame 610 and the current frame 620 among the frames of the small change. For example, when comparing the previous frame 610 and the current frame 620 shown in FIG. 6, there is no change in the C region and the D region of the two frames, but the A region and the B region of the previous frame 610 are In the frame 620, it can be confirmed that A 'and B' are changed.

따라서, 클라우드 스트리밍 서버에서는 이와 같은 변화를 체크하고, 변화된 A' 영역과 B' 영역을 변화된 영역으로 판단하고 캡처 이미지(630)로 캡처할 수 있다. 즉, 클라우드 스트리밍 서버의 캡처부에서 변화된 영역에 상응하는 이미지를 캡처할 수 있다. Accordingly, the cloud streaming server may check for such changes, determine the changed A 'and B' regions as changed regions, and capture the captured images as a captured image 630. That is, the image corresponding to the changed area in the capture unit of the cloud streaming server can be captured.

또한, 이전 프레임(610)과 현재 프레임(620)을 비교하였을 때, 변화된 부분이 여러 영역 확인되는 경우에는, 변화된 여러 영역을 모두 포함하는 하나의 영역을 캡처 이미지(630)로 캡처할 수 있다. 또한, 변화된 여러 영역을 모두 각각 캡처 이미지(630)로 인식하고 복수 개의 캡처 이미지(630)로 캡처하여 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수도 있다.Also, when comparing the previous frame 610 and the current frame 620, if a plurality of areas are identified as changed areas, one area including all the changed areas can be captured as the captured image 630. In addition, it is also possible to recognize a plurality of changed areas as a captured image 630, respectively, and capture the captured images as a plurality of captured images 630 to perform an image-based cloud streaming service.

도 7은 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.7 is a flowchart illustrating an image cloud streaming service method using a scene area characteristic according to an exemplary embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법은 웹 서버로부터 어플리케이션 실행화면과 함께 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신한다(S710).Referring to FIG. 7, an image cloud streaming service method using a scene area characteristic according to an embodiment of the present invention receives scene area characteristic information corresponding to an application execution screen together with an application execution screen from a web server (S710).

이 때, 사용자가 단말을 이용하여 서비스 요청을 입력하면, 이를 수신한 웹 서버에서는 서비스 요청에 상응하게 어플리케이션을 실행할 수 있다. 예를 들어, 사용자가 단말에서 키를 입력하면 클라우드 스트리밍 서버를 통해 웹 서버로 전송될 수 있다. 즉, 사용자의 단말과 클라우드 스트리밍 서버가 통신하여 클라우드 스트리밍 서버에서 사용자 입력을 수신한 뒤, 클라우드 스트리밍 서버가 다시 웹 서버와 통신하여 사용자 입력을 전달하는 방식으로 웹 서버에서도 사용자 입력을 획득할 수 있다.At this time, if the user inputs a service request using the terminal, the web server receiving the service request can execute the application corresponding to the service request. For example, when a user enters a key in a terminal, the user can be transmitted to the web server through a cloud streaming server. That is, after the user's terminal and the cloud streaming server communicate with each other and receive user input from the cloud streaming server, the cloud streaming server communicates with the web server again to transmit the user input, .

이 때, 도 1에 도시된 네트워크와 같은 통신망을 통해 사용자 입력을 수신할 수 있다.At this time, user input can be received through a communication network such as the network shown in Fig.

이 때, 웹 서버는 어플리케이션 실행화면을 생성하고, 생성된 어플리케이션 실행화면과 함께 어플리케이션 실행화면에 대한 씬 영역 특성 정보를 생성하여 클라우드 스트리밍 서버로 전달할 수 있다. At this time, the web server generates an application execution screen, and generates scene area characteristic information for the application execution screen together with the generated application execution screen, and can transmit the generated scene area characteristic information to the cloud streaming server.

이 때, 씬 영역 특성 정보는 어플리케이션 실행화면에 포함된 이미지 특성과 이미지 특성에 따라 구분된 특성 영역의 좌표를 포함할 수 있다.At this time, the scene area characteristic information may include coordinates of the characteristic area classified according to the image characteristic included in the application execution screen and the image characteristic.

이 때, 씬 영역 특성 정보를 함께 수신함으로써 추후 이미지 프로세싱을 위한 과정을 생략할 수 있다. 종래의 이미지 기반의 클라우드 스트리밍 서비스 방법에서는 어플리케이션 실행화면에서 캡처되는 이미지에 대한 이미지 프로세싱을 수행함으로써, 이미지를 스틸 이미지 인코딩 할 인코더를 결정하는 과정을 수행할 수 있었다. 그러나, 이와 같은 이미지 프로세싱을 수행하기 위해 클라우드 스트리밍 서버의 서버 자원과 시간이 소비됨으로써 시스템 전체의 부하량을 가중시키는 원인이 될 수 있었다. At this time, the process for later image processing can be omitted by receiving the scene area characteristic information together. In the conventional image-based cloud streaming service method, image processing is performed on an image captured on an application execution screen, thereby determining an encoder for still image encoding an image. However, in order to perform such image processing, the server resource and time of the cloud streaming server may be consumed, thereby increasing the load of the entire system.

따라서, 본 발명에서는 이와 같은 문제점을 해결하기 위해 이미지 프로세싱의 결과와 상응하는 정보인 씬 영역 특성 정보를 어플리케이션 실행화면과 함께 제공받음으로써 보다 효율적으로 시스템을 운용할 수 있다.Therefore, in order to solve such a problem, in the present invention, the scene area characteristic information, which is information corresponding to the result of the image processing, is provided together with the application execution screen, so that the system can be operated more efficiently.

또한, 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법은 어플리케이션 실행화면을 렌더링하여 변화된 부분에 상응하는 이미지를 캡처한다(S720).In addition, the image cloud streaming service method using the scene area characteristic according to an embodiment of the present invention renders an application execution screen and captures an image corresponding to the changed part (S720).

비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이미지 기반의 클라우드 스트리밍 기법과 같이 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.The cloud streaming technique based on the video codec can capture and encode all the frames corresponding to the screen on which the application operates. However, when the frame-to-frame change on the screen on which the application operates is not large, the still-image encoding is performed by capturing only the change area of the changed frame as compared with the previous frame like the image-based cloud streaming technique, It is possible to display the parts except for the change area in the same manner and display only the change area.

따라서, 본 발명에 따른 클라우드 스트리밍 서비스 시스템에는 비디오 코덱 기반의 클라우드 스트리밍 기법보다는 이미지 기반의 클라우드 스트리밍 기법을 이용할 수 있다.Therefore, the cloud streaming service system according to the present invention can use an image-based cloud streaming technique rather than a video codec-based cloud streaming technique.

이 때, 어플리케이션 실행화면에 상응하는 복수개의 프레임들을 비교하여 이미지를 캡처할 수 있다.At this time, an image can be captured by comparing a plurality of frames corresponding to an application execution screen.

이 때, 복수개의 프레임들 중 프레임간의 변화가 적은 구간들을 검출하고, 프레임간의 변화가 적은 구간에서 이미지를 캡처할 수 있다. 예를 들어, 프레임간의 변화가 많은 구간은 캡처할 이미지의 수가 많아 이미지 기반의 클라우드 스트리밍 서비스를 제공하는 것이 비효율적일 수 있다. 따라서, 이와 같이 변화가 많은 구간은 비디오 코덱 기반의 클라우드 스트리밍 기법을 통해 서비스를 수행하고, 프레임간 변화가 적은 구간에서만 이미지 기반의 클라우드 스트리밍 서비스를 수행하기 위해 변화된 영역의 이미지를 캡처할 수 있다.In this case, it is possible to detect intervals in which a change between frames is small among a plurality of frames, and to capture an image in a section where a change between frames is small. For example, it may be inefficient to provide an image-based cloud streaming service because there are a large number of images to be captured with a large number of frames between frames. Accordingly, in such a period, a service can be performed through a cloud streaming technique based on a video codec, and an image of a changed region can be captured in order to perform an image-based cloud streaming service only in a period in which there is little change between frames.

이 때, 복수개의 프레임들 중 현재 프레임과 이전 프레임을 비교하여 변화된 경우에 이미지를 캡처할 수 있다. 예를 들어, 이전 프레임의 메뉴 화면과 현재 프레임의 메뉴 화면을 비교하였을 때 현재 프레임의 메뉴에서 활성화된 표시가 이전 프레임과 비교하며 변하였다고 가정한다면, 현재 프레임의 메뉴에서 활성화된 표시가 있는 부분을 이미지로 캡처할 수 있다.At this time, the current frame and the previous frame among the plurality of frames may be compared to capture an image when the frame is changed. For example, when comparing the menu screen of the previous frame with the menu screen of the current frame, it is assumed that the display activated in the menu of the current frame is changed compared with the previous frame, It can be captured as an image.

또한, 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법은 씬 영역 특성 정보를 기반으로 이미지에 상응하는 적어도 하나의 스틸 이미지 인코딩 기법을 선택하여 이미지를 스틸 이미지 인코딩한다(S730).Also, in the image cloud streaming service method using the scene area characteristic according to the embodiment of the present invention, still image encoding is performed by selecting at least one still image encoding technique corresponding to the image based on the scene area characteristic information (S730 ).

일반적으로 이미지 기반의 클라우드 스트리밍 서비스 시스템에서 스틸 이미지 인코딩 기법은 클라우드 스트리밍 서버에서 발생하는 부하량, 서비스 속도, 이미지의 화질 또는 인코딩된 이미지를 수신하여 렌더링하는 단말의 성능 등을 고려하여 결정할 수 있다. 예를 들어, 클라우드 스트리밍 서비스의 속도를 향상시키기 위해서는 압축률이 높고 부하가 적게 발생하는 팔렛트 PNG 인코딩 방식으로 이미지를 압축할 수 있다. 또한, 부하량은 상관하지 않고 이미지의 화질을 좋게 제공하고 싶다면, PNG32bit 인코딩 방식 또는 JPEG 인코딩 방식 등을 이용하여 이미지를 압축할 수 있다.Generally, in the image-based cloud streaming service system, the still image encoding technique can be determined in consideration of the load generated in the cloud streaming server, the service speed, the image quality of the image, or the performance of the terminal receiving and rendering the encoded image. For example, to improve the speed of the cloud streaming service, you can compress the image with a palette PNG encoding method that has a high compression ratio and low load. In addition, if it is desired to provide a good image quality without regard to the load, the image can be compressed using the PNG 32-bit encoding method or the JPEG encoding method.

이에 따라, 본 발명에서는 씬 영역 특성 정보를 통해 획득한 이미지에 대한 정보를 이용하여 적어도 하나의 스틸 이미지 인코딩 기법을 선택할 수 있다.Accordingly, in the present invention, at least one still image encoding technique can be selected using information on the image acquired through the scene area characteristic information.

이 때, 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득하고, 이미지에 상응하는 영역 중 특성 영역에 상응하는 영역이 존재하는지 여부를 비교하여 적어도 하나의 스틸 이미지 인코딩 기법을 선택할 수 있다. At this time, the coordinates of the characteristic region classified according to the image characteristic are obtained from the scene characteristic information, and whether or not there is a region corresponding to the characteristic region among the regions corresponding to the image exists is selected to select at least one still image encoding technique .

이 때, 이미지 특성은 자연 이미지 및 합성 이미지 중 적어도 하나에 상응할 수 있다. 예를 들어, 자연 이미지는 하나의 사진이나 그림과 같은 이미지를 의미할 수 있다. 즉, JPEG, PNG 및 GIF와 같은 이미지 형식에 상응하는 이미지일 수 있다. 또한, 합성 이미지는 여러 개의 이미지를 합쳐서 만들어진 이미지에 상응할 수 있다. 즉, 어플리케이션 실행화면에서 텍스트를 나타내는 화면이나 배경화면 등에 상응할 수 있다.At this time, the image characteristic may correspond to at least one of a natural image and a composite image. For example, a natural image can mean an image, such as a picture or a picture. That is, it may be an image corresponding to an image format such as JPEG, PNG, and GIF. Also, a composite image may correspond to an image created by combining multiple images. That is, it may correspond to a screen representing a text on an application execution screen, a background screen, and the like.

따라서, 씬 영역 특성 정보를 통해서 어플리케이션 실행화면의 어떤 위치에 자연 이미지가 포함되어 있고, 또 다른 어떤 위치에 합성 이미지가 포함되어 있는지 알 수 있다. 즉, 이러한 정보를 바탕으로 자연 이미지에 해당하는 특성 영역 또는 합성 이미지에 해당하는 특성 영역 중 어느 영역에서 이미지가 캡처되었는지 확인하면 보다 수월하게 이미지를 스틸 이미지 인코딩할 스틸 이미지 인코딩 기법을 선택할 수 있다.Therefore, through the scene area characteristic information, it is possible to know at which position of the application execution screen the natural image is included and at which other position the composite image is included. That is, based on such information, it is possible to select a still image encoding method for still image encoding of the image more easily by checking which region of the characteristic region corresponding to the natural image or the characteristic region corresponding to the composite image has been captured.

예를 들어, 어플리케이션 실행화면에서 왼쪽 상단 꼭지점의 좌표가 (x1=100, y1=100)이고 오른쪽 하단 꼭지점의 좌표가 (x2=200, y2=200)인 사각형의 특성 영역의 이미지 특성이 자연 이미지이고, 왼쪽 상단 꼭지점의 좌표가 (x1=50, y1=50)이고 오른쪽 하단 꼭지점의 좌표가 (x2=500, y2=250)인 사각형의 영역이 서비스를 위한 이미지로 캡처되었다고 가정할 수 있다. 이 때, 캡처된 이미지에 상응하는 영역이 자연 이미지에 상응하는 특성 영역을 포함하는 것을 확인할 수 있다. 따라서, 캡처된 이미지에 상응하는 영역 중 특성 영역에 해당하는 영역은 자연 이미지에 상응하는 스틸 이미지 인코딩 기법으로 스틸 이미지 인코딩 되도록 설정할 수 있다. 또한, 캡처된 이미지에 상응하는 영역 중 특성 영역이 아닌 나머지 영역에 대해서는 기설정된 디폴트 기법에 상응하는 어느 하나의 스틸 이미지 인코딩 기법을 이용하여 인코딩 되도록 설정할 수도 있다. For example, in the application execution screen, the image characteristic of the rectangular characteristic region having the coordinates of the upper left vertex (x1 = 100, y1 = 100) and the coordinates of the lower right vertex (x2 = 200, y2 = 200) (X1 = 50, y1 = 50) and the coordinates of the lower right vertex (x2 = 500, y2 = 250) are captured as an image for the service. At this time, it can be confirmed that the region corresponding to the captured image includes the characteristic region corresponding to the natural image. Therefore, the region corresponding to the characteristic region among the regions corresponding to the captured image can be set to be still image encoded by the still image encoding technique corresponding to the natural image. In addition, it is also possible to set the remaining region, which is not the characteristic region, of the region corresponding to the captured image to be encoded using any still image encoding technique corresponding to a predetermined default technique.

이 때, 이미지에 상응하는 일부 영역이 특성 영역에 상응하는 경우에, 특성 영역의 이미지 특성에 상응하게 선택된 스틸 이미지 인코딩 기법으로 일부 영역을 스틸 이미지 인코딩할 수 있다. 예를 들어, 특성 영역에 상응하는 이미지 특성이 자연 이미지에 상응한다고 가정한다면, 일부 영역을 자연 이미지에 상응하는 스틸 이미지 인코딩 기법으로 스틸 이미지 인코딩할 수 있다. 또한, 특성 영역에 상응하는 이미지 특성이 합성 이미지에 상응한다고 가정한다면, 일부 영역을 합성 이미지에 상응하는 스틸 이미지 인코딩 기법으로 스틸 이미지 인코딩할 수 있다.At this time, if some of the regions corresponding to the images correspond to the characteristic regions, some regions may be still image encoded with the still image encoding technique selected corresponding to the image characteristic of the characteristic regions. For example, if it is assumed that the image characteristic corresponding to the characteristic region corresponds to the natural image, some regions may be still image encoded with the still image encoding technique corresponding to the natural image. Further, if it is assumed that the image characteristic corresponding to the characteristic region corresponds to the composite image, some regions may be still image encoded by a still image encoding technique corresponding to the composite image.

이 때, 일부 영역이 이미지 특성이 자연 이미지인 특성 영역에 상응하는 경우에 일부 영역을 JPEG(Joint Photography Experts Group) 인코딩 기법을 이용하여 스틸 이미지 인코딩하고, 일부 영역이 이미지 특성이 합성 이미지인 특성 영역에 상응하는 경우에 일부 영역을 PNG(Portable Network Graphics) 인코딩 기법을 이용하여 스틸 이미지 인코딩할 수 있다.In this case, when a certain region corresponds to a characteristic region in which the image characteristic is a natural image, some regions are still-image encoded using a JPEG (Joint Photography Experts Group) encoding technique, It is possible to still image encode some areas using a Portable Network Graphics (PNG) encoding technique.

이 때, JPEG 인코딩 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다. 따라서, 자연 이미지와 같이 데이터의 크기가 큰 이미지의 경우에는 JPEG 인코딩 기법을 이용하여 스틸 이미지 인코딩함으로써 네트워크 전송 시 전송 데이터 량을 대폭 감소시킬 수 있다.In this case, the JPEG encoding scheme can greatly reduce the amount of data to be transmitted during encoding because of its high compression efficiency, but it can generate a large system load when performing encoding and decoding as the compression efficiency is large. Therefore, in the case of an image having a large data size such as a natural image, the still image encoding is performed using the JPEG encoding technique, thereby greatly reducing the amount of data to be transmitted during network transmission.

또한, PNG 인코딩 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 즉, 합성 이미지와 같이 이미지의 화질이 선명하지 않지만 자연 이미지보다 비교적 데이터의 크기가 작은 이미지의 경우에는 PNG 인코딩 기법을 이용하여 스틸 이미지 인코딩함으로써 사용자에게 제공되는 이미지의 화질을 보장할 수 있다. In addition, the PNG encoding scheme can improve the image quality when encoding, but the transmission speed may be lowered when the bandwidth of the transmission network is low due to a large data size. That is, in the case of an image whose image quality is not clear like a composite image but whose data size is relatively smaller than that of a natural image, the image quality of the image provided to the user can be guaranteed by still image encoding using the PNG encoding technique.

또한, JPEG 인코딩 기법이나 PNG 인코딩 기법 이외에도, 인코딩 시 이미지의 데이터 크기가 줄어들어 전송 속도는 보장할 수 있지만, 8비트로 색상을 표현하기 때문에 이미지 화질에 열화를 가져올 수 있는 팔렛티드 PNG 인코딩 기법 또한 클라우드 스트리밍 서버의 성능에 따라 채택하여 사용할 수도 있다.In addition to the JPEG encoding method and the PNG encoding method, a palette PNG encoding method which can deteriorate the image quality due to the 8-bit color representation can also be used in the cloud streaming Depending on the performance of the server, it can be adopted.

이 때, 이미지가 특성 영역에 상응하지 않는 경우에, 기설정된 디폴트 기법에 상응하는 어느 하나의 스틸 이미지 인코딩 기법으로 이미지를 스틸 이미지 인코딩할 수 있다. 즉, 씬 영역 특성 정보에 어플리케이션 실행화면에 상응하는 모든 영역의 정보가 포함되지 않은 경우에는 관용적으로 사용될 수 있는 디폴트 기법을 미리 설정하여 사용할 수 있다. 예를 들어, 디폴트 기법으로 PNG 인코딩 기법을 설정하였다고 가정한다면, 이미지가 특성 영역에 상응하지 않는 경우에 이미지를 PNG 인코딩 기법으로 스틸 이미지 인코딩할 수 있다.At this time, when the image does not correspond to the characteristic region, the still image can be still-image-encoded with any still image encoding technique corresponding to a predetermined default technique. That is, when the scene area characteristic information does not include information of all areas corresponding to the application execution screen, a default technique that can be used arbitrarily can be set and used in advance. For example, assuming that the PNG encoding scheme is set as the default scheme, the image can be still-image encoded using the PNG encoding scheme if the image does not correspond to the feature region.

또한, 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩된 이미지를 사용자의 단말로 전송한다(S740).In addition, the image cloud streaming service method using the scene area characteristic according to an embodiment of the present invention transmits the still image encoded image to the user terminal (S740).

이 때, 단말에서는 스틸 이미지 인코딩된 이미지를 수신하면, 다시 이미지를 렌더링하고, 렌더링된 이미지를 단말의 화면에 띄워 사용자에게 디스플레이 할 수 있다.At this time, when the terminal receives the still image encoded image, it can render the image again, display the rendered image on the screen of the terminal, and display it to the user.

또한, 도 7에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법은 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생하는 다양한 정보를 저장한다.Also, although not shown in FIG. 7, the image cloud streaming service method using the scene area characteristic according to an embodiment of the present invention may include various information generated in the cloud streaming service process according to the embodiment of the present invention, .

실시예에 따라, 다양한 정보를 저장하는 저장 모듈은 클라우드 스트리밍 서버와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장 모듈은 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the storage module for storing various information may be configured independently of the cloud streaming server to support the function for the cloud streaming service. At this time, the storage module may operate as a separate mass storage and may include control functions for performing operations.

이와 같은 이미지 기반의 클라우드 스트리밍 서비스 방법을 통해 이미지 기반의 클라우드 스트리밍 서비스를 제공함으로써 이미지 프로세싱을 수행하기 위해 필요했던 클라우드 스트리밍 서버의 자원을 절약할 수 있다.This image-based cloud streaming service method provides image-based cloud streaming service, which can save the resources of cloud streaming server that was needed to perform image processing.

또한, 이미지 프로세싱에 필요한 처리 시간을 단축함으로써 클라우스 스트리밍 서비스 사용자에게 보다 신속하게 서비스를 제공할 수 있다.Further, by shortening the processing time required for image processing, it is possible to provide the service to the Klaus streaming service user more quickly.

또한, 어플리케이션 실행화면에서 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공할 수 있다.In addition, by processing only the changed image on the application execution screen and providing it to the user terminal, it is possible to provide a high-performance application execution screen even in low-end terminals.

도 8은 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.8 is a flowchart illustrating an image cloud streaming service method using a scene area characteristic according to an exemplary embodiment of the present invention.

도 8을 참조하면, 본 발명의 일실시예에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법은 먼저 웹 서버로부터 어플리케이션 실행화면과 함께 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신한다(S810).Referring to FIG. 8, an image cloud streaming service method using a scene area characteristic according to an embodiment of the present invention receives scene area characteristic information corresponding to an application execution screen together with an application execution screen from a web server (S810) .

이 때, 사용자가 단말을 이용하여 서비스 요청을 입력하면, 이를 수신한 웹 서버에서는 서비스 요청에 상응하게 어플리케이션을 실행할 수 있다.At this time, if the user inputs a service request using the terminal, the web server receiving the service request can execute the application corresponding to the service request.

이 때, 도 1에 도시된 네트워크와 같은 통신망을 통해 사용자 입력을 수신할 수 있다.At this time, user input can be received through a communication network such as the network shown in Fig.

이 때, 웹 서버는 어플리케이션 실행화면을 생성하고, 생성된 어플리케이션 실행화면과 함께 어플리케이션 실행화면에 대한 씬 영역 특성 정보를 생성하여 클라우드 스트리밍 서버로 전달할 수 있다.At this time, the web server generates an application execution screen, and generates scene area characteristic information for the application execution screen together with the generated application execution screen, and can transmit the generated scene area characteristic information to the cloud streaming server.

이 때, 씬 영역 특성 정보를 함께 수신함으로써 추후 이미지 프로세싱을 위한 과정을 생략할 수 있다. 종래의 이미지 기반의 클라우드 스트리밍 서비스 방법에서는 어플리케이션 실행화면에서 캡처되는 이미지에 대한 이미지 프로세싱을 수행함으로써, 이미지를 스틸 이미지 인코딩 할 인코더를 결정하는 과정을 수행할 수 있었다. 그러나, 이와 같은 이미지 프로세싱을 수행하기 위해 클라우드 스트리밍 서버의 서버 자원과 시간이 소비됨으로써 시스템 전체의 부하량을 가중시키는 원인이 될 수 있었다. At this time, the process for later image processing can be omitted by receiving the scene area characteristic information together. In the conventional image-based cloud streaming service method, image processing is performed on an image captured on an application execution screen, thereby determining an encoder for still image encoding an image. However, in order to perform such image processing, the server resource and time of the cloud streaming server may be consumed, thereby increasing the load of the entire system.

따라서, 본 발명에서는 이와 같은 문제점을 해결하기 위해 이미지 프로세싱의 결과와 상응하는 정보인 씬 영역 특성 정보를 어플리케이션 실행화면과 함께 제공받음으로써 보다 효율적으로 시스템을 운용할 수 있다.Therefore, in order to solve such a problem, in the present invention, the scene area characteristic information, which is information corresponding to the result of the image processing, is provided together with the application execution screen, so that the system can be operated more efficiently.

이 때, 씬 영역 특성 정보는 어플리케이션 실행화면에 포함된 이미지 특성과 이미지 특성에 따라 구분된 특성 영역의 좌표를 포함할 수 있다.At this time, the scene area characteristic information may include coordinates of the characteristic area classified according to the image characteristic included in the application execution screen and the image characteristic.

이 때, 이미지 특성은 자연 이미지 및 합성 이미지 중 적어도 하나에 상응할 수 있다. 예를 들어, 자연 이미지는 하나의 사진이나 그림과 같은 이미지를 의미할 수 있다. 즉, JPEG, PNG 및 GIF와 같은 이미지 형식에 상응하는 이미지일 수 있다. 또한, 합성 이미지는 여러 개의 이미지를 합쳐서 만들어진 이미지에 상응할 수 있다. 즉, 어플리케이션 실행화면에서 텍스트를 나타내는 화면이나 배경화면 등에 상응할 수 있다.At this time, the image characteristic may correspond to at least one of a natural image and a composite image. For example, a natural image can mean an image, such as a picture or a picture. That is, it may be an image corresponding to an image format such as JPEG, PNG, and GIF. Also, a composite image may correspond to an image created by combining multiple images. That is, it may correspond to a screen representing a text on an application execution screen, a background screen, and the like.

이 후, 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득한다(S820). 예를 들어, 어플리케이션 실행화면에서 이미지 특성이 자연 이미지인 사각형의 특성 영역의 좌표는 왼쪽 상단 꼭지점의 좌표 (x1=100, y1=100)와 오른쪽 하단 꼭지점의 좌표 (x2=200, y2=200)를 획득함으로써 특성 영역의 위치를 알 수 있다.Thereafter, the coordinates of the characteristic region classified according to the image characteristic are obtained from the scene characteristic information (S820). For example, the coordinates of the upper left vertex (x1 = 100, y1 = 100) and the coordinates of the lower right vertex (x2 = 200, y2 = 200) The position of the characteristic region can be known.

이 후, 변화된 부분의 이미지를 캡처하기 위해 어플리케이션 실행화면에 상응하는 복수개의 프레임들을 비교한다(S830). Thereafter, in order to capture the image of the changed portion, a plurality of frames corresponding to the application execution screen are compared (S830).

이 때, 복수개의 프레임들 중 프레임간의 변화가 적은 구간들을 검출하고, 프레임간의 변화가 적은 구간에서 이미지를 캡처할 수 있다. 예를 들어, 프레임간의 변화가 많은 구간은 캡처할 이미지의 수가 많아 이미지 기반의 클라우드 스트리밍 서비스를 제공하는 것이 비효율적일 수 있다. 따라서, 이와 같이 변화가 많은 구간은 비디오 코덱 기반의 클라우드 스트리밍 기법을 통해 서비스를 수행하고, 프레임간 변화가 적은 구간에서만 이미지 기반의 클라우드 스트리밍 서비스를 수행하기 위해 변화된 영역의 이미지를 캡처할 수 있다.In this case, it is possible to detect intervals in which a change between frames is small among a plurality of frames, and to capture an image in a section where a change between frames is small. For example, it may be inefficient to provide an image-based cloud streaming service because there are a large number of images to be captured with a large number of frames between frames. Accordingly, in such a period, a service can be performed through a cloud streaming technique based on a video codec, and an image of a changed region can be captured in order to perform an image-based cloud streaming service only in a period in which there is little change between frames.

이 때, 복수개의 프레임들 중 현재 프레임과 이전 프레임을 비교하여 변화된 경우에 이미지를 캡처할 수 있다. 예를 들어, 이전 프레임의 메뉴 화면과 현재 프레임의 메뉴 화면을 비교하였을 때 현재 프레임의 메뉴에서 활성화된 표시가 이전 프레임과 비교하며 변하였다고 가정한다면, 현재 프레임의 메뉴에서 활성화된 표시가 있는 부분을 이미지로 캡처할 수 있다.At this time, the current frame and the previous frame among the plurality of frames may be compared to capture an image when the frame is changed. For example, when comparing the menu screen of the previous frame with the menu screen of the current frame, it is assumed that the display activated in the menu of the current frame is changed compared with the previous frame, It can be captured as an image.

이 후, 어플리케이션 실행화면에서 이미지를 캡처한다(S840).Thereafter, an image is captured on the application execution screen (S840).

비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이미지 기반의 클라우드 스트리밍 기법과 같이 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.The cloud streaming technique based on the video codec can capture and encode all the frames corresponding to the screen on which the application operates. However, when the frame-to-frame change on the screen on which the application operates is not large, the still-image encoding is performed by capturing only the change area of the changed frame as compared with the previous frame like the image-based cloud streaming technique, It is possible to display the parts except for the change area in the same manner and display only the change area.

따라서, 본 발명에 따른 클라우드 스트리밍 서비스 시스템에는 비디오 코덱 기반의 클라우드 스트리밍 기법보다는 이미지 기반의 클라우드 스트리밍 기법을 이용할 수 있다.Therefore, the cloud streaming service system according to the present invention can use an image-based cloud streaming technique rather than a video codec-based cloud streaming technique.

이 후, 캡처된 이미지의 전체 영역 또는 일부 영역이 특성 영역에 포함되는지 판단한다(S845).Thereafter, it is determined whether the entire area or a part of the captured image is included in the characteristic area (S845).

단계(S845)의 판단결과 캡처된 이미지의 전체 영역 또는 일부 영역이 특성 영역에 포함되면, 이미지의 영역 중 특성 영역에 해당하는 영역은 특성 영역의 이미지 특성에 상응하는 스틸 이미지 인코딩 기법으로 스틸 이미지 인코딩한다(S850).If the entire area or a partial area of the captured image is included in the characteristic area as a result of the determination in step S845, the area corresponding to the characteristic area among the areas of the image may be still image encoded using the still image encoding technique corresponding to the image characteristic of the characteristic area. (S850).

이 때, 일부 영역이 이미지 특성이 자연 이미지인 특성 영역에 상응하는 경우에 일부 영역을 JPEG(Joint Photography Experts Group) 인코딩 기법을 이용하여 스틸 이미지 인코딩하고, 일부 영역이 이미지 특성이 합성 이미지인 특성 영역에 상응하는 경우에 일부 영역을 PNG(Portable Network Graphics) 인코딩 기법을 이용하여 스틸 이미지 인코딩할 수 있다.In this case, when a certain region corresponds to a characteristic region in which the image characteristic is a natural image, some regions are still-image encoded using a JPEG (Joint Photography Experts Group) encoding technique, It is possible to still image encode some areas using a Portable Network Graphics (PNG) encoding technique.

이 때, JPEG 인코딩 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다. 따라서, 자연 이미지와 같이 데이터의 크기가 큰 이미지의 경우에는 JPEG 인코딩 기법을 이용하여 스틸 이미지 인코딩함으로써 네트워크 전송 시 전송 데이터 량을 대폭 감소시킬 수 있다.In this case, the JPEG encoding scheme can greatly reduce the amount of data to be transmitted during encoding because of its high compression efficiency, but it can generate a large system load when performing encoding and decoding as the compression efficiency is large. Therefore, in the case of an image having a large data size such as a natural image, the still image encoding is performed using the JPEG encoding technique, thereby greatly reducing the amount of data to be transmitted during network transmission.

또한, PNG 인코딩 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 즉, 합성 이미지와 같이 이미지의 화질이 선명하지 않지만 자연 이미지보다 비교적 데이터의 크기가 작은 이미지의 경우에는 PNG 인코딩 기법을 이용하여 스틸 이미지 인코딩함으로써 사용자에게 제공되는 이미지의 화질을 보장할 수 있다.In addition, the PNG encoding scheme can improve the image quality when encoding, but the transmission speed may be lowered when the bandwidth of the transmission network is low due to a large data size. That is, in the case of an image whose image quality is not clear like a composite image but whose data size is relatively smaller than that of a natural image, the image quality of the image provided to the user can be guaranteed by still image encoding using the PNG encoding technique.

이 후, 나머지 영역은 디폴트 기법으로 스틸 이미지 인코딩한다(S860).Thereafter, the remaining area is still image encoded by the default technique (S860).

즉, 씬 영역 특성 정보에 어플리케이션 실행화면에 상응하는 모든 영역의 정보가 포함되지 않은 경우에는 관용적으로 사용될 수 있는 디폴트 기법을 미리 설정하여 사용할 수 있다. 예를 들어, 디폴트 기법으로 PNG 인코딩 기법을 설정하였다고 가정한다면, 이미지가 특성 영역에 상응하지 않는 경우에 이미지를 PNG 인코딩 기법으로 스틸 이미지 인코딩할 수 있다.That is, when the scene area characteristic information does not include information of all areas corresponding to the application execution screen, a default technique that can be used arbitrarily can be set and used in advance. For example, assuming that the PNG encoding scheme is set as the default scheme, the image can be still-image encoded using the PNG encoding scheme if the image does not correspond to the feature region.

또한, 단계(S845)의 판단결과 캡처된 이미지의 전체 영역 또는 일부 영역이 특성 영역에 포함되지 않으면, 이미지를 디폴트 기법으로 스틸 이미지 인코딩한다(S870).If it is determined in step S845 that the entire area or a part of the captured image is not included in the characteristic area, the still image is encoded in the default technique (S870).

이 후, 스틸 이미지 인코딩된 이미지를 사용자의 단말로 전달한다(S880).Thereafter, the still image encoded image is transmitted to the user terminal (S880).

이 때, 단말에서는 스틸 이미지 인코딩된 이미지를 수신하면, 다시 이미지를 렌더링하고, 렌더링된 이미지를 단말의 화면에 띄워 사용자에게 디스플레이 할 수 있다.At this time, when the terminal receives the still image encoded image, it can render the image again, display the rendered image on the screen of the terminal, and display it to the user.

도 9는 본 발명의 일실시예에 따른 씬 영역 특성에 기반하여 스틸 이미지 인코딩을 수행하는 방법을 나타낸 동작 흐름도이다.9 is a flowchart illustrating a method of performing still image encoding based on scene area characteristics according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일실시예에 따른 씬 영역 특성에 기반하여 스틸 이미지 인코딩을 수행하는 방법은 먼저 어플리케이션 실행화면에서 특성 영역에 대한 이미지 특성을 체크한다(S910).Referring to FIG. 9, in the method of performing still image encoding based on a scene area characteristic according to an exemplary embodiment of the present invention, an image characteristic of a characteristic area is checked in an application execution screen (S910).

예를 들어, 씬 영역 특성 정보에 포함된 좌표 정보를 통해서 특성 영역의 위치와 이미지 특성을 체크할 수 있다.For example, the position of the characteristic region and the image characteristic can be checked through the coordinate information included in the scene region characteristic information.

이 후, 특성 정보의 이미지 특성이 자연 이미지 인지 판단할 수 있다(S915).Thereafter, it is determined whether the image characteristic of the characteristic information is a natural image (S915).

단계(S915)의 판단결과 자연이미지면, 캡처된 이미지 중에서 특성 영역에 해당하는 영역을 JEPG 인코딩 기법으로 스틸 이미지 인코딩할 수 있다(S920).As a result of the determination in step S915, the region corresponding to the characteristic region among the natural image plane and the captured image may be still image encoded using the JEPG encoding scheme (S920).

또한, 단계(S915)의 판단결과 자연이미지가 아니면, 합성 이미지로 판단하고 캡처된 이미지 중에서 특성 영역에 해당하는 영역을 PNG 인코딩 기법으로 스틸 이미지 인코딩할 수 있다(S930).If it is determined in step S915 that the image is not a natural image, it is determined that the image is a composite image, and the region corresponding to the characteristic region in the captured image is still image encoded using the PNG encoding method (S930).

이 때, JPEG 인코딩 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다. 따라서, 자연 이미지와 같이 데이터의 크기가 큰 이미지의 경우에는 JPEG 인코딩 기법을 이용하여 스틸 이미지 인코딩함으로써 네트워크 전송 시 전송 데이터 량을 대폭 감소시킬 수 있다. In this case, the JPEG encoding scheme can greatly reduce the amount of data to be transmitted during encoding because of its high compression efficiency, but it can generate a large system load when performing encoding and decoding as the compression efficiency is large. Therefore, in the case of an image having a large data size such as a natural image, the still image encoding is performed using the JPEG encoding technique, thereby greatly reducing the amount of data to be transmitted during network transmission.

또한, PNG 인코딩 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 즉, 합성 이미지와 같이 이미지의 화질이 선명하지 않지만 자연 이미지보다 비교적 데이터의 크기가 작은 이미지의 경우에는 PNG 인코딩 기법을 이용하여 스틸 이미지 인코딩함으로써 사용자에게 제공되는 이미지의 화질을 보장할 수 있다.In addition, the PNG encoding scheme can improve the image quality when encoding, but the transmission speed may be lowered when the bandwidth of the transmission network is low due to a large data size. That is, in the case of an image whose image quality is not clear like a composite image but whose data size is relatively smaller than that of a natural image, the image quality of the image provided to the user can be guaranteed by still image encoding using the PNG encoding technique.

본 발명에 따른 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The image cloud streaming service method using the scene area characteristic according to the present invention may be implemented in a form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Includes all types of hardware devices that are specially configured to store and execute magneto-optical media and program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상에서와 같이 본 발명에 따른 클라우드 스트리밍 서비스 시스템, 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the cloud streaming service system according to the present invention, the image cloud streaming service method using the scene region characteristic, and the apparatus therefor are not limited to the configuration and method of the embodiments described above, The embodiments may be configured such that all or some of the embodiments are selectively combined so that various modifications can be made.

본 발명에 의하면 웹 서버로부터 어플리케이션 실행화면과 함께 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신하고, 어플리케이션 실행화면을 렌더링하여 변화된 부분에 상응하는 이미지를 캡처하고, 씬 영역 특성 정보를 기반으로 이미지에 상응하는 적어도 하나의 스틸 이미지 인코딩 기법으로 이미지를 스틸 이미지 인코딩하여 사용자의 단말로 전송할 수 있다. 나아가, 이미지 기반의 클라우드 스트리밍 서비스 시 캡처된 이미지에 대한 이미지 프로세싱 과정을 수행하지 않고도 씬 영역 특성 정보를 기반으로 이미지에 적합한 스틸 이미지 인코딩을 수행할 수 있기 때문에 보다 시스템을 보다 효율적으로 운용할 수 있고, 사용자들에게는 보다 신속하게 서비스를 제공하는 것이 가능하다.According to the present invention, the scene area characteristic information corresponding to the application execution screen is received along with the application execution screen from the web server, the application execution screen is rendered to capture an image corresponding to the changed part, To still image encoding and transmitting the still image to the user's terminal using at least one still image encoding technique corresponding to the still image encoding method. In addition, since the still image encoding suitable for the image can be performed based on the scene area characteristic information without performing the image processing process on the captured image in the image-based cloud streaming service, the system can be operated more efficiently , It is possible to provide the service to the users more quickly.

110, 310: 클라우드 스트리밍 서버 120, 320: 웹 서버
130-1~ 130-N, 330: 단말 140: 네트워크
210, 311: 수신부 220, 312: 캡처부
230, 313: 인코딩부 240, 314: 센딩부
250: 저장부 410: 어플리케이션 실행화면
411, 412: 포스터 510: 씬 영역 특성 정보
511, 512: 좌표 정보 610: 이전 프레임
620: 현재 프레임 630: 캡처 이미지
110, 310: Cloud streaming server 120, 320: Web server
130-1 to 130-N, 330: Terminal 140: Network
210, 311: Receiving unit 220, 312:
230, and 313: encoding unit 240 and 314:
250: storage unit 410: application execution screen
411, 412: Poster 510: Thin Area Characteristic Information
511, 512: coordinate information 610: previous frame
620: current frame 630: captured image

Claims (10)

웹 서버로부터 어플리케이션 실행화면과 함께 상기 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신하는 수신부;
상기 어플리케이션 실행화면을 렌더링하여 변화된 부분에 상응하는 이미지를 캡처하는 캡처부;
상기 씬 영역 특성 정보를 기반으로 상기 이미지에 상응하는 적어도 하나의 스틸 이미지 인코딩 기법을 선택하여 상기 이미지를 스틸 이미지 인코딩하는 인코딩부; 및
스틸 이미지 인코딩된 상기 이미지를 사용자의 단말로 전송하는 센딩부
를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버.
A receiving unit for receiving scene area characteristic information corresponding to the application execution screen together with an application execution screen from a web server;
A capture unit for rendering the application execution screen and capturing an image corresponding to the changed portion;
An encoding unit for selecting at least one still image encoding scheme corresponding to the image based on the scene area characteristic information to still image encode the image; And
A transmitting unit for transmitting the still image encoded image to a terminal of a user,
Wherein the server comprises:
청구항 1에 있어서,
상기 인코딩부는
상기 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득하고, 상기 이미지에 상응하는 영역 중 상기 특성 영역에 상응하는 영역이 존재하는지 여부를 비교하여 상기 적어도 하나의 스틸 이미지 인코딩 기법을 선택하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method according to claim 1,
The encoding unit
Acquiring coordinates of a characteristic region classified according to an image characteristic in the scene characteristic information and comparing whether there is an area corresponding to the characteristic region among the regions corresponding to the image to determine whether the at least one still image encoding technique Wherein the server is configured to select a cloud streaming server.
청구항 2에 있어서,
상기 인코딩부는
상기 이미지에 상응하는 일부 영역이 상기 특성 영역에 상응하는 경우에, 상기 특성 영역의 상기 이미지 특성에 상응하게 선택된 스틸 이미지 인코딩 기법으로 상기 일부 영역을 스틸 이미지 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 2,
The encoding unit
And still image encoding the partial area with a still image encoding technique selected corresponding to the image characteristic of the characteristic area when a part of the area corresponding to the image corresponds to the characteristic area.
청구항 3에 있어서,
상기 이미지 특성은
자연 이미지 및 합성 이미지 중 적어도 하나에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 3,
The image characteristic
A natural image, and a composite image. &Lt; Desc / Clms Page number 13 &gt;
청구항 4에 있어서,
상기 인코딩부는
상기 일부 영역이 상기 이미지 특성이 상기 자연 이미지인 특성 영역에 상응하는 경우에 상기 일부 영역을 JPEG(Joint Photography Experts Group) 인코딩 기법을 이용하여 스틸 이미지 인코딩하고, 상기 일부 영역이 상기 이미지 특성이 상기 합성 이미지인 특성 영역에 상응하는 경우에 상기 일부 영역을 PNG(Portable Network Graphics) 인코딩 기법을 이용하여 스틸 이미지 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 4,
The encoding unit
Wherein the partial area is still image encoded using a Joint Photographic Experts Group (JPEG) encoding method when the image characteristic corresponds to the characteristic area, which is the natural image, Wherein the still image encoding unit partially encodes the still image using a Portable Network Graphics (PNG) encoding scheme when the image is a characteristic region of an image.
청구항 5에 있어서,
상기 인코딩부는
상기 이미지가 상기 특성 영역에 상응하지 않는 경우에, 기설정된 디폴트 기법에 상응하는 어느 하나의 스틸 이미지 인코딩 기법으로 상기 이미지를 스틸 이미지 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 5,
The encoding unit
And still image encodes the image with any still image encoding technique corresponding to a predetermined default technique when the image does not correspond to the characteristic region.
청구항 1에 있어서,
상기 캡처부는
상기 어플리케이션 실행화면에 상응하는 복수개의 프레임들을 비교하여 상기 이미지를 캡처하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method according to claim 1,
The capture unit
And the image capture unit compares a plurality of frames corresponding to the application execution screen to capture the image.
청구항 7에 있어서,
상기 캡처부는
상기 복수개의 프레임들 중 현재 프레임과 이전 프레임을 비교하여 변화된 경우에 상기 이미지를 캡처하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 7,
The capture unit
Comparing the current frame and the previous frame among the plurality of frames, and capturing the image when the current frame is changed.
웹 서버로부터 어플리케이션 실행화면과 함께 상기 어플리케이션 실행화면에 상응하는 씬 영역 특성 정보를 수신하는 단계;
상기 어플리케이션 실행화면을 렌더링하여 변화된 부분에 상응하는 이미지를 캡처하는 단계;
상기 씬 영역 특성 정보를 기반으로 상기 이미지에 상응하는 적어도 하나의 스틸 이미지 인코딩 기법을 선택하여 상기 이미지를 스틸 이미지 인코딩하는 단계; 및
스틸 이미지 인코딩된 상기 이미지를 사용자의 단말로 전송하는 단계
를 포함하는 것을 특징으로 하는 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법.
Receiving scene area characteristic information corresponding to the application execution screen together with an application execution screen from a web server;
Rendering the application execution screen and capturing an image corresponding to the changed portion;
Selecting at least one still image encoding technique corresponding to the image based on the scene area characteristic information to still image encode the image; And
Transmitting the still image encoded image to a user terminal
Wherein the image cloud streaming service method comprises:
청구항 8에 있어서,
상기 인코딩하는 단계는
상기 씬 영역 특성 정보에서 이미지 특성에 따라 구분되는 특성 영역의 좌표를 획득하는 단계; 및
상기 이미지에 상응하는 영역 중 상기 특성 영역에 상응하는 영역이 존재하는지 여부를 비교하는 단계를 포함하고,
상기 비교한 결과에 따라 상기 적어도 하나의 스틸 이미지 인코딩 기법을 선택하는 것을 특징으로 하는 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법.
The method of claim 8,
The encoding step
Obtaining coordinates of a characteristic region classified according to image characteristics in the scene area characteristic information; And
Comparing whether there is an area corresponding to the characteristic area among the areas corresponding to the image,
And selecting the at least one still image encoding scheme according to the comparison result.
KR1020150089895A 2015-06-24 2015-06-24 System for cloud streaming service, method of image cloud streaming service using property of scene region and method using the same KR102354269B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150089895A KR102354269B1 (en) 2015-06-24 2015-06-24 System for cloud streaming service, method of image cloud streaming service using property of scene region and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150089895A KR102354269B1 (en) 2015-06-24 2015-06-24 System for cloud streaming service, method of image cloud streaming service using property of scene region and method using the same

Publications (2)

Publication Number Publication Date
KR20170000670A true KR20170000670A (en) 2017-01-03
KR102354269B1 KR102354269B1 (en) 2022-01-21

Family

ID=57797281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150089895A KR102354269B1 (en) 2015-06-24 2015-06-24 System for cloud streaming service, method of image cloud streaming service using property of scene region and method using the same

Country Status (1)

Country Link
KR (1) KR102354269B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072904A (en) * 2010-12-24 2012-07-04 주식회사 케이티 Method, cloud computing server, and cloud computing system for providing game service in cloud computing environment
US20130155075A1 (en) * 2011-12-15 2013-06-20 Fujitsu Limited Information processing device, image transmission method, and recording medium
KR20140055132A (en) 2012-10-30 2014-05-09 삼성전자주식회사 Method and apparatus for processing webpage in terminal using cloud server

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072904A (en) * 2010-12-24 2012-07-04 주식회사 케이티 Method, cloud computing server, and cloud computing system for providing game service in cloud computing environment
US20130155075A1 (en) * 2011-12-15 2013-06-20 Fujitsu Limited Information processing device, image transmission method, and recording medium
KR20140055132A (en) 2012-10-30 2014-05-09 삼성전자주식회사 Method and apparatus for processing webpage in terminal using cloud server

Also Published As

Publication number Publication date
KR102354269B1 (en) 2022-01-21

Similar Documents

Publication Publication Date Title
KR102426670B1 (en) System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same
KR101843411B1 (en) System for cloud streaming service, method of image cloud streaming service based on transparency of image and apparatus for the same
KR20210095846A (en) System for cloud streaming service, method of image cloud streaming service using simultaneous encoding and apparatus for the same
KR102247886B1 (en) System for cloud streaming service, method of cloud streaming service based on type of image and apparatus for the same
KR102409033B1 (en) System for cloud streaming service, method of image cloud streaming service using alpha level of color bit and apparatus for the same
KR102177934B1 (en) System for cloud streaming service, method of image cloud streaming service using split of changed image and apparatus for the same
KR20160121982A (en) System for cloud streaming service, method of image cloud streaming service using shared web-container and apparatus for the same
KR102407477B1 (en) System for cloud streaming service, method of image cloud streaming service using alpha value of image type and apparatus for the same
KR20160115566A (en) System for cloud streaming service, method of image cloud streaming service using separation of image and text and apparatus for the same
KR102306889B1 (en) System for cloud streaming service, method of image cloud streaming service using data substitution and apparatus for the same
KR102354269B1 (en) System for cloud streaming service, method of image cloud streaming service using property of scene region and method using the same
KR102405143B1 (en) System for cloud streaming service, method of image cloud streaming service using reduction of color bit and apparatus for the same
KR102247887B1 (en) System for cloud streaming service, method of cloud streaming service using source information and apparatus for the same
KR20160091622A (en) System for cloud streaming service, method of image cloud streaming service using division of the change area and apparatus for the same
KR102313530B1 (en) System for cloud streaming service, method of image cloud streaming service using split screen and apparatus for the same
KR102313529B1 (en) System for cloud streaming service, method of image cloud streaming service based on optimum rendering and apparatus for the same
KR102442698B1 (en) System for cloud streaming service, method of image cloud streaming service based on detection of change area using operating system massage and apparatus for the same
KR102247657B1 (en) System for cloud streaming service, method of cloud streaming service using separate operations of the encoding process unit and apparatus for the same
KR102272358B1 (en) System for cloud streaming service, method of image cloud streaming service using managed occupation of browser and method using the same
KR102225610B1 (en) System for cloud streaming service, method of message-based image cloud streaming service and apparatus for the same
KR20160094746A (en) System for cloud streaming service, method of image cloud streaming service using additional encoding and apparatus for the same
KR20210027342A (en) System for cloud streaming service, method of message-based image cloud streaming service and apparatus for the same
KR20160122529A (en) System for cloud streaming service, method of image cloud streaming service using reduction of encoding area and apparatus for the same
KR20160044732A (en) System for cloud streaming service, method of cloud streaming service based on still image and apparatus for the same
KR20160087255A (en) System for cloud streaming service, method of image cloud streaming service considering full screen transition and apparatus for the same

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant