WO2016017953A1 - 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 - Google Patents

클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2016017953A1
WO2016017953A1 PCT/KR2015/006952 KR2015006952W WO2016017953A1 WO 2016017953 A1 WO2016017953 A1 WO 2016017953A1 KR 2015006952 W KR2015006952 W KR 2015006952W WO 2016017953 A1 WO2016017953 A1 WO 2016017953A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
still image
change
cloud streaming
area
Prior art date
Application number
PCT/KR2015/006952
Other languages
English (en)
French (fr)
Inventor
배태면
윤홍서
나현식
김동국
정유리
이동수
Original Assignee
엔트릭스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140110551A external-priority patent/KR102199270B1/ko
Priority claimed from KR1020140139556A external-priority patent/KR102273143B1/ko
Application filed by 엔트릭스 주식회사 filed Critical 엔트릭스 주식회사
Priority to EP15826754.2A priority Critical patent/EP3177023B1/en
Priority to JP2017504729A priority patent/JP6527579B2/ja
Priority to CN201580041775.6A priority patent/CN106664439B/zh
Publication of WO2016017953A1 publication Critical patent/WO2016017953A1/ko
Priority to US15/416,307 priority patent/US10462200B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream

Definitions

  • the present invention relates to a cloud streaming service system, a still image-based cloud streaming service method, and a device therefor, and more particularly, to a cloud.
  • compression efficiency and service speed can be improved by selecting and encoding a compression scheme according to the captured screen, and still images according to image types.
  • the encoding method can improve the compression efficiency and service speed of the image by encoding
  • the still image compression method can be selected and encoded according to the system load and network conditions to improve the compression efficiency and service speed.
  • the present invention relates to a stem, a still image-based cloud streaming service method, and an apparatus therefor.
  • the present invention is the Korean Patent Application No. 10-2014-0097322, filed July 30, 2014, Korea Patent Application No. 10-2014-0110551, filed October 25, 2014, Korea, filed October 16, 2014 Claims are made on the date of filing of Patent Application No. 10-2014-0139556 and Korean Patent Application No. 10-2014-0156004 filed November 11, 2014, the entire contents of which are incorporated herein.
  • Cloud streaming service is basically applied to the video codec-based cloud streaming technique, even in the case of applying the menu display, such as capturing the entire screen unnecessarily to operate using the video codec cloud streaming service was inefficient.
  • an image-based cloud streaming service may be more effective than a cloud streaming service using a video codec when applying cloud streaming to a screen in which static screens slightly change according to a user input.
  • the still image codec when the still image codec is applied, the amount of data varies according to the image type of the image to be compressed, and the efficiency of the cloud streaming service may vary greatly according to the still image compression technique used for compression. Therefore, there is an urgent need for a new technique that can quickly and accurately classify image types and apply an image cloud adaptively.
  • the performance difference varies by set-top box, and more than 15 kinds of set-tops have been widely distributed in recent decades.
  • the performance difference between a good set-top and a bad set-top is so large that content cannot be supplied to the user in the manner desired by the content provider.
  • Korean Patent Application Publication No. 10-2014-0076668 published on June 23, 2013 (name: Method for providing a game based on cloud streaming), and Korean Patent Application Publication No. 10-2014-0027040, issued on March 03, 2014. May 06 (name: Adaptive Image Compression System and Method).
  • An object of the present invention is to improve compression efficiency and cloud streaming service speed by using a still image compression technique suitable for a situation when providing a still image-based cloud streaming service.
  • an object of the present invention is to improve the compression efficiency and cloud streaming service speed by using a still image compression technique suitable for the image type when providing a still image-based cloud streaming service.
  • an object of the present invention is to provide a service quickly and to prevent service delay that may occur due to the cloud streaming server load by using a still image compression technique suitable for the cloud streaming server state when providing a still image-based cloud streaming service.
  • an object of the present invention is to provide a cloud streaming service for faster and more users through the same band by maximizing the streaming extrusion efficiency through a still image-based cloud streaming service.
  • an object of the present invention is a cloud streaming service in which a cloud streaming server detects a change between frames when the change between frames is not large, such as a menu screen, and compresses and streams only the region where the change occurs using a still image codec. To provide a way.
  • the capture unit for capturing the change region included in the changed frame compared to the previous frame; Selecting a still image compression technique in consideration of at least one of a size of the change region and an image property corresponding to the change region, and using the still image compression technique, the change region corresponding to one frame
  • An encoding unit for encoding a still image And a sending unit configured to transmit the still image encoded change area to the user to perform a still image based cloud streaming service.
  • the encoding unit may compress the change region using any one of still image compression techniques of Portable Network Graphics (PNG), Portable Network Graphics (PNG), and Joint Photography Expert Group (JPEG).
  • PNG Portable Network Graphics
  • PNG Portable Network Graphics
  • JPEG Joint Photography Expert Group
  • the encoding unit may encode the change area by applying the PNG still image compression technique.
  • the encoding unit may select the still image compression scheme in consideration of the image property.
  • the encoder may encode the change area by applying the JPEG still image compression technique.
  • the encoder may encode the change area by applying the palletized PNG still image compression technique.
  • the encoding unit when the image property is an image in which the natural image and the synthetic image are mixed, the encoding unit includes a region corresponding to the natural image among the change regions and a region corresponding to the composite image among the change regions.
  • the still image compression technique can be selected according to the image properties corresponding to more areas.
  • the capture unit may capture the changed area as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • the capture unit may detect a section having a small frame change among the entire frame sections to be transmitted to the terminal device of the user, and capture the change region in the section having the small frame change.
  • the capture unit may detect an event type of an application generated from the terminal device of the user and detect a section having less frame change.
  • the still image-based cloud streaming service method capturing the change region included in the changed frame compared to the previous frame; Selecting a still image compression technique in consideration of at least one of a size of the change region and an image property corresponding to the change region, and using the still image compression technique, the change region corresponding to one frame Encoding a still image; And performing the still image based cloud streaming service by transmitting the still image encoded change region to the user.
  • the encoding may be performed by compressing the change area using any one of still image compression techniques of Portable Network Graphics (PNG), Portable Network Graphics (PNG), and Joint Photography Expert Group (JPEG).
  • PNG Portable Network Graphics
  • PNG Portable Network Graphics
  • JPEG Joint Photography Expert Group
  • the change area when the size of the change area is less than a predetermined reference value, the change area may be encoded by applying the PNG still image compression technique.
  • the still image compression technique may be selected in consideration of the image property.
  • the encoding may include encoding the change region by applying the JPEG still image compression technique when the image property is a natural image.
  • the encoding may include encoding the change region by applying the palletized PNG still image compression technique when the size of the change region is greater than or equal to a predetermined reference value and the image property is a synthetic image.
  • the encoding may be performed in the case where the image property is an image in which the natural image and the synthetic image are mixed, the region corresponding to the natural image among the change regions and the composite image among the change regions.
  • the still image compression technique can be selected according to image properties corresponding to more regions by comparing the regions.
  • the capturing may capture the changed area as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • the capturing may include detecting a section in which the frame change is small among the entire frame sections to be transmitted to the user terminal device, and may capture the change region in the section where the frame change is small.
  • the detecting may include detecting an event type of an application generated from the terminal device of the user and detecting a section in which the frame change is small.
  • the cloud streaming service system captures the change region included in the changed frame compared to the previous frame, and still image in consideration of any one or more of the size of the change region and the image properties corresponding to the change region.
  • selecting a still image compression technique using the still image compression technique to still image encode the change region corresponding to one frame, and transmitting the still image encoded change region to the user,
  • a cloud streaming server that performs a cloud streaming service;
  • a terminal receiving an application execution result screen corresponding to the cloud streaming service from the cloud streaming server.
  • the capture unit for capturing the change region included in the changed frame compared to the previous frame A still image compression method is selected according to an image type determined by considering at least one of the number of colors of the image corresponding to the change area and the standard deviation of image pixel values, and by using the still image compression method.
  • An encoding unit for still image encoding the change area corresponding to the frame And a sending unit configured to transmit the still image encoded change area to the user to perform a still image based cloud streaming service.
  • the encoding unit may select the still image compression scheme according to one of the image types of the natural image and the synthetic image.
  • the encoding unit may determine the image type as the natural image when the number of colors of the image corresponding to the change area exceeds a preset reference number.
  • the encoding unit may determine the image type in consideration of a standard deviation of the image pixel value corresponding to the change area.
  • the encoding unit is configured to recognize the image type when the number of colors of the image corresponding to the change area is equal to or less than the predetermined reference number and the standard deviation of the image pixel value corresponding to the change area is equal to or less than a preset reference value. This can be determined by a composite image.
  • the encoding unit may determine the image type as the natural image when the standard deviation of the image pixel value corresponding to the change area exceeds a preset reference value.
  • the encoding unit may encode the change region using the still image compression technique of any one of portable network graphics (PNG) and joint photography experts group (JPEG) according to the image type.
  • PNG portable network graphics
  • JPEG joint photography experts group
  • the capture unit may capture the changed area as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • the capture unit may detect a section having a small frame change among the entire frame sections to be transmitted to the terminal device of the user, and capture the change region in the section having the small frame change.
  • the capture unit may detect an event type of an application generated from the terminal device of the user and detect a section having less frame change.
  • the cloud streaming service method according to the image type according to the present invention, capturing the change region included in the changed frame compared to the previous frame;
  • a still image compression method is selected according to an image type determined by considering at least one of the number of colors of the image corresponding to the change area and the standard deviation of image pixel values, and by using the still image compression method.
  • the encoding may select the still image compression scheme according to one of the image types of the natural image and the synthetic image.
  • the encoding may determine the image type as a natural image when the number of colors of the image corresponding to the change area exceeds a preset reference number.
  • the encoding may determine the image type in consideration of a standard deviation of the image pixel value corresponding to the change area when the number of colors of the image corresponding to the change area is equal to or less than the predetermined reference number.
  • the encoding may include encoding the image type when the number of colors of the image corresponding to the change area is equal to or less than the predetermined reference number, and the standard deviation of the image pixel values corresponding to the change area is equal to or less than a preset reference value. Can be determined as a composite image.
  • the encoding may determine the image type as the natural image when the standard deviation of the image pixel value corresponding to the change area exceeds a preset reference value.
  • the encoding may include encoding the change region using the still image compression technique of any one of portable network graphics (PNG) and joint photography experts group (JPEG) according to the image type.
  • PNG portable network graphics
  • JPEG joint photography experts group
  • the capturing may capture the changed area as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • the cloud streaming service system captures the change area included in the changed frame compared to the previous frame, and one of the number of colors of the image corresponding to the change area and the standard deviation of the image pixel value
  • the still image compression method is selected according to the image type determined in consideration of the above, and the still image compression method is used to still image encode the change area corresponding to one frame, and the still image encoded change.
  • a cloud streaming server transmitting a region to the user to perform a still image based cloud streaming service; And a terminal receiving an application execution result screen corresponding to the cloud streaming service from the cloud streaming server.
  • the capture unit for capturing the change region included in the changed frame compared to the previous frame A still image compression method is selected in consideration of at least one of a cloud streaming server load size and a data throughput rate of a network, and the still image compression method is used to capture the change region corresponding to one frame.
  • An encoding unit for encoding And a sending unit which transmits the still image encoded change region to the user to perform a still image based cloud streaming service.
  • the encoding unit may compress the change region using any one of still image compression techniques of Portable Network Graphics (PNG), Portable Network Graphics (PNG), and Joint Photography Expert Group (JPEG).
  • PNG Portable Network Graphics
  • PNG Portable Network Graphics
  • JPEG Joint Photography Expert Group
  • the encoding unit may encode the change region by applying the JPEG still image compression technique.
  • the encoding unit may select the still image compression scheme in consideration of the data throughput of the network.
  • the encoder may encode the change region by applying the PNG still image compression technique.
  • the encoding unit may encode the change region by applying the palletized PNG still image compression technique when the size of the cloud streaming server load is greater than or equal to a predetermined reference value and the data throughput of the network is greater than or equal to the predetermined throughput.
  • the capture unit may capture the changed area as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • the capture unit may detect a section having a small frame change among the entire frame sections to be transmitted to the terminal device of the user, and capture the change region in the section having the small frame change.
  • the capture unit may detect an event type of an application generated from the terminal device of the user and detect a section having less frame change.
  • the still image-based cloud streaming service method capturing a change region included in the changed frame compared to the previous frame;
  • a still image compression method is selected in consideration of at least one of a cloud streaming server load size and a data throughput rate of a network, and the still image compression method is used to capture the change region corresponding to one frame.
  • Encoding And performing the still image based cloud streaming service by transmitting the still image encoded change region to the user.
  • the encoding may be performed by compressing the change area using any one of still image compression techniques of Portable Network Graphics (PNG), Portable Network Graphics (PNG), and Joint Photography Expert Group (JPEG).
  • PNG Portable Network Graphics
  • PNG Portable Network Graphics
  • JPEG Joint Photography Expert Group
  • the encoding may include encoding the change region by applying the JPEG still image compression technique when the size of the cloud streaming server load is less than a predetermined reference value.
  • the encoding may select the still image compression scheme in consideration of the data throughput of the network when the size of the cloud streaming server load is greater than or equal to the predetermined reference value.
  • the change region when the data throughput of the network is less than a predetermined throughput, the change region may be encoded by applying the PNG still image compression technique.
  • the encoding may include encoding the change region by applying the palletized PNG still image compression technique when the size of the cloud streaming server load is greater than or equal to a predetermined reference value and the data throughput of the network is greater than or equal to the predetermined throughput. Can be.
  • the capturing may capture the changed area as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • the capturing may include detecting a section in which the frame change is small among the entire frame sections to be transmitted to the user terminal device, and may capture the change region in the section where the frame change is small.
  • the detecting may include detecting an event type of an application generated from the terminal device of the user and detecting a section in which the frame change is small.
  • the cloud streaming service system captures the change region included in the changed frame compared to the previous frame, and in consideration of any one or more of the size of the cloud streaming server load and the data throughput of the network Select a still image compression technique, use the still image compression technique to still image encode the change region corresponding to one frame, and transmit the still image encoded change region to the user to obtain a still image.
  • Cloud streaming server to perform a cloud streaming service based on; And a terminal receiving an application execution result screen corresponding to the cloud streaming service from the cloud streaming server.
  • the present invention it is possible to accurately and quickly detect the screen change area between frames in an image-based cloud streaming service. Accordingly, by compressing and transmitting only a minimum area in the cloud streaming service, the efficiency of the cloud streaming service can be improved and more economically, a high quality image-based cloud streaming service can be provided.
  • the present invention can maximize the compression efficiency of the image-based streaming to improve the efficiency of the cloud streaming service.
  • image-based cloud streaming services for faster and more users are possible.
  • the present invention can accurately and quickly detect the screen change area between frames during the image-based cloud streaming service, thereby improving the efficiency of the cloud streaming service, it is possible to provide a more cost-effective image-based cloud streaming service have.
  • the present invention can accurately determine the image type in the image-based streaming to apply a compression method suitable for the image type to maximize the compression efficiency to improve the efficiency of the cloud streaming service.
  • image-based cloud streaming services for faster and more users are possible.
  • the present invention can improve the compression efficiency and cloud streaming service speed of the image by using a still image compression technique for the situation when providing a still image-based cloud streaming service.
  • the present invention can provide a service quickly and prevent the service delay that may occur due to the cloud streaming server load by using a still image compression technique suitable for the cloud streaming server state when providing a still image-based cloud streaming service.
  • the present invention can maximize the streaming compression efficiency through the still image-based cloud streaming service can provide a cloud streaming service to a faster and more users through the same band.
  • FIG. 1 is a block diagram showing a cloud streaming service system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of a cloud streaming server of FIG. 1.
  • FIG. 3 is a view showing a still image-based cloud streaming system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of capturing a change area in a still image-based cloud streaming service according to an embodiment of the present invention.
  • FIG. 5 is an operation flowchart showing a still image-based cloud streaming service method according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a still image-based cloud streaming service method in detail according to an embodiment of the present invention.
  • FIG. 7 is a block diagram showing a cloud streaming service system according to another embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating an example of a cloud streaming server of FIG. 7.
  • FIG. 9 is a flowchart illustrating a cloud streaming service method according to an image type according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a cloud streaming service method according to an image type according to an embodiment of the present invention in detail.
  • FIG. 11 is a block diagram showing a cloud streaming service system according to another embodiment of the present invention.
  • FIG. 12 is a block diagram illustrating an example of a cloud streaming server illustrated in FIG. 11.
  • FIG. 13 is a flowchart illustrating a still image-based cloud streaming service method according to another embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating a still image-based cloud streaming service method in detail according to another embodiment of the present invention.
  • FIG. 1 is a block diagram showing a cloud streaming service system according to an embodiment of the present invention.
  • another cloud streaming service system includes a cloud streaming server 110, terminal devices 120-1,..., 120 -N, and a network 130.
  • the cloud streaming server 110 receives the cloud streaming service request from the terminal devices 120-1,..., 120 -N, executes the application, and displays the execution result screen corresponding to the execution result of the terminal devices 120-1. ,..., 120-N).
  • Cloud streaming service basically uses cloud codec based on video codec. Therefore, even if cloud streaming is applied to static screen such as menu display, it is an inefficient way to capture the entire screen and encode to video codec.
  • a cloud streaming service In order to solve this problem, the present invention provides a cloud streaming system in which a cloud streaming server detects a change between frames and encodes only the detected change region using a still image compression technique when the change between frames is not large, such as a menu display screen. do.
  • the cloud streaming server 110 captures the change area included in the changed frame compared to the previous frame.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • a section having a small frame change among the entire frames to be transmitted to the terminal devices 120-1,..., And 120 -N may be detected, and a change region may be captured in a section having a small frame change.
  • an event type of an application generated from the terminal devices 120-1,..., 120 -N may be detected to detect a section having a small frame change.
  • the cloud streaming server 110 selects a still image compression scheme in consideration of any one or more of the size of the change region and the image properties corresponding to the change region, and uses one frame using the still image compression technique.
  • Still image encode the corresponding change region.
  • the change region may be compressed using any one of still image compression techniques of portable network graphics (PNG), portable network graphics (PNG), and joint photography experts group (JPEG).
  • PNG portable network graphics
  • PNG portable network graphics
  • JPEG joint photography experts group
  • the change area may be encoded by applying a PNG still image compression technique.
  • the still image compression method may be selected in consideration of image properties.
  • the change region may be encoded by applying a JPEG still image compression technique.
  • the changed region may be encoded by applying a paletted PNG still image compression technique.
  • the image property is an image in which the natural image and the synthetic image are mixed, the area corresponding to the natural image among the change areas and the area corresponding to the synthetic image among the change areas are compared to correspond to more areas.
  • the cloud streaming server 110 transmits a still image encoded change region to a user to perform a still image based cloud streaming service.
  • the terminal devices 120-1,..., 120 -N receive an application execution result screen corresponding to a cloud streaming service from the cloud streaming server 110 and provide the result to the user.
  • the terminal devices 120-1,..., 120 -N are devices connected to a communication network to execute an application based on a cloud computing system, and are not limited to mobile communication terminals, but all information communication devices, multimedia terminals, and wired devices.
  • Various terminals such as a terminal, a fixed terminal, and an Internet Protocol (IP) terminal.
  • IP Internet Protocol
  • the terminal devices 120-1,..., 120 -N are mobile phones, portable multimedia players (PMPs), mobile internet devices (MIDs), smart phones, desktops, and tablet computers, respectively. It may be a mobile terminal having various mobile communication specifications such as a PC, a notebook, a net book, a personal digital assistant (PDA), a smart TV, and an information communication device.
  • PDA personal digital assistant
  • the network 130 provides a path for transferring data between the cloud streaming server 110 and the terminal devices 120-1,..., 120 -N, and includes both a network used in the future and a network that can be developed in the future. It is a comprehensive concept.
  • the network 130 is a wired or wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between each other and between the mobile and the outside of the mobile, and the communication between the earth station and the earth station using satellites. It may be made of a satellite communication network or a wired or wireless communication network providing a combination of two or more.
  • the transmission standard of the network 130 is not limited to the existing transmission method standard and may include all transmission method standards to be developed in the future.
  • the network used between the cloud streaming server 110 and the terminal devices 120-1,..., 120 -N is used between the terminal devices 120-1,..., 120 -N. It may be different from the network or may be the same.
  • FIG. 2 is a block diagram illustrating an example of a cloud streaming server of FIG. 1.
  • the cloud streaming server 110 illustrated in FIG. 1 includes a capture unit 210, an encoder 220, a sender 230, and a storage 240.
  • Cloud streaming service basically uses cloud codec based on video codec. Therefore, even if cloud streaming is applied to static screen such as menu display, it is an inefficient way to capture the entire screen and encode to video codec.
  • the present invention provides a cloud streaming server 110 in which a cloud streaming server detects a change between frames and encodes only the detected change area using a still image compression technique when the change between frames is not large, such as a menu display screen. ).
  • the capturer 210 captures the change area included in the changed frame compared to the previous frame.
  • the video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to the screen on which the application operates. However, if the change between frames is not large on the screen on which the application is running, the still image encoding is performed by capturing only the change area of the changed frame compared to the previous frame, and the parts except for the change area when displaying on the user's terminal device are the same. It can be displayed in such a way that it is displayed in a simple manner and only the change area is changed.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame. For example, if the changed area is the A area compared to the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame, only the A area of the screen area corresponding to the changed frame may be captured as the change area.
  • the change area may have various characteristics of an image corresponding to the size or the change area according to an input signal input from the user's terminal device.
  • a section having a small frame change among the entire sections of the frame to be transmitted to the user's terminal device may be detected, and the change region may be captured at the section having a small frame change.
  • the event type of the application generated from the user's terminal device may be detected to detect a section having less frame change.
  • an event type of an application may be determined according to an input signal generated from a user terminal device.
  • an application is executed such as a menu, an option, or a guide window according to an input signal, a static event having a small change in a frame or a dynamic event in which a frame frequently changes such as a video play and a game play may occur. Therefore, when the user detects an event type with an input signal generated through the terminal device, and if the event type is a static event, a section having a small frame change can be detected among all frame sections corresponding to the corresponding event.
  • the encoder 220 selects a still image compression scheme in consideration of at least one of a size of the change region and an image property corresponding to the change region, and corresponds to a frame using the still image compression technique.
  • Still image encode the change region.
  • the change region can be captured in various ways, from a very small size to a large size corresponding to the overall size of the frame, depending on the region being changed in the frame.
  • the image property of the captured change area may be a natural image such as a photograph or a picture or a synthetic image made by combining several images.
  • the natural image and the composite image may exist simultaneously in the captured change region.
  • the change region may be compressed using any one of still image compression techniques of portable network graphics (PNG), portable network graphics (PNG), and joint photography experts group (JPEG).
  • PNG portable network graphics
  • PNG portable network graphics
  • JPEG joint photography experts group
  • PNG still image compression the image quality is good when encoding, but when the bandwidth of the transmission network is low due to the large data size, the transmission speed may be reduced.
  • Palletized PNG still image compression reduces the data size of the image during encoding, which guarantees transmission speed, but degrades image quality due to the 8-bit color representation.
  • the JPEG still image compression technique has a high compression efficiency and can greatly reduce the amount of data transmitted during encoding. However, the high compression efficiency can cause a large system load when encoding and decoding.
  • the change area when the size of the change area is less than a predetermined reference value, the change area may be encoded by applying a PNG still image compression technique.
  • a PNG still image compression technique For example, if the size of the change area is smaller than the preset reference value, since the image is not large and the amount of data to be transmitted is not large, the image can be encoded by applying a PNG still image compression technique that can be encoded with relatively high image quality. Can be.
  • the preset reference value may be freely set by the server administrator in consideration of processing performance, network transmission speed, server system load, etc. of the cloud streaming server 110.
  • the still image compression method may be selected in consideration of image properties. If the size of the change area is larger than the reference value, the amount of data to be transmitted is encoded using JPEG still image compression, which is highly efficient at encoding, or palletized PNG still image compression, which can reduce the data size.
  • the change region when the image property is a natural image, the change region may be encoded by applying a JPEG still image compression technique.
  • the JPEG still image compression technique may be more effective when compressing natural images with similar colors gathered around a pixel. Therefore, when the size of the change area is larger than a reference value and the image property corresponding to the change area is a natural image, the change area may be encoded by a JPEG still image compression technique.
  • the changed region may be encoded by applying a paletted PNG still image compression technique. Because of the large size of the change region, JPEG compression can be used with high compression efficiency, but JPEG still compression can be difficult for composite images. Therefore, in this case, the change region can be encoded by using a paletted PNG still image compression technique that can reduce the size of the data.
  • the image property is an image in which the natural image and the synthetic image are mixed
  • the area corresponding to the natural image among the change areas and the area corresponding to the synthetic image among the change areas are compared to correspond to more areas.
  • the order of considering the size of the change region and the image property corresponding to the change region in order to determine a still image compression scheme to encode the change region may be determined differently according to the cloud streaming service.
  • the sending unit 230 transmits a still image encoded change region to a user to perform a still image based cloud streaming service.
  • the compressed change area is transmitted to the terminal device of the user, so that the cloud streaming service may be performed so that the user can feel the application running on the terminal device.
  • the storage unit 240 stores various information generated in the cloud streaming service process according to the embodiment of the present invention as described above.
  • the storage unit 240 may be configured independently of the cloud streaming server 110 to support a function for a cloud streaming service. At this time, the storage unit 240 may operate as a separate mass storage, and may include a control function for performing the operation.
  • cloud streaming server 110 configured as described above may be implemented as one or more servers.
  • the cloud streaming server 110 may be equipped with a memory to store information in the device.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • FIG. 3 is a diagram illustrating a still image-based cloud streaming system.
  • the server 310 may perform a screen capture by executing a program screen 310 corresponding to a user input generated from a user terminal device.
  • the server 300 may be a server that collectively refers to a cloud streaming server and a web application server.
  • the process of executing the screen capture by executing the program screen 310 may correspond to the operation flow of the capture unit 210 shown in FIG. 2.
  • the server 300 may encode the screen captured program screen 310 through a still image compression technique (Image Encoding) 320.
  • Image Encoding a still image compression technique
  • the process of performing the image encoding 320 may correspond to the operation flow of the encoding unit 220 illustrated in FIG. 2.
  • the changed frame may be compared with the previous frame to capture only the changed area. Also, considering the size of the changed area and the image properties corresponding to the changed area, the still image compression method of any one of the portable network graphics (PNG), the portable network graphics (PNG), and the joint photography experts group (JPEG) is selected. Then, the selected still image compression technique can encode the changed region.
  • PNG portable network graphics
  • PNG portable network graphics
  • JPEG joint photography experts group
  • the server 300 may provide a still image-based cloud streaming service by streaming the still image-encoded changed region to the user's terminal device.
  • the process of performing the streaming 330 may correspond to the operation flow of the sender 230 shown in FIG. 2.
  • the user terminal device renders the received data (Image Rendering) 340 to the user as if the program screen 310 executed in the application by the user input (User Input) as if executed in the user terminal device. It can be displayed.
  • FIG. 4 is a diagram illustrating a process of capturing a change area in a still image-based cloud streaming service according to an embodiment of the present invention.
  • the still image-based cloud streaming service may compare and capture only the changed change area 430 by comparing the first frame 410 and the second frame 420.
  • the C area is different because the cursor is positioned in the C area.
  • the cursor is moved from the C area to the D area so that the D area can be shaded to distinguish it from other B, C, and E areas. Can be.
  • the still image compression scheme may be selected in consideration of the size of the change region 430 and the image property corresponding to the change region 430, and the change region 430 may be encoded using the selected still image compression technique.
  • the first frame 410 and the second frame 420 is a frame that is clearly changed, and in the existing cloud streaming service, it may be necessary to capture and encode all the frames corresponding to the frame rate including two frames. have.
  • the still image-based cloud streaming service captures only the change area 430 and encodes it using a still image compression technique, it is possible to improve the efficiency of the service than the conventional cloud streaming service method of capturing an unnecessary number of frames and the entire screen of the frame. Can be.
  • FIG. 5 is an operation flowchart showing a still image-based cloud streaming service method according to an embodiment of the present invention.
  • the still image-based cloud streaming service method captures a change region included in a changed frame in comparison with a previous frame (S510).
  • the video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to the screen on which the application operates. However, if the change between frames is not large on the screen on which the application is running, the still image encoding is performed by capturing only the change area of the changed frame compared to the previous frame, and the parts except for the change area when displaying on the user's terminal device are the same. It can be displayed in such a way that it is displayed in a simple manner and only the change area is changed.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame. For example, if the changed area is the A area compared to the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame, only the A area of the screen area corresponding to the changed frame may be captured as the change area.
  • the change area may have various characteristics of an image corresponding to the size or the change area according to an input signal input from the user's terminal device.
  • a section having a small frame change among the entire sections of the frame to be transmitted to the user's terminal device may be detected, and the change region may be captured at the section having a small frame change.
  • the event type of the application generated from the user's terminal device may be detected to detect a section having less frame change.
  • an event type of an application may be determined according to an input signal generated from a user terminal device.
  • an application is executed such as a menu, an option, or a guide window according to an input signal, a static event having a small change in a frame or a dynamic event in which a frame frequently changes such as a video play and a game play may occur. Therefore, when the user detects an event type with an input signal generated through the terminal device, and if the event type is a static event, a section having a small frame change can be detected among all frame sections corresponding to the corresponding event.
  • the still image-based cloud streaming service method selects the still image (still image) compression scheme in consideration of any one or more of the size of the change region and the image properties corresponding to the change region, Still image encoding is performed on the change region corresponding to one frame by using an image compression technique (S520).
  • the change region can be captured in various ways, from a very small size to a large size corresponding to the overall size of the frame, depending on the region being changed in the frame.
  • the image property of the captured change area may be a natural image such as a photograph or a picture or a synthetic image made by combining several images.
  • the natural image and the composite image may exist simultaneously in the captured change region.
  • the change region may be compressed using any one of still image compression techniques of portable network graphics (PNG), portable network graphics (PNG), and joint photography experts group (JPEG).
  • PNG portable network graphics
  • PNG portable network graphics
  • JPEG joint photography experts group
  • PNG still image compression the image quality is good when encoding, but when the bandwidth of the transmission network is low due to the large data size, the transmission speed may be reduced.
  • Palletized PNG still image compression reduces the data size of the image during encoding, which guarantees transmission speed, but degrades image quality due to the 8-bit color representation.
  • the JPEG still image compression technique has a high compression efficiency and can greatly reduce the amount of data transmitted during encoding. However, the high compression efficiency can cause a large system load when encoding and decoding.
  • the change area when the size of the change area is less than a predetermined reference value, the change area may be encoded by applying a PNG still image compression technique.
  • a PNG still image compression technique For example, if the size of the change area is smaller than the preset reference value, since the image is not large and the amount of data to be transmitted is not large, the image can be encoded by applying a PNG still image compression technique that can be encoded with relatively high image quality. Can be.
  • the predetermined reference value may be freely set by the server administrator in consideration of processing performance of the cloud streaming server, network transmission speed, server system load, and the like.
  • the still image compression method may be selected in consideration of image properties. If the size of the change area is larger than the reference value, the amount of data to be transmitted is encoded using JPEG still image compression, which is highly efficient at encoding, or palletized PNG still image compression, which can reduce the data size.
  • the change region when the image property is a natural image, the change region may be encoded by applying a JPEG still image compression technique.
  • the JPEG still image compression technique may be more effective when compressing natural images with similar colors gathered around a pixel. Therefore, when the size of the change area is larger than a reference value and the image property corresponding to the change area is a natural image, the change area may be encoded by a JPEG still image compression technique.
  • the changed region may be encoded by applying a paletted PNG still image compression technique. Because of the large size of the change region, JPEG compression can be used with high compression efficiency, but JPEG still compression can be difficult for composite images. Therefore, in this case, the change region can be encoded by using a paletted PNG still image compression technique that can reduce the size of the data.
  • the image property is an image in which the natural image and the synthetic image are mixed
  • the area corresponding to the natural image among the change areas and the area corresponding to the synthetic image among the change areas are compared to correspond to more areas.
  • the order of considering the size of the change region and the image property corresponding to the change region in order to determine a still image compression scheme to encode the change region may be determined differently according to the cloud streaming service.
  • the still image-based cloud streaming service method transmits a still image encoded change region to a user to perform a still image-based cloud streaming service (S530).
  • the cloud streaming service may be performed to receive a feeling of running an application on the user terminal device by transmitting a still image encoding the compressed change region to the user terminal device.
  • FIG. 6 is a flowchart illustrating a still image-based cloud streaming service method in detail according to an embodiment of the present invention.
  • the still image-based cloud streaming service method first captures a change region included in a changed frame in comparison with a previous frame in a cloud streaming server (S610).
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • a section having a small frame change among the entire sections of the frame to be transmitted to the user's terminal device may be detected, and the change region may be captured at the section having a small frame change.
  • the event type of the application generated from the user's terminal device may be detected to detect a section having less frame change.
  • the cloud streaming server determines whether the size of the change area is less than a predetermined reference value (S615).
  • the change area is encoded by the PNG still image compression technique (S620).
  • PNG still image compression the image quality is good when encoding, but when the bandwidth of the transmission network is low due to the large data size, the transmission speed may be reduced. Therefore, since the size of the image of the change area is not large and the amount of data to be transmitted is not large, it can be encoded by applying a PNG still image compression technique that can be encoded with relatively high image quality.
  • step S615 If it is determined in step S615 that the size of the change area is equal to or greater than a predetermined reference value, it is determined whether the image property corresponding to the change area is a natural image (S625).
  • the change region is encoded by JPEG still image compression technique (S630).
  • the JPEG still image compression technique has a high compression efficiency and can greatly reduce the amount of data transmitted during encoding. However, the high compression efficiency can cause a large system load when encoding and decoding.
  • the JPEG still image compression technique may be more effective when compressing a natural image having similar colors gathered around one pixel than when compressing a composite image of several pictures or photos. Therefore, when the size of the change area is larger than a reference value and the image property corresponding to the change area is a natural image, the change area may be encoded by a JPEG still image compression technique.
  • the change region is encoded using a paletted PNG still image compression technique (S640). If the size of the change area is larger than the reference value and the image property corresponding to the change area is a synthetic image, the change area may be encoded using a paletted PNG still image compression technique that may reduce the size of the data. .
  • the cloud streaming server delivers the still image encoded change area to the user (S650).
  • the cloud streaming service may be performed to receive a feeling of running an application on the user terminal device by transmitting a still image encoding the compressed change region to the user terminal device.
  • FIG. 7 is a block diagram showing a cloud streaming service system according to an embodiment of the present invention.
  • another cloud streaming service system includes a cloud streaming server 710, terminal devices 720-1,..., 720 -N, and a network 730.
  • the cloud streaming server 710 receives the cloud streaming service request from the terminal devices 720-1,..., 720 -N, executes the application, and displays the execution result screen corresponding to the execution result of the terminal devices 720-1. ,..., 720-N).
  • Cloud streaming service basically uses cloud codec based on video codec. Therefore, even if cloud streaming is applied to static screen such as menu display, it is an inefficient way to capture the entire screen and encode to video codec.
  • a cloud streaming service In order to solve this problem, the present invention provides a cloud streaming system in which a cloud streaming server detects a change between frames and encodes only the detected change region using a still image compression technique when the change between frames is not large, such as a menu display screen. do.
  • the cloud streaming server 710 captures the change area included in the changed frame compared to the previous frame.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • a section having a small frame change among the entire frames to be transmitted to the terminal devices 720-1,..., And 720 -N may be detected, and a change region may be captured in a section having a small frame change.
  • an event type of an application generated from the terminal devices 720-1,..., And 720 -N may be detected to detect a section having a small frame change.
  • the cloud streaming server 710 selects a still image compression scheme according to an image type determined by considering one or more of the number of colors of the image corresponding to the change area and the standard deviation of the image pixel values, and selects a still image.
  • the compression technique is used to still image encode a change region corresponding to one frame.
  • a still image compression technique may be selected according to one of the image types of the natural image and the synthetic image. In this case, when the number of colors of the image corresponding to the change area exceeds the preset reference number, the image type may be determined as the natural image.
  • the image type may be determined in consideration of the standard deviation of the image pixel values corresponding to the change area.
  • the image type may be determined as a composite image.
  • the image type may be determined as a natural image.
  • the change region may be still image encoded using a still image compression technique of one of portable network graphics (PNG) and joint photography experts group (JPEG) according to the image type.
  • the cloud streaming server 710 transmits a still image encoded change area to a user to perform a cloud image service based on a still image.
  • the terminal devices 720-1,..., 720 -N receive an application execution result screen corresponding to the cloud streaming service from the cloud streaming server 710 and provide the result to the user.
  • Terminal devices 720-1,..., 720 -N are devices connected to a communication network to execute an application based on a cloud computing system, and are not limited to mobile communication terminals, but all information communication devices, multimedia terminals, and wired devices.
  • Various terminals such as a terminal, a fixed terminal, and an Internet Protocol (IP) terminal.
  • IP Internet Protocol
  • the terminal devices 720-1,..., 720 -N are mobile phones, portable multimedia players (PMPs), mobile internet devices (MIDs), smart phones, desktops, and tablet computers, respectively. It may be a mobile terminal having various mobile communication specifications such as a PC, a notebook, a net book, a personal digital assistant (PDA), a smart TV, and an information communication device.
  • PDA personal digital assistant
  • the network 730 provides a path for transferring data between the cloud streaming server 710 and the terminal devices 720-1,..., 720 -N, and includes both an existing network and a future network. It is a comprehensive concept.
  • the network 730 is a wired or wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between each other and between the mobile and the outside of the mobile, and the communication between the earth station and the earth station using satellite It may be made of a satellite communication network or a wired or wireless communication network providing a combination of two or more.
  • the transmission standard of the network 730 is not limited to the existing transmission standard, and may include all transmission standard that will be developed in the future.
  • the network used between the cloud streaming server 710 and the terminal devices 720-1, ..., 720-N in FIG. 7 is used between the terminal devices 720-1, ..., 720 -N. It may be different from the network or may be the same.
  • FIG. 8 is a block diagram illustrating an example of a cloud streaming server of FIG. 7.
  • the cloud streaming server 710 illustrated in FIG. 7 includes a capture unit 810, an encoder 820, a sender 830, and a storage 840.
  • Cloud streaming service basically uses cloud codec based on video codec. Therefore, even if cloud streaming is applied to static screen such as menu display, it is an inefficient way to capture the entire screen and encode to video codec.
  • the present invention provides a cloud streaming server 710 which detects a change between frames and encodes only the detected change region using a still image compression technique when the change between frames is not large, such as a menu display screen. ).
  • the capturer 810 captures the change area included in the changed frame compared to the previous frame.
  • the video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to the screen on which the application operates. However, if the change between frames is not large on the screen on which the application is running, the still image encoding is performed by capturing only the change area of the changed frame compared to the previous frame, and the parts except for the change area when displaying on the user's terminal device are the same. It can be displayed in such a way that it is displayed in a simple manner and only the change area is changed.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame. For example, if the changed area is the A area compared to the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame, only the A area of the screen area corresponding to the changed frame may be captured as the change area.
  • the change area may have various characteristics of an image corresponding to the size or the change area according to an input signal input from the user's terminal device.
  • a section having a small frame change among the entire sections of the frame to be transmitted to the user's terminal device may be detected, and the change region may be captured at the section having a small frame change.
  • the event type of the application generated from the user's terminal device may be detected to detect a section having less frame change.
  • an event type of an application may be determined according to an input signal generated from a user terminal device.
  • an application is executed such as a menu, an option, or a guide window according to an input signal, a static event having a small change in a frame or a dynamic event in which a frame frequently changes such as a video play and a game play may occur. Therefore, when the user detects an event type with an input signal generated through the terminal device, and if the event type is a static event, a section having a small frame change can be detected among all frame sections corresponding to the corresponding event.
  • the encoder 820 selects a still image compression method according to an image type determined by considering at least one of the number of colors of the image corresponding to the change area and the standard deviation of the image pixel values, and selects a still image compression method.
  • an image type determined by considering at least one of the number of colors of the image corresponding to the change area and the standard deviation of the image pixel values.
  • a still image compression technique may be selected according to one of the image types of the natural image and the synthetic image.
  • the natural image may mean an image of a naturally occurring object. For example, it may mean not only an optical image such as a photograph or a picture, but also images of different wavelengths such as X-rays and infrared rays.
  • the synthesized image may mean an image generated or synthesized through computer or artificial means.
  • the image type may be determined as the natural image. Since the natural image may be an image of a naturally occurring object, the change in brightness and saturation applied to the color representing the image may be more sophisticated than the synthesized image. Therefore, since the number of colors represented by the pixels configured to represent the natural image may be more diverse than that of the composite image, the image type corresponding to the change area may be determined in consideration of the number of colors of the image corresponding to the change area. For example, if the preset reference number is set to 100,000, the image type is determined as a natural image when the number of colors constituting the image corresponding to the change area exceeds 100,000, and the image is set to 100,000 or less. The type can be determined as a composite image.
  • the image type may be determined in consideration of the standard deviation of the image pixel values corresponding to the change area.
  • the standard deviation of the pixel value may be a distribution of color values represented by pixels constituting an image corresponding to the change area. If the distribution of color values is 0, it may mean that all colors are the same value. Therefore, a small distribution of color values, that is, a small standard deviation of pixel values may correspond to a small number of colors constituting the image. have. Accordingly, the image type of the image corresponding to the change area may be determined in consideration of the standard deviation of the image pixel values.
  • the image type may be determined as a composite image.
  • the preset reference number is 100,000 for the number of colors in the image
  • the preset reference value is N for the standard deviation of the image pixel values.
  • the image corresponding to the change area is displayed.
  • the image type can be determined as a composite image.
  • the image type may be determined as a natural image. For example, if the standard deviation of the image pixel value corresponding to the change area exceeds a preset reference value, this may mean that the number of colors constituting the image is large. Therefore, if the standard deviation of the image pixel value exceeds a predetermined reference value, it may be determined that the image corresponding to the change area is a natural image composed of many colors.
  • the change region may be still image encoded using a still image compression technique of one of portable network graphics (PNG) and joint photography experts group (JPEG) according to the image type.
  • PNG portable network graphics
  • JPEG joint photography experts group
  • PNG still image compression is good for image quality during encoding, but the transmission speed may be reduced when the bandwidth of the transmission network is low due to the large data size.
  • JPEG still image compression technique is good for compressing data. Although the amount can be greatly reduced, it is a technique that can generate a lot of system load when encoding and decoding as the compression efficiency is large.
  • the JPEG still image compression technique may be more effective when compressing a natural image having similar colors gathered around one pixel. Therefore, when the image type corresponding to the change area is a natural image, the change area may be encoded by a JPEG still image compression technique.
  • a still image encoding of the change region may be performed by selecting a PNG still image compression technique that can improve the image quality of the image.
  • the change region when the change region is a composite image and the size of the change region is large and the data is large, the change region may be encoded using a paletted portable network graphics (PNG) still image compression technique that may reduce the size of the data.
  • Palletized PNG still image compression reduces the data size of the image during encoding, which guarantees transmission speed, but degrades image quality due to the 8-bit color representation.
  • the sending unit 830 transmits a still image encoded change region to a user to perform a still image based cloud streaming service.
  • the compressed change area is transmitted to the terminal device of the user, so that the cloud streaming service may be performed so that the user can feel the application running on the terminal device.
  • the storage unit 840 stores various information generated in the cloud streaming service process according to the embodiment of the present invention as described above.
  • the storage unit 840 may be configured independently of the cloud streaming server 710 to support a function for a cloud streaming service.
  • the storage unit 840 may operate as a separate mass storage, and may include a control function for performing an operation.
  • cloud streaming server 710 configured as described above may be implemented as one or more servers.
  • the cloud streaming server 710 may have a memory and store information in the device.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • FIG. 9 is a flowchart illustrating a cloud streaming service method according to an image type according to an embodiment of the present invention.
  • the cloud streaming service method captures a change region included in a changed frame in comparison with a previous frame (S910).
  • the video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to the screen on which the application operates. However, if the change between frames is not large on the screen on which the application is running, the still image encoding is performed by capturing only the change area of the changed frame compared to the previous frame, and the parts except for the change area when displaying on the user's terminal device are the same. It can be displayed in such a way that it is displayed in a simple manner and only the change area is changed.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame. For example, if the changed area is the A area compared to the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame, only the A area of the screen area corresponding to the changed frame may be captured as the change area.
  • the change area may have various characteristics of an image corresponding to the size or the change area according to an input signal input from the user's terminal device.
  • a section having a small frame change among the entire sections of the frame to be transmitted to the user's terminal device may be detected, and the change region may be captured at the section having a small frame change.
  • the event type of the application generated from the user's terminal device may be detected to detect a section having less frame change.
  • an event type of an application may be determined according to an input signal generated from a user terminal device.
  • an application is executed such as a menu, an option, or a guide window according to an input signal, a static event having a small change in a frame or a dynamic event in which a frame frequently changes such as a video play and a game play may occur. Therefore, when the user detects an event type with an input signal generated through the terminal device, and if the event type is a static event, a section having a small frame change can be detected among all frame sections corresponding to the corresponding event.
  • the cloud streaming service method still image (still) according to the image type determined in consideration of at least one of the number of colors of the image corresponding to the change area and the standard deviation of the image pixel value image)
  • a compression scheme is selected, and a still image encoding of a change region corresponding to one frame is performed using the still image compression scheme (S920).
  • the image type of the captured change zone can be a single photo or picture-like type, or an image created by combining several images, determine the image type and apply a still image compression technique suitable for each image type. By selecting and performing still image encoding, the compression efficiency of the change region can be increased.
  • a still image compression technique may be selected according to one of the image types of the natural image and the synthetic image.
  • the natural image may mean an image of a naturally occurring object. For example, it may mean not only an optical image such as a photograph or a picture, but also images of different wavelengths such as X-rays and infrared rays.
  • the synthesized image may mean an image generated or synthesized through computer or artificial means.
  • the image type may be determined as the natural image. Since the natural image may be an image of a naturally occurring object, the change in brightness and saturation applied to the color representing the image may be more sophisticated than the synthesized image. Therefore, since the number of colors represented by the pixels configured to represent the natural image may be more diverse than that of the composite image, the image type corresponding to the change area may be determined in consideration of the number of colors of the image corresponding to the change area. For example, if the preset reference number is set to 100,000, the image type is determined as a natural image when the number of colors constituting the image corresponding to the change area exceeds 100,000, and the image is set to 100,000 or less. The type can be determined as a composite image.
  • the image type may be determined in consideration of the standard deviation of the image pixel values corresponding to the change area.
  • the standard deviation of the pixel value may be a distribution of color values represented by pixels constituting an image corresponding to the change area. If the distribution of color values is 0, it may mean that all colors are the same value. Therefore, a small distribution of color values, that is, a small standard deviation of pixel values may correspond to a small number of colors constituting the image. have. Accordingly, the image type of the image corresponding to the change area may be determined in consideration of the standard deviation of the image pixel values.
  • the image type may be determined as a composite image.
  • the preset reference number is 100,000 for the number of colors in the image
  • the preset reference value is N for the standard deviation of the image pixel values.
  • the image corresponding to the change area is displayed.
  • the image type can be determined as a composite image.
  • the image type may be determined as a natural image. For example, if the standard deviation of the image pixel value corresponding to the change area exceeds a preset reference value, this may mean that the number of colors constituting the image is large. Therefore, if the standard deviation of the image pixel value exceeds a predetermined reference value, it may be determined that the image corresponding to the change area is a natural image composed of many colors.
  • the change region may be still image encoded using a still image compression technique of one of portable network graphics (PNG) and joint photography experts group (JPEG) according to the image type.
  • PNG portable network graphics
  • JPEG joint photography experts group
  • PNG still image compression is good for image quality during encoding, but the transmission speed may be reduced when the bandwidth of the transmission network is low due to the large data size.
  • JPEG still image compression technique is good for compressing data. Although the amount can be greatly reduced, it is a technique that can generate a lot of system load when encoding and decoding as the compression efficiency is large.
  • the JPEG still image compression technique may be more effective when compressing a natural image having similar colors gathered around one pixel. Therefore, when the image type corresponding to the change area is a natural image, the change area may be encoded by a JPEG still image compression technique.
  • a still image encoding of the change region may be performed by selecting a PNG still image compression technique that can improve the image quality of the image.
  • the change region when the change region is a composite image and the size of the change region is large and the data is large, the change region may be encoded using a paletted portable network graphics (PNG) still image compression technique that may reduce the size of the data.
  • Palletized PNG still image compression reduces the data size of the image during encoding, which guarantees transmission speed, but degrades image quality due to the 8-bit color representation.
  • the cloud streaming service method performs a still image-based cloud streaming service by transmitting a still image encoded change region to the user (S930).
  • the compressed change area is transmitted to the terminal device of the user, so that the cloud streaming service may be performed so that the user can feel the application running on the terminal device.
  • the cloud streaming service method according to an image type according to an embodiment of the present invention stores various information generated in a cloud streaming service process according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a cloud streaming service method according to an image type according to an embodiment of the present invention in detail.
  • the cloud streaming service method first captures a change region included in a changed frame in comparison with a previous frame (S1010).
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • step S1015 If it is determined in step S1015 that the preset number of criteria is exceeded, the image type of the change area is determined as a natural image (S1020).
  • step S1015 If it is determined in step S1015 that the preset number of references is not exceeded, it is determined whether the standard deviation of the pixel value of the image corresponding to the change area exceeds the preset reference value (S1025).
  • step S1025 If it is determined in step S1025 that the preset reference value is exceeded, the image type of the change area is determined as a natural image (S1020).
  • step S1025 If it is determined in step S1025 that the predetermined reference value is not exceeded, the image type of the change area is determined as a composite image (S1030).
  • a still image compression method is selected according to the determined image type of the change area (S1040).
  • one of the portable network graphics (PNG) and the joint photography experts group (JPEG) may select a still image compression technique.
  • the image type is a composite image
  • a paletted portable network graphics (PNG) still image compression technique may be used.
  • the change region is still image encoded using the selected still image compression technique (S1050).
  • the cloud streaming service may be performed to receive a feeling of running an application on the user terminal device by transmitting a still image encoding the compressed change region to the user terminal device.
  • FIG. 11 is a block diagram illustrating a cloud streaming service system according to an embodiment of the present invention.
  • another cloud streaming service system includes a cloud streaming server 1110, terminal devices 1120-1,..., 1120 -N, and a network 1130.
  • the cloud streaming server 1110 receives the cloud streaming service request from the terminal devices 1120-1,..., 1120 -N, executes the application, and displays the execution result screen corresponding to the execution result of the terminal devices 1120-1. , ..., 1120-N).
  • Cloud streaming service basically uses cloud codec based on video codec. Therefore, even if cloud streaming is applied to static screen such as menu display, it is an inefficient way to capture the entire screen and encode to video codec.
  • a cloud streaming service In order to solve this problem, the present invention provides a cloud streaming system in which a cloud streaming server detects a change between frames and encodes only the detected change region using a still image compression technique when the change between frames is not large, such as a menu display screen. do.
  • the cloud streaming server 1110 captures the change area included in the changed frame compared to the previous frame.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • a section having a small frame change among the entire frames to be transmitted to the terminal devices 1120-1,..., And 1120 -N may be detected, and a change region may be captured in a section having a small frame change.
  • an event type of an application generated from the terminal devices 1120-1,..., 1120 -N may be detected to detect a section having a small frame change.
  • the cloud streaming server 1110 selects a still image compression method in consideration of at least one of the size of the cloud streaming server load and the data throughput of the network, and selects a still image compression method in one frame using the still image compression method.
  • Still image encode the corresponding change regions.
  • the change region may be compressed using any one of still image compression techniques of portable network graphics (PNG), portable network graphics (PNG), and joint photography experts group (JPEG).
  • PNG portable network graphics
  • PNG portable network graphics
  • JPEG joint photography experts group
  • the still image compression scheme may be selected in consideration of the data throughput of the network.
  • the PNG still image compression may be applied to encode the change region.
  • the changed region may be encoded by applying a paletted PNG still image compression technique.
  • the cloud streaming server 1110 transmits a still image encoded change area to a user to perform a cloud image service based on a still image.
  • the terminal devices 1120-1,..., 1120 -N receive an application execution result screen corresponding to the cloud streaming service from the cloud streaming server 1110 and provide the result to the user.
  • the terminal devices 1120-1,..., 1120 -N are devices connected to a communication network to execute an application based on a cloud computing system, and are not limited to a mobile communication terminal, but all information communication devices, multimedia terminals, and wired devices.
  • Various terminals such as a terminal, a fixed terminal, and an Internet Protocol (IP) terminal.
  • IP Internet Protocol
  • the terminal devices 1120-1,..., 1120 -N are mobile phones, Portable Multimedia Played (PMP), Mobile Internet Device (MID), smart phones, desktops, and tablet computers, respectively. It may be a mobile terminal having various mobile communication specifications such as a PC, a notebook, a net book, a personal digital assistant (PDA), a smart TV, and an information communication device.
  • PDA personal digital assistant
  • the network 1130 provides a passage for transferring data between the cloud streaming server 1110 and the terminal devices 1120-1,..., And 1120 -N.
  • the network 1130 may include both an existing network and a future network. It is a comprehensive concept.
  • the network 1130 may be a wired / wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between mobile devices, and a mobile device and an external device, and communication between earth stations and earth stations using satellites. It may be made of a satellite communication network or a wired or wireless communication network providing a combination of two or more.
  • the transmission method standard of the network 1130 is not limited to the existing transmission method standard, and may include all transmission method standards to be developed in the future.
  • a network used between the cloud streaming server 1110 and the terminal devices 1120-1,..., And 1120 -N is used between the terminal devices 1120-1,..., 1120 -N. It may be different from the network or may be the same.
  • FIG. 12 is a block diagram illustrating an example of a cloud streaming server illustrated in FIG. 11.
  • the cloud streaming server 1110 illustrated in FIG. 11 includes a capture unit 1210, an encoder 1220, a sender 1230, and a storage 1240.
  • Cloud streaming service basically uses cloud codec based on video codec. Therefore, even if cloud streaming is applied to static screen such as menu display, it is an inefficient way to capture the entire screen and encode to video codec.
  • the present invention provides a cloud streaming server 1110 which detects a change between frames and encodes only the detected change region using a still image compression method when the change between frames is not large, such as a menu display screen. ).
  • the capturer 1210 captures the change area included in the changed frame compared to the previous frame.
  • the video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to the screen on which the application operates. However, if the change between frames is not large on the screen on which the application is running, the still image encoding is performed by capturing only the change area of the changed frame compared to the previous frame, and the parts except for the change area when displaying on the user's terminal device are the same. It can be displayed in such a way that it is displayed in a simple manner and only the change area is changed.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame. For example, if the changed area is the A area compared to the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame, only the A area of the screen area corresponding to the changed frame may be captured as the change area.
  • the change area may have various characteristics of an image corresponding to the size or the change area according to an input signal input from the user's terminal device.
  • a section having a small frame change among the entire sections of the frame to be transmitted to the user's terminal device may be detected, and the change region may be captured at the section having a small frame change.
  • the event type of the application generated from the user's terminal device may be detected to detect a section having less frame change.
  • an event type of an application may be determined according to an input signal generated from a user terminal device.
  • an application is executed such as a menu, an option, or a guide window according to an input signal, a static event having a small change in a frame or a dynamic event in which a frame frequently changes such as a video play and a game play may occur. Therefore, when the user detects an event type with an input signal generated through the terminal device, and if the event type is a static event, a section having a small frame change can be detected among all frame sections corresponding to the corresponding event.
  • the encoding unit 1220 selects a still image compression scheme in consideration of any one or more of the size of the cloud streaming server load and the data throughput of the network, and changes corresponding to one frame using the still image compression technique. Encode the region to still image.
  • the cloud streaming server load is an action or resource required for the actions taken by the server to achieve any desired effect on the cloud streaming server.
  • the cloud streaming server load may be high when encoding or decoding still images corresponding to the change area.
  • the limit of cloud streaming server load may vary depending on the hardware devices configuring the server, and if a command is input that exceeds the limit of the cloud streaming server load, a bottleneck may occur that degrades the performance of the server. . Therefore, considering the size of the cloud streaming server load in the cloud streaming service, it is possible to select a still image compression method with a small server load depending on the situation.
  • the data throughput of the network is a rate at which data is processed based on the same network band, and a bottleneck may occur when the data throughput of the network and data processing beyond the network band are requested. Therefore, encoding can be performed by selecting a still image compression technique that can check data throughput of a network and reduce data size in a cloud streaming service.
  • the change region may be compressed using any one of still image compression techniques of portable network graphics (PNG), portable network graphics (PNG), and joint photography experts group (JPEG).
  • PNG portable network graphics
  • PNG portable network graphics
  • JPEG joint photography experts group
  • PNG still image compression the image quality is good when encoding, but when the bandwidth of the transmission network is low due to the large data size, the transmission speed may be reduced.
  • Palletized PNG still image compression reduces the data size of the image during encoding, which guarantees transmission speed, but degrades image quality due to the 8-bit color representation.
  • the JPEG still image compression technique has a high compression efficiency and can greatly reduce the amount of data transmitted during encoding. However, the high compression efficiency can cause a large system load when encoding and decoding.
  • the JPEG still image compression technique has a relatively higher compression rate than the PNG still image compression technique and the palletized still image compression technique, which can cause a heavy load when encoding on the server or decoding on the client. Therefore, when the cloud streaming server load is not large, it is possible to encode the change region through the JPEG still image compression technique.
  • the JPEG still image compression technique can reduce the size of the data because of the good compression ratio, so that the data throughput of the network can be prevented from increasing when the data throughput of the network is high.
  • a still image compression method may be selected in consideration of network data throughput. For example, when the size of the cloud streaming server load is greater than or equal to a predetermined reference value, one of the PNG still image compression technique and the palletized PNG still image compression technique may be selected to encode the change region. In this case, since the size of the transmitted data may be different depending on which of the PNG still image compression technique and the palletized PNG still image compression technique are selected, the still image compression technique may be selected in consideration of network data throughput.
  • the PNG still image compression may be applied to encode the change region.
  • the change region is encoded by the PNG still image compression technique
  • the quality of the change region provided to the user terminal device may be good, but the service speed may decrease when the bandwidth of the network is low due to the size of the transmitted data. Can be. Therefore, when the network has a low data throughput and a smooth network, the change region may be encoded by a PNG still image compression technique that may improve the image quality of the service.
  • the PNG still image compression technique may perform encoding using the PNG still image compression technique to prevent the server from increasing the load.
  • the changed region may be encoded by applying a paletted PNG still image compression technique.
  • the change region is encoded by applying the paletted PNG still image compression technique, the image quality may be degraded, but the size of the transmitted data may be reduced. Therefore, when there is a potential bottleneck due to the high data throughput of the network, the data transfer amount can be prevented by encoding a change region by selecting a paletted PNG still image compression technique that can reduce the size of the data.
  • the order of considering the size of the cloud streaming server load and the data throughput of the network in order to determine the still image compression scheme to encode the change region may be determined differently according to the cloud streaming service.
  • the sender 1230 transmits a still image encoded change region to a user to perform a still image based cloud streaming service.
  • the compressed change area is transmitted to the terminal device of the user, so that the cloud streaming service may be performed so that the user can feel the application running on the terminal device.
  • the storage unit 1240 stores various information generated in the cloud streaming service process according to the embodiment of the present invention as described above.
  • the storage unit 1240 may be configured independently of the cloud streaming server 1110 to support a function for a cloud streaming service. At this time, the storage unit 1240 may operate as a separate mass storage, and may include a control function for performing the operation.
  • cloud streaming server 1110 configured as described above may be implemented as one or more servers.
  • the cloud streaming server 1110 may be equipped with a memory to store information in the device.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • FIG. 13 is a flowchart illustrating a still image-based cloud streaming service method according to an embodiment of the present invention.
  • the still image-based cloud streaming service method captures the change region included in the changed frame in comparison with the previous frame (S1310).
  • the video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to the screen on which the application operates. However, if the change between frames is not large on the screen on which the application is running, the still image encoding is performed by capturing only the change area of the changed frame compared to the previous frame, and the parts except for the change area when displaying on the user's terminal device are the same. It can be displayed in such a way that it is displayed in a simple manner and only the change area is changed.
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame. For example, if the changed area is the A area compared to the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame, only the A area of the screen area corresponding to the changed frame may be captured as the change area.
  • the change area may have various characteristics of an image corresponding to the size or the change area according to an input signal input from the user's terminal device.
  • a section having a small frame change among the entire sections of the frame to be transmitted to the user's terminal device may be detected, and the change region may be captured at the section having a small frame change.
  • the event type of the application generated from the user's terminal device may be detected to detect a section having less frame change.
  • an event type of an application may be determined according to an input signal generated from a user terminal device.
  • an application is executed such as a menu, an option, or a guide window according to an input signal, a static event having a small change in a frame or a dynamic event in which a frame frequently changes such as a video play and a game play may occur. Therefore, when the user detects an event type with an input signal generated through the terminal device, and if the event type is a static event, a section having a small frame change can be detected among all frame sections corresponding to the corresponding event.
  • the still image-based cloud streaming service method to select a still image (still image) compression method in consideration of any one or more of the size of the cloud streaming server load and network data throughput, and still image compression
  • the change region corresponding to one frame is still image encoded using the technique (S1320).
  • the cloud streaming server load is an action or resource required for the actions taken by the server to achieve any desired effect on the cloud streaming server.
  • the cloud streaming server load may be high when encoding or decoding still images corresponding to the change area.
  • the limit of cloud streaming server load may vary depending on the hardware devices configuring the server, and if a command is input that exceeds the limit of the cloud streaming server load, a bottleneck may occur that degrades the performance of the server. . Therefore, considering the size of the cloud streaming server load in the cloud streaming service, it is possible to select a still image compression method with a small server load depending on the situation.
  • the data throughput of the network is a rate at which data is processed based on the same network band, and a bottleneck may occur when the data throughput of the network and data processing beyond the network band are requested. Therefore, encoding can be performed by selecting a still image compression technique that can check data throughput of a network and reduce data size in a cloud streaming service.
  • the change region may be compressed using any one of still image compression techniques of portable network graphics (PNG), portable network graphics (PNG), and joint photography experts group (JPEG).
  • PNG portable network graphics
  • PNG portable network graphics
  • JPEG joint photography experts group
  • PNG still image compression the image quality is good when encoding, but when the bandwidth of the transmission network is low due to the large data size, the transmission speed may be reduced.
  • Palletized PNG still image compression reduces the data size of the image during encoding, which guarantees transmission speed, but degrades image quality due to the 8-bit color representation.
  • the JPEG still image compression technique has a high compression efficiency and can greatly reduce the amount of data transmitted during encoding. However, the high compression efficiency can cause a large system load when encoding and decoding.
  • the JPEG still image compression technique has a relatively higher compression rate than the PNG still image compression technique and the palletized still image compression technique, which can cause a heavy load when encoding on the server or decoding on the client. Therefore, when the cloud streaming server load is not large, it is possible to encode the change region through the JPEG still image compression technique.
  • the JPEG still image compression technique can reduce the size of the data because of the good compression ratio, so that the data throughput of the network can be prevented from increasing when the data throughput of the network is high.
  • a still image compression method may be selected in consideration of network data throughput. For example, when the size of the cloud streaming server load is greater than or equal to a predetermined reference value, one of the PNG still image compression technique and the palletized PNG still image compression technique may be selected to encode the change region. In this case, since the size of the transmitted data may be different depending on which of the PNG still image compression technique and the palletized PNG still image compression technique are selected, the still image compression technique may be selected in consideration of network data throughput.
  • the PNG still image compression may be applied to encode the change region.
  • the change region is encoded by the PNG still image compression technique
  • the quality of the change region provided to the user terminal device may be good, but the service speed may decrease when the bandwidth of the network is low due to the size of the transmitted data. Can be. Therefore, when the network has a low data throughput and a smooth network, the change region may be encoded by a PNG still image compression technique that may improve the image quality of the service.
  • the PNG still image compression technique may perform encoding using the PNG still image compression technique to prevent the server from increasing the load.
  • the changed region may be encoded by applying a paletted PNG still image compression technique.
  • the change region is encoded by applying the paletted PNG still image compression technique, the image quality may be degraded, but the size of the transmitted data may be reduced. Therefore, when there is a potential bottleneck due to the high data throughput of the network, the data transfer amount can be prevented by encoding a change region by selecting a paletted PNG still image compression technique that can reduce the size of the data.
  • the order of considering the size of the cloud streaming server load and the data throughput of the network in order to determine the still image compression scheme to encode the change region may be determined differently according to the cloud streaming service.
  • the still image based cloud streaming service method transmits a still image encoded change region to a user to perform a still image based cloud streaming service (S1330).
  • the cloud streaming service may be performed to receive a feeling of running an application on the user terminal device by transmitting a still image encoding the compressed change region to the user terminal device.
  • FIG. 14 is a flowchart illustrating a still image-based cloud streaming service method in detail according to an embodiment of the present invention.
  • the still image-based cloud streaming service method first captures a change region included in a changed frame in comparison with a previous frame in a cloud streaming server (S1410).
  • the changed area may be captured as the change area in comparison with the screen area corresponding to the previous frame among the screen areas corresponding to the changed frame.
  • a section having a small frame change among the entire sections of the frame to be transmitted to the user's terminal device may be detected, and the change region may be captured at the section having a small frame change.
  • the event type of the application generated from the user's terminal device may be detected to detect a section having less frame change.
  • the cloud streaming server determines whether the size of the load of the cloud streaming server is less than a predetermined reference value (S1415).
  • the change area is encoded by the JPEG still image compression technique (S1420).
  • the JPEG still image compression technique has a relatively higher compression rate than the PNG still image compression technique and the palletized still image compression technique, which can cause a heavy load when encoding on the server or decoding on the client. Therefore, when the cloud streaming server load is not large, it is possible to encode the change region through the JPEG still image compression technique.
  • step S1415 If it is determined in step S1415 that the load of the cloud streaming server load is greater than or equal to a preset reference value, it is determined whether the data throughput of the network is less than the preset throughput (S1425).
  • the change region is encoded by PNG still image compression (S1430). If the change region is encoded using the PNG still image compression technique, the quality of the change region provided to the user terminal device may be good, but the service speed may be lowered when the bandwidth of the network is low due to the size of the transmitted data. Therefore, when the network has a low data throughput and a smooth network, the change region may be encoded by a PNG still image compression technique that may improve the image quality of the service.
  • step S1425 If it is determined in step S1425 that the data throughput of the network is greater than or equal to the preset throughput, the change region is encoded by using a paletted PNG still image compression technique (S1440).
  • a paletted PNG still image compression technique S1440
  • the image quality may be degraded, but the size of the transmitted data may be reduced. Therefore, when there is a potential bottleneck due to the high data throughput of the network, the data transfer amount can be prevented by encoding a change region by selecting a paletted PNG still image compression technique that can reduce the size of the data.
  • the cloud streaming server delivers the still image encoded change region to the user (S1450).
  • the cloud streaming service may be performed to receive a feeling of running an application on the user terminal device by transmitting a still image encoding the compressed change region to the user terminal device.
  • Computer-readable media suitable for storing computer program instructions and data include, for example, magnetic media such as hard disks, floppy disks, and magnetic tape, such as magnetic disks, compact disk read only memory (CD-ROM), and DVDs.
  • Optical Media such as Digital Video Disk, Magnetic-Optical Media such as Floppy Disk, and Read Only Memory, RAM, Random Semiconductor memories such as access memory (EPM), flash memory, erasable programmable ROM (EPROM), and electrically erasable programmable ROM (EEPROM).
  • the processor and memory can be supplemented by or integrated with special purpose logic circuitry.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • a change region included in a changed frame is captured in comparison with a previous frame, a still image compression technique is selected in consideration of at least one of a size of the change region and an image property corresponding to the change region, and the selected still image is selected.
  • Still image encoding may be performed on a change region corresponding to one frame using a compression technique, and the still image encoded change region may be transmitted to a user to perform a still image based cloud streaming service.
  • cloud streaming service providers save resources that require bandwidth expansion because they can maximize streaming compression efficiency through still image-based cloud streaming services and provide cloud streaming services to faster and more users over the same band. It can provide efficient service to users.
  • the present invention it is possible to capture a change region included in a changed frame compared to a previous frame, and to capture still regions according to an image type determined by considering one or more of the number of colors of an image corresponding to the change region and a standard deviation of image pixel values.
  • Select still image compression technique use still image compression technique to select still image encoding change area corresponding to one frame, and send still image encoded change region to user for cloud streaming based on still image You can perform the service.
  • cloud streaming service providers can provide resources that require bandwidth expansion because they can maximize streaming compression efficiency through image streaming services and provide cloud streaming services to faster and more users through the same band. It can provide efficient service to users while saving.
  • the present invention captures the change region included in the changed frame compared to the previous frame, and selects a still image compression scheme in consideration of any one or more of the size of the cloud streaming server load and the data throughput of the network, the selected still A still image based cloud streaming service may be performed by still image encoding a change region corresponding to one frame using an image compression technique and transmitting the still image encoded change region to a user.
  • cloud streaming service providers save resources that require bandwidth expansion because they can maximize streaming compression efficiency through still image-based cloud streaming services and provide cloud streaming services to faster and more users over the same band. It can provide efficient service to users.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치가 개시된다. 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 변화 영역의 사이즈 및 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지 압축 기법을 선택하고, 스틸 이미지 압축 기법으로 인코딩한 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다. 스틸 이미지 기반 클라우드 스트리밍 서비스 제공 시 상황에 적합한 스틸 이미지 압축 기법을 사용함으로써 스틸 이미지의 압축 효율과 클라우드 스트리밍 서비스의 속도를 향상시키는 것이 가능하다.

Description

클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
본 발명은 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치(SYSTEM FOR CLOUD STREAMING SERVICE, METHOD OF CLOUD STREAMING SERVICE BASED ON STILL IMAGE AND APPARATUS FOR THE SAME)에 관한 것으로, 더욱 상세하게는 클라우드 스트리밍 서비스 시 변화가 적은 부분에 대해서 스틸 이미지 기반의 클라우드 스트리밍 서비스를 제공할 때, 캡처된 화면에 따라 압축 기법을 선택하여 인코딩함으로써 압축 효율과 서비스 속도를 향상시킬 수 있고, 이미지 타입에 따른 스틸 이미지 압축 기법으로 인코딩을 수행하여 이미지의 압축 효율과 서비스 속도를 향상시킬 수 있고, 시스템 부하 및 네트워크 상태에 따라 스틸 이미지 압축 기법을 선택하여 인코딩함으로써 압축 효율과 서비스 속도를 향상시킬 수 있는 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치에 관한 것이다.
본 발명은 2014년 7월 30일 출원된 한국특허출원 제 10-2014-0097322호, 2014년 8월 25일 출원된 한국특허출원 제 10-2014-0110551호, 2014년 10월 16일 출원된 한국특허출원 제 10-2014-0139556호 및 2014년 11월 11일 출원된 한국특허출원 제 10-2014-0156004호의 출원일의 이익을 주장하며, 그 내용 전부는 본 명세서에 포함된다.
클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법이 적용되어, 메뉴 디스플레이 등을 적용하는 경우에도 불필요하게 화면 전체를 캡처하여 비디오 코덱을 이용하여 동작하여 클라우드 스트리밍 서비스가 비효율적이었다.
즉, 정적인 화면들이 사용자 입력에 따라 약간씩 변하는 화면에 대한 클라우드 스트리밍 적용시에는 비디오 코덱을 이용한 클라우드 스트리밍 서비스보다 이미지 기반 클라우드 스트리밍 서비스가 효과적일 수 있다.
다시 말해서, 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 경우, 프레임간 변화가 발생한 영역을 정확히 검출하여 최소 영역만 전송하면 보다 효과적인 클라우드 스트리밍 서비스가 가능하다.
그리고, 스틸 이미지 코덱을 적용하는 경우 압축 대상 이미지의 이미지 타입에 따라 그 데이터량이 천차만별이고, 압축에 사용되는 스틸 이미지 압축 기법에 따라 클라우드 스트리밍 서비스의 효율성이 크게 달라질 수 있다. 따라서, 이미지 타입을 신속하고 정확히 구분하여 적응적으로 이미지 클라우드를 적용할 수 있는 새로운 기법의 필요성이 절실하게 대두된다.
그리고, 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 경우, 프레임간 변화가 발생한 영역을 정확히 검출하는 것이 매우 중요한 문제이고 따라서 보다 간단하고 보다 효과적인 변화 영역 검출 기술이 필요하다.
나아가, 케이블이나 IPTV 사업자들이 긴 기간 동안 다양한 종류의 셋탑박스를 공급하다 보니 셋탑박스마다 성능차이가 천차만별이고, 실제로 최근 10여 년 동안 총 15종류 이상의 셋탑이 보급되어 왔다. 또한, 좋은 성능의 셋탑과 나쁜 성능의 셋탑 사이의 성능차이가 너무 커서 컨텐츠 공급자가 원하는 방식대로 컨텐츠가 사용자에게 공급되지 못하는 경우가 발생한다.
그리고, 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 경우, 웹앱을 위한 코드를 작성하는 웹앱 개발자들은 자신들이 기존에 사용하던 방식으로 코드를 작성하고자 하고, 클라우드 스트리밍 서버 입장에서는 되도록 애니메이션 등이 적용되지 않고, 캡처해야 하는 이미지 정보와 애니메이션의 속성에 해당하는 정보만을 포함하는 코드를 원하므로 서로 상충하는 면이 있다. 즉, 웹앱 개발자들이 CS 서버측에서 원하는 코드를 제공하기 위해서는 기존 자신들이 사용하던 방식이 아닌 새로운 코드를 제공하여야 하는 문제가 있다.
관련 선행기술로는, 한국 공개 특허 제10-2014-0076668호, 2013년 06월 23일 공개 (명칭: 클라우드 스트리밍 기반의 게임 제공 방법) 및 한국 공개 특허 제10-2014-0027040호, 2014년 03월 06일 공개 (명칭: 적응 이미지 압축 시스템 및 그 방법)이 있다.
본 발명의 목적은, 스틸 이미지 기반 클라우드 스트리밍 서비스 제공 시 상황에 맞는 스틸 이미지 압축 기법을 사용함으로써 압축 효율과 클라우드 스트리밍 서비스 속도를 향상시키는 것이다.
또한, 본 발명의 목적은 스틸 이미지 기반 클라우드 스트리밍 서비스 제공 시 이미지 타입에 적합한 스틸 이미지 압축 기법을 사용함으로써 압축 효율과 클라우드 스트리밍 서비스 속도를 향상시키는 것이다.
또한, 본 발명의 목적은 스틸 이미지 기반 클라우드 스트리밍 서비스 제공 시 클라우드 스트리밍 서버 상태에 적합한 스틸 이미지 압축 기법을 사용함으로써 클라우드 스트리밍 서버 부하로 발생할 수 있는 서비스 지연을 방지하고 빠르게 서비스를 제공하는 것이다.
또한, 본 발명의 목적은 스틸 이미지 기반 클라우드 스트리밍 서비스를 통해서 스트리밍 압출효율을 극대화하여 동일한 대역을 통해 보다 빠르고 보다 많은 사용자를 대상으로 클라우드 스트리밍 서비스를 제공하는 것이다.
또한, 본 발명의 목적은 메뉴화면 등과 같이 프레임간 변화가 크지 않은 경우에 클라우드 스트리밍 서버가 프레임간의 변화를 검출하고, 해당 변화가 발생한 영역만을 스틸 이미지 코덱을 이용하여 압축하여 스트리밍하는, 클라우드 스트리밍 서비스 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 클라우드 스트리밍 서버는, 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부; 상기 변화 영역의 사이즈 및 상기 변화 영역에 상응하는 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부를 포함한다.
이 때, 인코딩부는 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 상기 변화 영역을 압축할 수 있다.
이 때, 인코딩부는 상기 변화 영역의 사이즈가 기설정된 기준값 미만인 경우 상기 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩부는 상기 변화 영역의 사이즈가 상기 기준값 이상인 경우 상기 이미지 성질을 고려하여 상기 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 인코딩부는 상기 이미지 성질이 자연 이미지(natural image)인 경우 상기 JPEG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩부는 상기 변화 영역의 사이즈가 기설정된 기준값 이상이고, 상기 이미지 성질이 합성 이미지(synthetic image)인 경우 상기 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩부는 상기 이미지 성질이 상기 자연 이미지와 상기 합성 이미지(synthetic image)가 혼합된 이미지인 경우, 상기 변화 영역 중 상기 자연 이미지에 상응하는 영역과 상기 변화 영역 중 상기 합성 이미지에 상응하는 영역을 비교하여 더 많은 영역에 상응하는 이미지 성질에 따라 상기 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 캡처부는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.
이 때, 캡처부는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.
이 때, 캡처부는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은, 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 단계; 상기 변화 영역의 사이즈 및 상기 변화 영역에 상응하는 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 단계; 및 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 단계를 포함한다.
이 때, 인코딩하는 단계는 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 상기 변화 영역을 압축할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역의 사이즈가 기설정된 기준값 미만인 경우 상기 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역의 사이즈가 상기 기준값 이상인 경우 상기 이미지 성질을 고려하여 상기 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 인코딩하는 단계는 상기 이미지 성질이 자연 이미지(natural image)인 경우 상기 JPEG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역의 사이즈가 기설정된 기준값 이상이고, 상기 이미지 성질이 합성 이미지(synthetic image)인 경우 상기 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩하는 단계는 상기 이미지 성질이 상기 자연 이미지와 상기 합성 이미지(synthetic image)가 혼합된 이미지인 경우, 상기 변화 영역 중 상기 자연 이미지에 상응하는 영역과 상기 변화 영역 중 상기 합성 이미지에 상응하는 영역을 비교하여 더 많은 영역에 상응하는 이미지 성질에 따라 상기 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 캡처하는 단계는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.
이 때, 캡처하는 단계는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하는 단계를 포함하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.
이 때, 검출하는 단계는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명에 따른 클라우드 스트리밍 서비스 시스템은 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 상기 변화 영역의 사이즈 및 상기 변화 영역에 상응하는 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 클라우드 스트리밍 서버; 및 상기 클라우드 스트리밍 서버로부터 상기 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하는 단말을 포함한다.
또한, 본 발명의 다른 실시예에 따른 클라우드 스트리밍 서버는, 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부; 상기 변화 영역에 상응하는 이미지의 컬러 개수 및 이미지 화소값의 표준 편차 중 하나 이상을 고려하여 결정한 이미지 타입에 따라 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부를 포함한다.
이 때, 인코딩부는 자연 이미지(natural image) 및 합성 이미지(synthetic image) 중 어느 하나의 이미지 타입에 따라 상기 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 인코딩부는 상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 기설정된 기준 개수를 초과하는 경우 상기 이미지 타입을 상기 자연 이미지로 결정할 수 있다.
이 때, 인코딩부는 상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 상기 기설정된 기준 개수 이하인 경우 상기 변화 영역에 상응하는 상기 이미지 화소값의 표준 편차를 고려하여 상기 이미지 타입을 결정할 수 있다.
이 때, 인코딩부는 상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 상기 기설정된 기준 개수 이하이고, 상기 변화 영역에 상응하는 상기 이미지 화소값의 표준 편차가 기설정된 기준 값 이하인 경우 상기 이미지 타입을 상기 합성 이미지로 결정할 수 있다.
이 때, 인코딩부는 상기 변화 영역에 상응하는 상기 이미지 화소값의 표준 편차가 기설정된 기준 값을 초과하는 경우 상기 이미지 타입을 상기 자연 이미지로 결정할 수 있다.
이 때, 인코딩부는 상기 이미지 타입에 따라 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 상기 변화 영역을 상기 스틸 이미지 인코딩할 수 있다.
이 때, 캡처부는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.
이 때, 캡처부는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.
이 때, 캡처부는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법 은, 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 단계; 상기 변화 영역에 상응하는 이미지의 컬러 개수 및 이미지 화소값의 표준 편차 중 하나 이상을 고려하여 결정한 이미지 타입에 따라 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 단계; 및 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 단계를 포함한다.
이 때, 인코딩하는 단계는 자연 이미지(natural image) 및 합성 이미지(synthetic image) 중 어느 하나의 이미지 타입에 따라 상기 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 기설정된 기준 개수를 초과하는 경우 상기 이미지 타입을 자연 이미지로 결정할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 상기 기설정된 기준 개수 이하인 경우 상기 변화 영역에 상응하는 상기 이미지 화소값의 표준 편차를 고려하여 상기 이미지 타입을 결정할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 상기 기설정된 기준 개수 이하이고, 상기 변화 영역에 상응하는 상기 이미지 화소값의 표준 편차가 기설정된 기준 값 이하인 경우 상기 이미지 타입을 합성 이미지로 결정할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역에 상응하는 상기 이미지 화소값의 표준 편차가 기설정된 기준 값을 초과하는 경우 상기 이미지 타입을 상기 자연 이미지로 결정할 수 있다.
이 때, 인코딩하는 단계는 상기 이미지 타입에 따라 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 상기 변화 영역을 상기 스틸 이미지 인코딩할 수 있다.
이 때, 캡처하는 단계는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.
또한, 본 발명의 다른 실시예에 따른 클라우드 스트리밍 서비스 시스템은 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 상기 변화 영역에 상응하는 이미지의 컬러 개수 및 이미지 화소값의 표준 편차 중 하나 이상을 고려하여 결정한 이미지 타입에 따라 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 클라우드 스트리밍 서버; 및 상기 클라우드 스트리밍 서버로부터 상기 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하는 단말을 포함한다.
또한, 본 발명의 또 다른 실시예에 따른 클라우드 스트리밍 서버는, 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부; 클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버를 포함한다.
이 때, 인코딩부는 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 상기 변화 영역을 압축할 수 있다.
이 때, 인코딩부는 상기 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 미만인 경우 상기 JPEG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩부는 상기 클라우드 스트리밍 서버 부하의 크기가 상기 기설정된 기준값 이상인 경우 상기 네트워크의 데이터 처리율을 고려하여 상기 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 인코딩부는 상기 네트워크의 데이터 처리율이 기설정된 처리율 미만인 경우 상기 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩부는 상기 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상이고, 상기 네트워크의 데이터 처리율이 상기 기설정된 처리율 이상인 경우 상기 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 캡처부는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.
이 때, 캡처부는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.
이 때, 캡처부는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은, 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 단계; 클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 단계; 및 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 단계를 포함한다.
이 때, 인코딩하는 단계는 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 상기 변화 영역을 압축할 수 있다.
이 때, 인코딩하는 단계는 상기 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 미만인 경우 상기 JPEG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩하는 단계는 상기 클라우드 스트리밍 서버 부하의 크기가 상기 기설정된 기준값 이상인 경우 상기 네트워크의 데이터 처리율을 고려하여 상기 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 인코딩하는 단계는 상기 네트워크의 데이터 처리율이 기설정된 처리율 미만인 경우 상기 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 인코딩하는 단계는 상기 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상이고, 상기 네트워크의 데이터 처리율이 상기 기설정된 처리율 이상인 경우 상기 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩할 수 있다.
이 때, 캡처하는 단계는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.
이 때, 캡처하는 단계는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하는 단계를 포함하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.
이 때, 검출하는 단계는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 클라우드 스트리밍 서비스 시스템은 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 클라우드 스트리밍 서버; 및 상기 클라우드 스트리밍 서버로부터 상기 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하는 단말을 포함한다.
또한, 본 발명의 과제 해결을 위한 또 다른 수단으로써, 상술한 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.
본 발명에 따르면, 이미지 기반 클라우드 스트리밍 서비스 시에 프레임간 화면 변화 영역을 정확하고 신속하게 검출할 수 있다. 따라서, 클라우드 스트리밍 서비스 시 최소한의 영역만을 압축하여 전송함으로써 클라우드 스트리밍 서비스의 효율성이 향상되고, 보다 경제적으로 양질의 이미지 기반 클라우드 스트리밍 서비스를 제공할 수 있다.
또한, 본 발명은 이미지 기반 스트리밍의 압축효율을 극대화하여 클라우드 스트리밍 서비스의 효율성을 향상시킬 수 있다. 특히, 동일한 대역을 이용하여 보다 빠르고 보다 많은 사용자를 대상으로 한 이미지 기반 클라우드 스트리밍 서비스가 가능하다.
또한, 본 발명은 이미지 기반 클라우드 스트리밍 서비스 시에 프레임간 화면 변화 영역을 정확하고 신속하게 검출할 수 있어서, 클라우드 스트리밍 서비스의 효율성이 향상되고, 보다 경제적으로 양질의 이미지 기반 클라우드 스트리밍 서비스를 제공할 수 있다.
또한, 본 발명은 이미지 기반 스트리밍시 이미지 타입을 정확하게 결정하여 해당 이미지 타입에 적합한 압축기법을 적용함으로써 압축효율을 극대화하여 클라우드 스트리밍 서비스의 효율성을 향상시킬 수 있다. 특히, 동일한 대역을 이용하여 보다 빠르고 보다 많은 사용자를 대상으로 한 이미지 기반 클라우드 스트리밍 서비스가 가능하다.
또한, 본 발명은 스틸 이미지 기반 클라우드 스트리밍 서비스 제공 시 상황에 맞는 스틸 이미지 압축 기법을 사용함으로써 이미지의 압축 효율과 클라우드 스트리밍 서비스 속도를 향상시킬 수 있다.
또한, 본 발명은 스틸 이미지 기반 클라우드 스트리밍 서비스 제공 시 클라우드 스트리밍 서버 상태에 적합한 스틸 이미지 압축 기법을 사용함으로써 클라우드 스트리밍 서버 부하로 발생할 수 있는 서비스 지연을 방지하고 빠르게 서비스를 제공할 수 있다.
또한, 본 발명은 스틸 이미지 기반 클라우드 스트리밍 서비스를 통해서 스트리밍 압축 효율을 극대화하여 동일한 대역을 통해 보다 빠르고 보다 많은 사용자를 대상으로 클라우드 스트리밍 서비스를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 시스템을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스에서 변화 영역을 캡처하는 과정을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 8은 도 7에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 9는 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 10은 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 11은 본 발명의 또 다른 실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 12는 도 11에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 13은 본 발명의 다른 실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 14는 본 발명의 다른 실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 다른 클라우드 스트리밍 서비스 시스템은 클라우드 스트리밍 서버(110), 단말 장치들(120-1, …, 120-N) 및 네트워크(130)를 포함한다.
클라우드 스트리밍 서버(110)는 단말 장치들(120-1, …, 120-N)로부터 클라우드 스트리밍 서비스 요청을 받아 어플리케이션을 실행하고, 어플리케이션 실행 결과에 해당하는 실행 결과 화면을 단말 장치들(120-1, …, 120-N)에게 제공한다.
클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법을 적용하기 때문에 메뉴 디스플레이와 같은 정적인 화면에 대해서 클라우드 스트리밍 기법을 적용하는 경우에도 불필요하게 화면 전체를 캡처하여 비디오 코덱으로 인코딩하는 비효율적인 방법으로 클라우드 스트리밍 서비스를 수행하였다. 이러한 문제점을 해결하기 위해 본 발명은 메뉴 디스플레이 화면과 같이 프레임간 변화가 크지 않은 경우에는 클라우드 스트리밍 서버가 프레임간 변화를 검출하고, 검출된 변화 영역만을 스틸 이미지 압축 기법으로 인코딩하는 클라우드 스트리밍 시스템을 제공한다.
클라우드 스트리밍 서버(110)는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다. 이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 이 때, 단말 장치들(120-1, …, 120-N)로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. 이 때, 단말 장치들(120-1, …, 120-N)로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 클라우드 스트리밍 서버(110)는 변화 영역의 사이즈 및 변화 영역에 상응하는 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다. 이 때, PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 압축할 수 있다. 이 때, 변화 영역의 사이즈가 기설정된 기준값 미만인 경우 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 이 때, 변화 영역의 사이즈가 기설정된 기준값 이상인 경우 이미지 성질을 고려하여 스틸 이미지 압축 기법을 선택할 수 있다. 또한, 이미지 성질이 자연 이미지(natural image)인 경우 JPEG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 이 때, 변화 영역의 사이즈가 기설정된 기준값 이상이고, 이미지 성질이 합성 이미지(synthetic image)인 경우 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 이 때, 이미지 성질이 자연 이미지와 합성 이미지(synthetic image)가 혼합된 이미지인 경우, 변화 영역 중 자연 이미지에 상응하는 영역과 변화 영역 중 합성 이미지에 상응하는 영역을 비교하여 더 많은 영역에 상응하는 이미지 성질에 따라 스틸 이미지 압축 기법을 선택할 수 있다.
또한, 클라우드 스트리밍 서버(110)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다.
단말 장치들(120-1, …, 120-N)은 클라우드 스트리밍 서버(110)로부터 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하여 사용자에게 제공한다.
단말 장치들(120-1, …, 120-N)은 각각 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말 장치들(120-1, …, 120-N)은 각각 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.
네트워크(130)는 클라우드 스트리밍 서버(110)및 단말 장치들(120-1, …, 120-N) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(130)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크(130)의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 1에서 클라우드 스트리밍 서버(110)와 단말 장치들(120-1, …, 120-N) 사이에 사용되는 네트워크는 단말 장치들(120-1, …, 120-N) 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 2를 참조하면, 도 1에 도시된 클라우드 스트리밍 서버(110)는 캡처부(210), 인코딩부(220), 센딩부(230) 및 저장부(240)를 포함한다.
클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법을 적용하기 때문에 메뉴 디스플레이와 같은 정적인 화면에 대해서 클라우드 스트리밍 기법을 적용하는 경우에도 불필요하게 화면 전체를 캡처하여 비디오 코덱으로 인코딩하는 비효율적인 방법으로 클라우드 스트리밍 서비스를 수행하였다. 이러한 문제점을 해결하기 위해 본 발명은 메뉴 디스플레이 화면과 같이 프레임간 변화가 크지 않은 경우에는 클라우드 스트리밍 서버가 프레임간 변화를 검출하고, 검출된 변화 영역만을 스틸 이미지 압축 기법으로 인코딩하는 클라우드 스트리밍 서버(110)를 제공한다.
캡처부(210)는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다. 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.
이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 사이즈나 변화 영역에 상응하는 이미지의 성질이 다양할 수 있다.
이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다.
이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.
인코딩부(220)는 변화 영역의 사이즈 및 변화 영역에 상응하는 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다. 예를 들어, 변화 영역은 프레임에서 변화되는 영역에 따라 매우 작은 사이즈에서부터 프레임 전체 사이즈에 상응하는 큰 사이즈까지 다양하게 캡처될 수 있다. 또한, 캡처된 변화 영역의 이미지 성질이 하나의 사진이나 그림과 같은 자연 이미지(natural image)이거나 여러 개의 이미지가 합쳐져서 만들어진 합성 이미지(synthetic image)일 수 있다. 또한, 캡처된 변화 영역에 자연 이미지와 합성 이미지가 동시에 존재할 수도 있다.
이 때, PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 압축할 수 있다. PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 팔렛티드 PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 데이터 크기가 줄어들어 전송 속도는 보장할 수 있지만, 8비트로 색상을 표현하기 때문에 이미지 화질에 열화를 가져올 수 있다. JPEG 스틸 이미지 압축 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다.
이 때, 변화 영역의 사이즈가 기설정된 기준값 미만인 경우 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 예를 들어, 변화 영역의 사이즈가 기설정된 기준값보다 작은 사이즈일 경우에는 이미지의 사이즈가 크지 않아서 전송할 데이터 량도 크기 않기 때문에 상대적으로 화질이 좋게 인코딩될 수 있는 PNG 스틸 이미지 압축 기법을 적용하여 인코딩할 수 있다. 또한, 기설정된 기준값은 클라우드 스트리밍 서버(110)의 처리 성능, 네트워크 전송 속도 및 서버 시스템 부하 등을 고려하여 서버 관리자에 의해 자유롭게 설정될 수 있다.
이 때, 변화 영역의 사이즈가 기준값 이상인 경우 이미지 성질을 고려하여 스틸 이미지 압축 기법을 선택할 수 있다. 변화 영역의 사이즈가 기준값 이상이라 전송할 데이터 량이 큰 경우에는 인코딩 시 압축 효율이 좋은 JPEG 스틸 이미지 압축 기법이나 데이터 크기를 줄일 수 있는 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 인코딩할 수 있다.
이 때, 이미지 성질이 자연 이미지(natural image)인 경우 JPEG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. JPEG 스틸 이미지 압축 기법은 한 픽셀 주위에 서로 비슷한 색이 모여 있는 자연 이미지를 압축하였을 때 압축 효율이 더 효과적일 수 있다. 따라서, 변화 영역의 사이즈가 기준값 이상으로 크고 변화 영역에 상응하는 이미지 성질이 자연 이미지인 경우에는 JPEG 스틸 이미지 압축 기법으로 변화 영역을 인코딩할 수 있다.
이 때, 변화 영역의 사이즈가 기설정된 기준값 이상이고, 이미지 성질이 합성 이미지(synthetic image)인 경우 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 변화 영역의 사이즈가 크기 때문에 압축 효율이 좋은 JPEG 스틸 이미지 압축 기법을 사용할 수 있겠지만, 합성 이미지에 대해서는 JPEG 스틸 이미지 압축 기법도 큰 효과를 기대하기 어려울 수 있다. 따라서, 이러한 경우에는 데이터의 크기를 줄일 수 있는 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 변화 영역을 인코딩할 수 있다.
이 때, 이미지 성질이 자연 이미지와 합성 이미지(synthetic image)가 혼합된 이미지인 경우, 변화 영역 중 자연 이미지에 상응하는 영역과 변화 영역 중 합성 이미지에 상응하는 영역을 비교하여 더 많은 영역에 상응하는 이미지 성질에 따라 스틸 이미지 압축 기법을 선택할 수 있다. 예를 들어, 변화 영역 중 자연 이미지에 상응하는 영역이 합성 이미지에 상응하는 영역보다 더 많다면 JPEG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩하고, 변화 영역 중 합성 이미지에 상응하는 영역이 자연 이미지에 상응하는 영역보다 더 많다면 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다.
또한, 변화 영역을 인코딩할 스틸 이미지 압축 기법을 결정하기 위해서 변화 영역의 사이즈 및 변화 영역에 상응하는 이미지 성질을 고려하는 순서는 클라우드 스트리밍 서비스에 따라 상이하게 결정될 수 있다.
센딩부(230)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다. 인코딩을 완료함으로써 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
저장부(240)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.
실시예에 따라, 저장부(240)는 클라우드 스트리밍 서버(110)와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부(240)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버(110)는 하나 이상의 서버로 구현될 수 있다.
한편, 클라우드 스트리밍 서버(110)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
도 3은 스틸 이미지 기반 클라우드 스트리밍 시스템을 나타낸 도면이다.
도 3을 참조하면, 서버(310)에서는 사용자의 단말 장치로부터 발생되는 사용자 입력(User Input)에 상응하는 프로그램 화면(310)을 실행시켜 캡처(Screen Capture)를 수행할 수 있다. 이 때, 서버(300)는 클라우드 스트리밍 서버와 웹 어플리케이션 서버를 통칭하는 서버일 수 있다. 또한, 프로그램 화면(310)을 실행시켜 캡처(Screen Capture)를 수행하는 과정은 도 2에 도시된 캡처부(210)의 동작 흐름과 상응할 수 있다.
서버(300)는 캡처(Screen Capture)된 프로그램 화면(310)을 스틸 이미지 압축 기법을 통해 인코딩(Image Encoding)(320)할 수 있다. 이 때, 인코딩 (Image Encoding)(320)을 수행하는 과정은 도 2에 도시된 인코딩부(220)의 동작 흐름과 상응할 수 있다.
이 때, 변화된 프레임을 이전 프레임과 비교하여 변화된 영역만을 캡처할 수 있다. 또한, 변화된 영역의 사이즈 및 변화된 영역에 상응하는 이미지 성질을 고려하여 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 선택하고, 선택한 스틸 이미지 압축 기법으로 변화된 영역을 인코딩할 수 있다.
이 후, 서버(300)는 스틸 이미지 인코딩된 변화된 영역을 사용자의 단말 장치로 스트리밍(Streaming)(330)하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 제공할 수 있다. 이 때, 스트리밍(Streaming)(330)을 수행하는 과정은 도 2에 도시된 센딩부(230)의 동작 흐름과 상응할 수 있다.
이 후, 사용자의 단말 장치에서는 수신한 데이터를 렌더링(Image Rendering)(340)함으로써 사용자 입력(User Input)에 의해 어플리케이션에서 실행된 프로그램 화면(310)이 마치 사용자의 단말 장치에서 실행된 것처럼 사용자에게 디스플레이 할 수 있다.
도 4는 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스에서 변화 영역을 캡처하는 과정을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스는 첫번째 프레임(410)과 두번째 프레임(420)을 비교하여 변화된 변화 영역(430)만을 캡처하여 인코딩할 수 있다.
예를 들어, 첫번째 프레임(410)과 두번째 프레임(420)에서 B, C, D 및 E의 영역을 메뉴 디스플레이라고 가정하였을 때, 첫번째 프레임(410)에서는 C 영역에 커서가 위치함으로써 C 영역이 다른 B, D, 및 E 영역과 구별될 수 있도록 음영처리 되었고, 두번째 프레임(420)에서는 C 영역에서 D 영역으로 커서가 이동함으로써 D 영역이 다른 B, C 및 E 영역과 구별될 수 있도록 음영처리 될 수 있다.
이 때, 첫번째 프레임(410)과 두번째 프레임(420)을 비교하였을 때 변화된 영역인 C와 D 영역만을 변화 영역(430)으로 캡처할 수 있다. 또한, 변화 영역(430)의 사이즈와 변화 영역(430)에 상응하는 이미지 성질을 고려하여 스틸 이미지 압축 기법을 선택하고, 선택한 스틸 이미지 압축 기법을 이용하여 변화 영역(430)을 인코딩할 수 있다.
이와 같이 첫번째 프레임(410)과 두번째 프레임(420)은 분명 변화가 있는 프레임으로 기존의 클라우드 스트리밍 서비스 시에는 두 프레임을 포함하여 프레임 레이트에 상응하는 수의 프레임들을 모두 캡처하여 인코딩을 수행해야 할 수 있다. 하지만 스틸 이미지 기반 클라우드 스트리밍 서비스는 변화 영역(430)만을 캡처하여 스틸 이미지 압축 기법으로 인코딩하기 때문에, 불필요하게 많은 프레임과 프레임의 화면 전체를 캡처하는 기존의 클라우드 스트리밍 서비스 방법보다 서비스의 효율성을 향상시킬 수 있다.
도 5는 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S510). 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.
이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 사이즈나 변화 영역에 상응하는 이미지의 성질이 다양할 수 있다.
이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다.
이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은 변화 영역의 사이즈 및 변화 영역에 상응하는 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다(S520). 예를 들어, 변화 영역은 프레임에서 변화되는 영역에 따라 매우 작은 사이즈에서부터 프레임 전체 사이즈에 상응하는 큰 사이즈까지 다양하게 캡처될 수 있다. 또한, 캡처된 변화 영역의 이미지 성질이 하나의 사진이나 그림과 같은 자연 이미지(natural image)이거나 여러 개의 이미지가 합쳐져서 만들어진 합성 이미지(synthetic image)일 수 있다. 또한, 캡처된 변화 영역에 자연 이미지와 합성 이미지가 동시에 존재할 수도 있다.
이 때, PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 압축할 수 있다. PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 팔렛티드 PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 데이터 크기가 줄어들어 전송 속도는 보장할 수 있지만, 8비트로 색상을 표현하기 때문에 이미지 화질에 열화를 가져올 수 있다. JPEG 스틸 이미지 압축 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다.
이 때, 변화 영역의 사이즈가 기설정된 기준값 미만인 경우 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 예를 들어, 변화 영역의 사이즈가 기설정된 기준값보다 작은 사이즈일 경우에는 이미지의 사이즈가 크지 않아서 전송할 데이터 량도 크기 않기 때문에 상대적으로 화질이 좋게 인코딩될 수 있는 PNG 스틸 이미지 압축 기법을 적용하여 인코딩할 수 있다. 또한, 기설정된 기준값은 클라우드 스트리밍 서버의 처리 성능, 네트워크 전송 속도 및 서버 시스템 부하 등을 고려하여 서버 관리자에 의해 자유롭게 설정될 수 있다.
이 때, 변화 영역의 사이즈가 기준값 이상인 경우 이미지 성질을 고려하여 스틸 이미지 압축 기법을 선택할 수 있다. 변화 영역의 사이즈가 기준값 이상이라 전송할 데이터 량이 큰 경우에는 인코딩 시 압축 효율이 좋은 JPEG 스틸 이미지 압축 기법이나 데이터 크기를 줄일 수 있는 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 인코딩할 수 있다.
이 때, 이미지 성질이 자연 이미지(natural image)인 경우 JPEG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. JPEG 스틸 이미지 압축 기법은 한 픽셀 주위에 서로 비슷한 색이 모여 있는 자연 이미지를 압축하였을 때 압축 효율이 더 효과적일 수 있다. 따라서, 변화 영역의 사이즈가 기준값 이상으로 크고 변화 영역에 상응하는 이미지 성질이 자연 이미지인 경우에는 JPEG 스틸 이미지 압축 기법으로 변화 영역을 인코딩할 수 있다.
이 때, 변화 영역의 사이즈가 기설정된 기준값 이상이고, 이미지 성질이 합성 이미지(synthetic image)인 경우 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 변화 영역의 사이즈가 크기 때문에 압축 효율이 좋은 JPEG 스틸 이미지 압축 기법을 사용할 수 있겠지만, 합성 이미지에 대해서는 JPEG 스틸 이미지 압축 기법도 큰 효과를 기대하기 어려울 수 있다. 따라서, 이러한 경우에는 데이터의 크기를 줄일 수 있는 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 변화 영역을 인코딩할 수 있다.
이 때, 이미지 성질이 자연 이미지와 합성 이미지(synthetic image)가 혼합된 이미지인 경우, 변화 영역 중 자연 이미지에 상응하는 영역과 변화 영역 중 합성 이미지에 상응하는 영역을 비교하여 더 많은 영역에 상응하는 이미지 성질에 따라 스틸 이미지 압축 기법을 선택할 수 있다. 예를 들어, 변화 영역 중 자연 이미지에 상응하는 영역이 합성 이미지에 상응하는 영역보다 더 많다면 JPEG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩하고, 변화 영역 중 합성 이미지에 상응하는 영역이 자연 이미지에 상응하는 영역보다 더 많다면 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다.
또한, 변화 영역을 인코딩할 스틸 이미지 압축 기법을 결정하기 위해서 변화 영역의 사이즈 및 변화 영역에 상응하는 이미지 성질을 고려하는 순서는 클라우드 스트리밍 서비스에 따라 상이하게 결정될 수 있다.
또한, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다(S530). 스틸 이미지 인코딩하여 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
도 6은 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은 먼저 클라우드 스트리밍 서버에서 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S610). 이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. 이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다.
클라우드 스트리밍 서버는 변화 영역의 사이즈가 기설정된 기준값 미만인지 여부를 판단한다(S615).
단계(S615)의 판단결과 변화 영역의 사이즈가 기설정된 기준값 미만이라면, 변화 영역을 PNG 스틸 이미지 압축 기법으로 인코딩한다(S620). PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 따라서 변화 영역의 이미지의 사이즈가 크지 않아서 전송할 데이터 량도 크기 않기 때문에 상대적으로 화질이 좋게 인코딩될 수 있는 PNG 스틸 이미지 압축 기법을 적용하여 인코딩할 수 있다.
단계(S615)의 판단결과 변화 영역의 사이즈가 기설정된 기준값 이상이라면, 변화 영역에 상응하는 이미지 성질이 자연 이미지(natural image)인지 여부를 판단한다(S625).
단계(S625)의 판단결과 변화 영역에 상응하는 이미지 성질이 자연 이미지라면, JPEG 스틸 이미지 압축 기법으로 변화 영역을 인코딩한다(S630). JPEG 스틸 이미지 압축 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다. 또한, JPEG 스틸 이미지 압축 기법은 여러 그림이나 사진이 합쳐진 합성 이미지를 압축하였을 때보다 한 픽셀 주위에 서로 비슷한 색이 모여 있는 자연 이미지를 압축하였을 때 압축 효율이 더 효과적일 수 있다. 따라서, 변화 영역의 사이즈가 기준값 이상으로 크고 변화 영역에 상응하는 이미지 성질이 자연 이미지인 경우에는 JPEG 스틸 이미지 압축 기법으로 변화 영역을 인코딩할 수 있다.
단계(S625)의 판단결과 변화 영역에 상응하는 이미지 성질이 합성 이미지라면, 팔렛티드 PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩한다(S640). 변화 영역의 사이즈가 기준값 이상으로 크고 변화 영역에 상응하는 이미지 성질이 합성 이미지(synthetic image)인 경우에는 데이터의 크기를 줄일 수 있는 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 변화 영역을 인코딩할 수 있다.
이 후, 클라우드 스트리밍 서버는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전달한다(S650). 스틸 이미지 인코딩하여 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
도 7은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 7을 참조하면, 본 발명의 일실시예에 다른 클라우드 스트리밍 서비스 시스템은 클라우드 스트리밍 서버(710), 단말 장치들(720-1, …, 720-N) 및 네트워크(730)를 포함한다.
클라우드 스트리밍 서버(710)는 단말 장치들(720-1, …, 720-N)로부터 클라우드 스트리밍 서비스 요청을 받아 어플리케이션을 실행하고, 어플리케이션 실행 결과에 해당하는 실행 결과 화면을 단말 장치들(720-1, …, 720-N)에게 제공한다.
클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법을 적용하기 때문에 메뉴 디스플레이와 같은 정적인 화면에 대해서 클라우드 스트리밍 기법을 적용하는 경우에도 불필요하게 화면 전체를 캡처하여 비디오 코덱으로 인코딩하는 비효율적인 방법으로 클라우드 스트리밍 서비스를 수행하였다. 이러한 문제점을 해결하기 위해 본 발명은 메뉴 디스플레이 화면과 같이 프레임간 변화가 크지 않은 경우에는 클라우드 스트리밍 서버가 프레임간 변화를 검출하고, 검출된 변화 영역만을 스틸 이미지 압축 기법으로 인코딩하는 클라우드 스트리밍 시스템을 제공한다.
클라우드 스트리밍 서버(710)는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다. 이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 이 때, 단말 장치들(720-1, …, 720-N)로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. 이 때, 단말 장치들(720-1, …, 720-N)로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 클라우드 스트리밍 서버(710)는 변화 영역에 상응하는 이미지의 컬러 개수 및 이미지 화소값의 표준 편차 중 하나 이상을 고려하여 결정한 이미지 타입에 따라 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다. 이 때, 자연 이미지(natural image) 및 합성 이미지(synthetic image) 중 어느 하나의 이미지 타입에 따라 스틸 이미지 압축 기법을 선택할 수 있다. 이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수를 초과하는 경우 이미지 타입을 자연 이미지로 결정할 수 있다. 이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수 이하인 경우 변화 영역에 상응하는 이미지 화소값의 표준 편차를 고려하여 이미지 타입을 결정할 수 있다. 이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수 이하이고, 변화 영역에 상응하는 이미지 화소값의 표준 편차가 기설정된 기준 값 이하인 경우 이미지 타입을 합성 이미지로 결정할 수 있다. 이 때, 변화 영역에 상응하는 이미지 화소값의 표준 편차가 기설정된 기준 값을 초과하는 경우 이미지 타입을 자연 이미지로 결정할 수 있다. 이 때, 이미지 타입에 따라 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다.
또한, 클라우드 스트리밍 서버(710)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다.
단말 장치들(720-1, …, 720-N)은 클라우드 스트리밍 서버(710)로부터 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하여 사용자에게 제공한다.
단말 장치들(720-1, …, 720-N)은 각각 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말 장치들(720-1, …, 720-N)은 각각 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.
네트워크(730)는 클라우드 스트리밍 서버(710)및 단말 장치들(720-1, …, 720-N) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(730)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크(730)의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 7에서 클라우드 스트리밍 서버(710)와 단말 장치들(720-1, …, 720-N) 사이에 사용되는 네트워크는 단말 장치들(720-1, …, 720-N) 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.
도 8은 도 7에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 8을 참조하면, 도 7에 도시된 클라우드 스트리밍 서버(710)는 캡처부(810), 인코딩부(820), 센딩부(830) 및 저장부(840)를 포함한다.
클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법을 적용하기 때문에 메뉴 디스플레이와 같은 정적인 화면에 대해서 클라우드 스트리밍 기법을 적용하는 경우에도 불필요하게 화면 전체를 캡처하여 비디오 코덱으로 인코딩하는 비효율적인 방법으로 클라우드 스트리밍 서비스를 수행하였다. 이러한 문제점을 해결하기 위해 본 발명은 메뉴 디스플레이 화면과 같이 프레임간 변화가 크지 않은 경우에는 클라우드 스트리밍 서버가 프레임간 변화를 검출하고, 검출된 변화 영역만을 스틸 이미지 압축 기법으로 인코딩하는 클라우드 스트리밍 서버(710)를 제공한다.
캡처부(810)는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다. 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.
이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 사이즈나 변화 영역에 상응하는 이미지의 성질이 다양할 수 있다.
이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다.
이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.
인코딩부(820)는 변화 영역에 상응하는 이미지의 컬러 개수 및 이미지 화소값의 표준 편차 중 하나 이상을 고려하여 결정한 이미지 타입에 따라 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다. 예를 들어, 캡처된 변화 영역의 이미지 타입이 하나의 사진이나 그림과 같은 타입이거나 또는 여러 개의 이미지가 합쳐져서 만들어진 이미지일 수 있기 때문에, 이미지 타입을 결정하고 각각의 이미지 타입에 적합한 스틸 이미지 압축 기법을 선택하여 스틸 이미지 인코딩을 수행함으로써 변화 영역의 압축 효율을 상승시킬 수 있다.
이 때, 자연 이미지(natural image) 및 합성 이미지(synthetic image) 중 어느 하나의 이미지 타입에 따라 스틸 이미지 압축 기법을 선택할 수 있다. 자연 이미지는 자연적으로 발생한 객체의 이미지를 의미할 수 있다. 예를 들어, 하나의 사진이나 그림과 같은 광학 이미지뿐 아니라 엑스레이와 적외선 같은 다른 파장의 이미지들을 의미할 수도 있다. 합성 이미지는 자연 이미지와 다르게 컴퓨터나 인위적 수단을 통해 생성되거나 합성된 이미지를 의미할 수 있다.
이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수를 초과하는 경우 이미지 타입을 자연 이미지로 결정할 수 있다. 자연 이미지의 경우 자연적으로 발생한 객체에 대한 이미지일 수 있기 때문에, 이미지를 표현하는 컬러에 적용된 명도와 채도의 변화가 합성 이미지보다 정교할 수 있다. 따라서, 자연 이미지를 나타내기 위해 구성된 화소들이 표현하는 컬러의 개수가 합성 이미지보다 다양할 수 있기 때문에, 변화 영역에 상응하는 이미지의 컬러 개수를 고려하여 변화 영역에 상응하는 이미지 타입을 결정할 수 있다. 예를 들어, 기설정된 기준 개수를 10만개라고 설정하였다면, 변화 영역에 상응하는 이미지를 구성하는 컬러의 개수가 10만개를 초과하는 경우에는 이미지 타입을 자연 이미지로 결정하고, 10만개 이하인 경우에는 이미지 타입을 합성 이미지로 결정할 수 있다.
이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수 이하인 경우 변화 영역에 상응하는 이미지 화소값의 표준 편차를 고려하여 이미지 타입을 결정할 수 있다. 화소값의 표준 편차는 변화 영역에 상응하는 이미지를 구성하는 화소들이 나타내는 컬러값의 분포도일 수 있다. 만약 컬러값의 분포도가 0이라면 모든 컬러가 같은 값이라는 의미일 수 있기 때문에, 컬러값의 분포도, 즉 화소값의 표준 편차가 작다는 것은 이미지를 구성하는 컬러의 개수가 적다는 의미와 상통할 수 있다. 따라서, 이와 같은 이미지 화소값의 표준 편차를 고려하여 변화 영역에 상응하는 이미지의 이미지 타입을 결정할 수 있다.
이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수 이하이고, 변화 영역에 상응하는 이미지 화소값의 표준 편차가 기설정된 기준 값 이하인 경우 이미지 타입을 합성 이미지로 결정할 수 있다. 예를 들어, 이미지의 컬러 개수에 대해서 기설정된 기준 개수가 10만개이고, 이미지 화소값의 표준 편차에 대해 기설정된 기준 값이 N이라고 가정할 수 있다. 이 때, 변화 영역에 상응하는 이미지를 구성하는 컬러의 개수가 10만개 이하이면서, 변화 영역에 상응하는 이미지를 구성하는 화소들이 나타내는 컬러값의 분포도가 N보다 작은 값일 경우 변화 영역에 상응하는 이미지의 이미지 타입을 합성 이미지로 결정할 수 있다.
이 때, 변화 영역에 상응하는 이미지 화소값의 표준 편차가 기설정된 기준 값을 초과하는 경우 이미지 타입을 자연 이미지로 결정할 수 있다. 예를 들어, 변화 영역을 상응하는 이미지 화소값의 표준 편차가 기설정된 기준값을 초과한다면 그만큼 이미지를 구성하는 컬러의 개수가 많다는 의미일 수 있다. 따라서, 이미지 화소값의 표준 편차가 기설정된 기준값을 초과한다면, 변화 영역에 상응하는 이미지가 많은 컬러로 구성된 자연 이미지라고 판단할 수 있다.
이 때, 이미지 타입에 따라 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다.
PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송 망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있는 기법이며, JPEG 스틸 이미지 압축 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있는 기법이다. 또한, JPEG 스틸 이미지 압축 기법은 한 픽셀 주위에 서로 비슷한 색이 모여 있는 자연 이미지를 압축하였을 때 압축 효율이 더 효과적일 수 있다. 따라서, 변화 영역에 상응하는 이미지 타입이 자연 이미지인 경우에는 JPEG 스틸 이미지 압축 기법으로 변화 영역을 인코딩할 수 있다.
또한, 변화 영역이 합성 이미지인 경우에는 JPEG 스틸 이미지 압축 기법을 사용하더라도 자연 이미지처럼 압축 효율을 기대하기 어려울 수 있다. 따라서, 변화 영역에 상응하는 이미지의 이미지 타입이 합성 이미지인 경우에는 이미지의 화질을 높일 수 있는 PNG 스틸 이미지 압축 기법을 선택하여 변화 영역의 스틸 이미지 인코딩을 수행할 수 있다.
또한, 변화 영역이 합성 이미지이고 변화 영역의 사이즈가 커서 데이터가 큰 경우에는 데이터의 크기를 줄일 수 있는 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법을 이용하여 변화 영역을 인코딩할 수 있다. 팔렛티드 PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 데이터 크기가 줄어들어 전송 속도는 보장할 수 있지만, 8비트로 색상을 표현하기 때문에 이미지 화질에 열화를 가져올 수 있다.
센딩부(830)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다. 인코딩을 완료함으로써 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
저장부(840)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.
실시예에 따라, 저장부(840)는 클라우드 스트리밍 서버(710)와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부(840)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버(710)는 하나 이상의 서버로 구현될 수 있다.
한편, 클라우드 스트리밍 서버(710)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
도 9는 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법은 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S910). 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.
이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 사이즈나 변화 영역에 상응하는 이미지의 성질이 다양할 수 있다.
이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다.
이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법은 변화 영역에 상응하는 이미지의 컬러 개수 및 이미지 화소값의 표준 편차 중 하나 이상을 고려하여 결정한 이미지 타입에 따라 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다(S920). 예를 들어, 캡처된 변화 영역의 이미지 타입이 하나의 사진이나 그림과 같은 타입이거나 또는 여러 개의 이미지가 합쳐져서 만들어진 이미지일 수 있기 때문에, 이미지 타입을 결정하고 각각의 이미지 타입에 적합한 스틸 이미지 압축 기법을 선택하여 스틸 이미지 인코딩을 수행함으로써 변화 영역의 압축 효율을 상승시킬 수 있다.
이 때, 자연 이미지(natural image) 및 합성 이미지(synthetic image) 중 어느 하나의 이미지 타입에 따라 스틸 이미지 압축 기법을 선택할 수 있다. 자연 이미지는 자연적으로 발생한 객체의 이미지를 의미할 수 있다. 예를 들어, 하나의 사진이나 그림과 같은 광학 이미지뿐 아니라 엑스레이와 적외선 같은 다른 파장의 이미지들을 의미할 수도 있다. 합성 이미지는 자연 이미지와 다르게 컴퓨터나 인위적 수단을 통해 생성되거나 합성된 이미지를 의미할 수 있다.
이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수를 초과하는 경우 이미지 타입을 자연 이미지로 결정할 수 있다. 자연 이미지의 경우 자연적으로 발생한 객체에 대한 이미지일 수 있기 때문에, 이미지를 표현하는 컬러에 적용된 명도와 채도의 변화가 합성 이미지보다 정교할 수 있다. 따라서, 자연 이미지를 나타내기 위해 구성된 화소들이 표현하는 컬러의 개수가 합성 이미지보다 다양할 수 있기 때문에, 변화 영역에 상응하는 이미지의 컬러 개수를 고려하여 변화 영역에 상응하는 이미지 타입을 결정할 수 있다. 예를 들어, 기설정된 기준 개수를 10만개라고 설정하였다면, 변화 영역에 상응하는 이미지를 구성하는 컬러의 개수가 10만개를 초과하는 경우에는 이미지 타입을 자연 이미지로 결정하고, 10만개 이하인 경우에는 이미지 타입을 합성 이미지로 결정할 수 있다.
이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수 이하인 경우 변화 영역에 상응하는 이미지 화소값의 표준 편차를 고려하여 이미지 타입을 결정할 수 있다. 화소값의 표준 편차는 변화 영역에 상응하는 이미지를 구성하는 화소들이 나타내는 컬러값의 분포도일 수 있다. 만약 컬러값의 분포도가 0이라면 모든 컬러가 같은 값이라는 의미일 수 있기 때문에, 컬러값의 분포도, 즉 화소값의 표준 편차가 작다는 것은 이미지를 구성하는 컬러의 개수가 적다는 의미와 상통할 수 있다. 따라서, 이와 같은 이미지 화소값의 표준 편차를 고려하여 변화 영역에 상응하는 이미지의 이미지 타입을 결정할 수 있다.
이 때, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수 이하이고, 변화 영역에 상응하는 이미지 화소값의 표준 편차가 기설정된 기준 값 이하인 경우 이미지 타입을 합성 이미지로 결정할 수 있다. 예를 들어, 이미지의 컬러 개수에 대해서 기설정된 기준 개수가 10만개이고, 이미지 화소값의 표준 편차에 대해 기설정된 기준 값이 N이라고 가정할 수 있다. 이 때, 변화 영역에 상응하는 이미지를 구성하는 컬러의 개수가 10만개 이하이면서, 변화 영역에 상응하는 이미지를 구성하는 화소들이 나타내는 컬러값의 분포도가 N보다 작은 값일 경우 변화 영역에 상응하는 이미지의 이미지 타입을 합성 이미지로 결정할 수 있다.
이 때, 변화 영역에 상응하는 이미지 화소값의 표준 편차가 기설정된 기준 값을 초과하는 경우 이미지 타입을 자연 이미지로 결정할 수 있다. 예를 들어, 변화 영역을 상응하는 이미지 화소값의 표준 편차가 기설정된 기준값을 초과한다면 그만큼 이미지를 구성하는 컬러의 개수가 많다는 의미일 수 있다. 따라서, 이미지 화소값의 표준 편차가 기설정된 기준값을 초과한다면, 변화 영역에 상응하는 이미지가 많은 컬러로 구성된 자연 이미지라고 판단할 수 있다.
이 때, 이미지 타입에 따라 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다.
PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송 망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있는 기법이며, JPEG 스틸 이미지 압축 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있는 기법이다. 또한, JPEG 스틸 이미지 압축 기법은 한 픽셀 주위에 서로 비슷한 색이 모여 있는 자연 이미지를 압축하였을 때 압축 효율이 더 효과적일 수 있다. 따라서, 변화 영역에 상응하는 이미지 타입이 자연 이미지인 경우에는 JPEG 스틸 이미지 압축 기법으로 변화 영역을 인코딩할 수 있다.
또한, 변화 영역이 합성 이미지인 경우에는 JPEG 스틸 이미지 압축 기법을 사용하더라도 자연 이미지처럼 압축 효율을 기대하기 어려울 수 있다. 따라서, 변화 영역에 상응하는 이미지의 이미지 타입이 합성 이미지인 경우에는 이미지의 화질을 높일 수 있는 PNG 스틸 이미지 압축 기법을 선택하여 변화 영역의 스틸 이미지 인코딩을 수행할 수 있다.
또한, 변화 영역이 합성 이미지이고 변화 영역의 사이즈가 커서 데이터가 큰 경우에는 데이터의 크기를 줄일 수 있는 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법을 이용하여 변화 영역을 인코딩할 수 있다. 팔렛티드 PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 데이터 크기가 줄어들어 전송 속도는 보장할 수 있지만, 8비트로 색상을 표현하기 때문에 이미지 화질에 열화를 가져올 수 있다.
또한, 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다(S930). 인코딩을 완료함으로써 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
또한, 도 9에는 도시하지 아니하였으나 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.
도 10은 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 이미지 타입에 따른 클라우드 스트리밍 서비스 방법은 먼저 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S1010). 이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다.
이 후, 변화 영역에 상응하는 이미지의 컬러 개수가 기설정된 기준 개수를 초과하는지 여부를 판단한다(S1015).
단계(S1015)의 판단결과 기설정된 기준 개수를 초과하면, 변화 영역의 이미지 타입을 자연 이미지로 판단한다(S1020).
단계(S1015)의 판단결과 기설정된 기준 개수를 초과하지 못하면, 변화 영역에 상응하는 이미지의 화소값의 표준 편차가 기설정된 기준 값을 초과하는지 여부를 판단한다(S1025).
단계(S1025)의 판단결과 기설정된 기준 값을 초과하면, 변화 영역의 이미지 타입을 자연 이미지로 판단한다(S1020).
단계(S1025)의 판단결과 기설정된 기준 값을 초과하지 못하면, 변화 영역의 이미지 타입을 합성 이미지로 판단한다(S1030).
이 후, 결정된 변화 영역의 이미지 타입에 따라 스틸 이미지 압축 기법을 선택한다(S1040). 이 때, PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 선택할 수 있다. 또한, 이미지 타입이 합성 이미지인 경우 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법을 이용할 수도 있다.
이 후, 선택한 스틸 이미지 압축 기법을 이용하여 변화 영역을 스틸 이미지 인코딩한다(S1050).
이 후, 스틸 이미지 인코딩된 변화 영역을 사용자의 단말 장치로 전달한다(S1060). 스틸 이미지 인코딩하여 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
도 11은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 11을 참조하면, 본 발명의 일실시예에 다른 클라우드 스트리밍 서비스 시스템은 클라우드 스트리밍 서버(1110), 단말 장치들(1120-1, …, 1120-N) 및 네트워크(1130)를 포함한다.
클라우드 스트리밍 서버(1110)는 단말 장치들(1120-1, …, 1120-N)로부터 클라우드 스트리밍 서비스 요청을 받아 어플리케이션을 실행하고, 어플리케이션 실행 결과에 해당하는 실행 결과 화면을 단말 장치들(1120-1, …, 1120-N)에게 제공한다.
클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법을 적용하기 때문에 메뉴 디스플레이와 같은 정적인 화면에 대해서 클라우드 스트리밍 기법을 적용하는 경우에도 불필요하게 화면 전체를 캡처하여 비디오 코덱으로 인코딩하는 비효율적인 방법으로 클라우드 스트리밍 서비스를 수행하였다. 이러한 문제점을 해결하기 위해 본 발명은 메뉴 디스플레이 화면과 같이 프레임간 변화가 크지 않은 경우에는 클라우드 스트리밍 서버가 프레임간 변화를 검출하고, 검출된 변화 영역만을 스틸 이미지 압축 기법으로 인코딩하는 클라우드 스트리밍 시스템을 제공한다.
클라우드 스트리밍 서버(1110)는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다. 이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 이 때, 단말 장치들(1120-1, …, 1120-N)로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. 이 때, 단말 장치들(1120-1, …, 1120-N)로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 클라우드 스트리밍 서버(1110)는 클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다. 이 때, PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 압축할 수 있다. 이 때, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 미만인 경우 JPEG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 이 때, 클라우드 스트리밍 서버 부하의 크기가 상기 기설정된 기준값 이상인 경우 네트워크의 데이터 처리율을 고려하여 스틸 이미지 압축 기법을 선택할 수 있다. 이 때, 네트워크의 데이터 처리율이 기설정된 처리율 미만일 경우 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 이 때, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상이고, 네트워크의 데이터 처리율이 기설정된 처리율 이상인 경우 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다.
또한, 클라우드 스트리밍 서버(1110)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다.
단말 장치들(1120-1, …, 1120-N)은 클라우드 스트리밍 서버(1110)로부터 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하여 사용자에게 제공한다.
단말 장치들(1120-1, …, 1120-N)은 각각 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말 장치들(1120-1, …, 1120-N)은 각각 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.
네트워크(1130)는 클라우드 스트리밍 서버(1110)및 단말 장치들(1120-1, …, 1120-N) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(1130)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크(1130)의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 11에서 클라우드 스트리밍 서버(1110)와 단말 장치들(1120-1, …, 1120-N) 사이에 사용되는 네트워크는 단말 장치들(1120-1, …, 1120-N) 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.
도 12는 도 11에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 12를 참조하면, 도 11에 도시된 클라우드 스트리밍 서버(1110)는 캡처부(1210), 인코딩부(1220), 센딩부(1230) 및 저장부(1240)를 포함한다.
클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법을 적용하기 때문에 메뉴 디스플레이와 같은 정적인 화면에 대해서 클라우드 스트리밍 기법을 적용하는 경우에도 불필요하게 화면 전체를 캡처하여 비디오 코덱으로 인코딩하는 비효율적인 방법으로 클라우드 스트리밍 서비스를 수행하였다. 이러한 문제점을 해결하기 위해 본 발명은 메뉴 디스플레이 화면과 같이 프레임간 변화가 크지 않은 경우에는 클라우드 스트리밍 서버가 프레임간 변화를 검출하고, 검출된 변화 영역만을 스틸 이미지 압축 기법으로 인코딩하는 클라우드 스트리밍 서버(1110)를 제공한다.
캡처부(1210)는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다. 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.
이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 사이즈나 변화 영역에 상응하는 이미지의 성질이 다양할 수 있다.
이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다.
이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.
인코딩부(1220)는 클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다.
클라우드 스트리밍 서버 부하는 클라우드 스트리밍 서버에서 원하는 어떤 효과를 얻기 위해 서버에서 취하는 행동에 필요한 동작이나 자원으로, 예를 들어 변화 영역에 해당하는 스틸 이미지를 인코딩하거나 디코딩할 때 클라우드 스트리밍 서버 부하가 커질 수 있다. 이 때, 클라우드 스트리밍 서버 부하의 한계는 서버를 구성하는 하드웨어 기기에 따라 다양하게 존재할 수 있으며, 만약 클라우드 스트리밍 서버 부하의 한계를 초과하는 명령이 입력된다면 서버의 성능이 저하되는 병목 현상이 발생할 수 있다. 따라서, 클라우드 스트리밍 서비스 시 클라우드 스트리밍 서버 부하의 크기를 고려하여 상황에 따라 서버 부하가 작은 스틸 이미지 압축 기법을 선택할 수 있다.
또한, 네트워크의 데이터 처리율은 동일한 네트워크 대역을 기반으로 데이터가 처리되는 비율로, 네트워크의 데이터 처리율 또한 네트워크 대역 이상의 데이터 처리가 요청되는 경우에 병목현상이 발생할 수 있다. 따라서, 네트워크의 데이터 처리율을 확인하여 클라우드 스트리밍 서비스 시 데이터 크기를 줄일 수 있는 스틸 이미지 압축 기법을 선택하여 인코딩을 수행할 수 있다.
이 때, PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 압축할 수 있다. PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 팔렛티드 PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 데이터 크기가 줄어들어 전송 속도는 보장할 수 있지만, 8비트로 색상을 표현하기 때문에 이미지 화질에 열화를 가져올 수 있다. JPEG 스틸 이미지 압축 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다.
이 때, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 미만인 경우 JPEG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. JPEG 스틸 이미지 압축 기법은 상대적으로 PNG 스틸 이미지 압축 기법 및 팔렛티드 스틸 이미지 압축 기법보다 압축률이 높기 때문에 서버에서 인코딩을 수행하거나, 클라이언트에서 디코딩을 수행할 때 큰 부하를 발생시킬 수 있다. 따라서, 클라우드 스트리밍 서버 부하의 크기가 크지 않을 때 JPEG 스틸 이미지 압축 기법을 통해 변화영역을 인코딩할 수 있다. 또한, JPEG 스틸 이미지 압축 기법은 압축률이 좋기 때문에 데이터의 크기를 감소시킬 수 있으므로, 네트워크의 데이터 처리량이 많을 때 사용하여 네트워크의 데이터 처리량이 늘어나는 것을 방지할 수 있다.
이 때, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상인 경우 네트워크 데이터 처리율을 고려하여 스틸 이미지 압축 기법을 선택할 수 있다. 예를 들어, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상일 때에는 PNG 스틸 이미지 압축 기법 및 팔렛티드 PNG 스틸 이미지 압축 기법 중 어느 하나를 선택하여 변화 영역을 인코딩할 수 있다. 이 때, PNG 스틸 이미지 압축 기법과 팔렛티드 PNG 스틸 이미지 압축 기법 중 어느 기법을 선택하느냐에 따라 전송되는 데이터의 크기가 상이할 수 있기 때문에 네트워크 데이터 처리율을 고려하여 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 네트워크의 데이터 처리율이 기설정된 처리율 미만일 경우 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 예를 들어, PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩하는 경우에는 사용자 단말 장치로 제공되는 변화 영역의 화질은 좋을 수 있지만, 그만큼 전송되는 데이터의 크기가 커져서 네트워크의 대역이 낮은 경우 서비스 속도가 저하될 수 있다. 따라서, 네트워크의 데이터 처리율이 낮아 네트워크가 원활한 경우에는 서비스의 화질을 높일 수 있는 PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩할 수 있다. 또한, PNG 스틸 이미지 압축 기법은 인코딩 및 디코딩시에 부하가 크지 않기 때문에, 클라우드 스트리밍 서버 부하가 큰 경우에는 PNG 스틸 이미지 압축 기법으로 인코딩을 수행하여 서버의 부하가 더 커지는 것을 방지할 수 있다.
이 때, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상이고, 네트워크의 데이터 처리율이 기설정된 처리율 이상인 경우 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 예를 들어, 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩하는 경우에는 화질의 열화가 발생할 수는 있지만, 전송되는 데이터의 크기를 줄어들 수 있다. 따라서, 네트워크의 데이터 처리율이 높아서 병목이 발생할 가능성이 있는 경우에는 데이터의 크기를 줄일 수 있는 팔렛티드 PNG 스틸 이미지 압축 기법을 선택하여 변화 영역을 인코딩함으로써 데이터 전송량이 더 늘어나는 것을 방지할 수 있다.
또한, 변화 영역을 인코딩할 스틸 이미지 압축 기법을 결정하기 위해서 클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율을 고려하는 순서는 클라우드 스트리밍 서비스에 따라 상이하게 결정될 수 있다.
센딩부(1230)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다. 인코딩을 완료함으로써 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
저장부(1240)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.
실시예에 따라, 저장부(1240)는 클라우드 스트리밍 서버(1110)와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부(1240)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버(1110)는 하나 이상의 서버로 구현될 수 있다.
한편, 클라우드 스트리밍 서버(1110)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
도 13은 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S1310). 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.
이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 사이즈나 변화 영역에 상응하는 이미지의 성질이 다양할 수 있다.
이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다.
이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은 클라우드 스트리밍 서버 부하의 크기 및 네트워크 데이터 처리율 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다(S1320).
클라우드 스트리밍 서버 부하는 클라우드 스트리밍 서버에서 원하는 어떤 효과를 얻기 위해 서버에서 취하는 행동에 필요한 동작이나 자원으로, 예를 들어 변화 영역에 해당하는 스틸 이미지를 인코딩하거나 디코딩할 때 클라우드 스트리밍 서버 부하가 커질 수 있다. 이 때, 클라우드 스트리밍 서버 부하의 한계는 서버를 구성하는 하드웨어 기기에 따라 다양하게 존재할 수 있으며, 만약 클라우드 스트리밍 서버 부하의 한계를 초과하는 명령이 입력된다면 서버의 성능이 저하되는 병목 현상이 발생할 수 있다. 따라서, 클라우드 스트리밍 서비스 시 클라우드 스트리밍 서버 부하의 크기를 고려하여 상황에 따라 서버 부하가 작은 스틸 이미지 압축 기법을 선택할 수 있다.
또한, 네트워크의 데이터 처리율은 동일한 네트워크 대역을 기반으로 데이터가 처리되는 비율로, 네트워크의 데이터 처리율 또한 네트워크 대역 이상의 데이터 처리가 요청되는 경우에 병목현상이 발생할 수 있다. 따라서, 네트워크의 데이터 처리율을 확인하여 클라우드 스트리밍 서비스 시 데이터 크기를 줄일 수 있는 스틸 이미지 압축 기법을 선택하여 인코딩을 수행할 수 있다.
이 때, PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 변화 영역을 압축할 수 있다. PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 화질은 좋으나 데이터의 크기가 커져서 전송망의 대역폭이 낮은 경우에는 전송 속도가 저하될 수 있다. 팔렛티드 PNG 스틸 이미지 압축 기법은 인코딩 시 이미지의 데이터 크기가 줄어들어 전송 속도는 보장할 수 있지만, 8비트로 색상을 표현하기 때문에 이미지 화질에 열화를 가져올 수 있다. JPEG 스틸 이미지 압축 기법은 압축 효율이 좋아서 인코딩 시 전송 데이터 량을 대폭 줄일 수 있으나, 압축 효율이 큰 만큼 인코딩 및 디코딩을 수행할 때 시스템 부하를 많이 발생시킬 수 있다.
이 때, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 미만인 경우 JPEG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. JPEG 스틸 이미지 압축 기법은 상대적으로 PNG 스틸 이미지 압축 기법 및 팔렛티드 스틸 이미지 압축 기법보다 압축률이 높기 때문에 서버에서 인코딩을 수행하거나, 클라이언트에서 디코딩을 수행할 때 큰 부하를 발생시킬 수 있다. 따라서, 클라우드 스트리밍 서버 부하의 크기가 크지 않을 때 JPEG 스틸 이미지 압축 기법을 통해 변화영역을 인코딩할 수 있다. 또한, JPEG 스틸 이미지 압축 기법은 압축률이 좋기 때문에 데이터의 크기를 감소시킬 수 있으므로, 네트워크의 데이터 처리량이 많을 때 사용하여 네트워크의 데이터 처리량이 늘어나는 것을 방지할 수 있다.
이 때, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상인 경우 네트워크 데이터 처리율을 고려하여 스틸 이미지 압축 기법을 선택할 수 있다. 예를 들어, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상일 때에는 PNG 스틸 이미지 압축 기법 및 팔렛티드 PNG 스틸 이미지 압축 기법 중 어느 하나를 선택하여 변화 영역을 인코딩할 수 있다. 이 때, PNG 스틸 이미지 압축 기법과 팔렛티드 PNG 스틸 이미지 압축 기법 중 어느 기법을 선택하느냐에 따라 전송되는 데이터의 크기가 상이할 수 있기 때문에 네트워크 데이터 처리율을 고려하여 스틸 이미지 압축 기법을 선택할 수 있다.
이 때, 네트워크의 데이터 처리율이 기설정된 처리율 미만일 경우 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 예를 들어, PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩하는 경우에는 사용자 단말 장치로 제공되는 변화 영역의 화질은 좋을 수 있지만, 그만큼 전송되는 데이터의 크기가 커져서 네트워크의 대역이 낮은 경우 서비스 속도가 저하될 수 있다. 따라서, 네트워크의 데이터 처리율이 낮아 네트워크가 원활한 경우에는 서비스의 화질을 높일 수 있는 PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩할 수 있다. 또한, PNG 스틸 이미지 압축 기법은 인코딩 및 디코딩시에 부하가 크지 않기 때문에, 클라우드 스트리밍 서버 부하가 큰 경우에는 PNG 스틸 이미지 압축 기법으로 인코딩을 수행하여 서버의 부하가 더 커지는 것을 방지할 수 있다.
이 때, 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상이고, 네트워크의 데이터 처리율이 기설정된 처리율 이상인 경우 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩할 수 있다. 예를 들어, 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩하는 경우에는 화질의 열화가 발생할 수는 있지만, 전송되는 데이터의 크기를 줄어들 수 있다. 따라서, 네트워크의 데이터 처리율이 높아서 병목이 발생할 가능성이 있는 경우에는 데이터의 크기를 줄일 수 있는 팔렛티드 PNG 스틸 이미지 압축 기법을 선택하여 변화 영역을 인코딩함으로써 데이터 전송량이 더 늘어나는 것을 방지할 수 있다.
또한, 변화 영역을 인코딩할 스틸 이미지 압축 기법을 결정하기 위해서 클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율을 고려하는 순서는 클라우드 스트리밍 서비스에 따라 상이하게 결정될 수 있다.
또한, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다(S1330). 스틸 이미지 인코딩하여 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
도 14는 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 14를 참조하면, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스 방법은 먼저 클라우드 스트리밍 서버에서 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S1410). 이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. 이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다.
클라우드 스트리밍 서버는 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 미만인지 여부를 판단한다(S1415).
단계(S1415)의 판단결과 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 미만이라면, 변화 영역을 JPEG 스틸 이미지 압축 기법으로 인코딩한다(S1420). JPEG 스틸 이미지 압축 기법은 상대적으로 PNG 스틸 이미지 압축 기법 및 팔렛티드 스틸 이미지 압축 기법보다 압축률이 높기 때문에 서버에서 인코딩을 수행하거나, 클라이언트에서 디코딩을 수행할 때 큰 부하를 발생시킬 수 있다. 따라서, 클라우드 스트리밍 서버 부하의 크기가 크지 않을 때 JPEG 스틸 이미지 압축 기법을 통해 변화영역을 인코딩할 수 있다.
단계(S1415)의 판단결과 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상이라면, 네트워크의 데이터 처리율이 기설정된 처리율 미만인지 여부를 판단한다(S1425).
단계(S1425)의 판단결과 네트워크의 데이터 처리율이 기설정된 처리율 미만이라면, PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩한다(S1430). PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩하는 경우에는 사용자 단말 장치로 제공되는 변화 영역의 화질은 좋을 수 있지만, 그만큼 전송되는 데이터의 크기가 커져서 네트워크의 대역이 낮은 경우 서비스 속도가 저하될 수 있다. 따라서, 네트워크의 데이터 처리율이 낮아 네트워크가 원활한 경우에는 서비스의 화질을 높일 수 있는 PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩할 수 있다.
단계(S1425)의 판단결과 네트워크의 데이터 처리율이 기설정된 처리율 이상이라면, 팔렛티드 PNG 스틸 이미지 압축 기법으로 변화 영역을 인코딩한다(S1440). 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 변화 영역을 인코딩하는 경우에는 화질의 열화가 발생할 수는 있지만, 전송되는 데이터의 크기를 줄어들 수 있다. 따라서, 네트워크의 데이터 처리율이 높아서 병목이 발생할 가능성이 있는 경우에는 데이터의 크기를 줄일 수 있는 팔렛티드 PNG 스틸 이미지 압축 기법을 선택하여 변화 영역을 인코딩함으로써 데이터 전송량이 더 늘어나는 것을 방지할 수 있다.
이 후, 클라우드 스트리밍 서버는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전달한다(S1450). 스틸 이미지 인코딩하여 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명에 의하면 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 변화 영역의 사이즈 및 변화 영역에 상응하는 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지 압축 기법을 선택하고, 선택한 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다. 나아가, 스틸 이미지 기반 클라우드 스트리밍 서비스를 통해서 스트리밍 압축 효율을 극대화하고, 동일한 대역을 통해 보다 빠르고 보다 많은 사용자를 대상으로 클라우드 스트리밍 서비스를 제공할 수 있기 때문에 클라우드 스트리밍 서비스 제공자는 대역 확장이 필요한 자원을 절약하면서 사용자들에게 효율적인 서비스를 제공할 수 있다.
또한, 본 발명에 의하면 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 변화 영역에 상응하는 이미지의 컬러 개수 및 이미지 화소값의 표준 편차 중 하나 이상을 고려하여 결정한 이미지 타입에 따라 스틸 이미지(still image) 압축 기법을 선택하고, 선택한 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다. 나아가, 이미지 타입에 따른 클라우드 스트리밍 서비스를 통해서 스트리밍 압축 효율을 극대화하고, 동일한 대역을 통해 보다 빠르고 보다 많은 사용자를 대상으로 클라우드 스트리밍 서비스를 제공할 수 있기 때문에 클라우드 스트리밍 서비스 제공자는 대역 확장이 필요한 자원을 절약하면서 사용자들에게 효율적인 서비스를 제공할 수 있다.
또한, 본 발명에 의하면 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율 중 어느 하나 이상을 고려하여 스틸 이미지 압축 기법을 선택하고, 선택한 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다. 나아가, 스틸 이미지 기반 클라우드 스트리밍 서비스를 통해서 스트리밍 압축 효율을 극대화하고, 동일한 대역을 통해 보다 빠르고 보다 많은 사용자를 대상으로 클라우드 스트리밍 서비스를 제공할 수 있기 때문에 클라우드 스트리밍 서비스 제공자는 대역 확장이 필요한 자원을 절약하면서 사용자들에게 효율적인 서비스를 제공할 수 있다.

Claims (20)

  1. 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부;
    상기 변화 영역의 사이즈 및 상기 변화 영역에 상응하는 이미지 성질 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및
    스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부
    를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  2. 청구항 1에 있어서,
    상기 인코딩부는
    PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 상기 변화 영역을 압축하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  3. 청구항 2에 있어서,
    상기 인코딩부는
    상기 변화 영역의 사이즈가 기설정된 기준값 미만인 경우 상기 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  4. 청구항 3에 있어서,
    상기 인코딩부는
    상기 변화 영역의 사이즈가 상기 기준값 이상인 경우 상기 이미지 성질을 고려하여 상기 스틸 이미지 압축 기법을 선택하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  5. 청구항 2에 있어서,
    상기 인코딩부는
    상기 이미지 성질이 자연 이미지(natural image)인 경우 상기 JPEG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  6. 청구항 5에 있어서,
    상기 인코딩부는
    상기 변화 영역의 사이즈가 기설정된 기준값 이상이고, 상기 이미지 성질이 합성 이미지(synthetic image)인 경우 상기 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  7. 청구항 6에 있어서,
    상기 인코딩부는
    상기 이미지 성질이 상기 자연 이미지와 상기 합성 이미지(synthetic image)가 혼합된 이미지인 경우, 상기 변화 영역 중 상기 자연 이미지에 상응하는 영역과 상기 변화 영역 중 상기 합성 이미지에 상응하는 영역을 비교하여 더 많은 영역에 상응하는 이미지 성질에 따라 상기 스틸 이미지 압축 기법을 선택하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  8. 청구항 1에 있어서,
    상기 캡처부는
    상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  9. 청구항 8에 있어서,
    상기 캡처부는
    상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  10. 청구항 9에 있어서,
    상기 캡처부는
    상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  11. 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부;
    상기 변화 영역에 상응하는 이미지의 컬러 개수 및 이미지 화소값의 표준 편차 중 하나 이상을 고려하여 결정한 이미지 타입에 따라 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및
    스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부
    를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  12. 청구항 11에 있어서,
    상기 인코딩부는
    자연 이미지(natural image) 및 합성 이미지(synthetic image) 중 어느 하나의 이미지 타입에 따라 상기 스틸 이미지 압축 기법을 선택하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  13. 청구항 12에 있어서,
    상기 인코딩부는
    상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 기설정된 기준 개수를 초과하는 경우 상기 이미지 타입을 상기 자연 이미지로 결정하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  14. 청구항 13에 있어서,
    상기 인코딩부는
    상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 상기 기설정된 기준 개수 이하인 경우 상기 변화 영역에 상응하는 상기 이미지 화소값의 표준 편차를 고려하여 상기 이미지 타입을 결정하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  15. 청구항 14에 있어서,
    상기 인코딩부는
    상기 변화 영역에 상응하는 상기 이미지의 컬러 개수가 상기 기설정된 기준 개수 이하이고, 상기 변화 영역에 상응하는 상기 이미지 화소값의 표준 편차가 기설정된 기준 값 이하인 경우 상기 이미지 타입을 상기 합성 이미지로 결정하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  16. 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부;
    클라우드 스트리밍 서버 부하의 크기 및 네트워크의 데이터 처리율 중 어느 하나 이상을 고려하여 스틸 이미지(still image) 압축 기법을 선택하고, 상기 스틸 이미지 압축 기법을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및
    스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부
    를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  17. 청구항 16에 있어서,
    상기 인코딩부는
    PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나의 스틸 이미지 압축 기법을 이용하여 상기 변화 영역을 압축하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  18. 청구항 17에 있어서,
    상기 인코딩부는
    상기 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 미만인 경우 상기 JPEG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  19. 청구항 18에 있어서,
    상기 인코딩부는
    상기 클라우드 스트리밍 서버 부하의 크기가 상기 기설정된 기준값 이상인 경우 상기 네트워크의 데이터 처리율을 고려하여 상기 스틸 이미지 압축 기법을 선택하는 것을 특징으로 하는 클라우드 스트리밍 서버.
  20. 청구항 17에 있어서,
    상기 인코딩부는
    상기 네트워크의 데이터 처리율이 기설정된 처리율 미만인 경우 상기 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩하고, 상기 클라우드 스트리밍 서버 부하의 크기가 기설정된 기준값 이상이고,
    상기 네트워크의 데이터 처리율이 상기 기설정된 처리율 이상인 경우 상기 팔렛티드 PNG 스틸 이미지 압축 기법을 적용하여 상기 변화 영역을 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버.
PCT/KR2015/006952 2014-07-30 2015-07-06 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 WO2016017953A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15826754.2A EP3177023B1 (en) 2014-07-30 2015-07-06 Apparatus for cloud streaming service
JP2017504729A JP6527579B2 (ja) 2014-07-30 2015-07-06 クラウドストリーミングサービスシステム、スチールイメージ基盤クラウドストリーミングサービス方法及びそのための装置
CN201580041775.6A CN106664439B (zh) 2014-07-30 2015-07-06 云流服务器
US15/416,307 US10462200B2 (en) 2014-07-30 2017-01-26 System for cloud streaming service, method for still image-based cloud streaming service and apparatus therefor

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20140097322 2014-07-30
KR10-2014-0097322 2014-07-30
KR10-2014-0110551 2014-08-25
KR1020140110551A KR102199270B1 (ko) 2014-07-30 2014-08-25 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR10-2014-0139556 2014-10-16
KR1020140139556A KR102273143B1 (ko) 2014-10-16 2014-10-16 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR1020140156004A KR102232899B1 (ko) 2014-07-30 2014-11-11 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR10-2014-0156004 2014-11-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/416,307 Continuation US10462200B2 (en) 2014-07-30 2017-01-26 System for cloud streaming service, method for still image-based cloud streaming service and apparatus therefor

Publications (1)

Publication Number Publication Date
WO2016017953A1 true WO2016017953A1 (ko) 2016-02-04

Family

ID=55217790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006952 WO2016017953A1 (ko) 2014-07-30 2015-07-06 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치

Country Status (1)

Country Link
WO (1) WO2016017953A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098715A1 (zh) * 2022-11-11 2024-05-16 苏州元脑智能科技有限公司 一种基板管理控制芯片的视频压缩方法、系统及相关组件

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130011714A (ko) * 2011-07-22 2013-01-30 에스케이플래닛 주식회사 화면 가상화 기반 어플리케이션 구동 시스템 및 방법
KR101312268B1 (ko) * 2010-12-24 2013-09-25 주식회사 케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템
KR20140034603A (ko) * 2012-09-12 2014-03-20 삼성전자주식회사 멀티 세션 관리 방법 및 장치
KR20140035707A (ko) * 2012-09-14 2014-03-24 한국전자통신연구원 가상화 시스템 및 가상화 서비스 제공방법
KR20140093849A (ko) * 2013-01-18 2014-07-29 한국과학기술원 Ｄｏｍ 변이 이벤트 기반 웹 화면 스트리밍 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312268B1 (ko) * 2010-12-24 2013-09-25 주식회사 케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템
KR20130011714A (ko) * 2011-07-22 2013-01-30 에스케이플래닛 주식회사 화면 가상화 기반 어플리케이션 구동 시스템 및 방법
KR20140034603A (ko) * 2012-09-12 2014-03-20 삼성전자주식회사 멀티 세션 관리 방법 및 장치
KR20140035707A (ko) * 2012-09-14 2014-03-24 한국전자통신연구원 가상화 시스템 및 가상화 서비스 제공방법
KR20140093849A (ko) * 2013-01-18 2014-07-29 한국과학기술원 Ｄｏｍ 변이 이벤트 기반 웹 화면 스트리밍 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098715A1 (zh) * 2022-11-11 2024-05-16 苏州元脑智能科技有限公司 一种基板管理控制芯片的视频压缩方法、系统及相关组件

Similar Documents

Publication Publication Date Title
WO2019125010A1 (en) Method and apparatus for handling duplicate points in point cloud compression
WO2015182869A1 (en) Display apparatus and method thereof
WO2018034462A1 (en) Image display apparatus and method of operating the same
WO2017164640A1 (en) System and method for editing video contents automatically technical field
WO2016010319A2 (ko) 클라우드 스트리밍 서비스 시스템, 메모리 병목 현상을 방지하기 위한 데이터 압축 방법 및 이를 위한 장치
WO2015009107A1 (en) Method and apparatus for generating 3k-resolution display image for mobile terminal screen
WO2016175467A1 (en) Source device and control method thereof, and sink device and image quality improvement processing method thereof
WO2015174753A1 (en) Content output apparatus, mobile apparatus, and controlling methods thereof
WO2015137604A1 (ko) 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템
EP3138300A1 (en) Content output apparatus, mobile apparatus, and controlling methods thereof
WO2015111833A1 (ko) 가상 광고 제공 장치 및 방법
WO2011149315A2 (ko) 컨텐츠 제어 방법 및 그를 이용한 컨텐츠 재생 장치
WO2018192253A1 (zh) 视频信号的传输方法及装置
WO2021133042A1 (en) Electronic device and method of operating the same
WO2019017579A1 (ko) 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
WO2018004317A1 (ko) 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
WO2021118130A1 (en) Electronic apparatus and method of controlling the same
WO2015119361A1 (ko) 클라우드 스트리밍 서비스 시스템, 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치
WO2016017953A1 (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
WO2020171657A1 (en) Display device and image display method of the same
WO2018097466A1 (ko) 영상 복잡도 정보를 이용한 화면 영역별 차등 대역폭 할당 방법 및 장치
WO2016056709A1 (ko) 이미지 재부호화 방법 및 그 장치
WO2021149997A1 (en) Display apparatus and operating method thereof
WO2021096252A1 (en) Image providing apparatus and image providing method thereof, and display apparatus and display method thereof
WO2022025525A1 (ko) 전자장치, 서버 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15826754

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017504729

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015826754

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015826754

Country of ref document: EP