KR20160039887A - 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 - Google Patents
클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 Download PDFInfo
- Publication number
- KR20160039887A KR20160039887A KR1020140133176A KR20140133176A KR20160039887A KR 20160039887 A KR20160039887 A KR 20160039887A KR 1020140133176 A KR1020140133176 A KR 1020140133176A KR 20140133176 A KR20140133176 A KR 20140133176A KR 20160039887 A KR20160039887 A KR 20160039887A
- Authority
- KR
- South Korea
- Prior art keywords
- processing unit
- encoding
- still image
- change area
- image
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 244
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000008859 change Effects 0.000 claims abstract description 167
- 238000007906 compression Methods 0.000 claims description 46
- 230000006835 compression Effects 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005549 size reduction Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치가 개시된다. 클라우드 스트리밍 서버는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다. 클라우드 스트리밍 서비스 제공 시 캡처된 영역에 상응하는 이미지에 적합한 인코딩 처리 유닛을 이용하여 클라우드 스트리밍 서버의 자원을 보다 효율적으로 사용할 수 있기 때문에 서비스 처리 비용을 절약하는 것이 가능하다.
Description
본 발명은 클라우드 스트리밍 서비스 시 변화가 적은 부분에 대해서 스틸 이미지 기반의 클라우드 스트리밍 서비스를 제공할 때, 이미지의 특성에 따라 인코딩 처리 유닛을 선택하여 인코딩함으로써 서버의 자원을 보다 효율적으로 사용할 수 있는 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 장치에 관한 것이다.
현대 인터넷의 급속한 발달로 인해 개인의 통신 속도는 급격하게 향상되었고, 이러한 통신 속도의 향상으로 원격지 컴퓨터에 접속하여 대용량의 데이터를 다운로드 또는 업로드 하거나, 원격지 컴퓨터 제어 프로그램을 사용하여 마치 원격지 컴퓨터에 로컬 로그인한 것과 같이 원격지 컴퓨터를 이용할 수 있는 환경이 조성되었다.
또한, 어플리케이션을 서버에서 구동시키고 구동화면은 비디오 인코딩(Encoding)을 통해 압축하여 클라이언트로 전송하고, 클라이언트는 전송된 비디오를 재생하여 마치 자신의 단말에서 어플리케이션이 구동되는 것과 같은 효과를 내는 화면 가상화 기반의 클라우드 스트리밍 서비스가 각광받고 있다.
이와 같은 클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법이 적용되었다. 그러나 메뉴 디스플레이와 같이 정적인 화면을 서비스 하는 경우에도 불필요하게 화면 전체를 캡처하고 비디오 코덱을 이용하여 동작하기 때문에 클라우드 스트리밍 서비스 시스템을 운영함에 있어서 비효율적인 부분이 존재하였다.
본 발명의 목적은, 클라우드 스트리밍 서비스 제공 시 캡처된 이미지의 특성에 적합한 인코딩 처리 유닛을 선택하여 클라우드 스트리밍 서버의 자원을 보다 효율적으로 사용하는 것이다.
또한, 본 발명의 목적은 클라우드 스트리밍 서비스의 효율성을 향상시킴으로써 클라우드 스트리밍 서비스 처리 비용을 절약하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 클라우드 스트리밍 서버는, 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부; 상기 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 상기 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및 스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부를 포함한다.
이 때, 인코딩 처리 유닛은 중앙 처리 유닛(Central Processing Unit; CPU) 및 그래픽 처리 유닛(Graphics Processing Unit; GPU) 중 어느 하나에 상응할 수 있다.
이 때, 인코딩부는 상기 이미지 특성 및 상기 이미지 해상도 중 하나 이상을 고려하여 상기 중앙 처리 유닛과 상기 그래픽 처리 유닛 각각에 대한 인코딩 처리 비용을 예측하고, 상기 중앙 처리 유닛 및 그래픽 처리 유닛 중 상기 인코딩 처리 비용이 낮은 인코딩 처리 유닛을 선택하여 상기 변화 영역을 스틸 이미지 인코딩할 수 있다.
이 때, 인코딩부는 상기 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 이상인 경우 상기 그래픽 처리 유닛을 이용하여 상기 변화 영역을 스틸 이미지 인코딩할 수 있다.
이 때, 인코딩부는 상기 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 미만인 경우 상기 이미지 특성에 따른 스틸 이미지 압축 기법을 고려하여 상기 인코딩 처리 유닛을 선택할 수 있다.
이 때, 스틸 이미지 압축 기법은 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나에 상응할 수 있다.
이 때, 인코딩부는 상기 이미지 해상도가 기설정된 기준값 미만이고 상기 스틸 이미지 압축 기법이 상기 팔렛티드 PNG인 경우 상기 그래픽 처리 유닛을 이용하여 상기 변화 영역을 스틸 이미지 인코딩할 수 있다.
이 때, 캡처부는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.
이 때, 캡처부는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.
이 때, 캡처부는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법은, 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 단계; 상기 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 상기 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 단계; 및 스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 단계를 포함한다.
이 때, 인코딩 처리 유닛은 중앙 처리 유닛(Central Processing Unit; CPU) 및 그래픽 처리 유닛(Graphics Processing Unit; GPU) 중 어느 하나에 상응할 수 있다.
이 때, 인코딩하는 단계는 상기 이미지 특성 및 상기 이미지 해상도 중 하나 이상을 고려하여 상기 중앙 처리 유닛과 상기 그래픽 처리 유닛 각각에 대한 인코딩 처리 비용을 예측하는 단계를 포함하고, 상기 중앙 처리 유닛 및 그래픽 처리 유닛 중 상기 인코딩 처리 비용이 낮은 인코딩 처리 유닛을 선택하여 상기 변화 영역을 스틸 이미지 인코딩할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 이상인 경우 상기 그래픽 처리 유닛을 이용하여 상기 변화 영역을 스틸 이미지 인코딩할 수 있다.
이 때, 인코딩하는 단계는 상기 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 미만인 경우 상기 이미지 특성에 따른 스틸 이미지 압축 기법을 고려하여 상기 인코딩 처리 유닛을 선택할 수 있다.
이 때, 스틸 이미지 압축 기법은 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나에 상응할 수 있다.
이 때, 인코딩하는 단계는 상기 이미지 해상도가 기설정된 기준값 미만이고 상기 스틸 이미지 압축 기법이 상기 팔렛티드 PNG인 경우 상기 중앙 처리 유닛을 이용하여 상기 변화 영역을 스틸 이미지 인코딩할 수 있다.
이 때, 캡처하는 단계는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.
이 때, 캡처하는 단계는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.
이 때, 캡처하는 단계는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명의 과제 해결을 위한 또 다른 수단으로써, 상술한 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.
또한, 본 발명에 따른 클라우드 스트리밍 서비스 시스템은 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 상기 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 상기 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 클라우드 스트리밍 서버; 및 상기 클라우드 스트리밍 서버로부터 상기 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하는 단말을 포함한다.
본 발명에 따르면, 클라우드 스트리밍 서비스 제공 시 캡처된 이미지의 특성에 적합한 인코딩 처리 유닛을 선택하여 클라우드 스트리밍 서버의 자원을 보다 효율적으로 사용할 수 있다.
또한, 본 발명은 클라우드 스트리밍 서비스의 효율성을 향상시킴으로써 클라우드 스트리밍 서비스 처리 비용을 절약할 수 있다.
도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 3은 스틸 이미지 기반 클라우드 스트리밍 시스템을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 인코딩 처리 유닛을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스에서 변화 영역을 캡처하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 3은 스틸 이미지 기반 클라우드 스트리밍 시스템을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 인코딩 처리 유닛을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스에서 변화 영역을 캡처하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.
도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 다른 클라우드 스트리밍 서비스 시스템은 클라우드 스트리밍 서버(110), 단말 장치들(120-1, ..., 120-N) 및 네트워크(130)를 포함한다.
클라우드 스트리밍 서버(110)는 단말 장치들(120-1, ..., 120-N)로부터 클라우드 스트리밍 서비스 요청을 받아 어플리케이션을 실행하고, 어플리케이션 실행 결과에 해당하는 실행 결과 화면을 단말 장치들(120-1, ..., 120-N)에게 제공한다.
클라우드 스트리밍 서버(110)는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다. 이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 이 때, 단말 장치들(120-1, ..., 120-N)로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. 이 때, 단말 장치들(120-1, ..., 120-N)로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 클라우드 스트리밍 서버(110)는 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다. 이 때, 인코딩 처리 유닛은 중앙 처리 유닛(Central Processing Unit; CPU) 및 그래픽 처리 유닛(Graphics Processing Unit; GPU) 중 어느 하나의 인코딩 처리 유닛일 수 있다. 이 때, 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 중앙 처리 유닛과 그래픽 처리 유닛 각각에 대한 인코딩 처리 비용을 예측하고, 중앙 처리 유닛 및 그래픽 처리 유닛 중 인코딩 처리 비용이 낮은 인코딩 처리 유닛을 선택하여 변화 영역을 스틸 이미지 인코딩할 수 있다. 이 때, 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 이상인 경우 그래픽 처리 유닛을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다. 이 때, 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 미만인 경우 변화 영역에 상응하는 이미지 특성에 따른 스틸 이미지 압축 기법을 고려하여 인코딩 처리 유닛을 선택할 수 있다. 이 때, 이미지 해상도가 기설정된 기준값 미만이고 스틸 이미지 압축 기법이 팔렛티드 PNG인 경우 그래픽 처리 유닛을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다.
또한, 클라우드 스트리밍 서버(110)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다.
단말 장치들(120-1, ..., 120-N)은 클라우드 스트리밍 서버(110)로부터 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하여 사용자에게 제공한다.
단말 장치들(120-1, ..., 120-N)은 각각 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말 장치들(120-1, ..., 120-N)은 각각 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.
네트워크(130)는 클라우드 스트리밍 서버(110)및 단말 장치들(120-1, ..., 120-N) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(130)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크(130)의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 1에서 클라우드 스트리밍 서버(110)와 단말 장치들(120-1, ..., 120-N) 사이에 사용되는 네트워크는 단말 장치들(120-1, ..., 120-N) 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 2를 참조하면, 도 1에 도시된 클라우드 스트리밍 서버(110)는 캡처부(210), 인코딩부(220), 센딩부(230) 및 저장부(240)를 포함한다.
클라우드 스트리밍 서비스 시 변화 영역만을 검출하여 클라우드 스트리밍 서비스를 수행하는 이미지 클라우드 스트리밍에 있어서, 이미지 인코딩을 수행할 때 중앙 처리 유닛(Central Processing Unit; CPU)을 이용하거나 그래픽 처리 유닛(Graphics Processing Unit; GPU)을 이용하여 인코딩을 수행할 수 있다. 이 때, 최적의 이미지 클라우드 스트리밍 서비스를 제공하기 위해서는 상황에 적절하게 중앙 처리 유닛과 그래픽 처리 유닛을 조합해서 사용해야 하지만 기존의 클라우드 스트리밍 서비스 제공 시에는 동일한 하나의 유닛으로만 인코딩이 처리되고 있는 실정이다. 따라서 본 발명에서는 변화 영역에 대한 특징을 파악하여 상황에 적절한 인코딩 처리 유닛을 이용하여 보다 효율적으로 이미지 클라우드 스트리밍 서비스를 제공할 수 있는 구성을 제안하고자 한다.
캡처부(210)는 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다. 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.
이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 해상도나 변화 영역에 상응하는 이미지의 타입이 다양할 수 있다.
이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다.
이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.
인코딩부(220)는 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다.
이 때, 인코딩 처리 유닛은 중앙 처리 유닛(Central Processing Unit; CPU) 및 그래픽 처리 유닛(Graphics Processing Unit; GPU) 중 어느 하나의 인코딩 처리 유닛일 수 있다.
중앙 처리 유닛(Central Processing Unit; CPU)은 컴퓨터의 가장 중요한 부분으로서 명령을 해독하고 산술논리연산이나 데이터 처리를 실행하는 장치일 수 있다. 따라서 컴퓨터의 계산속도나 한번에 다루는 데이터량, 관리할 수 있는 주기억장치 영역의 크기 등은 중앙 처리 유닛의 성능에 의존하는 바가 클 수 있다. 이와 같은 중앙 처리 유닛(Central Processing Unit; CPU)을 이용하여 변화 영역을 인코딩하는 경우 인코딩할 데이터를 다른 유닛으로 전달하지 않고 바로 인코딩을 수행할 수 있기 때문에 데이터 전달에 따른 비용은 발생하지 않을 수 있다. 그러나, 변화 영역에 상응하는 이미지의 해상도가 높은 경우에는 인코딩을 수행하는데 시간이 오래 걸릴 수 있다. 특히, 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법에서 컬러 양자화 과정을 수행하는 것과 같이 단순한 계산을 많이 반복하는 경우에는 인코딩 시간이 오래 걸릴 수 있다.
그래픽 처리 유닛(Graphics Processing Unit; GPU)은 3D 그래픽이 본격적으로 도입된 후, 디스플레이 화면을 보다 현실적으로 만들기 위한 각종 광원 효과 및 질감 표현 기법을 처리하기 위해 개발된 3D 그래픽 연산 전용의 프로세서이다. 이와 같은 그래픽 처리 유닛(Graphics Processing Unit; GPU)을 이용하여 변화 영역을 인코딩하는 경우에는 오히려 단순 계산의 반복이나 해상도가 큰 이미지를 인코딩하는데 효과적일 수 있다. 그러나, 그래픽 처리 유닛을 이용하여 변화 영역의 인코딩을 수행하기 위해서는 먼저 중앙 처리 유닛으로부터 인코딩할 데이터를 전달받고, 인코딩이 완료된 후에도 인코딩된 데이터를 다시 중앙 처리 유닛으로 전달해야하기 때문에 추가적인 전달 비용이 발생할 수 있다.
이 때, 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 중앙 처리 유닛과 그래픽 처리 유닛 각각에 대한 인코딩 처리 비용을 예측하고, 중앙 처리 유닛 및 그래픽 처리 유닛 중 인코딩 처리 비용이 낮은 인코딩 처리 유닛을 선택하여 변화 영역을 스틸 이미지 인코딩할 수 있다. 예를 들어, 변화 영역 A에 대해서 인코딩을 수행하기 위해, 변화 영역 A에 상응하는 이미지 특성과 이미지 해상도를 판단할 수 있다. 이 후, 판단된 변화 영역 A의 이미지 특성 및 이미지 해상도를 기반으로 각각 중앙 처리 유닛과 그래픽 처리 유닛으로 인코딩을 수행하였을 때 발생할 수 있는 인코딩 처리 비용을 예측할 수 있다. 두 개의 인코딩 처리 유닛 중에서 인코딩 처리 비용이 더 낮게 예측된 인코딩 처리 유닛을 선택하여 변화 영역 A의 인코딩을 수행할 수 있다.
또한, 인코딩이 수행된 후 발생한 인코딩 처리 비용에 대해서 인코딩 처리 비용 통계를 생성할 수 있다. 예를 들어, 클라우드 스트리밍 서비스가 수행되는 동안 일정한 단위기간을 설정하고, 설정된 단위기간마다 인코딩 처리 비용에 대한 저장된 정보를 이용하여 인코딩 처리 비용 통계를 업데이트할 수 있다. 이와 같은 인코딩 처리 비용 통계는 이미지 특성, 이미지 해상도 및 인코딩 처리 유닛 각각에 대한 세부적인 통계 정보로 생성될 수 있으며, 생성된 통계 정보를 기반으로 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법의 신뢰도를 상승시킬 수 있다.
이 때, 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 이상인 경우 그래픽 처리 유닛을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다.
해상도는 이미지를 표현하는데 몇 개의 픽셀 또는 도트를 이용하여 나타냈는지 그 정도를 나타낼 수 있다. 단위로는 1인치당 몇 개의 픽셀(pixel)로 이루어졌는지를 나타내는 ppi(pixel per inch), 1인치당 몇 개의 점(dot)로 이루어졌는지를 나타내는 dpi(dot per inch)를 주로 사용한다. 픽셀 또는 도트의 수가 많을수록 고해상도의 정밀한 이미지를 표현할 수 있다. 해상도가 높을수록 이미지가 깨끗하고 선명하게 보이지만, 그만큼 1인치당 점의 수가 많아져서 해당 이미지를 처리하기 위해 많은 양의 메모리가 필요하고 결과적으로 컴퓨터 처리 속도가 느려지는 단점이 존재할 수 있다. 예를 들어, 해상도가 높은 이미지를 중앙 처리 유닛으로 인코딩하는 경우에 인코딩 처리 시간이 길어져 인코딩 처리 비용이 많이 발생할 수 있다.
따라서, 변화 영역에 상응하는 이미지 해상도가 사전에 설정된 기준값과 같거나 기준값보다 높은 경우에는 그래픽 처리 유닛을 이용하여 인코딩을 수행함으로써 중앙 처리 유닛을 이용하여 인코딩할 때보다 인코딩 처리 비용을 절약할 수 있다.
이 때, 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 미만인 경우 변화 영역에 상응하는 이미지 특성에 따른 스틸 이미지 압축 기법을 고려하여 인코딩 처리 유닛을 선택할 수 있다. 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값보다 낮다면 인코딩할 데이터를 그래픽 처리 유닛으로 전달할 필요 없이 중앙 처리 유닛에서 인코딩을 수행할 수 있다. 그러나 이미지 해상도가 낮아도 변화 영역에 상응하는 이미지 특성에 따라 선택되는 스틸 이미지 압축 기법에 의해 단순 계산이 반복되어야 하는 경우가 발생할 수 있기 때문에, 변화 영역의 이미지 타입을 한번 더 고려하여 인코딩 처리 유닛을 선택할 수 있다.
또한, 스틸 이미지 압축 기법은 변화 영역에 상응하는 이미지의 사이즈나 이미지의 타입과 같은 이미지 특성에 따라 결정될 수 있다.
이 때, 스틸 이미지 압축 기법은 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나에 상응할 수 있다. PNG 스틸 이미지 압축 기법은 인코딩의 경우 화질은 좋으나 데이터 크기가 커져서 전송망의 대역폭이 낮은 경우 반응 속도의 저하를 불러올 수 있다. 팔렛티드 PNG 스틸 이미지 압축 기법은 데이터의 크기를 줄어드나 화질의 열화를 가져올 수 있으며, 특히 데이터 크기 감소를 위한 컬러 양자화 과정 때문에 단순한 계산이 반복되는 과정이 포함될 수 있다. JPEG 스틸 이미지 압축 기법은 전송되는 이미지 타입에 따라서 데이터의 압축 효율이 좋을 수 있지만, 압축 효율이 좋은 만큼 인코딩 및 디코딩 시 부하가 클 수 있다.
이 때, 이미지 해상도가 기설정된 기준값 미만이고 스틸 이미지 압축 기법이 팔렛티드 PNG 인 경우 그래픽 처리 유닛을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다. 예를 들어, 변화 영역의 이미지 특성 상 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 인코딩을 수행할 때에는 컬러 양자화 같은 단순 계산을 반복하기 때문에 인코딩 처리 시간이 길어질 수 있다. 따라서 이와 같은 경우에는 그래픽 처리 유닛을 이용하여 인코딩을 수행함으로써 중앙 처리 유닛을 이용하여 인코딩할 때보다 적은 인코딩 처리 비용으로 클라우드 스트리밍 서비스를 수행할 수 있다.
센딩부(230)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다. 인코딩을 완료함으로써 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
저장부(240)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.
실시예에 따라, 저장부(240)는 클라우드 스트리밍 서버(110)와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부(240)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버(110)는 하나 이상의 서버로 구현될 수 있다.
한편, 클라우드 스트리밍 서버(110)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
도 3은 스틸 이미지 기반 클라우드 스트리밍 시스템을 나타낸 도면이다.
도 3을 참조하면, 서버(310)에서는 사용자의 단말 장치로부터 발생되는 사용자 입력(User Input)에 상응하는 프로그램 화면(310)을 실행시켜 캡처(Screen Capture)를 수행할 수 있다. 이 때, 서버(300)는 클라우드 스트리밍 서버와 웹 어플리케이션 서버를 통칭하는 서버일 수 있다. 또한, 프로그램 화면(310)을 실행시켜 캡처(Screen Capture)를 수행하는 과정은 도 2에 도시된 캡처부(210)의 동작 흐름과 상응할 수 있다.
서버(300)는 캡처(Screen Capture)된 프로그램 화면(310)을 스틸 이미지 압축 기법을 통해 인코딩(Image Encoding)(320)할 수 있다. 이 때, 인코딩 (Image Encoding)(320)을 수행하는 과정은 도 2에 도시된 인코딩부(220)의 동작 흐름과 상응할 수 있다.
이 때, 변화된 프레임을 이전 프레임과 비교하여 변화된 영역만을 캡처할 수 있다. 또한, 변화된 영역의 이미지 특성 및 변화된 영역에 상응하는 이미지 해상도를 고려하여 중앙 처리 유닛 및 그래픽 처리 유닛 중 어느 하나의 인코딩 처리 유닛을 선택하고, 선택한 인코딩 처리 유닛을 이용하여 변화된 영역을 스틸 이미지 인코딩할 수 있다.
이 후, 서버(300)는 스틸 이미지 인코딩된 변화된 영역을 사용자의 단말 장치로 스트리밍(Streaming)(330)하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 제공할 수 있다. 이 때, 스트리밍(Streaming)(330)을 수행하는 과정은 도 2에 도시된 센딩부(230)의 동작 흐름과 상응할 수 있다.
이 후, 사용자의 단말 장치에서는 수신한 데이터를 렌더링(Image Rendering)(340)함으로써 사용자 입력(User Input)에 의해 어플리케이션에서 실행된 프로그램 화면(310)이 마치 사용자의 단말 장치에서 실행된 것처럼 사용자에게 디스플레이 할 수 있다.
도 4는 본 발명의 일실시예에 따른 인코딩 처리 유닛을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 인코딩 처리 유닛은 중앙 처리 유닛(Central Processing Unit; CPU)(410)과 그래픽 처리 유닛(Graphics Processing Unit; GPU)(420)으로 구분할 수 있다.
중앙 처리 유닛(410)은 컴퓨터의 가장 중요한 부분으로서 명령을 해독하고 산술논리연산이나 데이터 처리를 실행하는 장치일 수 있다. 따라서 컴퓨터의 계산속도나 한번에 다루는 데이터 량, 관리할 수 있는 주기억장치 영역의 크기 등은 중앙 처리 유닛의 성능에 의존하는 바가 클 수 있다. 이와 같은 중앙 처리 유닛(Central Processing Unit; CPU)을 이용하여 변화 영역을 인코딩하는 경우 인코딩할 데이터를 다른 유닛으로 전달하지 않고 바로 인코딩을 수행할 수 있기 때문에 데이터 전달에 따른 비용은 발생하지 않을 수 있다. 그러나, 변화 영역에 상응하는 이미지의 해상도가 높은 경우에는 인코딩을 수행하는데 시간이 오래 걸릴 수 있다. 특히, 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법에서 컬러 양자화 과정을 수행하는 것과 같이 단순한 계산을 많이 반복하는 경우에는 인코딩 시간이 오래 걸릴 수 있다.
그래픽 처리 유닛(420)은 3D 그래픽이 본격적으로 도입된 후, 디스플레이 화면을 보다 현실적으로 만들기 위한 각종 광원 효과 및 질감 표현 기법을 처리하기 위해 개발된 3D 그래픽 연산 전용의 프로세서이다. 이와 같은 그래픽 처리 유닛(Graphics Processing Unit; GPU)을 이용하여 변화 영역을 인코딩하는 경우에는 오히려 단순 계산의 반복이나 해상도가 큰 이미지를 인코딩하는데 효과적일 수 있다. 그러나, 그래픽 처리 유닛을 이용하여 변화 영역의 인코딩을 수행하기 위해서는 먼저 중앙 처리 유닛으로부터 인코딩할 데이터를 전달받고, 인코딩이 완료된 후에도 인코딩된 데이터를 다시 중앙 처리 유닛으로 전달해야 하기 때문에 추가적인 전달 비용이 발생할 수 있다.
이와 같은 중앙 처리 유닛(410)과 그래픽 처리 유닛(420)은 도 4에서와 같이 서버(400)내에서 독립적으로 존재할 수 있다. 또는 도 4와는 다르게 중앙 처리 유닛(410)과 그래픽 처리 유닛(420)이 하나의 장치 안에 혼합되어 존재하거나, 중앙 처리 유닛(410)안에 그래픽 처리 유닛(420)이 포함되는 등 다양한 형태로 구성될 수 있다.
또한, 중앙 처리 유닛(410)과 그래픽 처리 유닛(420)은 상호간에 데이터를 송수신할 수 있도록 연결되어 있을 수 있다.
도 5는 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스에서 변화 영역을 캡처하는 과정을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스는 첫번째 프레임(510)과 두번째 프레임(520)을 비교하여 변화된 변화 영역(530)만을 캡처하여 인코딩할 수 있다.
예를 들어, 첫번째 프레임(510)과 두번째 프레임(520)에서 B, C, D 및 E의 영역을 메뉴 디스플레이라고 가정하였을 때, 첫번째 프레임(510)에서는 C 영역에 커서가 위치함으로써 C 영역이 다른 B, D, 및 E 영역과 구별될 수 있도록 음영처리 되었고, 두번째 프레임(520)에서는 C 영역에서 D 영역으로 커서가 이동함으로써 D 영역이 다른 B, C 및 E 영역과 구별될 수 있도록 음영처리 될 수 있다.
이 때, 첫번째 프레임(510)과 두번째 프레임(520)을 비교하였을 때 변화된 영역인 C와 D 영역만을 변화 영역(530)으로 캡처할 수 있다. 또한, 변화 영역(530)의 해상도와 변화 영역(530)에 상응하는 이미지 타입을 고려하여 인코딩 처리 유닛을 선택하고, 선택한 인코딩 처리 유닛을 이용하여 변화 영역(530)을 인코딩할 수 있다.
이와 같이 첫번째 프레임(510)과 두번째 프레임(520)은 분명 변화가 있는 프레임으로 기존의 클라우드 스트리밍 서비스 시에는 두 프레임을 포함하여 프레임 레이트에 상응하는 수의 프레임들을 모두 캡처하여 인코딩을 수행해야 할 수 있다. 하지만 스틸 이미지 기반 클라우드 스트리밍 서비스는 변화 영역(530)만을 캡처하여 스틸 이미지 압축 기법으로 인코딩하기 때문에, 불필요하게 많은 프레임과 프레임의 화면 전체를 캡처하는 기존의 클라우드 스트리밍 서비스 방법보다 서비스의 효율성을 향상시킬 수 있다.
도 6은 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법은 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S610). 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.
이 때, 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 해상도나 변화 영역에 상응하는 이미지의 타입이 다양할 수 있다.
이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다.
이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.
또한, 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법은 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩한다(S620).
이 때, 인코딩 처리 유닛은 중앙 처리 유닛(Central Processing Unit; CPU) 및 그래픽 처리 유닛(Graphics Processing Unit; GPU) 중 어느 하나의 인코딩 처리 유닛일 수 있다.
중앙 처리 유닛(Central Processing Unit; CPU)은 컴퓨터의 가장 중요한 부분으로서 명령을 해독하고 산술논리연산이나 데이터 처리를 실행하는 장치일 수 있다. 따라서 컴퓨터의 계산속도나 한번에 다루는 데이터 량, 관리할 수 있는 주기억장치 영역의 크기 등은 중앙 처리 유닛의 성능에 의존하는 바가 클 수 있다. 이와 같은 중앙 처리 유닛(Central Processing Unit; CPU)을 이용하여 변화 영역을 인코딩하는 경우 인코딩할 데이터를 다른 유닛으로 전달하지 않고 바로 인코딩을 수행할 수 있기 때문에 데이터 전달에 따른 비용은 발생하지 않을 수 있다. 그러나, 변화 영역에 상응하는 이미지의 해상도가 높은 경우에는 인코딩을 수행하는데 시간이 오래 걸릴 수 있다. 특히, 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법에서 컬러 양자화 과정을 수행하는 것과 같이 단순한 계산을 많이 반복하는 경우에는 인코딩 시간이 오래 걸릴 수 있다.
그래픽 처리 유닛(Graphics Processing Unit; GPU)은 3D 그래픽이 본격적으로 도입된 후, 디스플레이 화면을 보다 현실적으로 만들기 위한 각종 광원 효과 및 질감 표현 기법을 처리하기 위해 개발된 3D 그래픽 연산 전용의 프로세서이다. 이와 같은 그래픽 처리 유닛(Graphics Processing Unit; GPU)을 이용하여 변화 영역을 인코딩하는 경우에는 오히려 단순 계산의 반복이나 해상도가 큰 이미지를 인코딩하는데 효과적일 수 있다. 그러나, 그래픽 처리 유닛을 이용하여 변화 영역의 인코딩을 수행하기 위해서는 먼저 중앙 처리 유닛으로부터 인코딩할 데이터를 전달받고, 인코딩이 완료된 후에도 인코딩된 데이터를 다시 중앙 처리 유닛으로 전달해야 하기 때문에 추가적인 전달 비용이 발생할 수 있다.
이 때, 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 중앙 처리 유닛과 그래픽 처리 유닛 각각에 대한 인코딩 처리 비용을 예측하고, 중앙 처리 유닛 및 그래픽 처리 유닛 중 인코딩 처리 비용이 낮은 인코딩 처리 유닛을 선택하여 변화 영역을 스틸 이미지 인코딩할 수 있다. 예를 들어, 변화 영역 A에 대해서 인코딩을 수행하기 위해, 변화 영역 A에 상응하는 이미지 특성과 이미지 해상도를 판단할 수 있다. 이 후, 판단된 변화 영역 A의 이미지 특성 및 이미지 해상도를 기반으로 각각 중앙 처리 유닛과 그래픽 처리 유닛으로 인코딩을 수행하였을 때 발생할 수 있는 인코딩 처리 비용을 예측할 수 있다. 두 개의 인코딩 처리 유닛 중에서 인코딩 처리 비용이 더 낮게 예측된 인코딩 처리 유닛을 선택하여 변화 영역 A의 인코딩을 수행할 수 있다.
또한, 인코딩이 수행된 후 발생한 인코딩 처리 비용에 대해서 인코딩 처리 비용 통계를 생성할 수 있다. 예를 들어, 클라우드 스트리밍 서비스가 수행되는 동안 일정한 단위기간을 설정하고, 설정된 단위기간마다 인코딩 처리 비용에 대한 저장된 정보를 이용하여 인코딩 처리 비용 통계를 업데이트할 수 있다. 이와 같은 인코딩 처리 비용 통계는 이미지 특성, 이미지 해상도 및 인코딩 처리 유닛 각각에 대한 세부적인 통계 정보로 생성될 수 있으며, 생성된 통계 정보를 기반으로 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법의 신뢰도를 상승시킬 수 있다.
이 때, 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 이상인 경우 그래픽 처리 유닛을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다.
해상도는 이미지를 표현하는데 몇 개의 픽셀 또는 도트를 이용하여 나타냈는지 그 정도를 나타낼 수 있다. 단위로는 1인치당 몇 개의 픽셀(pixel)로 이루어졌는지를 나타내는 ppi(pixel per inch), 1인치당 몇 개의 점(dot)로 이루어졌는지를 나타내는 dpi(dot per inch)를 주로 사용한다. 픽셀 또는 도트의 수가 많을수록 고해상도의 정밀한 이미지를 표현할 수 있다. 해상도가 높을수록 이미지가 깨끗하고 선명하게 보이지만, 그만큼 1인치당 점의 수가 많아져서 해당 이미지를 처리하기 위해 많은 양의 메모리가 필요하고 결과적으로 컴퓨터 처리 속도가 느려지는 단점이 존재할 수 있다. 예를 들어, 해상도가 높은 이미지를 중앙 처리 유닛으로 인코딩하는 경우에 인코딩 처리 시간이 길어져 인코딩 처리 비용이 많이 발생할 수 있다.
따라서, 변화 영역에 상응하는 이미지 해상도가 사전에 설정된 기준값과 같거나 기준값보다 높은 경우에는 그래픽 처리 유닛을 이용하여 인코딩을 수행함으로써 중앙 처리 유닛을 이용하여 인코딩할 때보다 인코딩 처리 비용을 절약할 수 있다.
이 때, 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 미만인 경우 변화 영역에 상응하는 이미지 특성에 따른 스틸 이미지 압축 기법을 고려하여 인코딩 처리 유닛을 선택할 수 있다. 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값보다 낮다면 인코딩할 데이터를 그래픽 처리 유닛으로 전달할 필요 없이 중앙 처리 유닛에서 인코딩을 수행할 수 있다. 그러나 이미지 해상도가 낮아도 변화 영역에 상응하는 이미지 특성에 따라 선택되는 스틸 이미지 압축 기법에 의해 단순 계산이 반복되어야 하는 경우가 발생할 수 있기 때문에, 변화 영역의 이미지 타입을 한번 더 고려하여 인코딩 처리 유닛을 선택할 수 있다.
또한, 스틸 이미지 압축 기법은 변화 영역에 상응하는 이미지의 사이즈나 이미지의 타입과 같은 이미지 특성에 따라 결정될 수 있다.
이 때, 스틸 이미지 압축 기법은 PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나에 상응할 수 있다. PNG 스틸 이미지 압축 기법은 인코딩의 경우 화질은 좋으나 데이터 크기가 커져서 전송망의 대역폭이 낮은 경우 반응 속도의 저하를 불러올 수 있다. 팔렛티드 PNG 스틸 이미지 압축 기법은 데이터의 크기를 줄어드나 화질의 열화를 가져올 수 있으며, 특히 데이터 크기 감소를 위한 컬러 양자화 과정 때문에 단순한 계산이 반복되는 과정이 포함될 수 있다. JPEG 스틸 이미지 압축 기법은 전송되는 이미지 타입에 따라서 데이터의 압축 효율이 좋을 수 있지만, 압축 효율이 좋은 만큼 인코딩 및 디코딩 시 부하가 클 수 있다.
이 때, 이미지 해상도가 기설정된 기준값 미만이고 스틸 이미지 압축 기법이 팔렛티드 PNG 인 경우 그래픽 처리 유닛을 이용하여 변화 영역을 스틸 이미지 인코딩할 수 있다. 예를 들어, 변화 영역의 이미지 특성 상 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 인코딩을 수행할 때에는 컬러 양자화 같은 단순 계산을 반복하기 때문에 인코딩 처리 시간이 길어질 수 있다. 따라서 이와 같은 경우에는 그래픽 처리 유닛을 이용하여 인코딩을 수행함으로써 중앙 처리 유닛을 이용하여 인코딩할 때보다 적은 인코딩 처리 비용으로 클라우드 스트리밍 서비스를 수행할 수 있다.
또한, 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다(S630). 인코딩을 완료함으로써 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.
또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법은 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장할 수 있다.
도 7은 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법은 먼저 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S710).
이 후, 변화 영역에 상응하는 이미지의 해상도가 기설정된 기준값 이상인지 여부를 판단한다(S715).
단계(S715)의 판단결과 기준값 이상이면, 변화 영역을 그래픽 처리 유닛으로 인코딩한다(S720).
단계(S715)의 판단결과 기준값 미만이면, 변화 영역을 인코딩하는 스틸 이미지 압축 기법이 팔렛티드 PNG 스틸 이미지 압축 기법인지 여부를 판단한다(S725).
단계(S725)의 판단결과 팔렛티드 PNG 스틸 이미지 압축 기법이면, 변화 영역을 그래픽 처리 유닛으로 인코딩한다(S720).
단계(S725)의 판단결과 팔렛티드 PNG 스틸 이미지 압축 기법이 아니면, 변화 영역을 중앙 처리 유닛으로 인코딩한다(S730). 이 때, 변화 영역을 인코딩하는 스틸 이미지 압축 기법은 PNG 스틸 이미지 압축 기법 및 JPEG 스틸 이미지 압축 기법 중 어느 하나에 상응할 수 있다.
이 후, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다(S740).
본 발명에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서와 같이 본 발명에 따른 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명에 의하면 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 변화 영역에 상응하는 이미지 타입 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다. 나아가, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스를 통해서 클라우드 스트리밍 서버의 자원 활용 효율을 상승시킬 수 있어 클라우드 스트리밍 서비스를 제공하기 위한 처리 비용을 절감하는 효과를 기대할 수 있다.
110: 클라우드 스트리밍 서버
120-1~ 120-N: 단말 장치들
130: 네트워크 210: 캡처부
220: 인코딩부 230: 센딩부
240: 저장부 300, 400: 서버
310: 프로그램 화면 320: 이미지 인코딩
330: 스트리밍 340: 이미지 렌더링
410: 중앙 처리 유닛 420: 그래픽 처리 유닛
510: 첫번째 프레임 520: 두번째 프레임
530: 변화 영역
130: 네트워크 210: 캡처부
220: 인코딩부 230: 센딩부
240: 저장부 300, 400: 서버
310: 프로그램 화면 320: 이미지 인코딩
330: 스트리밍 340: 이미지 렌더링
410: 중앙 처리 유닛 420: 그래픽 처리 유닛
510: 첫번째 프레임 520: 두번째 프레임
530: 변화 영역
Claims (20)
- 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부;
상기 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 상기 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및
스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부
를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 1에 있어서,
상기 인코딩 처리 유닛은
중앙 처리 유닛(Central Processing Unit; CPU) 및 그래픽 처리 유닛(Graphics Processing Unit; GPU) 중 어느 하나에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 2에 있어서,
상기 인코딩부는
상기 이미지 특성 및 상기 이미지 해상도 중 하나 이상을 고려하여 상기 중앙 처리 유닛과 상기 그래픽 처리 유닛 각각에 대한 인코딩 처리 비용을 예측하고, 상기 중앙 처리 유닛 및 그래픽 처리 유닛 중 예측한 상기 인코딩 처리 비용이 낮은 인코딩 처리 유닛을 선택하여 상기 변화 영역을 스틸 이미지 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 3에 있어서,
상기 인코딩부는
상기 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 이상인 경우 상기 그래픽 처리 유닛을 이용하여 상기 변화 영역을 스틸 이미지 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 4에 있어서,
상기 인코딩부는
상기 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 미만인 경우 상기 이미지 특성에 따른 스틸 이미지 압축 기법을 고려하여 상기 인코딩 처리 유닛을 선택하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 5에 있어서,
상기 스틸 이미지 압축 기법은
PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 6에 있어서,
상기 인코딩부는
상기 이미지 해상도가 기설정된 기준값 미만이고 상기 스틸 이미지 압축 기법이 상기 팔렛티드 PNG인 경우 상기 그래픽 처리 유닛을 이용하여 상기 변화 영역을 스틸 이미지 인코딩하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 1에 있어서,
상기 캡처부는
상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 8에 있어서,
상기 캡처부는
상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 9에 있어서,
상기 캡처부는
상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하는 단계;
상기 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 상기 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하는 단계; 및
스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 단계
를 포함하는 것을 특징으로 하는 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법. - 청구항 11에 있어서,
상기 인코딩 처리 유닛은
중앙 처리 유닛(Central Processing Unit; CPU) 및 그래픽 처리 유닛(Graphics Processing Unit; GPU) 중 어느 하나에 상응하는 것을 특징으로 하는 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법. - 청구항 12에 있어서,
상기 인코딩하는 단계는
상기 이미지 특성 및 상기 이미지 해상도 중 하나 이상을 고려하여 상기 중앙 처리 유닛과 상기 그래픽 처리 유닛 각각에 대한 인코딩 처리 비용을 예측하는 단계를 포함하고,
상기 중앙 처리 유닛 및 그래픽 처리 유닛 중 상기 인코딩 처리 비용이 낮은 인코딩 처리 유닛을 선택하여 상기 변화 영역을 스틸 이미지 인코딩하는 것을 특징으로 하는 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법. - 청구항 13에 있어서,
상기 인코딩하는 단계는
상기 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 이상인 경우 상기 그래픽 처리 유닛을 이용하여 상기 변화 영역을 스틸 이미지 인코딩하는 것을 특징으로 하는 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법. - 청구항 14에 있어서,
상기 인코딩하는 단계는
상기 변화 영역에 상응하는 이미지 해상도가 기설정된 기준값 미만인 경우 상기 이미지 특성에 따른 스틸 이미지 압축 기법을 고려하여 상기 인코딩 처리 유닛을 선택하는 것을 특징으로 하는 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법. - 청구항 15에 있어서,
상기 스틸 이미지 압축 기법은
PNG(portable network graphics), 팔렛티드 PNG(portable network graphics) 및 JPEG(joint photography experts group) 중 어느 하나에 상응하는 것을 특징으로 하는 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법. - 청구항 16에 있어서,
상기 인코딩하는 단계는
상기 이미지 해상도가 기설정된 기준값 미만이고 상기 스틸 이미지 압축 기법이 상기 팔렛티드 PNG인 경우 상기 그래픽 처리 유닛을 이용하여 상기 변화 영역을 스틸 이미지 인코딩하는 것을 특징으로 하는 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법. - 청구항 11에 있어서,
상기 캡처하는 단계는
상기 변화된 프레임에 상응하는 화면 영역 중 상기 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처하는 것을 특징으로 하는 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법. - 청구항 11 내지 18 중 어느 한 항에 기재된 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
- 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처하고, 상기 변화 영역에 상응하는 이미지 특성 및 이미지 해상도 중 하나 이상을 고려하여 인코딩 처리 유닛을 선택하고, 상기 인코딩 처리 유닛을 이용하여 하나의 프레임에 상응하는 상기 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 상기 변화 영역을 상기 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 클라우드 스트리밍 서버; 및
상기 클라우드 스트리밍 서버로부터 상기 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하는 단말
을 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 시스템.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140133176A KR102265419B1 (ko) | 2014-10-02 | 2014-10-02 | 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| CN201580049450.2A CN106717007B (zh) | 2014-07-30 | 2015-07-06 | 云端流媒体服务器 |
| PCT/KR2015/006950 WO2016017952A1 (ko) | 2014-07-30 | 2015-07-06 | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| JP2016575537A JP2017529716A (ja) | 2014-07-30 | 2015-07-06 | クラウドストリーミングサービスシステム、スチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法及びそのための装置 |
| EP15827254.2A EP3177024B1 (en) | 2014-07-30 | 2015-07-06 | Apparatus for cloud streaming service |
| US15/420,030 US10652591B2 (en) | 2014-07-30 | 2017-01-30 | System for cloud streaming service, method for same using still-image compression technique and apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140133176A KR102265419B1 (ko) | 2014-10-02 | 2014-10-02 | 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160039887A true KR20160039887A (ko) | 2016-04-12 |
| KR102265419B1 KR102265419B1 (ko) | 2021-06-15 |
Family
ID=55801001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140133176A KR102265419B1 (ko) | 2014-07-30 | 2014-10-02 | 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102265419B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120105688A (ko) | 2011-03-16 | 2012-09-26 | 정민재 | 이기종 서버/클라이언트간 가상화 서비스 시스템 및 방법 |
| KR20130011714A (ko) * | 2011-07-22 | 2013-01-30 | 에스케이플래닛 주식회사 | 화면 가상화 기반 어플리케이션 구동 시스템 및 방법 |
| US20130155075A1 (en) * | 2011-12-15 | 2013-06-20 | Fujitsu Limited | Information processing device, image transmission method, and recording medium |
| KR20140034603A (ko) * | 2012-09-12 | 2014-03-20 | 삼성전자주식회사 | 멀티 세션 관리 방법 및 장치 |
-
2014
- 2014-10-02 KR KR1020140133176A patent/KR102265419B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120105688A (ko) | 2011-03-16 | 2012-09-26 | 정민재 | 이기종 서버/클라이언트간 가상화 서비스 시스템 및 방법 |
| KR20130011714A (ko) * | 2011-07-22 | 2013-01-30 | 에스케이플래닛 주식회사 | 화면 가상화 기반 어플리케이션 구동 시스템 및 방법 |
| US20130155075A1 (en) * | 2011-12-15 | 2013-06-20 | Fujitsu Limited | Information processing device, image transmission method, and recording medium |
| KR20140034603A (ko) * | 2012-09-12 | 2014-03-20 | 삼성전자주식회사 | 멀티 세션 관리 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102265419B1 (ko) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112104879B (zh) | 一种视频编码方法、装置、电子设备及存储介质 | |
| US20180270496A1 (en) | Composite video streaming using stateless compression | |
| EP2517470B1 (en) | Systems and methods for video-aware screen capture and compression | |
| US10652591B2 (en) | System for cloud streaming service, method for same using still-image compression technique and apparatus therefor | |
| KR20120033450A (ko) | 단말기에 따른 적응적 화면 가상화 방법 및 시스템 | |
| KR20210029746A (ko) | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| US20140099039A1 (en) | Image processing device, image processing method, and image processing system | |
| US20220239920A1 (en) | Video processing method, related apparatus, storage medium, and program product | |
| KR20160131827A (ko) | 클라우드 스트리밍 서비스 시스템, 알파 레벨을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102271721B1 (ko) | 클라우드 스트리밍 서비스 시스템, 단말 성능을 고려한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20160039887A (ko) | 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102247887B1 (ko) | 클라우드 스트리밍 서비스 시스템, 소스 정보를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20160131829A (ko) | 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 알파 값을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102273143B1 (ko) | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20160115566A (ko) | 클라우드 스트리밍 서비스 시스템, 이미지와 텍스트의 분리를 통한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20160093929A (ko) | 클라우드 스트리밍 서비스 시스템, 동시 인코딩을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102247657B1 (ko) | 클라우드 스트리밍 서비스 시스템, 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102247888B1 (ko) | 클라우드 스트리밍 서비스 시스템, 선택적 스트리밍 파이프라인 방식에 기반한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20160109072A (ko) | 클라우드 스트리밍 서비스 시스템, 최적 렌더링에 기반한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102225610B1 (ko) | 클라우드 스트리밍 서비스 시스템, 메시지 기반 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102225609B1 (ko) | 클라우드 스트리밍 서비스 시스템, 전체 화면 변화를 고려한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20210027342A (ko) | 클라우드 스트리밍 서비스 시스템, 메시지 기반 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20210027341A (ko) | 클라우드 스트리밍 서비스 시스템, 전체 화면 변화를 고려한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20160016265A (ko) | 클라우드 스트리밍 서비스 시스템, 메모리 병목 현상을 방지하기 위한 데이터 압축 방법 및 이를 위한 장치 | |
| KR20170000670A (ko) | 클라우드 스트리밍 서비스 시스템, 씬 영역 특성을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |