KR20190138121A - 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 - Google Patents
부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 Download PDFInfo
- Publication number
- KR20190138121A KR20190138121A KR1020180064288A KR20180064288A KR20190138121A KR 20190138121 A KR20190138121 A KR 20190138121A KR 1020180064288 A KR1020180064288 A KR 1020180064288A KR 20180064288 A KR20180064288 A KR 20180064288A KR 20190138121 A KR20190138121 A KR 20190138121A
- Authority
- KR
- South Korea
- Prior art keywords
- execution screen
- application execution
- encoded image
- hash value
- cloud streaming
- Prior art date
Links
- 230000036961 partial effect Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000000873 masking effect Effects 0.000 title claims abstract description 48
- 230000008569 process Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치가 개시된다. 클라우드 스트리밍 서버에서 실행되는 어플리케이션 실행화면에 대해 대표 해시값을 산출하고, 대표 해시값을 기반으로 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단하고, 인코딩 이미지가 존재하는 경우, 인코딩 이미지의 전체 영역 중 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리하고, 마스킹 처리된 인코딩 이미지와 일부 영역을 인코딩한 결과를 결합하여 어플리케이션 실행화면을 요청한 클라이언트에게 제공할 수 있다.
Description
본 발명은 캐시를 효율적으로 사용하기 위한 클라우드 스트리밍 서비스 기술에 관한 것으로, 특히 인코딩될 어플리케이션 실행화면과 캐시된 인코딩 이미지 간에 일치하지 않은 일부 영역을 마스킹 처리하여 캐시된 인코딩 이미지를 활용함으로써 인코딩 코스트를 감소시키고 캐시의 효율을 향상시킬 수 있는 기술에 관한 것이다.
클라우드 스트리밍은 어플리케이션을 클라우드 스트리밍 서버에서 실행시키되, 실행화면을 비디오 인코딩(Encoding)으로 압축하여 클라우드 스트리밍 서버에 접속한 클라이언트에게 전송하는 기술이다. 따라서, 클라이언트는 마치 자신의 단말에서 어플리케이션이 구동되는 것처럼 느낄 수 있다.
이 때, 클라우드 스트리밍 서버에 접속한 다수의 클라이언트들은 클라우드 스트리밍 서버로부터 동일한 UI 화면을 제공받아 볼 확률이 높을 수 있다. 따라서, 동일한 화면에 대해 비디오 인코딩이 반복되는 비효율적 상황을 방지하게 위해 다수의 클라우드 브라우저들이 공유하여 사용할 수 있는 글로벌 캐시(Global Cache)를 이용하는 기술이 존재하고 있다.
그러나, 글로벌 캐시는 완벽하게 동일한 화면에 대해서만 인코딩된 이미지를 제공하기 때문에 대부분의 화면이 비슷하고 일부 영역만 차이가 있는 경우에는 사용할 수 없어서 효율이 떨어진다는 문제점이 존재한다.
본 발명의 목적은, 클라우드 스트리밍 서비스 시 발생하는 인코딩 코스트를 감소시켜 시스템 효율을 향상시키는 것이다.
또한, 본 발명의 목적은 클라우드 스트리밍 서버에 생성되는 다수의 클라우드 브라우저들이 공유하는 글로벌 캐시의 사용율을 향상시키는 것이다.
또한, 본 발명의 목적은 클라우드 스트리밍 서버의 부하량을 감소시켜 보다 많은 클라이언트들에게 서비스를 제공하는 것이다.
또한, 본 발명의 목적은 웹 어플리케이션을 변형하지 않고도 클라이언트별로 변화하는 영역을 효과적으로 인코딩하여 제공함으로써 웹 어플리케이션 개발의 범용성을 유지하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 클라우드 스트리밍 서비스 방법은, 클라우드 스트리밍 서버에서 실행되는 어플리케이션 실행화면에 대해 대표 해시값을 산출하는 단계; 상기 대표 해시값을 기반으로 캐시(CACHE)에 저장된 복수개의 인코딩 이미지들 중 상기 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단하는 단계; 상기 인코딩 이미지가 존재하는 경우, 상기 인코딩 이미지의 전체 영역 중 상기 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리하는 단계; 및 마스킹 처리된 인코딩 이미지와 상기 일부 영역을 인코딩한 결과를 결합하여 상기 어플리케이션 실행화면을 요청한 클라이언트에게 제공하는 단계를 포함한다.
이 때, 판단하는 단계는 상기 복수개의 인코딩 이미지들 각각에 대한 해시값과 상기 대표 해시값을 비교하는 단계; 및 상기 해시값과 상기 대표 해시값과의 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지를 상기 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정하는 단계를 포함할 수 있다.
이 때, 인코딩 이미지는 상기 어플리케이션 실행화면과 일치하는 이미지 및 상기 어플리케이션 실행화면과 상기 일부 영역이 다른 이미지 중 어느 하나에 상응할 수 있다.
이 때, 제공하는 단계는 상기 인코딩 이미지가 상기 어플리케이션 실행화면과 일치하는 이미지인 경우, 상기 인코딩 이미지만 상기 클라이언트에게 제공할 수 있다.
이 때, 클라우드 스트리밍 서비스 방법은 상기 인코딩 이미지의 전체 영역 중 상기 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한 마스크드(MASKED) 인코딩 이미지를 상기 캐시에 저장하는 단계를 더 포함할 수 있다.
이 때, 대표 해시값은 상기 어플리케이션 실행화면의 가로 픽셀 합과 세로 픽셀 합을 더하여 산출되는 것일 수 있다.
또한, 본 발명에 따른 클라우드 스트리밍 서버는, 어플리케이션 실행화면에 대해 대표 해시값을 산출하고, 상기 대표 해시값을 기반으로 캐시(CACHE)에 저장된 복수개의 인코딩 이미지들 중 상기 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단하고, 상기 인코딩 이미지가 존재하는 경우에 상기 인코딩 이미지의 전체 영역 중 상기 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리하고, 마스킹 처리된 인코딩 이미지와 상기 일부 영역을 인코딩한 결과를 결합하여 상기 어플리케이션 실행화면을 요청한 클라이언트에게 제공하는 프로세서; 및 상기 대표 해시값을 저장하는 메모리를 포함한다.
이 때, 프로세서는 상기 복수개의 인코딩 이미지들 각각에 대한 해시값과 상기 대표 해시값을 비교하고, 상기 해시값과 상기 대표 해시값과의 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지를 상기 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정할 수 있다.
이 때, 인코딩 이미지는 상기 어플리케이션 실행화면과 일치하는 이미지 및 상기 어플리케이션 실행화면과 상기 일부 영역이 다른 이미지 중 어느 하나에 상응할 수 있다.
이 때, 프로세서는 상기 인코딩 이미지가 상기 어플리케이션 실행화면과 일치하는 이미지인 경우, 상기 인코딩 이미지만 상기 클라이언트에게 제공할 수 있다.
이 때, 프로세서는 상기 인코딩 이미지의 전체 영역 중 상기 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한 마스크드(MASKED) 인코딩 이미지를 상기 캐시에 저장할 수 있다.
이 때, 대표 해시값은 상기 어플리케이션 실행화면의 가로 픽셀 합과 세로 픽셀 합을 더하여 산출되는 것일 수 있다.
본 발명에 따르면, 클라우드 스트리밍 서비스 시 발생하는 인코딩 코스트를 감소시켜 시스템 효율을 향상시킬 수 있다.
또한, 본 발명은 클라우드 스트리밍 서버에 생성되는 다수의 클라우드 브라우저들이 공유하는 글로벌 캐시의 사용율을 향상시킬 수 있다.
또한, 본 발명은 클라우드 스트리밍 서버의 부하량을 감소시켜 보다 많은 클라이언트들에게 서비스를 제공할 수 있다.
또한, 본 발명은 웹 어플리케이션을 변형하지 않고도 클라이언트별로 변화하는 영역을 효과적으로 인코딩하여 제공함으로써 웹 어플리케이션 개발의 범용성을 유지할 수 있다.
도 1은 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작흐름도이다.
도 3은 클라우드 스트리밍 서비스 방식의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 대표 해시값 산출 과정의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 인코딩 이미지의 일 예를 나타낸 도면이다.
도 6 내지 도 7은 본 발명에 따른 어플리케이션 실행화면과 인코딩 이미지 간에 일치하지 않는 일부 영역을 검출하는 과정의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 마스킹 처리의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 일부 영역을 인코딩한 결과의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작흐름도이다.
도 2는 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작흐름도이다.
도 3은 클라우드 스트리밍 서비스 방식의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 대표 해시값 산출 과정의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 인코딩 이미지의 일 예를 나타낸 도면이다.
도 6 내지 도 7은 본 발명에 따른 어플리케이션 실행화면과 인코딩 이미지 간에 일치하지 않는 일부 영역을 검출하는 과정의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 마스킹 처리의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 일부 영역을 인코딩한 결과의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 시스템은 클라우드 스트리밍 서버(110), 복수개의 클라이언트들(120-1~120-N) 및 네트워크(130)를 포함한다.
클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스토리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.
본 발명의 일실시예에 따른 클라우드 스트리밍 서버(110)는 복수개의 클라이언트들(120-1~120-N)로부터 요청된 클라우드 스트리밍 서비스를 처리하기 위한 클라우드 스트리밍 엔진을 포함할 수 있다.
이 때, 클라우드 스트리밍 서버(110)에 접속가능한 클라이언트의 개수는 클라우드 스트리밍 서버(110)의 성능에 따라 결정될 수 있다.
클라우드 스트리밍 서버(110)는 클라우드 스트리밍 엔진이 실행되는 시점에 기 정의된 수만큼 클라우드 브라우저를 생성할 수 있는데, 클라우드 브라우저는 HTML, CSS 및 JavaScript등을 다운로드하고 실행하여 화면에 렌더링해줄 수 있다.
이 때, HTML(Hyper Text Markup Language)은 웹 페이지의 큰 뼈대를 제공하고, CSS(Cascading Style Sheets)는 색깔이나 글씨체와 같은 디자인 요소를 관리하며, 자바스크립트(Javascritp)는 크로스 플랫폼, 객체지향 스크립트 언어로 웹페이지의 동작을 담당할 수 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버(110)는 클라우드 스트리밍 서버에서 실행되는 어플리케이션 실행화면에 대해 대표 해시값을 산출한다.
이 때, 대표 해시값은 어플리케이션 실행화면의 가로 픽셀 합과 세로 픽셀 합을 더하여 산출될 수 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버(110)는 대표 해시값을 기반으로 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단한다.
이 때, 복수개의 인코딩 이미지들 각각에 대한 해시값과 대표 해시값을 비교할 수 있다.
이 때, 해시값과 대표 해시값과의 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지를 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정할 수 있다.
이 때, 인코딩 이미지는 어플리케이션 실행화면과 일치하는 이미지 및 어플리케이션 실행화면과 일부 영역이 다른 이미지 중 어느 하나에 상응할 수 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버(110)는 인코딩 이미지가 존재하는 경우, 인코딩 이미지의 전체 영역 중 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버(110)는 마스킹 처리된 인코딩 이미지와 일부 영역을 인코딩한 결과를 결합하여 어플리케이션 실행화면을 요청한 클라이언트에게 제공한다.
이 때, 인코딩 이미지가 어플리케이션 실행화면과 일치하는 이미지인 경우, 인코딩 이미지만 클라이언트에게 제공할 수 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버(110)는 인코딩 이미지의 전체 영역 중 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한 마스크드(Masked) 인코딩 이미지를 캐시에 저장할 수 있다.
복수개의 클라이언트들(120-1~120-N)은 클라우드 스트리밍 서버(110)에게 클라우드 스트리밍 서비스를 요청하고, 클라우드 스트리밍 서버(110)로부터 요청에 따른 실행화면을 수신하여 사용자에게 제공해줄 수 있다. 따라서, 사용자는 마치 요청된 서비스에 해당하는 동영상이나 어플리케이션이 클라이언트에 상응하는 단말에서 실행되는 것처럼 느낄 수 있다.
이 때, 복수개의 클라이언트들(120-1~120-N)은 통신망에 연결되어 클라우드 스트리밍 서버(110)와 통신 가능한 장치에 해당할 수 있다. 예를 들어, 복수개의 클라이언트들(120-1~120-N)은 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 클라이언트(120)는 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.
또한, 복수개의 클라이언트들(120-1~120-N)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 복수개의 클라이언트들(120-1~120-N)의 기능 제어와 관련하여 입력되는 신호를 입력부를 통해 제어부로 전달할 수 있다. 또한, 복수개의 클라이언트들(120-1~120-N)의 입력부는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성할 수 있다. 이 때, 복수개의 클라이언트들(120-1~120-N)의 입력부는 복수개의 클라이언트들(120-1~120-N)의 표시부와 함께 하나의 터치패널(또는 터치 스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 복수개의 클라이언트들(120-1~120-N)의 입력부는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다.
또한, 복수개의 클라이언트들(120-1~120-N)의 표시부는 복수개의 클라이언트들(120-1~120-N)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시할 수 있다. 또한, 복수개의 클라이언트들(120-1~120-N)의 표시부는 복수개의 클라이언트들(120-1~120-N)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 복수개의 클라이언트들(120-1~120-N)의 표시부는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이 때, 복수개의 클라이언트들(120-1~120-N)의 표시부가 터치스크린 형태로 구성된 경우, 복수개의 클라이언트들(120-1~120-N)의 표시부는 복수개의 클라이언트들(120-1~120-N)의 입력부의 기능 중 일부 또는 전부를 수행할 수 있다.
또한, 복수개의 클라이언트들(120-1~120-N)의 저장부는 데이터를 저장하기 위한 장치로, 주 기억장치 및 보조 기억장치를 포함하고, 복수개의 클라이언트들(120-1~120-N)의 기능 동작에 필요한 응용 프로그램을 저장할 수 있다. 이러한 복수개의 클라이언트들(120-1~120-N)의 저장부는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 복수개의 클라이언트들(120-1~120-N)은 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어부의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.
또한, 복수개의 클라이언트들(120-1~120-N)의 통신부는 클라우드 스트리밍 서버(110)와 네트워크(130)를 통해 데이터를 송수신하기 위한 기능을 수행할 수 있다. 여기서 클라이언트(120)의 통신부는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함할 수 있다. 이러한 복수개의 클라이언트들(120-1~120-N)의 통신부는 무선통신 모듈을 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 복수개의 클라이언트들(120-1~120-N)이 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 클라우드 스트리밍 서버(110)로 송수신할 수 있다. 즉, 복수개의 클라이언트들(120-1~120-N)은 무선통신 모듈을 이용하여 네트워크에 접속하며, 네트워크를 통해 클라우드 스트리밍 서버(110)와 데이터를 송수신할 수 있다.
또한, 복수개의 클라이언트들(120-1~120-N)의 제어부는 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 예를 들어, 제어부는 클라우드 스트리밍 서버(110)에 접속하는 과정 전반을 제어할 수 있다. 이 때, 복수개의 클라이언트들(120-1~120-N)이 클라우드 스트리밍 서버(110)에 접속하는 경우, 사용자의 요청에 따라 동영상과 같은 컨텐츠나 어플리케이션이 실행되는 과정 전반을 제어할 수 있으며, 실행과 동시에 클라우드 스트리밍 서버(110)로 서비스 이용 요청이 전송되도록 제어할 수 있다. 이 때 사용자 인증에 필요한 복수개의 클라이언트들(120-1~120-N)의 정보가 함께 전송되도록 제어할 수도 있다.
네트워크(130)는 클라우드 스트리밍 서버(110)와 복수의 클라이언트들(120-1~120-N)) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신 망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
이와 같은 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 시스템을 통해 클라우드 스트리밍 서비스 시 발생하는 인코딩 코스트를 감소시켜 시스템 효율을 향상시킬 수 있다.
또한, 클라우드 스트리밍 서버에 생성되는 다수의 클라우드 브라우저들이 공유하는 글로벌 캐시의 사용율을 향상시킬 수 있다.
또한, 클라우드 스트리밍 서버의 부하량을 감소시켜 보다 많은 클라이언트들에게 서비스를 제공할 수 있다.
또한, 웹 어플리케이션을 변형하지 않고도 클라이언트별로 변화하는 영역을 효과적으로 인코딩하여 제공함으로써 웹 어플리케이션 개발의 범용성을 유지할 수 있다.
도 2는 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법은 클라우드 스트리밍 서버에서 실행되는 어플리케이션 실행화면에 대해 대표 해시값을 산출한다(S210).
클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷 상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스트리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.
예를 들어, 클라우드 스트리밍 서버에서 클라우드 스트리밍 엔진의 실행을 기반으로 로드되는 클라우드 브라우저에서 웹 어플리케이션이 실행될 수 있다.
이 때, 클라우드 브라우저는 웹 엔진을 실행시킴으로써 웹 어플리케이션을 실행시킬 수 있고, 클라우드 브라우저를 기반으로 실행되는 웹 어플리케이션은 클라이언트로부터 입력되는 키 입력을 바탕으로 동작할 수 있다.
이 때, 클라이언트는 클라우드 스트리밍 서버에게 클라우드 스트리밍 서비스를 요청하고, 클라우드 스트리밍 서버로부터 요청에 따른 어플리케이션 실행화면을 수신하여 사용자에게 제공해줄 수 있다. 따라서, 사용자는 마치 요청된 서비스에 해당하는 동영상이나 어플리케이션이 클라이언트에 상응하는 단말에서 실행되는 것처럼 느낄 수 있다.
이 때, 어플리케이션 실행화면은 클라우드 브라우저에서의 인코딩(Encoding)을 통해 이미지의 형태로 클라이언트에게 제공되기 때문에 동시에 많은 수의 클라이언트들로부터 서비스 요청이 발생하는 경우에는 클라우드 스트리밍 서버로의 부하가 집중되어 서비스가 원활하게 제공되지 않을 수 있다.
따라서, 종래에는 이러한 문제점을 해결하기 위해, 클라우드 스트리밍 서버 내에서 클라우드 브라우저들이 인코딩 이미지를 공유할 수 있는 글로벌 캐시를 구비하고, 한번 인코딩된 어플리케이션 실행화면에 대해 다시 요청이 발생하는 경우에는 글로벌 캐시에서 해당 요청에 따른 인코딩 이미지를 검색하여 제공하는 방안을 제시하고 있다.
예를 들어, 웹 어플리케이션의 UI 화면을 가상화하여 클라우드 스트리밍하는 경우, 동일한 웹 어플리케이션을 사용하는 사용자들은 도 3에 도시된 것처럼 동일한 어플리케이션 실행화면(300)을 볼 확률이 높다. 따라서, 이러한 경우에는 사용자들이 동일하게 볼 확률이 높은 어플리케이션 실행화면을 인코딩한 이미지를 글로벌 캐시에 저장해 두고, 해당 화면에 대한 요청이 발생하는 경우에 글로벌 캐시에서 인코딩 이미지를 찾아 제공할 수 있다. 즉, 인코딩하는 과정을 생략하고 글로벌 캐시에 저장된 이미지를 검색하여 제공하기 때문에 그만큼 서버의 작업 성능을 향상시킬 수 있다.
그러나, 도 3에 도시된 것처럼, 여러 사용자들에게 동일하게 보여지는 어플리케이션 실행화면(300)에서도 일부 영역(310)은 사용자에 따라 개인화되어 동일하지 않을 수 있다. 예를 들어, 시간이나 날씨 등을 표시하는 화면은 클라이언트가 접속하는 지역에 따라 차이가 발생할 수 있다. 하지만, 도 3과 같이 어플리케이션 실행화면(300) 중 일부 영역(310)만 차이가 발생하여도, 이전에 글로벌 캐시에 저장된 인코딩 이미지는 일부 영역(310)에 대한 인코딩 결과가 아니므로 사용할 수 없다는 문제점이 발생할 수 있다.
이와 같이 동일하지 않은 일부 영역(310)은 웹 어플리케이션 단에서 별도로 기술해줄 수 있지만, 이는 웹 어플리케이션 개발에 있어서 범용성을 저해하게 된다.
따라서, 본 발명에서는 캐시의 구성이나 부분 마스킹과 같은 후처리 과정을 기반으로 일부 영역이 동일하지 않은 어플리케이션 실행화면 중 동일한 영역을 다시 인코딩하지 않도록 함으로써 클라우드 스트리밍 서버와 캐시의 효율을 향상시킬 수 있는 방법을 제공하고자 한다.
이 때, 어플리케이션 실행화면의 대표해시값은, 캐시에 저장된 여러 인코딩 이미지들과 어플리케이션 실행화면을 비교하였을 경우에 일치하지 않는 어플리케이션 실행화면의 개인화된 영역을 인지하기 위한 값에 상응할 수 있다.
즉, 어플리케이션 실행화면의 해시값과 여러 인코딩 이미지들 각각에 대한 해시값을 일대일로 비교하여 개인화된 영역이 어느 부분인지 인지할 수 있다.
이 때, 대표 해시값은 어플리케이션 실행화면의 가로 픽셀 합과 세로 픽셀 합을 더하여 산출될 수 있다.
일반적으로 해시값은 파일의 특성을 수치로 축약한 값에 상응하는 것으로, 본 발명에서는 어플리케이션 실행화면에 대한 특성을 수치로 축약한 값에 해당할 수 잇다.
따라서, 클라이언트로부터 서비스가 요청된 어플리케이션 실행화면에 대한 해시값을 산출하여 대표 해시값으로 설정할 수 있다.
예를 들어, 대표 해시값은 도 4에 도시된 것처럼 어플리케이션 실행화면에 대해서 세로 픽셀 합(410)을 어플리케이션 실행화면의 가로 폭(W)의 시작 지점부터 끝까지 더하고, 가로 픽셀 합(420)도 어플리케이션 실행화면의 세로 높이(H)의 시작 지점부터 끝까지 더한 뒤 세로 별 픽셀 합과 가로 별 픽셀 합을 더한 값에 상응할 수 있다.
이 때, 가로 폭(W)의 시작지점에 해당하는 세로 픽셀 합(410)에 대한 해시값은 verSumHash[0]에 상응하고, 가로 폭(W)의 끝에 해당하는 세로 픽셀 합(411)에 대한 해시값은 verSumHash[W-1]에 상응할 수 있다.
또한, 세로 높이(H)의 시작지점에 해당하는 가로 픽셀 합(420)에 대한 대한 해시값은 horSumHash[0]에 상응하고, 세로 높이(H)의 끝에 해당하는 가로 픽셀 합(421)에 대한 해시값은 horSumHash[H-1]에 상응할 수 있다.
상기의 내용에 따라 세로 별 픽셀 합은 [수학식 1]과 같이 계산할 수 있다.
[수학식 1]
Sum of (verSumHash[0..W-1])
또한, 상기의 내용에 따라 가로 별 픽셀 합은 [수학식 2]와 같이 계산할 수 있다.
[수학식 2]
Sum of (horSumHash[0..H-1])
따라서, 최종적으로 어플리케이션 실행화면에 대한 대표 해시값은 [수학식 1]과 [수학식 2]를 합하여 [수학식 3]과 같이 계산할 수 있다.
[수학식 3]
대표해시값 = Sum of (verSumHash[0..W-1]) + Sum of (horSumHash[0..H-1])
또한, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법은 대표 해시값을 기반으로 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단한다(S220).
이 때, 캐시에 저장된 복수개의 인코딩 이미지들은 웹 어플리케이션에 대한 여러 어플리케이션 실행화면들을 인코딩한 이미지에 상응할 수 있다.
이 때, 어플리케이션 실행화면에 상응하는 인코딩 이미지는, 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지에 상응할 수 있다.
따라서, 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지가 존재하는지 여부를 판단하기 위해 캐시에 저장된 복수개의 인코딩 이미지들 각각에 대한 해시값과 어플리케이션 실행화면에 상응하는 대표 해시값을 비교할 수 있다.
즉, 대표 해시값과 동일한 해시값을 갖는 인코딩 이미지가 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지일 수 있다.
이 때, 복수개의 인코딩 이미지들 각각에 대한 해시값도 대표 해시값을 산출하는 과정과 동일하게 산출될 수 있다.
또한, 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지가 존재하지 않는 경우에는 해시값과 대표 해시값의 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지를 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정할 수 있다.
이 때, 기설정된 기준값은 어플리케이션 실행화면과 인코딩 이미지 사이에 동일하지 않은 일부 영역에 대한 최대 범위를 결정하는 값으로, 기설정된 기준 값이 클수록 일부 영역의 최대 범위가 넓을 수 있고, 기설정된 기준값이 작을수록 일부 영역의 최대 범위가 좁을 수 있다.
예를 들어, 특정 인코딩 이미지의 해시값과 어플리케이션 실행화면의 대표 해시값 간의 절대값 차이가 기설정된 기준값 이하인 경우, 특정 인코딩 이미지와 어플리케이션 실행화면 사이에 동일하지 않은 일부 영역이 최대 범위 이내에 해당하는 것으로 판단할 수 있다.
다른 예를 들어, 특정 인코딩 이미지의 해시값과 어플리케이션 실행화면의 대표 해시값 간의 절대값 차이가 기설정된 기준값을 초과하는 경우, 특정 인코딩 이미지와 어플리케이션 실행화면 사이에 동일하지 않은 일부 영역이 최대 범위를 초과하는 것으로 판단할 수 있다.
이 때, 인코딩 이미지는 어플리케이션 실행화면과 일치하는 이미지 및 어플리케이션 실행화면과 일부 영역이 다른 이미지 중 어느 하나에 상응할 수 있다.
예를 들어, 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면과 일치하는 인코딩 이미지가 존재하는지 여부를 1차적으로 판단하고, 캐시에 어플리케이션 실행화면과 일치하는 인코딩 이미지가 존재하는 경우에는 해당 인코딩 이미지를 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정할 수 있다.
그러나, 1차 판단결과 캐시에 어플리케이션 실행화면과 일치하는 인코딩 이미지가 존재하지 않는 경우에는 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면과 일부 영역이 다른 이미지가 존재하는지 여부를 2차적으로 판단할 수 있다. 이 때, 캐시에 어플리케이션 실행화면과 일부 영역이 다른 이미지가 존재하는 경우, 해당 인코딩 이미지를 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정할 수 있다.
또한, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법은 인코딩 이미지가 존재하는 경우, 인코딩 이미지의 전체 영역 중 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한다(S230).
예를 들어, 도 4에 도시된 어플리케이션 실행화면을 기준으로 대표해시값을 산출하여 캐시를 검색한 결과, 도 5에 도시된 것처럼 시계 부분만 13:44분으로 다른 인코딩 이미지가 검색되었다고 가정할 수 있다. 이 때, 도 4에 도시된 어플리케이션 실행화면의 대표 해시값과 도 5에 도시된 인코딩 이미지의 해시값 사이의 절대값 차이는 시계 부분에 해당하는 일부 영역만큼에 상응하는 값일 수 있다.
이러한 경우, 어플리케이션 실행화면의 대표 해시값과 인코딩 이미지의 해시값이 다른 일부 영역(610, 710)을 도 6 내지 도 7과 같이 시각적으로 표시하고, 해당하는 영역의 좌표를 획득하여 마스킹 처리를 수행할 수 있다.
예를 들어, 두 개의 해시값들을 비교하였을 때 해시값이 다른 영역의 가로 픽셀 합이 horSumHash[30..40]에 상응하고, 해시값이 다른 영역의 세로 픽셀 합이 verSumHash[1200..1250]에 상응한다고 가정할 수 있다. 이 때, 어플리케이션 실행화면과 인코딩 이미지가 일치하지 않는 일부 영역의 좌표는 (X:1200, Y:30, W:50, H:10)에 상응하게 획득될 수 있고, 도 7에 도시된 인코딩 이미지에서 좌표에 해당하는 일부 영역을 도 8에 도시된 것처럼 마스킹 처리하여 마스크트 인코딩 이미지를 생성할 수 있다.
이 때, 마스킹 처리된 영역(810)은 이미지 파일이 포함되지 않은 영역에 상응하는 것으로, 향후 일부 영역에 상응하게 인코딩된 결과가 마스킹 처리된 영역(810)에 오버랩 되듯이 결합될 수 있다.
또한, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법은 마스킹 처리된 인코딩 이미지와 일부 영역을 인코딩한 결과를 결합하여 어플리케이션 실행화면을 요청한 클라이언트에게 제공한다(S240).
예를 들어, 도 8에 도시된 것과 같은 마스크드 인코딩 이미지에 도 9에 도시된 것과 같은 일부 영역을 인코딩한 결과를 결합함으로써 어플리케이션 실행화면에 상응하는 완벽한 인코딩 이미지를 생성하고, 이와 같이 생성된 완벽한 인코딩 이미지를 클라이언트에게 제공할 수 있다.
따라서, 마스크드 인코딩 이미지에 해당하는 영역에 대한 인코딩 코스트를 절약하면서도 클라이언트에게는 완벽한 어플리케이션 실행화면을 제공할 수 있다.
이 때, 인코딩 이미지가 어플리케이션 실행화면과 일치하는 이미지인 경우, 인코딩 이미지만 클라이언트에게 제공할 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법은 인코딩 이미지의 전체 영역 중 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한 마스크드(Masked) 인코딩 이미지를 캐시에 저장할 수 있다.
이 때, 캐시에 저장된 마스크드 인코딩 이미지를 이용하여 향후 마스킹 처리를 생략하고 어플리케이션 실행화면에 대한 인코딩 이미지를 제공할 수도 있다.
예를 들어, 클라이언트에 따라 일부 영역이 변화하는 어플리케이션 실행화면 A에 대해 마스킹 처리된 마스크드 인코딩 이미지 a를 캐시에 저장하고, 향후 어플리케이션 실행화면 A를 제공하는 경우에 마스크드 인코딩 이미지 a를 캐시로부터 획득하여 사용할 수 있다. 이 때, 마스크드 인코딩 이미지 a는 이미 마스킹 처리된 상태이므로 별도로 마스킹 처리를 수행하지 않고 사용할 수도 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법은 네트워크와 같은 통신망을 통해 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스를 위해 필요한 정보를 송수신할 수 있다. 특히, 본 발명의 일실시예에 따르면 클라이언트로부터 서비스 요청을 수신하고, 요청에 따른 어플리케이션 실행화면을 제공할 수 있다.
이 때, 네트워크는 클라우드 스트리밍 서버와 클라이언트 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법은 상술한 바와 같이 본 발명의 실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다.
이와 같은 클라우드 스트리밍 서비스 방법을 통해 클라우드 스트리밍 서비스 시 발생하는 인코딩 코스트를 감소시켜 시스템 효율을 향상시킬 수 있다.
또한, 클라우드 스트리밍 서버에 생성되는 다수의 클라우드 브라우저들이 공유하는 글로벌 캐시의 사용율을 향상시킬 수 있다.
또한, 클라우드 스트리밍 서버의 부하량을 감소시켜 보다 많은 클라이언트들에게 서비스를 제공할 수 있다.
또한, 웹 어플리케이션을 변형하지 않고도 클라이언트별로 변화하는 영역을 효과적으로 인코딩하여 제공함으로써 웹 어플리케이션 개발의 범용성을 유지할 수 있다.
도 10은 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 나타낸 블록도이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버는 통신부(1010), 프로세서(1020) 및 메모리(1030)를 포함한다.
통신부(1010)는 네트워크와 같은 통신망을 통해 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스를 위해 필요한 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(1010)는 클라이언트로부터 서비스 요청을 수신하고, 요청에 따른 어플리케이션 실행화면을 제공할 수 있다.
이 때, 네트워크는 클라우드 스트리밍 서버와 클라이언트 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
프로세서(1020)는 클라우드 스트리밍 서버에서 실행되는 어플리케이션 실행화면에 대해 대표 해시값을 산출한다.
클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷 상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스트리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.
예를 들어, 클라우드 스트리밍 서버에서 클라우드 스트리밍 엔진의 실행을 기반으로 로드되는 클라우드 브라우저에서 웹 어플리케이션이 실행될 수 있다.
이 때, 클라우드 브라우저는 웹 엔진을 실행시킴으로써 웹 어플리케이션을 실행시킬 수 있고, 클라우드 브라우저를 기반으로 실행되는 웹 어플리케이션은 클라이언트로부터 입력되는 키 입력을 바탕으로 동작할 수 있다.
이 때, 클라이언트는 클라우드 스트리밍 서버에게 클라우드 스트리밍 서비스를 요청하고, 클라우드 스트리밍 서버로부터 요청에 따른 어플리케이션 실행화면을 수신하여 사용자에게 제공해줄 수 있다. 따라서, 사용자는 마치 요청된 서비스에 해당하는 동영상이나 어플리케이션이 클라이언트에 상응하는 단말에서 실행되는 것처럼 느낄 수 있다.
이 때, 어플리케이션 실행화면은 클라우드 브라우저에서의 인코딩(Encoding)을 통해 이미지의 형태로 클라이언트에게 제공되기 때문에 동시에 많은 수의 클라이언트들로부터 서비스 요청이 발생하는 경우에는 클라우드 스트리밍 서버로의 부하가 집중되어 서비스가 원활하게 제공되지 않을 수 있다.
따라서, 종래에는 이러한 문제점을 해결하기 위해, 클라우드 스트리밍 서버 내에서 클라우드 브라우저들이 인코딩 이미지를 공유할 수 있는 글로벌 캐시를 구비하고, 한번 인코딩된 어플리케이션 실행화면에 대해 다시 요청이 발생하는 경우에는 글로벌 캐시에서 해당 요청에 따른 인코딩 이미지를 검색하여 제공하는 방안을 제시하고 있다.
예를 들어, 웹 어플리케이션의 UI 화면을 가상화하여 클라우드 스트리밍하는 경우, 동일한 웹 어플리케이션을 사용하는 사용자들은 도 3에 도시된 것처럼 동일한 어플리케이션 실행화면(300)을 볼 확률이 높다. 따라서, 이러한 경우에는 사용자들이 동일하게 볼 확률이 높은 어플리케이션 실행화면을 인코딩한 이미지를 글로벌 캐시에 저장해 두고, 해당 화면에 대한 요청이 발생하는 경우에 글로벌 캐시에서 인코딩 이미지를 찾아 제공할 수 있다. 즉, 인코딩하는 과정을 생략하고 글로벌 캐시에 저장된 이미지를 검색하여 제공하기 때문에 그만큼 서버의 작업 성능을 향상시킬 수 있다.
그러나, 도 3에 도시된 것처럼, 여러 사용자들에게 동일하게 보여지는 어플리케이션 실행화면(300)에서도 일부 영역(310)은 사용자에 따라 개인화되어 동일하지 않을 수 있다. 예를 들어, 시간이나 날씨 등을 표시하는 화면은 클라이언트가 접속하는 지역에 따라 차이가 발생할 수 있다. 하지만, 도 3과 같이 어플리케이션 실행화면(300) 중 일부 영역(310)만 차이가 발생하여도, 이전에 글로벌 캐시에 저장된 인코딩 이미지는 일부 영역(310)에 대한 인코딩 결과가 아니므로 사용할 수 없다는 문제점이 발생할 수 있다.
이와 같이 동일하지 않은 일부 영역(310)은 웹 어플리케이션 단에서 별도로 기술해줄 수 있지만, 이는 웹 어플리케이션 개발에 있어서 범용성을 저해하게 된다.
따라서, 본 발명에서는 캐시의 구성이나 부분 마스킹과 같은 후처리 과정을 기반으로 일부 영역이 동일하지 않은 어플리케이션 실행화면 중 동일한 영역을 다시 인코딩하지 않도록 함으로써 클라우드 스트리밍 서버와 캐시의 효율을 향상시킬 수 있는 방법을 제공하고자 한다.
이 때, 어플리케이션 실행화면의 대표해시값은, 캐시에 저장된 여러 인코딩 이미지들과 어플리케이션 실행화면을 비교하였을 경우에 일치하지 않는 어플리케이션 실행화면의 개인화된 영역을 인지하기 위한 값에 상응할 수 있다.
즉, 어플리케이션 실행화면의 해시값과 여러 인코딩 이미지들 각각에 대한 해시값을 일대일로 비교하여 개인화된 영역이 어느 부분인지 인지할 수 있다.
이 때, 대표 해시값은 어플리케이션 실행화면의 가로 픽셀 합과 세로 픽셀 합을 더하여 산출될 수 있다.
일반적으로 해시값은 파일의 특성을 수치로 축약한 값에 상응하는 것으로, 본 발명에서는 어플리케이션 실행화면에 대한 특성을 수치로 축약한 값에 해당할 수 잇다.
따라서, 클라이언트로부터 서비스가 요청된 어플리케이션 실행화면에 대한 해시값을 산출하여 대표 해시값으로 설정할 수 있다.
예를 들어, 대표 해시값은 도 4에 도시된 것처럼 어플리케이션 실행화면에 대해서 세로 픽셀 합(410)을 어플리케이션 실행화면의 가로 폭(W)의 시작 지점부터 끝까지 더하고, 가로 픽셀 합(420)도 어플리케이션 실행화면의 세로 높이(H)의 시작 지점부터 끝까지 더한 뒤 세로 별 픽셀 합과 가로 별 픽셀 합을 더한 값에 상응할 수 있다.
이 때, 가로 폭(W)의 시작지점에 해당하는 세로 픽셀 합(410)에 대한 해시값은 verSumHash[0]에 상응하고, 가로 폭(W)의 끝에 해당하는 세로 픽셀 합(411)에 대한 해시값은 verSumHash[W-1]에 상응할 수 있다.
또한, 세로 높이(H)의 시작지점에 해당하는 가로 픽셀 합(420)에 대한 대한 해시값은 horSumHash[0]에 상응하고, 세로 높이(H)의 끝에 해당하는 가로 픽셀 합(421)에 대한 해시값은 horSumHash[H-1]에 상응할 수 있다.
상기의 내용에 따라 세로 별 픽셀 합은 [수학식 1]과 같이 계산할 수 있다.
[수학식 1]
Sum of (verSumHash[0..W-1])
또한, 상기의 내용에 따라 가로 별 픽셀 합은 [수학식 2]와 같이 계산할 수 있다.
[수학식 2]
Sum of (horSumHash[0..H-1])
따라서, 최종적으로 어플리케이션 실행화면에 대한 대표 해시값은 [수학식 1]과 [수학식 2]를 합하여 [수학식 3]과 같이 계산할 수 있다.
[수학식 3]
대표해시값 = Sum of (verSumHash[0..W-1]) + Sum of (horSumHash[0..H-1])
또한, 프로세서(1020)는 대표 해시값을 기반으로 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단한다.
이 때, 어플리케이션 실행화면에 상응하는 인코딩 이미지는, 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지에 상응할 수 있다.
따라서, 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지가 존재하는지 여부를 판단하기 위해 캐시에 저장된 복수개의 인코딩 이미지들 각각에 대한 해시값과 어플리케이션 실행화면에 상응하는 대표 해시값을 비교할 수 있다.
즉, 대표 해시값과 동일한 해시값을 갖는 인코딩 이미지가 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지일 수 있다.
이 때, 복수개의 인코딩 이미지들 각각에 대한 해시값도 대표 해시값을 산출하는 과정과 동일하게 산출될 수 있다.
또한, 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지가 존재하지 않는 경우에는 해시값과 대표 해시값의 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지를 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정할 수 있다.
이 때, 기설정된 기준값은 어플리케이션 실행화면과 인코딩 이미지 사이에 동일하지 않은 일부 영역에 대한 최대 범위를 결정하는 값으로, 기설정된 기준 값이 클수록 일부 영역의 최대 범위가 넓을 수 있고, 기설정된 기준값이 작을수록 일부 영역의 최대 범위가 좁을 수 있다.
예를 들어, 특정 인코딩 이미지의 해시값과 어플리케이션 실행화면의 대표 해시값 간의 절대값 차이가 기설정된 기준값 이하인 경우, 특정 인코딩 이미지와 어플리케이션 실행화면 사이에 동일하지 않은 일부 영역이 최대 범위 이내에 해당하는 것으로 판단할 수 있다.
다른 예를 들어, 특정 인코딩 이미지의 해시값과 어플리케이션 실행화면의 대표 해시값 간의 절대값 차이가 기설정된 기준값을 초과하는 경우, 특정 인코딩 이미지와 어플리케이션 실행화면 사이에 동일하지 않은 일부 영역이 최대 범위를 초과하는 것으로 판단할 수 있다.
이 때, 인코딩 이미지는 어플리케이션 실행화면과 일치하는 이미지 및 어플리케이션 실행화면과 일부 영역이 다른 이미지 중 어느 하나에 상응할 수 있다.
예를 들어, 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면과 일치하는 인코딩 이미지가 존재하는지 여부를 1차적으로 판단하고, 캐시에 어플리케이션 실행화면과 일치하는 인코딩 이미지가 존재하는 경우에는 해당 인코딩 이미지를 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정할 수 있다.
그러나, 1차 판단결과 캐시에 어플리케이션 실행화면과 일치하는 인코딩 이미지가 존재하지 않는 경우에는 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면과 일부 영역이 다른 이미지가 존재하는지 여부를 2차적으로 판단할 수 있다. 이 때, 캐시에 어플리케이션 실행화면과 일부 영역이 다른 이미지가 존재하는 경우, 해당 인코딩 이미지를 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정할 수 있다.
또한, 프로세서(1020)는 인코딩 이미지가 존재하는 경우, 인코딩 이미지의 전체 영역 중 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한다.
예를 들어, 도 4에 도시된 어플리케이션 실행화면을 기준으로 대표해시값을 산출하여 캐시를 검색한 결과, 도 5에 도시된 것처럼 시계 부분만 13:44분으로 다른 인코딩 이미지가 검색되었다고 가정할 수 있다. 이 때, 도 4에 도시된 어플리케이션 실행화면의 대표 해시값과 도 5에 도시된 인코딩 이미지의 해시값 사이의 절대값 차이는 시계 부분에 해당하는 일부 영역만큼에 상응하는 값일 수 있다.
이러한 경우, 어플리케이션 실행화면의 대표 해시값과 인코딩 이미지의 해시값이 다른 일부 영역(610, 710)을 도 6 내지 도 7과 같이 시각적으로 표시하고, 해당하는 영역의 좌표를 획득하여 마스킹 처리를 수행할 수 있다.
예를 들어, 두 개의 해시값들을 비교하였을 때 해시값이 다른 영역의 가로 픽셀 합이 horSumHash[30..40]에 상응하고, 해시값이 다른 영역의 세로 픽셀 합이 verSumHash[1200..1250]에 상응한다고 가정할 수 있다. 이 때, 어플리케이션 실행화면과 인코딩 이미지가 일치하지 않는 일부 영역의 좌표는 (X:1200, Y:30, W:50, H:10)에 상응하게 획득될 수 있고, 도 7에 도시된 인코딩 이미지에서 좌표에 해당하는 일부 영역을 도 8에 도시된 것처럼 마스킹 처리하여 마스크트 인코딩 이미지를 생성할 수 있다.
이 때, 마스킹 처리된 영역(810)은 이미지 파일이 포함되지 않은 영역에 상응하는 것으로, 향후 일부 영역에 상응하게 인코딩된 결과가 마스킹 처리된 영역(810)에 오버랩 되듯이 결합될 수 있다.
또한, 프로세서(1020)는 마스킹 처리된 인코딩 이미지와 일부 영역을 인코딩한 결과를 결합하여 어플리케이션 실행화면을 요청한 클라이언트에게 제공한다.
예를 들어, 도 8에 도시된 것과 같은 마스크드 인코딩 이미지에 도 9에 도시된 것과 같은 일부 영역을 인코딩한 결과를 결합함으로써 어플리케이션 실행화면에 상응하는 완벽한 인코딩 이미지를 생성하고, 이와 같이 생성된 완벽한 인코딩 이미지를 클라이언트에게 제공할 수 있다.
따라서, 마스크드 인코딩 이미지에 해당하는 영역에 대한 인코딩 코스트를 절약하면서도 클라이언트에게는 완벽한 어플리케이션 실행화면을 제공할 수 있다.
이 때, 인코딩 이미지가 어플리케이션 실행화면과 일치하는 이미지인 경우, 인코딩 이미지만 클라이언트에게 제공할 수 있다.
또한, 프로세서(1020)는 인코딩 이미지의 전체 영역 중 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한 마스크드(Masked) 인코딩 이미지를 캐시에 저장할 수 있다.
이 때, 캐시에 저장된 마스크드 인코딩 이미지를 이용하여 향후 마스킹 처리를 생략하고 어플리케이션 실행화면에 대한 인코딩 이미지를 제공할 수도 있다.
예를 들어, 클라이언트에 따라 일부 영역이 변화하는 어플리케이션 실행화면 A에 대해 마스킹 처리된 마스크드 인코딩 이미지 a를 캐시에 저장하고, 향후 어플리케이션 실행화면 A를 제공하는 경우에 마스크드 인코딩 이미지 a를 캐시로부터 획득하여 사용할 수 있다. 이 때, 마스크드 인코딩 이미지 a는 이미 마스킹 처리된 상태이므로 별도로 마스킹 처리를 수행하지 않고 사용할 수도 있다.
메모리(1030)는 대표 해시값을 저장한다.
또한, 메모리(1030)는 상술한 바와 같이 본 발명의 실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 메모리(1030)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
한편, 클라우드 스트리밍 서버는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 에에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 클라우드 스트리밍 서버를 이용함으로써 클라우드 스트리밍 서비스 시 발생하는 인코딩 코스트를 감소시켜 시스템 효율을 향상시킬 수 있다.
또한, 클라우드 스트리밍 서버에 생성되는 다수의 클라우드 브라우저들이 공유하는 글로벌 캐시의 사용율을 향상시킬 수 있다.
또한, 클라우드 스트리밍 서버의 부하량을 감소시켜 보다 많은 클라이언트들에게 서비스를 제공할 수 있다.
또한, 웹 어플리케이션을 변형하지 않고도 클라이언트별로 변화하는 영역을 효과적으로 인코딩하여 제공함으로써 웹 어플리케이션 개발의 범용성을 유지할 수 있다.
도 11은 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작흐름도이다.
도 11을 참조하면, 본 발명의 일실시예에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법은 클라우드 스트리밍 서버에서 실행되는 어플리케이션 실행화면에 대해 대표 해시값을 산출한다(S1110).
이 때, 어플리케이션 실행화면의 대표해시값은, 캐시에 저장된 여러 인코딩 이미지들과 어플리케이션 실행화면을 비교하였을 경우에 일치하지 않는 어플리케이션 실행화면의 개인화된 영역을 인지하기 위한 값에 상응할 수 있다
이 때, 대표 해시값은 어플리케이션 실행화면의 가로 픽셀 합과 세로 픽셀 합을 더하여 산출될 수 있다.
예를 들어, 대표 해시값은 도 4에 도시된 것처럼 어플리케이션 실행화면에 대해서 세로 픽셀 합(410)을 어플리케이션 실행화면의 가로 폭(W)의 시작 지점부터 끝까지 더하고, 가로 픽셀 합(420)도 어플리케이션 실행화면의 세로 높이(H)의 시작 지점부터 끝까지 더한 뒤 세로 별 픽셀 합과 가로 별 픽셀 합을 더한 값에 상응할 수 있다.
이 후, 캐시에 저장된 복수개의 인코딩 이미지들 중 대표 해시값과 해시값이 일치하는 인코딩 이미지가 존재하는지 여부를 판단하고(S1115), 대표 해시값과 해시값이 일치하는 인코딩 이미지가 존재하면, 해당 인코딩 이미지를 클라이언트로 제공한다(S1120).
이 때, 캐시에 저장된 복수개의 인코딩 이미지들은 웹 어플리케이션에 대한 여러 어플리케이션 실행화면들을 인코딩한 이미지에 상응할 수 있다.
이 때, 대표 해시값과 동일한 해시값을 갖는 인코딩 이미지가 어플리케이션 실행화면과 완전히 동일한 인코딩 이미지에 해당하므로, 대표 해시값과 동일한 해시값을 갖는 인코딩 이미지를 클라이언트에게 제공할 수 있다.
또한, 단계(S1115)의 판단결과 대표 해시값과 해시값이 일치하는 인코딩 이미지가 존재하지 않으면, 대표해시값과 해시값의 절대값차이가 기설정된 기준값 이하인 인코딩 이미지가 존재하는지 여부를 판단한다(S1125).
이 때, 기설정된 기준값은 어플리케이션 실행화면과 인코딩 이미지 사이에 동일하지 않은 일부 영역에 대한 최대 범위를 결정하는 값으로, 기설정된 기준 값이 클수록 일부 영역의 최대 범위가 넓을 수 있고, 기설정된 기준값이 작을수록 일부 영역의 최대 범위가 좁을 수 있다.
단계(S1125)의 판단결과 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지가 존재하지 않으면, 어플리케이션 실행화면 전체를 인코딩하여 제공하고, 캐시에 인코딩된 어플리케이션 실행화면의 이미지를 저장할 수 있다(S1130).
또한, 단계(S1125)의 판단결과 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지가 존재하면, 해당 인코딩 이미지에서 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한다(S1140).
예를 들어, 도 4에 도시된 어플리케이션 실행화면을 기준으로 대표해시값을 산출하여 캐시를 검색한 결과, 도 5에 도시된 것처럼 시계 부분만 13:44분으로 다른 인코딩 이미지가 검색되었다고 가정할 수 있다. 이 때, 도 4에 도시된 어플리케이션 실행화면의 대표 해시값과 도 5에 도시된 인코딩 이미지의 해시값 사이의 절대값 차이는 시계 부분에 해당하는 일부 영역만큼에 상응하는 값일 수 있다.
이러한 경우, 어플리케이션 실행화면의 대표 해시값과 인코딩 이미지의 해시값이 다른 일부 영역(610, 710)을 도 6 내지 도 7과 같이 시각적으로 표시하고, 해당하는 영역의 좌표를 획득하여 마스킹 처리를 수행할 수 있다.
이 후, 마스킹 처리된 마스크드 인코딩 이미지에 어플리케이션 실행화면 중 인코딩 이미지와 일치하지 않는 일부 영역을 인코딩한 결과를 결합하여 클라이언트에게 제공한다(S1150).
예를 들어, 도 8에 도시된 것과 같은 마스크드 인코딩 이미지에 도 9에 도시된 것과 같은 일부 영역을 인코딩한 결과를 결합함으로써 어플리케이션 실행화면에 상응하는 완벽한 인코딩 이미지를 생성하고, 이와 같이 생성된 완벽한 인코딩 이미지를 클라이언트에게 제공할 수 있다.
따라서, 마스크드 인코딩 이미지에 해당하는 영역에 대한 인코딩 코스트를 절약하면서도 클라이언트에게는 완벽한 어플리케이션 실행화면을 제공할 수 있다.
이 후, 마스크드 인코딩 이미지를 캐시에 저장한다(S1160).
이 때, 캐시에 저장된 마스크드 인코딩 이미지를 이용하여 향후 마스킹 처리를 생략하고 어플리케이션 실행화면에 대한 인코딩 이미지를 제공할 수도 있다.
예를 들어, 클라이언트에 따라 일부 영역이 변화하는 어플리케이션 실행화면 A에 대해 마스킹 처리된 마스크드 인코딩 이미지 a를 캐시에 저장하고, 향후 어플리케이션 실행화면 A를 제공하는 경우에 마스크드 인코딩 이미지 a를 캐시로부터 획득하여 사용할 수 있다. 이 때, 마스크드 인코딩 이미지 a는 이미 마스킹 처리된 상태이므로 별도로 마스킹 처리를 수행하지않고 사용할 수도 있다.
본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.
컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서에서 '시스템'이나 '장치'라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이상에서와 같이 본 발명에 따른 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명에 의하면 클라우드 스트리밍 서버에서 실행되는 어플리케이션 실행화면에 대해 대표 해시값을 산출하고, 대표 해시값을 기반으로 캐시에 저장된 복수개의 인코딩 이미지들 중 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단하고, 인코딩 이미지가 존재하는 경우, 인코딩 이미지의 전체 영역 중 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리하고, 마스킹 처리된 인코딩 이미지와 일부 영역을 인코딩한 결과를 결합하여 어플리케이션 실행화면을 요청한 클라이언트에게 제공할 수 있다. 나아가, 클라우드 스트리밍 서버의 효율을 향상시킴으로써 보다 많은 클라이언트들에게 동시에 서비스를 제공할 수 있다.
110: 클라우드 스트리밍 서버
120-1~120-N: 클라이언트
130: 네트워크 300: 어플리케이션 실행화면
310, 610, 710: 일부 영역 410, 411: 세로 픽셀 합
420, 421: 가로 픽셀 합 810: 마스킹 처리된 영역
910: 일부 영역을 인코딩한 결과 1010: 통신부
1020: 프로세서 1030: 메모리
130: 네트워크 300: 어플리케이션 실행화면
310, 610, 710: 일부 영역 410, 411: 세로 픽셀 합
420, 421: 가로 픽셀 합 810: 마스킹 처리된 영역
910: 일부 영역을 인코딩한 결과 1010: 통신부
1020: 프로세서 1030: 메모리
Claims (10)
- 클라우드 스트리밍 서버에서 실행되는 어플리케이션 실행화면에 대해 대표 해시값을 산출하는 단계;
상기 대표 해시값을 기반으로 캐시(CACHE)에 저장된 복수개의 인코딩 이미지들 중 상기 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단하는 단계;
상기 인코딩 이미지가 존재하는 경우, 상기 인코딩 이미지의 전체 영역 중 상기 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리하는 단계; 및
마스킹 처리된 인코딩 이미지와 상기 일부 영역을 인코딩한 결과를 결합하여 상기 어플리케이션 실행화면을 요청한 클라이언트에게 제공하는 단계
를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - 청구항 1에 있어서,
상기 판단하는 단계는
상기 복수개의 인코딩 이미지들 각각에 대한 해시값과 상기 대표 해시값을 비교하는 단계; 및
상기 해시값과 상기 대표 해시값과의 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지를 상기 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정하는 단계를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - 청구항 2에 있어서,
상기 인코딩 이미지는
상기 어플리케이션 실행화면과 일치하는 이미지 및 상기 어플리케이션 실행화면과 상기 일부 영역이 다른 이미지 중 어느 하나에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - 청구항 3에 있어서,
상기 제공하는 단계는
상기 인코딩 이미지가 상기 어플리케이션 실행화면과 일치하는 이미지인 경우, 상기 인코딩 이미지만 상기 클라이언트에게 제공하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - 청구항 1에 있어서,
상기 클라우드 스트리밍 서비스 방법은
상기 인코딩 이미지의 전체 영역 중 상기 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리한 마스크드(MASKED) 인코딩 이미지를 상기 캐시에 저장하는 단계를 더 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - 청구항 1에 있어서,
상기 대표 해시값은
상기 어플리케이션 실행화면의 가로 픽셀 합과 세로 픽셀 합을 더하여 산출되는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - 어플리케이션 실행화면에 대해 대표 해시값을 산출하고, 상기 대표 해시값을 기반으로 캐시(CACHE)에 저장된 복수개의 인코딩 이미지들 중 상기 어플리케이션 실행화면에 상응하는 인코딩 이미지가 존재하는지 여부를 판단하고, 상기 인코딩 이미지가 존재하는 경우에 상기 인코딩 이미지의 전체 영역 중 상기 어플리케이션 실행화면과 일치하지 않는 일부 영역을 마스킹 처리하고, 마스킹 처리된 인코딩 이미지와 상기 일부 영역을 인코딩한 결과를 결합하여 상기 어플리케이션 실행화면을 요청한 클라이언트에게 제공하는 프로세서; 및
상기 대표 해시값을 저장하는 메모리
를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 7에 있어서,
상기 프로세서는
상기 복수개의 인코딩 이미지들 각각에 대한 해시값과 상기 대표 해시값을 비교하고, 상기 해시값과 상기 대표 해시값과의 절대값 차이가 기설정된 기준값 이하인 인코딩 이미지를 상기 어플리케이션 실행화면에 상응하는 인코딩 이미지로 결정하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 8에 있어서,
상기 인코딩 이미지는
상기 어플리케이션 실행화면과 일치하는 이미지 및 상기 어플리케이션 실행화면과 상기 일부 영역이 다른 이미지 중 어느 하나에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 9에 있어서,
상기 프로세서는
상기 인코딩 이미지가 상기 어플리케이션 실행화면과 일치하는 이미지인 경우, 상기 인코딩 이미지만 상기 클라이언트에게 제공하는 것을 특징으로 하는 클라우드 스트리밍 서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180064288A KR20190138121A (ko) | 2018-06-04 | 2018-06-04 | 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180064288A KR20190138121A (ko) | 2018-06-04 | 2018-06-04 | 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190138121A true KR20190138121A (ko) | 2019-12-12 |
Family
ID=69004098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180064288A KR20190138121A (ko) | 2018-06-04 | 2018-06-04 | 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190138121A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347956A (zh) * | 2020-11-12 | 2021-02-09 | 上海交通大学 | 基于多无人机和机器视觉的云观测系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050029117A (ko) | 2002-03-25 | 2005-03-24 | 사이트릭스 온라인, 엘엘씨. | 고속 블럭 모션 검출을 위한 방법 및 장치 |
-
2018
- 2018-06-04 KR KR1020180064288A patent/KR20190138121A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050029117A (ko) | 2002-03-25 | 2005-03-24 | 사이트릭스 온라인, 엘엘씨. | 고속 블럭 모션 검출을 위한 방법 및 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347956A (zh) * | 2020-11-12 | 2021-02-09 | 上海交通大学 | 基于多无人机和机器视觉的云观测系统及方法 |
| CN112347956B (zh) * | 2020-11-12 | 2022-05-06 | 上海交通大学 | 基于多无人机和机器视觉的云观测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9342618B2 (en) | Web application compositon and modification editor | |
| US20110078678A1 (en) | Methods and apparatus for producing cross-platform software applications | |
| US9507480B1 (en) | Interface optimization application | |
| WO2017076315A1 (zh) | 页面显示方法、装置、系统以及页面显示辅助方法、装置 | |
| US20130227388A1 (en) | Persistent Storage of Profile Data for Script Compilation | |
| US10547711B2 (en) | Using off-screen user interface data during remote sessions | |
| US8875060B2 (en) | Contextual gestures manager | |
| CN103443763A (zh) | 包含对重写虚拟函数的调用的支持的isa桥接 | |
| US9632742B2 (en) | Adaptive design editor for web applications | |
| US20180150217A1 (en) | Search method, client terminal, and graphical user interface | |
| US20190317970A1 (en) | Content search engine | |
| KR20190138121A (ko) | 부분 마스킹 기반의 효율적 캐시를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| US11438403B2 (en) | Page presentation method and system, computer system, and computer readable medium | |
| US20220382599A1 (en) | Method and apparatus for processing resource, electronic device and storage medium | |
| KR102053159B1 (ko) | 스케일러블 캐시 이미지를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20200124076A (ko) | 최소 구동 모드 기반의 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치 | |
| KR102034845B1 (ko) | 선택적 인코딩 기반의 클라우드 스트리밍 서비스 방법 및 위한 장치 | |
| KR102061682B1 (ko) | 클라우드 브라우저 기반의 사용자 활동 분석 방법 및 이를 위한 장치 | |
| KR102131080B1 (ko) | 문서 객체 모델을 이용한 웹 어플리케이션 세부 페이지 분석 방법 및 이를 위한 장치 | |
| KR102508293B1 (ko) | 클라우드 스트리밍 서비스 시스템, 어플리케이션 파일의 화질 정보에 따른 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| US11449569B2 (en) | Multi-entry point navigation for user interfaces | |
| CN112965699B (zh) | 前端页面生成方法、装置、计算机系统和可读存储介质 | |
| US20240028191A1 (en) | Reflecting data input into fields of a scrollable user interface | |
| US11188610B2 (en) | User navigation based on client-side history | |
| KR102150561B1 (ko) | 사용자 활동 예측 기반의 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |