KR102078576B1 - 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 - Google Patents
알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 Download PDFInfo
- Publication number
- KR102078576B1 KR102078576B1 KR1020180098063A KR20180098063A KR102078576B1 KR 102078576 B1 KR102078576 B1 KR 102078576B1 KR 1020180098063 A KR1020180098063 A KR 1020180098063A KR 20180098063 A KR20180098063 A KR 20180098063A KR 102078576 B1 KR102078576 B1 KR 102078576B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- alpha
- cloud streaming
- execution screen
- application execution
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000007906 compression Methods 0.000 title claims description 102
- 230000006835 compression Effects 0.000 title claims description 100
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000013144 data compression Methods 0.000 abstract description 20
- 238000004891 communication Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치가 개시된다. 클라우드 브라우저를 통해 캡처(CAPTURE)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리하고, 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성하고, 어플리케이션 실행화면에서 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 알파 압축 데이터와 함께 클라이언트 단말로 전송할 수 있다. 비디오 인코딩을 사용하여 메뉴, 포스터 등의 UI를 보다 원활하게 서비스하는 것이 가능하다.
Description
본 발명은 클라우드 스트리밍 서비스 기술에 관한 것으로, 특히 비디오 인코딩을 통해 UI(User Interface)를 제공할 수 있는 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치에 관한 것이다.
인터넷의 급속한 발달은 개인의 통신 속도를 급격히 향상시키는 결과를 가져왔으며, 이러한 통신 속도의 향상은 원격지에 위치한 컴퓨터에 접속하여 대용량의 데이터를 다운로드 또는 업로드 하거나, 원격지 컴퓨터 제어 프로그램을 사용하여 마치 원격지 컴퓨터에 로컬 로그인한 것과 같이 원격지 컴퓨터를 이용할 수 있는 환경을 제공하고 있다. 또한, 스마트폰과 같은 이동통신 단말에서 구동되는 어플리케이션이 다양하게 개발되면서, 비교적 낮은 성능의 사용자 단말에서 높은 성능을 필요로 하는 어플리케이션을 구동하기 위한 가상화 기술들이 많이 제안되고 있다.
클라우드 스트리밍(Cloud Streaming) 기술은 고사양의 시스템 자원을 필요로 하는 어플리케이션 또는 서비스를 클라우드 스트리밍 서버에서 구동하고, 렌더링된 결과만을 클라이언트 단말로 전달하는 솔루션에 해당한다. 따라서, 저사양의 단말에서도 고사양의 비디오를 재생하거나 또는 3D 게임을 플레이 할 수 있다.
한편, 라이브 채널(Live Channel) 위에 표시되는 메뉴 또는 포스터 등의 UI(User Interface)를 제공하기 위한 클라우드 스트리밍은 주로 이미지 인코딩을 통해 이루어지는데, 이는 투명도 처리에 용이하기 때문이다. 그러나, 이미지 인코딩의 경우, 애니메이션과 같이 화면 변화 속도가 빨라지는 처리에 있어서 부하가 크게 발생하는 단점이 존재하였다.
본 발명의 목적은, 비디오 인코딩을 사용하여 메뉴, 포스터 등의 UI를 제공할 수 있는 클라우드 스트리밍 서비스 방법을 제공하는 것이다.
또한, 본 발명의 목적은 비디오 기반의 클라우드 스트리밍 서비스 시 투명도 데이터를 효과적으로 처리하기 위한 기술을 제공하는 것이다.
또한, 본 발명의 목적은 화면 변화가 빠른 UI에 대해서 보다 원활하게 서비스 할 수 있는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 클라우드 스트리밍 서버의 자원 소모를 감소시킬 수 있고, 네트워크 부하도 감소시킬 수 있는 비디오 인코딩 기반의 UI 클라우드 스트리밍 서비스 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 클라우드 스트리밍 서비스 방법은, 클라우드 브라우저를 통해 캡처(CAPTURE)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리하는 단계; 상기 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성하는 단계; 및 상기 어플리케이션 실행화면에서 상기 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 상기 알파 압축 데이터와 함께 클라이언트 단말로 전송하는 단계를 포함한다.
이 때, 나머지 데이터는 상기 어플리케이션 실행화면에 상응하는 RGB 데이터에 상응할 수 있다.
이 때, 생성하는 단계는 클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택하는 단계; 및 선택된 압축 모드에 상응하게 상기 투명도가 다른 영역을 압축하는 단계를 포함할 수 있다.
이 때, 전송하는 단계는 상기 RGB 데이터 및 상기 알파 데이터를 동기화 정보와 패킷타이징(PACKETIZING)하여 생성된 데이터 패킷을 상기 클라이언트 단말로 전송할 수 있다.
이 때, 클라이언트 단말은 상기 동기화 정보를 기반으로 상기 RGB 데이터와 상기 알파 데이터를 합성하고, 합성된 데이터를 라이브 채널(LIVE CHANNEL) 위에 오버레이되는 유저 인터페이스 플레인(USER INTERFACE PLAIN)에 출력할 수 있다.
이 때, 선택하는 단계는 상기 클라우드 스트리밍 서버의 연산량이 많을수록 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 압축률이 높은 압축 모드를 선택할 수 있다.
이 때, 클라이언트 단말은 적어도 2개 이상의 비디오 디코더들을 기반으로 상기 라이브 채널에 대한 비디오 디코딩과 상기 RGB 데이터에 대한 비디오 디코딩을 동시에 수행할 수 있다.
또한, 본 발명에 따른 클라우드 스트리밍 서버는, 클라우드 브라우저를 통해 캡처(CAPTURE)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리하고, 상기 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성하고, 상기 어플리케이션 실행화면에서 상기 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 상기 알파 압축 데이터와 함께 클라이언트 단말로 전송하는 프로세서; 및 상기 어플리케이션 실행화면 및 상기 알파 데이터 중 적어도 하나를 저장하는 메모리를 포함한다.
이 때, 나머지 데이터는 상기 어플리케이션 실행화면에 상응하는 RGB 데이터에 상응할 수 있다.
이 때, 프로세서는 클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택하고, 선택된 압축 모드에 상응하게 상기 투명도가 다른 영역을 압축할 수 있다.
이 때, 프로세서는 상기 RGB 데이터 및 상기 알파 데이터를 동기화 정보와 패킷타이징(PACKETIZING)하여 생성된 데이터 패킷을 상기 클라이언트 단말로 전송할 수 있다.
이 때, 클라이언트 단말은 상기 동기화 정보를 기반으로 상기 RGB 데이터와 상기 알파 데이터를 합성하고, 합성된 데이터를 라이브 채널(LIVE CHANNEL) 위에 오버레이되는 유저 인터페이스 플레인(USER INTERFACE PLAIN)에 출력할 수 있다.
이 때, 프로세서는 상기 클라우드 스트리밍 서버의 연산량이 많을수록 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 압축률이 높은 압축 모드를 선택할 수 있다.
이 때, 클라이언트 단말은 적어도 2개 이상의 비디오 디코더들을 기반으로 상기 라이브 채널에 대한 비디오 디코딩과 상기 RGB 데이터에 대한 비디오 디코딩을 동시에 수행할 수 있다.
본 발명에 따르면, 비디오 인코딩을 사용하여 메뉴, 포스터 등의 UI를 제공할 수 있는 클라우드 스트리밍 서비스 방법을 제공할 수 있다.
또한, 본 발명은 비디오 기반의 클라우드 스트리밍 서비스 시 투명도 데이터를 효과적으로 처리하기 위한 기술을 제공할 수 있다.
또한, 본 발명은 화면 변화가 빠른 UI에 대해서 보다 원활하게 서비스 할 수 있는 기술을 제공할 수 있다.
또한, 본 발명은 클라우드 스트리밍 서버의 자원 소모를 감소시킬 수 있고, 네트워크 부하도 감소시킬 수 있는 비디오 인코딩 기반의 UI 클라우드 스트리밍 서비스 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작흐름도이다.
도 3은 본 발명에 따른 알파 데이터 중 압축 대상 영역의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 클라우드 스트리밍 서비스 과정의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 데이터 분리 및 합성 과정의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작흐름도이다.
도 7은 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작흐름도이다.
도 3은 본 발명에 따른 알파 데이터 중 압축 대상 영역의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 클라우드 스트리밍 서비스 과정의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 데이터 분리 및 합성 과정의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작흐름도이다.
도 7은 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 나타낸 블록도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 시스템은 웹 어플리케이션 서버(100), 클라우드 스트리밍 서버(110), 클라이언트 단말(120-1~120-N) 및 네트워크(130)를 포함한다.
클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스토리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.
웹 어플리케이션 서버(100)는 클라이언트 단말(120-1~120-N)을 통한 사용자의 요청에 따라 웹 어플리케이션을 실행하는 서버일 수 있다.
이 때, 웹 어플리케이션 서버(100)는 사용자의 요청을 받아 HTML이나 오브젝트를 HTTP 프로토콜을 이용하여 전송하는 웹 서버 또는 JSP, servlet과 같은 프로그램을 실행하여 동적인 결과를 제공할 수 있는 웹 서버에 상응할 수 있다.
클라우드 스트리밍 서버(110)는 클라이언트 단말(120-1~120-N)로부터 요청된 클라우드 스트리밍 서비스를 처리하기 위한 클라우드 스트리밍 엔진을 포함할 수 있다.
이 때, 클라우드 스트리밍 서버(110)에서는 클라우드 스트리밍 엔진이 실행되는 시점에 기 정의된 수만큼 브라우저를 생성할 수 있는데, 브라우저는 HTML, CSS 및 JavaScript등을 다운로드하고 실행하여 화면에 렌더링해줄 수 있다.
이 때, HTML(Hyper Text Markup Language)는 웹 페이지의 큰 뼈대를 제공하고, CSS(Cascading Style Sheets)는 색깔이나 글씨체와 같은 디자인 요소를 관리하며, 자바스크립트(Javascritp)는 크로스 플랫폼, 객체지향 스크립트 언어로 웹페이지의 동작을 담당할 수 있다.
또한, 클라우드 스트리밍 서버(110)는 클라우드 브라우저를 통해 캡처(CAPTURE)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리한다.
또한, 클라우드 스트리밍 서버(110)는 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성한다.
이 때, 클라우드 스트리밍 서버(110)의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택할 수 있다.
이 때, 선택된 압축 모드에 상응하게 투명도가 다른 영역을 압축할 수 있다.
이 때, 클라우드 스트리밍 서버(110)의 연산량이 많을수록 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 압축률이 높은 압축 모드를 선택할 수 있다.
또한, 클라우드 스트리밍 서버(110)는 어플리케이션 실행화면에서 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 알파 압축 데이터와 함께 클라이언트 단말(120-1~120-N)로 전송한다.
이 때, 나머지 데이터는 어플리케이션 실행화면에 상응하는 RGB 데이터에 상응할 수 있다.
이 때, RGB 데이터 및 알파 데이터를 동기화 정보와 함께 패킷타이징(Packetizing)하여 생성된 데이터 패킷을 클라이언트 단말(120-1~120-N)로 전송할 수 있다.
클라이언트 단말(120-1~120-N)은 클라우드 스트리밍 서버(110)에게 클라우드 스트리밍 서비스를 요청하고, 클라우드 스트리밍 서버(110)로부터 요청에 따른 실행화면을 수신하여 사용자에게 제공해줄 수 있다. 따라서, 사용자는 마치 요청된 서비스에 해당하는 동영상이나 어플리케이션이 클라이언트 단말(120-1~120-N)에서 실행되는 것처럼 느낄 수 있다.
이 때, 클라이언트 단말(120-1~120-N)은 동기화 정보를 기반으로 RGB 데이터와 알파 데이터를 합성하고, 합성된 데이터를 라이브 채널(Live Channel)위에 오버레이되는 유저 인터페이스 플레인(User Interface Plain)에 출력할 수 있다.
이 때, 클라이언트 단말(120-1~120-N)은 적어도 2개 이상의 비디오 디코더들을 기반으로 라이브 채널에 대한 비디오 디코딩과 RGB 데이터에 대한 비디오 디코딩을 동시에 수행할 수 있다.
이 때, 클라이언트 단말(120-1~120-N)은 각각 통신망에 연결되어 클라우드 스트리밍 서버(110)와 통신 가능한 장치에 해당할 수 있다. 예를 들어, 클라이언트 단말(120-1~120-N)은 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 클라이언트 단말(120-1~120-N)은 휴대폰, 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.
또한, 클라이언트 단말(120-1~120-N)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 클라이언트 단말(120-1~120-N)의 기능 제어와 관련하여 입력되는 신호를 입력부를 통해 제어부로 전달할 수 있다. 또한, 클라이언트 단말(120-1~120-N)의 입력부는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성할 수 있다. 이 때, 클라이언트 단말(120-1~120-N)의 입력부는 클라이언트 단말(120-1~120-N)의 표시부와 함께 하나의 터치패널(또는 터치 스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 클라이언트 단말(120-1~120-N)의 입력부는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다.
또한, 클라이언트 단말(120-1~120-N)의 표시부는 클라이언트 단말(120-1~120-N)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시할 수 있다. 또한, 클라이언트 단말(120-1~120-N)의 표시부는 클라이언트 단말(120-1~120-N)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 클라이언트 단말(120-1~120-N)의 표시부는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이 때, 클라이언트 단말(120-1~120-N)의 표시부가 터치스크린 형태로 구성된 경우, 클라이언트 단말(120-1~120-N)의 표시부는 클라이언트 단말(120-1~120-N)의 입력부의 기능 중 일부 또는 전부를 수행할 수 있다.
또한, 클라이언트 단말(120-1~120-N)의 저장부는 데이터를 저장하기 위한 장치로, 주 기억장치 및 보조 기억장치를 포함하고, 클라이언트 단말(120-1~120-N)의 기능 동작에 필요한 응용 프로그램을 저장할 수 있다. 이러한 클라이언트 단말(120-1~120-N)의 저장부는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 클라이언트 단말(120-1~120-N)은 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어부의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다.
또한, 클라이언트 단말(120-1~120-N)의 통신부는 클라우드 스트리밍 서버(110)와 네트워크를 통해 데이터를 송수신하기 위한 기능을 수행할 수 있다. 여기서 클라이언트 단말(120-1~120-N)의 통신부는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함할 수 있다. 이러한 클라이언트 단말(120-1~120-N)의 통신부는 무선통신 모듈을 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 클라이언트 단말(120-1~120-N)이 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 클라우드 스트리밍 서버(110)로 송수신할 수 있다. 즉 클라이언트 단말(120-1~120-N)은 무선통신 모듈을 이용하여 네트워크에 접속하며, 네트워크를 통해 클라우드 스트리밍 서버(110)와 데이터를 송수신할 수 있다.
또한, 클라이언트 단말(120-1~120-N)의 제어부는 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 예를 들어, 제어부는 클라우드 스트리밍 서버(110)에 접속하는 과정 전반을 제어할 수 있다. 이 때, 클라이언트 단말(120-1~120-N)이 클라우드 스트리밍 서버(110)에 접속하는 경우, 사용자의 요청에 따라 동영상과 같은 컨텐츠나 어플리케이션이 실행되는 과정 전반을 제어할 수 있으며, 실행과 동시에 클라우드 스트리밍 서버(110)로 서비스 이용 요청이 전송되도록 제어할 수 있다. 이 때 사용자 인증에 필요한 클라이언트 단말(120-1~120-N)의 정보가 함께 전송되도록 제어할 수도 있다.
네트워크(130)는 클라우드 스트리밍 서버(110) 및 클라이언트 단말(120-1~120-N) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(130)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신 망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
이와 같은 시스템을 통해 메뉴, 포스터 등의 UI 관련 클라우드 스트리밍을 비디오 인코딩을 기반으로 제공함으로써 종래의 기술보다 빠르고 효과적으로 서비스 할 수 있다.
도 2는 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법을 나타낸 동작흐름도이다.
클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스토리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.
종래에는 클라우드 스트리밍 서비스를 이용하는 클라이언트 단말에 비디오를 처리할 수 있는 비디오 디코더(Video Decoder)가 하나밖에 없어서, 해당 비디오 디코더는 라이브 채널(Live Channel) 전용으로만 사용해야 하는 한계가 있었다. 또한, 비디오 인코딩 기법으로는 투명도를 제공할 수 없기 때문에 메뉴 디스플레이나 포스터와 같은 사용자 인터페이스(User Interface, UI) 클라우드 스트리밍에서는 프레임 하나 하나를 이미지로 캡처하여 처리하는 이미지 인코딩 기법을 사용하였다.
그러나, 이미지 인코딩 기법은 비디오 인코딩 기법에 비해 처리 속도가 상대적으로 느리며, 데이터의 크기 역시 클 수 밖에 없어서 네트워크 부하가 증가한다는 단점이 존재한다.
한편, 최근에 클라이언트 단말들의 성능이 향상되고, 비디오 디코더 역시 2개 이상 구비됨으로써 라이브 채널이나 PIP(Picture In Picture)로 별도의 동영상을 처리하는 등 점점 서비스 방식의 자유도가 높아지게 되었다. 따라서, UI 클라우드 스트리밍에서도 비디오 인코딩을 사용할 수 있는 환경이 마련되었다.
본 발명에서는 이러한 환경을 기반으로 비디오 인코딩 기법을 이용하여 UI 클라우드 스트리밍을 수행할 수 있는 클라우드 스트리밍 서비스 방법을 제공하고자 한다.
도 2를 참조하면, 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법은 클라우드 브라우저를 통해 캡처(Capture)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리한다(S210).
이 때, 클라우드 브라우저에서 획득되는 캡처된 어플리케이션 실행화면은 알파(Alpha) 데이터를 포함하는 RGBA 데이터에 상응할 수 있다. 이 때, RGBA는 빨강(Red), 녹색(Green), 파랑(Blue)에 해당하는 세가지 채널의 밝기를 기준으로 지정된 색 공간인 RGB에 알파(Alpha)라는 투명도 또는 투과도를 덧붙인 데이터에 상응할 수 있다.
따라서, 본 발명에서는 비디오 인코딩을 통해 제공할 수 없는 투명도 또는 투과도를 별도로 처리하기 위해 RGBA 데이터에서 알파 데이터를 분리할 수 있다.
이 때, 이미지 편집 프로그램 또는 동영상 편집 프로그램에서 알파 채널을 추출하는 기법 또는 별도로 알파 채널만을 추출하기 위한 편집 프로그램에서 사용하는 기법 등을 응용하여 어플리케이션 실행화면으로부터 알파 데이터를 분리할 수 있다.
또한, 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법은 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성한다(S220).
이 때, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버에서는 알파 데이터에 대한 압축 처리를 위해 추가적인 연산 오버헤드(overhead)와 네트워크 데이터 크기 오버헤드가 발생할 수 있다. 따라서, 클라우드 스트리밍 서버의 한정된 자원을 고려하여 발생할 오버헤드의 크기를 조절해서 압축 처리를 수행해야 한다.
따라서, 본 발명에서는 알파 데이터 압축에 필요한 처리 시간과 오버헤드를 최소한으로 감소시키기 위해 이전 데이터와의 차이만을 압축하여 압축된 데이터를 생성할 수 있다.
예를 들어, 도 3을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버에서는 알파 데이터를 기반으로 이전 어플리케이션 실행화면(310)과 현재 어플리케이션 실행화면(320)을 비교하여 투명도가 다른 영역을 검출할 수 있다. 만약, 도 3에 도시된 어플리케이션 실행화면(320)의 영역들 중 B', C', D'에 상응하는 영역의 투명도가 이전 어플리케이션 실행화면(310)과 상이하다고 가정한다면, 알파 데이터 중 B', C', D'에 상응하는 영역의 데이터만을 압축하여 알파 압축 데이터를 생성할 수 있다.
이 때, 도 3에 도시된 레이아웃은 설명의 편의를 위한 것일 뿐 어플리케이션 실행화면의 투명도를 나타내는 레이아웃에 한정되지 않을 수 있다.
이와 같이 이전 데이터와의 차이만을 압축 처리하여 투명도를 제공함으로써 처리시간을 절약하고 전송해야 하는 데이터 크기 또한 감소시킬 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택할 수 있고, 선택된 압축 모드에 상응하게 투명도가 다른 영역을 압축할 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량은 비디오 인코딩에 상응하는 연산에 의한 것일 수도 있고, 클라우드 스트리밍 서비스 과정에 상응하는 연산에 의한 것일 수도 있다. 즉, 알파 데이터의 압축 모드는 클라우드 스트리밍 서버의 자원 상황에 대응하게 선택될 수 있다.
이 때, 네트워크 상태는 클라우드 스트리밍 서버와 클라이언트 단말 간의 데이터 통신을 위한 네트워크에 상응하는 것일 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량이 많을수록 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 압축률이 높은 압축 모드를 선택할 수 있다.
즉, 클라우드 스트리밍 서버의 연산량이 많을수록 알파 데이터를 압축하기 위한 연산량을 작게 하기 위해서 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 알파 압축 데이터를 전송하는데 발생하는 부하량을 적게 하기 위해서 압축률이 높은 압축 모드로 데이터 크기를 작게 압축할 수 있다.
또한, 클라우드 스트리밍 서버의 연산량이 적고, 네트워크 상태도 원활한 경우에는 시스템 관리자의 설정에 따라 압축률이 가장 높은 압축 모드를 선택하거나 또는 압축률이 가장 낮은 압축 모드를 선택하여 알파 압축 데이터를 생성할 수도 있다.
이 때, 상황에 따라 어떤 압축 모드를 선택할지는 특정한 조건에 한정되지는 않지만, 클라이언트 단말에게 클라우드 스트리밍 서비스를 가장 원활하게 제공할 수 있는 방향으로 선택되도록 할 수 있다.
이 때, 압축 모드는 압축률에 따라 사전에 다양하게 설정되어 저장될 수 있고, 클라우드 스트리밍 서비스 시 상황에 따라 선택되어 사용될 수 있다.
또한, 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법은 어플리케이션 실행화면에서 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 알파 압축 데이터와 함께 클라이언트 단말로 전송한다(S230).
즉, 본원발명에서는 클라우드 스트리밍 서버에서 투명도가 포함된 인코딩 데이터를 전달하는 것이 아니라, 클라이언트 단말에서 직접 디코딩된 데이터에 투명도를 적용할 수 있도록 별도의 압축 데이터로서 투명도 정보를 스트리밍해줄 수 있다.
이 때, 클라이언트 단말은 통신망에 연결되어 클라우드 스트리밍 서버와 통신 가능한 장치에 해당할 수 있다. 예를 들어, 클라이언트 단말은 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 클라이언트 단말은 휴대폰, 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.
이 때, 나머지 데이터는 어플리케이션 실행화면에 상응하는 RGB 데이터에 상응할 수 있다.
따라서, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버는 어플리케이션 실행화면의 RGB 데이터만을 비디오 인코딩하여 인코딩 데이터를 생성할 수 있다.
이 때, RGB 데이터 및 알파 데이터를 동기화 정보와 패킷타이징(Packetizing)하여 생성된 데이터 패킷을 클라이언트 단말로 전송할 수 있다. 즉, 데이터 패킷에는 비디오 인코딩된 RGB 데이터, 압축 모드에 상응하게 압축된 알파 압축 데이터 및 동기화 정보가 포함될 수 있다.
이 때, 동기화 정보는 클라이언트 단말에서 디코딩된 RGB 데이터와 압축 해제된 알파 데이터를 매칭시켜주기 위한 시간정보, 예를 들어, 타임 스탬프(Time Stamp)에 상응할 수 있다. 따라서, 동기화 정보는 클라이언트 단말을 통해 데이터 패킷이 unpack되는 경우, 비디오 인코딩된 RGB 데이터와 알파 압축 데이터에 각각 매핑될 수도 있다.
이 때, 클라이언트 단말은 동기화 정보를 기반으로 RGB 데이터와 알파 데이터를 합성하고, 합성된 데이터를 라이브 채널(Live Channel) 위에 오버레이되는 유저 인터페이스 플레인(User Interface Plain)에 출력할 수 있다.
즉, 클라이언트 단말을 비디오 디코더를 통해 디코딩되는 RGB 데이터와 알파 압축 데이터가 압축 해제된 알파 데이터를 동기화 정보를 기반으로 합성하여 UI Plain에 나타냄으로써 비디오 인코딩 기반의 UI를 제공할 수 있다.
이 때, 클라이언트 단말은 적어도 2개 이상의 비디오 디코더들을 기반으로 라이브 채널에 대한 비디오 디코딩과 RGB 데이터에 대한 비디오 디코딩을 동시에 수행할 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법은 도 1에 도시된 네트워크와 같은 통신망을 통해 다수의 클라이언트 단말들과 관련된 정보를 송수신한다. 특히, 클라우드 스트리밍 서비스에 대한 요청을 클라이언트 단말로부터 수신하고, 클라이언트 단말이 요청한 클라우드 스트리밍 서비스에 상응하는 데이터 패킷을 클라이언트 단말로 제공할 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.
실시예에 따라, 다양한 정보를 저장하는 저장모듈은 클라우드 스트리밍 서버와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장 모듈은 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
이와 같은 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법을 이용하여 비디오 인코딩을 기반으로 메뉴, 포스터 등의 UI 클라우드 스트리밍 서비스를 제공할 수 있다.
또한, 비디오 기반의 클라우드 스트리밍 서비스 시 투명도 데이터를 효과적으로 처리할 수 있다.
또한, 화면 변화가 빠른 UI에 대해서 보다 원활하게 서비스 할 수 있다.
또한, 클라우드 스트리밍 서버의 자원 소모를 감소시킬 수 있고, 네트워크 부하도 감소시킬 수 있는 비디오 인코딩 기반의 UI 클라우드 스트리밍 서비스 방법을 제공할 수 있다.
도 4는 본 발명에 따른 클라우드 스트리밍 서비스 과정의 일 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명에 따른 클라우드 스트리밍 서비스 과정은 먼저 웹 어플리케이션 서버가 클라이언트 단말에 기반한 사용자 입력(User Input)에 상응하게 웹 어플리케이션을 실행할 수 있다(S402).
이 때, 웹 어플리케이션 서버는 HTML이나 오브젝트를 HTTP 프로토콜을 이용하여 전송하는 웹 서버 또는 JSP, servlet과 같은 프로그램을 실행하여 동적인 결과를 제공할 수 있는 웹 서버에 상응할 수 있다.
이 후, 웹 어플리케이션 서버는 웹 어플리케이션의 실행을 통해 생성된 어플리케이션 실행화면을 클라우드 스트리밍 서버(400)로 전달할 수 있다.
따라서, 웹 어플리케이션 서버와 클라우드 스트리밍 서버(400)는 네트워크를 기반으로 데이터 통신을 수행할 수 있다.
이 후, 클라우드 스트리밍 서버(400)는 웹 어플리케이션 서버로부터 수신한 어플리케이션 실행화면을 렌더링하고(S404), 렌더링된 어플리케이션 실행화면을 캡처할 수 있다(S406).
이 후, 캡처된 어플리케이션 실행화면에서 알파 데이터를 분리하고, 알파 데이터를 기반으로 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성할 수 있다(S408).
이 때, 어플리케이션 실행화면에서 알파 데이터를 분리함으로써 어플리케이션 실행화면은 RGB 데이터와 알파 데이터로 나뉠 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택할 수 있고, 선택된 압축 모드에 상응하게 투명도가 다른 영역을 압축할 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량은 비디오 인코딩에 상응하는 연산에 의한 것일 수도 있고, 클라우드 스트리밍 서비스 과정에 상응하는 연산에 의한 것일 수도 있다. 즉, 알파 데이터의 압축 모드는 클라우드 스트리밍 서버의 자원 상황에 대응하게 선택될 수 있다.
이 때, 네트워크 상태는 클라우드 스트리밍 서버와 클라이언트 단말 간의 데이터 통신을 위한 네트워크에 상응하는 것일 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량이 많을수록 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 압축률이 높은 압축 모드를 선택할 수 있다.
즉, 클라우드 스트리밍 서버의 연산량이 많을수록 알파 데이터를 압축하기 위한 연산량을 작게 하기 위해서 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 알파 압축 데이터를 전송하는데 발생하는 부하량을 적게 하기 위해서 압축률이 높은 압축 모드로 데이터 크기를 작게 압축할 수 있다.
이 후, 어플리케이션 실행화면에서 알파 데이터가 분리된 나머지 RGB 데이터를 비디오 인코딩하고(S410), 비디오 인코딩된 RGB 데이터를 알파 압축 데이터와 함께 클라이언트 단말로 스트리밍할 수 있다(S412).
이 때, RGB 데이터 및 알파 데이터를 동기화 정보와 패킷타이징(Packetizing)하여 생성된 데이터 패킷을 클라이언트 단말로 전송할 수 있다. 즉, 데이터 패킷에는 비디오 인코딩된 RGB 데이터, 압축 모드에 상응하게 압축된 알파 압축 데이터 및 동기화 정보가 포함될 수 있다.
이 때, 동기화 정보는 클라이언트 단말에서 디코딩된 RGB 데이터와 압축 해제된 알파 데이터를 매칭시켜주기 위한 시간정보, 예를 들어, 타임 스탬프(Time Stamp)에 상응할 수 있다. 따라서, 동기화 정보는 클라이언트 단말을 통해 데이터 패킷이 unpack되는 경우, 비디오 인코딩된 RGB 데이터와 알파 압축 데이터에 각각 매핑될 수도 있다.
이 후, 클라이언트 단말에서는 비디오 인코딩된 RGB 데이터를 비디오 디코딩하고, 알파 압축 데이터를 압축 해제한 뒤 RGB 데이터와 알파 데이터를 합성하여 합성 데이터를 생성할 수 있다(S414).
이 때, 합성 데이터는 라이브 채널(Live Channel) 위에 오버레이되는 유저 인터페이스 플레인(User Interface Plain)에 출력될 수 있다.
이 때, 클라이언트 단말은 적어도 2개 이상의 비디오 디코더들을 기반으로 라이브 채널에 대한 비디오 디코딩과 RGB 데이터에 대한 비디오 디코딩을 동시에 수행할 수 있다.
이와 같은 클라우드 스트리밍 서비스 과정을 통해 비디오 인코딩을 사용하여 메뉴, 포스터 등의 UI를 제공할 수 있는 클라우드 스트리밍 서비스 방법을 제공할 수 있다.
또한, 비디오 기반의 클라우드 스트리밍 서비스 시 투명도 데이터를 효과적으로 처리할 수 있으며, 화면 변화가 빠른 UI에 대해서 보다 원활하게 서비스 할 수도 있다.
또한, 클라우드 스트리밍 서버의 자원 소모를 감소시킬 수 있고, 네트워크 부하도 감소시킬 수 있는 비디오 인코딩 기반의 UI 클라우드 스트리밍 서비스 방법을 제공할 수 있다.
도 5는 본 발명에 따른 데이터 분리 및 합성 과정의 일 예를 나타낸 도면이다.
도 5를 참조하면, 본 발명에 따른 데이터 분리 및 합성 과정은 먼저 클라우드 스트리밍 서버가 웹 어플리케이션 서버로부터 수신된 어플리케이션 실행화면에 상응하는 RGBA 데이터(510)를 RGB 데이터(511)와 알파 데이터(512)로 분리할 수 있다.
이 때, RGBA 데이터는 빨강(Red), 녹색(Green), 파랑(Blue)에 해당하는 세가지 채널의 밝기를 기준으로 지정된 색 공간인 RGB에 알파(Alpha)라는 투명도 또는 투과도를 덧붙인 데이터에 상응할 수 있다.
이 때, 클라우드 스트리밍 서버는 비디오 인코더(520)로 RGB 데이터(511)를 비디오 인코딩하여 비디오 인코딩 데이터(521)를 생성할 수 있다. 이 때, 비디오 인코딩 데이터(521)는 비디오 인코딩된 RGB 데이터에 상응할 수 있다.
또한, 클라우드 스트리밍 서버는 Compressor(530)로 알파 데이터(512)에서 이전 어플리케이션 실행화면과 투명도가 다른 영역의 데이터만 압축하여 알파 압축 데이터(531)를 생성할 수 있다.
예를 들어, 도 3을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버에서는 알파 데이터를 기반으로 이전 어플리케이션 실행화면(310)과 현재 어플리케이션 실행화면(320)을 비교하여 투명도가 다른 영역을 검출할 수 있다. 만약, 도 3에 도시된 어플리케이션 실행화면(320)의 영역들 중 B', C', D'에 상응하는 영역의 투명도가 이전 어플리케이션 실행화면(310)과 상이하다고 가정한다면, 알파 데이터 중 B', C', D'에 상응하는 영역의 데이터만을 압축하여 알파 압축 데이터를 생성할 수 있다.
이 때, 도 3에 도시된 레이아웃은 설명의 편의를 위한 것일 뿐 어플리케이션 실행화면의 투명도를 나타내는 레이아웃에 한정되지 않을 수 있다.
이 후, 클라우드 스트리밍 서버는 비디오 인코딩 데이터(521), 알파 압축 데이터(531)를 동기화 정보(540)를 함께 패킷타이징하여 클라이언트 단말에 상응하는 셋탑박스(Set-Top Box)로 스트리밍할 수 있다.
이 후, 클라이언트 단말에서는 스트리밍된 데이터 패킷을 풀어서 비디오 인코딩 데이터(521)는 비디오 디코더(550)로 디코딩하고, 알파 압축 데이터(531)는 Decompressor(560)로 압축해제할 수 있다.
이 후, 클라이언트 단말에서는 스트리밍된 동기화 정보(540)를 기반으로 디코딩된 RGB 데이터와 압축 해제된 알파 데이터를 합성하여 합성 데이터(570)를 생성할 수 있다.
이 때, 합성 데이터(570)는 라이브 채널(Live Channel) 위에 오버레이되는 유저 인터페이스 플레인(User Interface Plain)에 출력될 수 있다.
이와 같이 비디오 인코딩을 기반으로 UI 클라우드 스트리밍을 처리함으로써 이미지 인코딩을 이용할 때보다 처리 속도를 향상시킬 수 있고, 클라우드 스트리밍 서버의 자원 소모율도 감소시킬 수 있다. 또한, 네트워크 부하도 감소시킴으로써 클라우드 스트리밍 서버를 이용하는 클라이언트 단말들에게 보다 원활한 서비스 환경을 제공할 수도 있다.
또한, 변화가 빠른 UI 화면을 제공할 때에도 이미지 인코딩을 기반으로 서비스할 때보다 원활하게 서비스할 수 있다.
도 6은 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법은 클라우드 브라우저를 통해 캡처된 어플리케이션 실행화면에 상응하는 RGBA 데이터를 RGB 데이터와 알파 데이터로 분리할 수 있다(S610).
이 후, 비디오 인코더로 RGB 데이터를 인코딩하여 비디오 인코딩 결과를 생성하고, 클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 선택된 압축 모드로 알파 데이터를 압축하여 알파 압축 데이터를 생성할 수 있다(S620).
이 때, 클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택할 수 있고, 선택된 압축 모드에 상응하게 투명도가 다른 영역을 압축할 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량은 비디오 인코딩에 상응하는 연산에 의한 것일 수도 있고, 클라우드 스트리밍 서비스 과정에 상응하는 연산에 의한 것일 수도 있다. 즉, 알파 데이터의 압축 모드는 클라우드 스트리밍 서버의 자원 상황에 대응하게 선택될 수 있다.
이 때, 네트워크 상태는 클라우드 스트리밍 서버와 클라이언트 단말 간의 데이터 통신을 위한 네트워크에 상응하는 것일 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량이 많을수록 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 압축률이 높은 압축 모드를 선택할 수 있다.
즉, 클라우드 스트리밍 서버의 연산량이 많을수록 알파 데이터를 압축하기 위한 연산량을 작게 하기 위해서 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 알파 압축 데이터를 전송하는데 발생하는 부하량을 적게 하기 위해서 압축률이 높은 압축 모드로 데이터 크기를 작게 압축할 수 있다.
또한, 클라우드 스트리밍 서버의 연산량이 적고, 네트워크 상태도 원활한 경우에는 시스템 관리자의 설정에 따라 압축률이 가장 높은 압축 모드를 선택하거나 또는 압축률이 가장 낮은 압축 모드를 선택하여 알파 압축 데이터를 생성할 수도 있다.
이 때, 상황에 따라 어떤 압축 모드를 선택할지는 특정한 조건에 한정되지는 않지만, 클라이언트 단말에게 클라우드 스트리밍 서비스를 가장 원활하게 제공할 수 있는 방향으로 선택되도록 할 수 있다.
이 후, 동기화 정보와 함께 비디오 인코딩 결과 및 알파 압축 데이터를 패킷타이징(Packetizing)하여 데이터 패킷을 생성할 수 있다(S630).
즉, 데이터 패킷에는 비디오 인코딩된 RGB 데이터, 압축 모드에 상응하게 압축된 알파 압축 데이터 및 동기화 정보가 포함될 수 있다.
이 때, 동기화 정보는 클라이언트 단말에서 디코딩된 RGB 데이터와 압축 해제된 알파 데이터를 매칭시켜주기 위한 시간정보, 예를 들어, 타임 스탬프(Time Stamp)에 상응할 수 있다. 따라서, 동기화 정보는 클라이언트 단말을 통해 데이터 패킷이 unpack되는 경우, 비디오 인코딩된 RGB 데이터와 알파 압축 데이터에 각각 매핑될 수도 있다.
이 후, 클라이언트 단말로 데이터 패킷을 전송하면(S640), 클라이언트 단말이 비디오 인코딩 결과에 대한 비디오 디코딩 및 알파 압축 데이터에 대한 압축 해제를 수행하여 RGB 데이터와 알파 데이터를 획득할 수 있다(S650).
즉, 본원발명에서는 클라우드 스트리밍 서버에서 투명도가 포함된 인코딩 데이터를 전달하는 것이 아니라, 클라이언트 단말에서 직접 디코딩된 데이터에 투명도를 적용할 수 있도록 별도의 압축 데이터로서 투명도 정보를 스트리밍해줄 수 있다.
이 후, 클라이언트 단말에서 RGB 데이터와 알파 데이터를 합성하여 합성된 데이터를 생성할 수 있고(S660), 배경으로 라이브 채널(Live Channel)을 드로우(Draw)한 뒤 그 위에 UI Plain이 오버레이되도록 합성 데이터를 드로우(Draw)할 수 있다(S670).
이 때, 클라이언트 단말은 적어도 2개 이상의 비디오 디코더들을 기반으로 라이브 채널에 대한 비디오 디코딩과 RGB 데이터에 대한 비디오 디코딩을 동시에 수행할 수 있다.
도 7은 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 나타낸 블록도이다.
클라우드 스트리밍 서비스 또는 클라우드 컴퓨팅 서비스는 사용자가 컨텐츠를 로컬 스토리지가 아닌, 인터넷상의 클라우드 스토리지에 저장해놓고, 인터넷이 가능한 기기를 이용하여 언제 어디서든지 클라우드 스토리지에 접근하여 컨텐츠를 이용할 수 있는 서비스이다.
종래에는 클라우드 스트리밍 서비스를 이용하는 클라이언트 단말에 비디오를 처리할 수 있는 비디오 디코더(Video Decoder)가 하나밖에 없어서, 해당 비디오 디코더는 라이브 채널(Live Channel) 전용으로만 사용해야 하는 한계가 있었다. 또한, 비디오 인코딩 기법으로는 투명도를 제공할 수 없기 때문에 메뉴 디스플레이나 포스터와 같은 사용자 인터페이스(User Interface, UI) 클라우드 스트리밍에서는 프레임 하나 하나를 이미지로 캡처하여 처리하는 이미지 인코딩 기법을 사용하였다.
그러나, 이미지 인코딩 기법은 비디오 인코딩 기법에 비해 처리 속도가 상대적으로 느리며, 데이터의 크기 역시 클 수 밖에 없어서 네트워크 부하가 증가한다는 단점이 존재한다.
한편, 최근에 클라이언트 단말들의 성능이 향상되고, 비디오 디코더 역시 2개 이상 구비됨으로써 라이브 채널이나 PIP(Picture In Picture)로 별도의 동영상을 처리하는 등 점점 서비스 방식의 자유도가 높아지게 되었다. 따라서, UI 클라우드 스트리밍에서도 비디오 인코딩을 사용할 수 있는 환경이 마련되었다.
본 발명에서는 이러한 환경을 기반으로 비디오 인코딩 기법을 이용하여 UI 클라우드 스트리밍을 수행할 수 있는 클라우드 스트리밍 서버를 제공하고자 한다.
도 7을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버는 통신부(710), 프로세서(720) 및 메모리(730)를 포함한다.
통신부(710)는 도 1에 도시된 네트워크와 같은 통신망을 통해 다수의 클라이언트 단말들과 관련된 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(710)는 클라우드 스트리밍 서비스에 대한 요청을 클라이언트 단말로부터 수신하고, 클라이언트 단말이 요청한 클라우드 스트리밍 서비스에 상응하는 데이터 패킷을 클라이언트 단말로 제공할 수 있다.
프로세서(720)는 클라우드 브라우저를 통해 캡처(Capture)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리한다.
클라우드 스트리밍 서버는 클라이언트 단말로부터 요청된 클라우드 스트리밍 서비스를 처리하기 위한 클라우드 스트리밍 엔진을 포함할 수 있다.
이 때, 클라우드 스트리밍 서버에서는 클라우드 스트리밍 엔진이 실행되는 시점에 기 정의된 수만큼 클라우드 브라우저를 생성할 수 있는데, 클라우드 브라우저는 HTML, CSS 및 JavaScript등을 다운로드하고 실행하여 화면에 렌더링해줄 수 있다.
이 때, HTML(Hyper Text Markup Language)는 웹 페이지의 큰 뼈대를 제공하고, CSS(Cascading Style Sheets)는 색깔이나 글씨체와 같은 디자인 요소를 관리하며, 자바스크립트(Javascritp)는 크로스 플랫폼, 객체지향 스크립트 언어로 웹 페이지의 동작을 담당할 수 있다.
이 때, 클라우드 브라우저에서 획득되는 캡처된 어플리케이션 실행화면은 알파(Alpha) 데이터를 포함하는 RGBA 데이터에 상응할 수 있다. 이 때, RGBA는 빨강(Red), 녹색(Green), 파랑(Blue)에 해당하는 세가지 채널의 밝기를 기준으로 지정된 색 공간인 RGB에 알파(Alpha)라는 투명도 또는 투과도를 덧붙인 데이터에 상응할 수 있다.
따라서, 본 발명에서는 비디오 인코딩을 통해 제공할 수 없는 투명도 또는 투과도를 별도로 처리하기 위해 RGBA 데이터에서 알파 데이터를 분리할 수 있다.
이 때, 이미지 편집 프로그램 또는 동영상 편집 프로그램에서 알파 채널을 추출하는 기법 또는 별도로 알파 채널만을 추출하기 위한 편집 프로그램에서 사용하는 기법 등을 응용하여 어플리케이션 실행화면으로부터 알파 데이터를 분리할 수 있다.
또한, 프로세서(720)는 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성한다.
이 때, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버에서는 알파 데이터에 대한 압축 처리를 위해 추가적인 연산 오버헤드(overhead)와 네트워크 데이터 크기 오버헤드가 발생할 수 있다. 따라서, 클라우드 스트리밍 서버의 한정된 자원을 고려하여 발생할 오버헤드의 크기를 조절해서 압축 처리를 수행해야 한다.
따라서, 본 발명에서는 알파 데이터 압축에 필요한 처리 시간과 오버헤드를 최소한으로 감소시키기 위해 이전 데이터와의 차이만을 압축하여 압축된 데이터를 생성할 수 있다.
예를 들어, 도 3을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버에서는 알파 데이터를 기반으로 이전 어플리케이션 실행화면(310)과 현재 어플리케이션 실행화면(320)을 비교하여 투명도가 다른 영역을 검출할 수 있다. 만약, 도 3에 도시된 어플리케이션 실행화면(320)의 영역들 중 B', C', D'에 상응하는 영역의 투명도가 이전 어플리케이션 실행화면(310)과 상이하다고 가정한다면, 알파 데이터 중 B', C', D'에 상응하는 영역의 데이터만을 압축하여 알파 압축 데이터를 생성할 수 있다.
이 때, 도 3에 도시된 레이아웃은 설명의 편의를 위한 것일 뿐 어플리케이션 실행화면의 투명도를 나타내는 레이아웃에 한정되지 않을 수 있다.
이와 같이 이전 데이터와의 차이만을 압축 처리하여 투명도를 제공함으로써 처리시간을 절약하고 전송해야 하는 데이터 크기 또한 감소시킬 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택할 수 있고, 선택된 압축 모드에 상응하게 투명도가 다른 영역을 압축할 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량은 비디오 인코딩에 상응하는 연산에 의한 것일 수도 있고, 클라우드 스트리밍 서비스 과정에 상응하는 연산에 의한 것일 수도 있다. 즉, 알파 데이터의 압축 모드는 클라우드 스트리밍 서버의 자원 상황에 대응하게 선택될 수 있다.
이 때, 네트워크 상태는 클라우드 스트리밍 서버와 클라이언트 단말 간의 데이터 통신을 위한 네트워크에 상응하는 것일 수 있다.
이 때, 클라우드 스트리밍 서버의 연산량이 많을수록 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 압축률이 높은 압축 모드를 선택할 수 있다.
즉, 클라우드 스트리밍 서버의 연산량이 많을수록 알파 데이터를 압축하기 위한 연산량을 작게 하기 위해서 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 알파 압축 데이터를 전송하는데 발생하는 부하량을 적게 하기 위해서 압축률이 높은 압축 모드로 데이터 크기를 작게 압축할 수 있다.
또한, 클라우드 스트리밍 서버의 연산량이 적고, 네트워크 상태도 원활한 경우에는 시스템 관리자의 설정에 따라 압축률이 가장 높은 압축 모드를 선택하거나 또는 압축률이 가장 낮은 압축 모드를 선택하여 알파 압축 데이터를 생성할 수도 있다.
이 때, 상황에 따라 어떤 압축 모드를 선택할지는 특정한 조건에 한정되지는 않지만, 클라이언트 단말에게 클라우드 스트리밍 서비스를 가장 원활하게 제공할 수 있는 방향으로 선택되도록 할 수 있다.
이 때, 압축 모드는 압축률에 따라 사전에 다양하게 설정되어 저장될 수 있고, 클라우드 스트리밍 서비스 시 상황에 따라 선택되어 사용될 수 있다.
또한, 프로세서(720)는 어플리케이션 실행화면에서 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 알파 압축 데이터와 함께 클라이언트 단말로 전송한다.
즉, 본원발명에서는 클라우드 스트리밍 서버에서 투명도가 포함된 인코딩 데이터를 전달하는 것이 아니라, 클라이언트 단말에서 직접 디코딩된 데이터에 투명도를 적용할 수 있도록 별도의 압축 데이터로서 투명도 정보를 스트리밍해줄 수 있다.
이 때, 클라이언트 단말은 통신망에 연결되어 클라우드 스트리밍 서버와 통신 가능한 장치에 해당할 수 있다. 예를 들어, 클라이언트 단말은 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말, 이동통신단말기 및 IP(Internet Protocol) 단말 등의 다양한 단말에 해당할 수 있다. 또한, 클라이언트 단말은 휴대폰, 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수도 있다.
이 때, 나머지 데이터는 어플리케이션 실행화면에 상응하는 RGB 데이터에 상응할 수 있다.
따라서, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버는 어플리케이션 실행화면의 RGB 데이터만을 비디오 인코딩하여 인코딩 데이터를 생성할 수 있다.
이 때, RGB 데이터 및 알파 데이터를 동기화 정보와 패킷타이징(Packetizing)하여 생성된 데이터 패킷을 클라이언트 단말로 전송할 수 있다. 즉, 데이터 패킷에는 비디오 인코딩된 RGB 데이터, 압축 모드에 상응하게 압축된 알파 압축 데이터 및 동기화 정보가 포함될 수 있다.
이 때, 동기화 정보는 클라이언트 단말에서 디코딩된 RGB 데이터와 압축 해제된 알파 데이터를 매칭시켜주기 위한 시간정보, 예를 들어, 타임 스탬프(Time Stamp)에 상응할 수 있다. 따라서, 동기화 정보는 클라이언트 단말을 통해 데이터 패킷이 unpack되는 경우, 비디오 인코딩된 RGB 데이터와 알파 압축 데이터에 각각 매핑될 수도 있다.
이 때, 클라이언트 단말은 동기화 정보를 기반으로 RGB 데이터와 알파 데이터를 합성하고, 합성된 데이터를 라이브 채널(Live Channel) 위에 오버레이되는 유저 인터페이스 플레인(User Interface Plain)에 출력할 수 있다.
즉, 클라이언트 단말을 비디오 디코더를 통해 디코딩되는 RGB 데이터와 알파 압축 데이터가 압축 해제된 알파 데이터를 동기화 정보를 기반으로 합성하여 UI Plain에 나타냄으로써 비디오 인코딩 기반의 UI를 제공할 수 있다.
이 때, 클라이언트 단말은 적어도 2개 이상의 비디오 디코더들을 기반으로 라이브 채널에 대한 비디오 디코딩과 RGB 데이터에 대한 비디오 디코딩을 동시에 수행할 수 있다.
메모리(730)는 어플리케이션 실행화면 및 알파 데이터 중 적어도 하나를 저장한다.
또한, 메모리(730)는 상술한 바와 같이 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생하는 다양한 정보를 저장한다.
실시예에 따라, 메모리(730)는 클라우드 스트리밍 서버와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 메모리(730)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버는 하나 이상의 서버로 구현될 수 있다.
한편, 클라우드 스트리밍 서버는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛을 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 클라우드 스트리밍 서버를 이용함으로써 비디오 인코딩을 사용하여 메뉴, 포스터 등의 UI를 제공할 수 있는 클라우드 스트리밍 서비스 방법을 제공할 수 있다.
또한, 비디오 기반의 클라우드 스트리밍 서비스 시 투명도 데이터를 효과적으로 처리할 수 있으며, 화면 변화가 빠른 UI에 대해서 보다 원활하게 서비스 할 수도 있다.
또한, 클라우드 스트리밍 서버의 자원 소모를 감소시킬 수 있고, 네트워크 부하도 감소시킬 수 있는 비디오 인코딩 기반의 UI 클라우드 스트리밍 서비스 방법을 제공할 수 있다.
본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.
컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
본 명세서에서 '시스템'이나 '장치'라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이상에서와 같이 본 발명에 따른 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명에 의하면 클라우드 브라우저를 통해 캡처(CAPTURE)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리하고, 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성하고, 어플리케이션 실행화면에서 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 알파 압축 데이터와 함께 클라이언트 단말로 전송할 수 있다. 나아가, 비디오 인코딩을 통해 UI 클라우드 스트리밍 서비스를 제공함으로써 클라이언트들에게 보다 원활한 클라우드 스트리밍 서비스를 제공하는 것이 가능하다.
100: 웹 어플리케이션 서버 110, 400: 클라우드 스트리밍 서버
120-1~120-N: 클라이언트 단말 130: 네트워크
310: 이전 어플리케이션 실행화면 320: 어플리케이션 실행화면
510: RGBA 데이터 511: RGB 데이터
512: 알파 데이터 520: 비디오 인코더
521: 비디오 인코딩 데이터 530: Compressor
531: 알파 압축 데이터 540: 동기화 정보
550: 비디오 디코더 560: Decompressor
570: 합성 데이터 710: 통신부
720: 프로세서 730: 메모리
120-1~120-N: 클라이언트 단말 130: 네트워크
310: 이전 어플리케이션 실행화면 320: 어플리케이션 실행화면
510: RGBA 데이터 511: RGB 데이터
512: 알파 데이터 520: 비디오 인코더
521: 비디오 인코딩 데이터 530: Compressor
531: 알파 압축 데이터 540: 동기화 정보
550: 비디오 디코더 560: Decompressor
570: 합성 데이터 710: 통신부
720: 프로세서 730: 메모리
Claims (10)
- 클라우드 브라우저를 통해 캡처(CAPTURE)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리하는 단계;
상기 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성하는 단계; 및
상기 어플리케이션 실행화면에서 상기 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 상기 알파 압축 데이터와 함께 클라이언트 단말로 전송하는 단계
를 포함하고,
상기 알파 압축 데이터는
상기 어플리케이션 실행화면의 전체 영역 중 상기 이전 어플리케이션 실행화면의 투명도와 일치하지 않는 영역에 상응하는 알파 데이터를 압축한 것에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈청구항 1에 있어서,
상기 나머지 데이터는
상기 어플리케이션 실행화면에 상응하는 RGB 데이터에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈청구항 2에 있어서,
상기 생성하는 단계는
클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택하는 단계; 및
선택된 압축 모드에 상응하게 상기 투명도가 다른 영역을 압축하는 단계를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈청구항 2에 있어서,
상기 전송하는 단계는
상기 RGB 데이터 및 상기 알파 데이터를 동기화 정보와 패킷타이징(PACKETIZING)하여 생성된 데이터 패킷을 상기 클라이언트 단말로 전송하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈청구항 4에 있어서,
상기 클라이언트 단말은
상기 동기화 정보를 기반으로 상기 RGB 데이터와 상기 알파 데이터를 합성하고, 합성된 데이터를 라이브 채널(LIVE CHANNEL) 위에 오버레이되는 유저 인터페이스 플레인(USER INTERFACE PLAIN)에 출력하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈청구항 3에 있어서,
상기 선택하는 단계는
상기 클라우드 스트리밍 서버의 연산량이 많을수록 압축률이 낮은 압축 모드를 선택하고, 네트워크의 부하량이 높을수록 압축률이 높은 압축 모드를 선택하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈청구항 5에 있어서,
상기 클라이언트 단말은
적어도 2개 이상의 비디오 디코더들을 기반으로 상기 라이브 채널에 대한 비디오 디코딩과 상기 RGB 데이터에 대한 비디오 디코딩을 동시에 수행하는 것을 특징으로 하는 클라우드 스트리밍 서비스 방법. - 클라우드 브라우저를 통해 캡처(CAPTURE)된 어플리케이션 실행화면에서 투명도에 상응하는 알파 데이터를 분리하고, 상기 알파 데이터에서 이전 어플리케이션 실행화면과 투명도가 다른 영역을 압축하여 알파 압축 데이터를 생성하고, 상기 어플리케이션 실행화면에서 상기 알파 데이터가 분리된 나머지 데이터를 비디오 인코딩하여 상기 알파 압축 데이터와 함께 클라이언트 단말로 전송하는 프로세서; 및
상기 어플리케이션 실행화면 및 상기 알파 데이터 중 적어도 하나를 저장하는 메모리
를 포함하고,
상기 알파 압축 데이터는
상기 어플리케이션 실행화면의 전체 영역 중 상기 이전 어플리케이션 실행화면의 투명도와 일치하지 않는 영역에 상응하는 알파 데이터를 압축한 것에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 8에 있어서,
상기 나머지 데이터는
상기 어플리케이션 실행화면에 상응하는 RGB 데이터에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서버. - 청구항 9에 있어서,
상기 프로세서는
클라우드 스트리밍 서버의 연산량 및 네트워크 상태 중 적어도 하나를 고려하여 압축 모드를 선택하고, 선택된 압축 모드에 상응하게 상기 투명도가 다른 영역을 압축하는 것을 특징으로 하는 클라우드 스트리밍 서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180098063A KR102078576B1 (ko) | 2018-08-22 | 2018-08-22 | 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180098063A KR102078576B1 (ko) | 2018-08-22 | 2018-08-22 | 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102078576B1 true KR102078576B1 (ko) | 2020-02-19 |
Family
ID=69670006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180098063A KR102078576B1 (ko) | 2018-08-22 | 2018-08-22 | 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102078576B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220069714A (ko) * | 2020-11-20 | 2022-05-27 | 주식회사 이알마인드 | 원격화면 전송 방법 및 장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012141552A2 (ko) * | 2011-04-15 | 2012-10-18 | 에스케이플래닛 주식회사 | 적응적 비디오 트랜스코딩 방법 및 시스템 |
| KR101535809B1 (ko) * | 2014-01-24 | 2015-07-13 | 에스케이플래닛 주식회사 | 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치 |
| KR101551915B1 (ko) * | 2015-03-16 | 2015-09-08 | 스타십벤딩머신 주식회사 | 영상압축방법 및 영상압축장치 |
| KR20160015123A (ko) | 2014-07-30 | 2016-02-12 | 엔트릭스 주식회사 | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| KR101663085B1 (ko) * | 2014-05-09 | 2016-10-07 | 주식회사 싱크수트 | 휴대형 스마트기기에서의 동영상 기반의 알파채널 영상합성을 이용한 비디오 카드 제작 시스템 및 그 방법 |
-
2018
- 2018-08-22 KR KR1020180098063A patent/KR102078576B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012141552A2 (ko) * | 2011-04-15 | 2012-10-18 | 에스케이플래닛 주식회사 | 적응적 비디오 트랜스코딩 방법 및 시스템 |
| KR101535809B1 (ko) * | 2014-01-24 | 2015-07-13 | 에스케이플래닛 주식회사 | 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치 |
| KR101663085B1 (ko) * | 2014-05-09 | 2016-10-07 | 주식회사 싱크수트 | 휴대형 스마트기기에서의 동영상 기반의 알파채널 영상합성을 이용한 비디오 카드 제작 시스템 및 그 방법 |
| KR20160015123A (ko) | 2014-07-30 | 2016-02-12 | 엔트릭스 주식회사 | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| KR101551915B1 (ko) * | 2015-03-16 | 2015-09-08 | 스타십벤딩머신 주식회사 | 영상압축방법 및 영상압축장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220069714A (ko) * | 2020-11-20 | 2022-05-27 | 주식회사 이알마인드 | 원격화면 전송 방법 및 장치 |
| KR102429225B1 (ko) * | 2020-11-20 | 2022-08-04 | 주식회사 이알마인드 | 원격화면 전송 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107209693B (zh) | 缓冲器优化 | |
| US20140074911A1 (en) | Method and apparatus for managing multi-session | |
| US8941782B2 (en) | Display apparatus, upgrading apparatus, display system and data processing method of display system | |
| US20140344469A1 (en) | Method of in-application encoding for decreased latency application streaming | |
| CN114073098B (zh) | 流媒体同步方法及显示设备 | |
| CN111107428A (zh) | 一种双路媒体流数据的播放方法及显示设备 | |
| KR102398976B1 (ko) | 클라우드 스트리밍 서비스 시스템, 동시 인코딩을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| Lee et al. | FLUID-XP: flexible user interface distribution for cross-platform experience | |
| KR102346747B1 (ko) | 클라우드 스트리밍 서비스 시스템, 리사이즈 기반의 멀티뷰 화면을 제공하는 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102078576B1 (ko) | 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR101843411B1 (ko) | 클라우드 스트리밍 서비스 시스템, 이미지의 투명도에 기반한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102409033B1 (ko) | 클라우드 스트리밍 서비스 시스템, 알파 레벨을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102199270B1 (ko) | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102407477B1 (ko) | 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 알파 값을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| CN114501087B (zh) | 一种显示设备 | |
| KR102177934B1 (ko) | 클라우드 스트리밍 서비스 시스템, 변화된 이미지의 분할을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20160115566A (ko) | 클라우드 스트리밍 서비스 시스템, 이미지와 텍스트의 분리를 통한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| CN108205426A (zh) | 一种实现网页分发服务器的方法及系统 | |
| KR102313531B1 (ko) | 클라우드 스트리밍 서비스 시스템, 동일 세션 다중 접속 방식을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR20220137260A (ko) | 비디오 컬러 공간 변환 생략을 이용한 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치 | |
| KR102306889B1 (ko) | 클라우드 스트리밍 서비스 시스템, 데이터 치환을 통한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102508293B1 (ko) | 클라우드 스트리밍 서비스 시스템, 어플리케이션 파일의 화질 정보에 따른 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102273145B1 (ko) | 클라우드 스트리밍 서비스 시스템, 추가 인코딩을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| KR102034850B1 (ko) | 멀티 프레임을 고려한 키 처리 기반의 클라우드 스트리밍 서비스 방법 및 이를 위한 방법 | |
| US20210377328A1 (en) | Method and apparatus for providing cloud streaming service |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |