KR101698951B1

KR101698951B1 - 복수의 시각적 요소를 가지는 스크린을 공유하는 시스템, 장치, 및 방법

Info

Publication number: KR101698951B1
Application number: KR1020157021822A
Authority: KR
Inventors: 하오핑 유; 신 왕
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2013-01-17
Filing date: 2014-01-17
Publication date: 2017-01-23
Also published as: JP2016508679A; US20140229542A1; KR20150110595A; JP6333858B2; WO2014113684A1; CN105165009A; CN105165009B; US9860285B2

Abstract

본 발명의 실시예들은 로컬 컴퓨팅 장치와 원격 컴퓨팅 장치를 포함하는 스크린 공유 기술을 제공한다. 로컬 컴퓨팅 장치는 로컬 컴퓨팅 장치의 프레임 버퍼로부터 캡쳐되는 픽셀 데이터를 비디오 스트림으로 압축한다. 로컬 컴퓨팅 장치가 비디오 시각적 요소가 표시될 것으로 판정하는 경우, 비디오 시각적 요소에 대한 압축된 데이터, 위치 정보, 및 시간 정보를 획득한다. 원격 컴퓨팅 장치는 압축된 데이터와 비디오 스트림을 상이한 디코더로 디코딩하고, 비디오 스트림과 압축된 데이터를 시간 정보 및 위치 정보에 따라 그 모니터상에서 표시한다. 이와 같이, 상술한 실시예는 더 나은 코딩 효율, 더 나은 코딩 품질, 및 더 낮은 비트 레이트를 이끌어낸다.

Description

복수의 시각적 요소를 가지는 스크린을 공유하는 시스템, 장치, 및 방법 {SYSTEM, APPARATUS AND METHOD FOR SHARING A SCREEN HAVING MULTIPLE VISUAL COMPONENTS}

삭제

본 발명은 일반적으로는 스크린 공유 기술에 관한 것이며, 더 구체적으로는 스크린 공유를 위해 하나의 네트워킹 장치로부터 다른 네트워킹 장치로 스크린 콘텐츠를 전송하는 기술에 관한 것이다.

컴퓨터와 같은 컴퓨팅 장치들 사이에서의 스크린 공유는 정보를 공유하고 다양한 목적을 달성하기 위해 서로 다른 위치에서의 사람들에게 중요한 도구이다. 예를 들어, 원격 컴퓨팅 장치상에서 문제가 발생하면, 뷰잉 장치(viewing device)에서의 기술자는 컴퓨터를 등록하고 컴퓨터에 그 문제를 가지는 원격 컴퓨팅 장치의 그래픽 유저 인터페이스(Graphical User Interface, GUI)를 보는 것에 의해 그 문제를 다룰 수 있다. 이는 기술자가 그 문제가 있는 곳으로 가야할 필요성을 제거한다. 스크린 공유는 또한, 작업자가 홈 컴퓨터, 랩탑, 및 PDA를 포함하는 임의의 인터넷-가능형 장치(Internet-enabled device)로부터 그들의 작업용 컴퓨터에 액세스할 수 있도록 한다. 스크린 공유의 다른 장점은 건조한 화상회의를 매력적인 온라인 프레젠테이션으로 바꿔주는 프레젠테이션 공유이다.

스크린 콘텐츠를 공유하기 위해서는, 모니터상에 표시되는 스크린 콘텐츠가 수집되어 원격 컴퓨팅 장치에 전송되어야 한다. 대체로, 로컬 컴퓨팅 장치는 특정 속도(rate), 예를 들면 초당 20프레임의 속도에서 스크린 이미지의 픽셀 데이터를 샘플링(sample)한다. 이후 스크린 이미지의 샘플링된 픽셀 데이터가 압축되고, 패키징(package)되어, 원격 컴퓨팅 장치에 전송된다. 원격 컴퓨팅은 수신된 데이터를 압축해제하고 이를 그 모니터상에 표시한다. 다르게는, 네트워크 리소스 소비를 감소시키기 위해, 전체 스크린 이미지를 전송하는 대신, 로컬 컴퓨팅 장치는 표시될 스크린 이미지를 이전 스크린 표시와 비교하고, 이전 스크린 이미지에 대한 업데이트만 원격 컴퓨팅 장치에 송신할 수 있다.

일반적인 방식의 스크린 공유는, 스크린 콘텐츠가 정적 이미지만을 포함하는 경우에는 만족스럽게 동작한다. 그러나, 스크린 콘텐츠가 동적 이미지를 포함하는 경우에는 만족스럽지 않은 결과를 만들어 낸다. 원격 컴퓨팅 장치가 공유 장치에 의해 송신된 캡쳐된 스크린 픽셀 데이터에 기초하여 공유된 스크린을 재생산하는 경우, 재생산된 스크린에서의 동적 이미지들의 폼질은 상당히 열화(degrade)될 수 있다.

도 1은 본 발명의 일 실시예에 따르는, 스크린 공유 시스템의 전반적인 구성을 보여주는 스크린 공유 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따르는, 컴퓨팅 장치의 구조를 보여주는 도면이다.
도 3은 일 실시예에 따르는, 컴퓨팅 장치상에 표시되는 시각적 요소를 설명한다.
도 4는 일 실시예에 따르는, 상이하게 처리되어 다른 컴퓨팅 장치와 개별적으로 공유될 상이한 시각적 요소를 설명한다.
도 5는 본 발명의 일 실시예에 따르는, 컴퓨팅 장치의 메모리 내에 저장된 압축 파일과 운영 시스템을 가지는 스크린 공유 애플리케이션의 블록도이다
도 6a 및 6b는 일 실시예에 따르는, 스크린 공유를 구현하기 위한 예시적인 단계들을 도시하는 흐름도이다.
도 7은 일 실시예에 따르는, 상이하게, 개별적으로 처리되어, 송신될 데이터 스트림에 멀티플렉스(multiplex)되어 있는 상이한 시각적 요소를 설명한다. 그리고,
도 8은 일 실시예에 따르는, 상이하고 개별적으로 디코딩되어 수신된 상이한 시각적 요소를 설명한다.

도 1은 본 발명의 일 실시예에 따르는 스크린 공유 시스템(100)의 전반적인 구성을 보여준다. 스크린 공유 시스템은 네트워크 연결을 통해 서로 통신하도록 접속된 로컬 컴퓨팅 장치(110)와 원격 컴퓨팅 장치(120)를 포함한다. 제3자 콘텐츠 소스(130)는 로컬 컴퓨팅 장치(110)에 의한 표시를 위해 압축된 데이터를 제공한다. 이 압축된 데이터는 MPEG(Moving Picture Experts Group) 파일, JPEG(Joint Photographic Experts Group) 파일, 또는 임의의 다른 압축된 파일일 수 있다. 로컬 컴퓨팅 장치(110)는, 압축된 스크린 콘텐츠 데이터를 수신하고, 압축된 스크린 콘텐츠 데이터를 압축해제하며, 그 스크린 콘텐츠를 자신의 모니터상에 표시하는 능력을 가짐으로써 스크린 공유 동작을 수행하는 원격 컴퓨팅 장치(120)에 스크린 공유를 위한 압축된 스크린 콘텐츠를 전송한다.

네트워크의 예시들로서는, LAN(local-area networks), MAN(metro-area networks)과, 인터넷 또는 월드 와이드 웹(World Wide Web)과 같은 WAN(wide-area networks)를 포함하나, 이에 한정되는 것은 아니다. 로컬 컴퓨팅 장치(110)와 원격 컴퓨팅 장치(120)는 표준 전화선, DSL(digital subscriber line), 비동기식 DSL, LAN, 또는 WAN 링크(예컨대, T1, T3), 브로드밴드 접속(Frame Relay, ATM), 및 무선 접속(예컨대, 802.11(a), 802.11(b), 802.11(g))과 같은 다양한 접속들 중 하나를 통해 네트워크에 접속할 수 있다.

로컬 컴퓨팅 장치(110)는 도 2에 도시되는데, 중앙 처리 유닛(CPU)(115), 그래픽 처리 유닛(GPU)(114), 전용 디코더(113), 메모리(116), 프레임 버퍼(112) 및 모니터(111)를 포함할 수 있다. 본 기술분야의 통상의 기술자가 이해하는 로컬 컴퓨팅 장치(110)는 마우스 또는 키보드 등과 같은 다른 구성요소를 포함할 수 있다. 원격 컴퓨팅 장치(120)는 유사한 또는 상이한 구성을 가질 수 있다.

메모리(116)는 리드-온리 메모리(ROM)와 같은 비-휘발성 컴퓨터 저장 매체와 랜덤-액세스 메모리(RAM)와 같은 휘발성 컴퓨터 저장 매체를 포함할 수 있다. ROM에 일반적으로 저장되는 것은, 컴퓨팅 장치의 스타트-업과 하드웨어 초기화를 포함하는 컴퓨팅 시스템의 기본 운영을 제어하기 위한 프로그램 코드를 담고 있는 기본 입/출력 시스템(BIOS)이다. RAM 내에 저장되는 것은 프로그램 코드와 데이터이다. 프로그램 코드는 애플리케이션 프로그램, 프로그램 모듈(예컨대, 브라우저 플러그-인), 및 운영 시스템(예컨대, 윈도우 운영 체제)을 포함하나, 이에 한정되는 것은 아니다. 메모리(116)는 서로 물리적으로 분리된 복수의 구성요소를 포함할 수 있다. 예를 들어, RAM의 일부가 그래픽 카드 내에 위치하고, RAM의 다른 부분은 PCIe(Peripheral Component Interconnect Express) 인터페이스를 통해 로컬 컴퓨팅 장치(110)의 다른 구성요소에 접속된다. 종합하여, 이들 모두가 메모리라고 호칭된다.

프레임 버퍼(112)는, 로컬 컴퓨팅 장치(110)의 모니터(111)상에서 표시 가능한 그래픽 콘텐츠를 표현하기 위해 CPU(115), GPU(114), 또는 전용 디코더(113)에 의해 생성되는 압축되지 않은 픽셀-수준 데이터를 저장하는, 메모리의 RAM의 일부일 수 있다. 보통, 프레임 버퍼(112)는 그래픽 카드상에 위치한다.

CPU(115)는 명령어들을 복구 및 실행하기에 적합한 마이크로프로세서 및/또는 전자 회로일 수 있고, 기능성 소프트웨어 프로그램을 수행하기 위해 구성될 수 있다. GPU(114)는 그래픽 렌더팅 과정을 실행하는데 필요한 연산들을 최적화하도록 개발된 특수 프로세서이다. GPU(114)는 데이터를 처리하여 모니터(111)상에서 디스플레이 가능한 이미지의 픽셀 데이터를 생성한다. 보통, GPU(114)는 그래픽 카드의 인쇄 회로 기판상에 장착된다. MPEG 디코더, JPEG 디코더와 같은 전용 디코더(113)는 특정 압축 데이터, 예를 들면 MPEG 비디오 또는 JPEG 이미지를 압축해제하도록 구성된다. 전용 디코더(113)는 GPU(114) 내에 통합되거나 또는 GPU(114)와 함께 그래픽 카드상에 설치된 독립된 모듈일 수 있다. 전용 디코더(113)는 상술한 것과 같은 하드웨어의 형태일 필요는 없으며, 통상의 기술자에 의해 이해되는 소프트웨어로서 구현될 수 있다. 설명의 목적에서, 본 특허출원에서 사용되는 "프로세서"라는 용어는 GPU(114), 전용 디코더(113), CPU(115), 또는 GPU(114), 전용 디코더(113), CPU(115)의 임의의 조합이 될 수 있다.

도 2 및 도 3을 참고하면, 로컬 컴퓨팅 장치(110)는 상이한 소프트웨어 프로그램을 이용하는 상이한 동작들, 예를 들면 워드(Word) 또는 스프래드시트(Spreadsheet)에서의 편집, 웹 브라우저를 통한 웹 페이지 브라우징, 비디오 게임 플레이, 사진 디스플레이, 및 동영상 시청 등을 하는데 이용될 수 있다. 따라서, 상이한 시각적 요소 즉, 텍스트, 그래픽, 2D/3D 애니메이션, 이미지, 및 비디오 등이 로컬 컴퓨팅 장치(110)의 모니터(111)상에 표시될 수 있다. 모니터(111)상에서 표시되는 스크린 콘텐츠의 시각적 요소는 상이한 유형으로 분류될 수 있다. 스크린 콘텐츠의 제1 시각적 요소(1112) 즉, 카테고리(1)는 GPU(114)에서의 그래픽 프로세서에 의해 생성된 모든 것들, 예컨대 텍스트 및 그래픽 및 2D/3D 애니메이션(1114)과 디코딩된 시각 콘텐츠 등을 포함한다. 대체로, 이러한 제1 카테고리 내의 데이터는 GPU(114) 내부에 프레임 메모리 또는 버퍼(FB) 내에 RGB 픽셀로서 저장된다. 제2 시각적 요소 즉, 카테고리(2)는 모니터(111) 표시되는 비디오(1111)와 이미지(1113)와 같은 이전에 압축되어 있는 콘텐츠를 가진다. 일반적으로, 비디오 시각적 요소(1111)와 이미지 시각적 요소(1113)는 GPU(114) 또는 전용 디코더(113)에 의해 디코딩된다. 압축된 데이터 예를 들면, 이미지 파일은 JPEG(Joint Photographic Experts Group) 파일, Exif(Exchaneable image file format) 파일, TIFF(Tagged Image File Format) 파일, GIF(Graphics Interchange Format) 파일, PNG(Portable Network Graphics) 파일 등으로 압축될 수 있고, 비디오 파일은 MPEG-2, MPEG-4, AVI, MP4 등으로 압축될 수 있다. 비디오 시각적 요소(1111) 또는 이미지 시각적 요소(1113)를 위한 픽셀 데이터는, 모니터(111) 상에서 표시될 전체 이미지를 형성하기 위해 제1 시각적 요소(1112)와 함께 프레임 버퍼(112) 내에 저장되거나, 모니터(111)에 대해 최종 출력 비디오 신호를 생성하기 위해, 접촉식(on the fly) 오버레이 프로세스를 통해 프레임 버퍼(112)로부터의 제1 시각적 요소를 위한 픽셀 데이터에 함께 부가될 수 있다. 제1 시각적 요소(1112)의 특정 콘텐츠는 예를 들어, 2D/3D 애니메이션(1114)과 같은 상이한 특성을 가질 수 있고, 이러한 콘텐츠는 제1 시각적 요소로부터 추출되고, 압축되어 제1 시각적 요소와 별개로 원격 컴퓨팅 장치(120)에 전송될 수 있다. 설명 목적에서, 이러한 콘텐츠는, 마찬가지로 프로세서에 의해 생성되고 프레임 버퍼(112) 내에 저장되나, 2D/3D 애니메이션(1114)과 같은 상이한 특성들을 가질 수 있는 "제3 시각적 요소"로 호칭된다.

오늘날의 데스크탑/스크린 공유 애플리케이션의 대부분에서는, 로컬 컴퓨팅 장치(110)는 프레임 버퍼(112) 내에 저장된 픽셀 데이터를 압축하고 원격 컴퓨팅 장치(120)에 압축된 픽셀 데이터를 송신함으로써, 원격 컴퓨팅 장치(120)에 시각적 요소를 공유한다. GPU 설계에 따라, 상술한 비디오 구성요소나 이미지 구성요소는 프레임 버퍼(112) 내에 저장되지 않을 수 있고, 그 결과, 흑/백 영역이 원격 컴퓨팅 장치상에서 보일 수 있다. 그러나, 이러한 흑/백 영역들은 로컬 컴퓨팅 장치상의 모니터에서는 나타나지 않을 것인데, 이는 그들이 비디오 및/또는 이미지와 같은 실제 압축된 데이터에 의해 가득 채워질 것이기 때문이다. 그러므로, 이러한 종류의 스크린/데스크탑 공유 솔루션은 만족스럽지 못할 수 있고, 대부분의 시간 동안 상업 제품에서 채택될 수 없다. 그러나, 스크린 공유 목적에서 제1 시각적 요소와 제2 시각적 요소를 획득 가능한 애플리케이션들이 있을 수 있다. 기본적으로, 이러한 종류의 솔루션들은 먼저 이전에 압축된 비디오 파일 및/또는 이미지 파일을 압축해제하고, 원격 컴퓨팅 장치(120)를 위해 비디오 스트림으로 그들을 압축하기 전에, 그들을 제1 시각적 요소(1112)(텍스트/그래픽/애니메이션)를 위한 픽셀 데이터에 함께 부가한다. 이 두번째 접근법으로는, 이전에 압축된 비디오 파일과 이미지 파일은 스크린 콘텐츠의 일부로서 압축해제 및 재압축된다. 따라서, 스크린 콘텐츠 압축이 더 복잡하게 되고, 보통 낮은 압축 성능을 야기한다. 이는 스크린 공유 애플리케이션이 자주 실시간 처리 및 압축을 필요로 한다는 사실에 주로 기인할 수 있다. 로컬 컴퓨팅 장치(110)에 오기 전에 이들 비디오와 이미지가 압축되어 있기 때문에, 스크린 공유를 위해 이들을 재압축하는 것은 양호한 및 세련된 공학 솔루션이 될 수 없다.

도 4에 도시된 것처럼, 로컬 컴퓨팅 장치(110)상에 보이는 시각적 요소는 제1 시각적 요소(1112), 비디오 시각적 요소(1111), 이미지 구성요소(1113), 및 제1 시각적 요소(1112)로부터 추출된 제3 시각적 요소(1114)를 포함한다. 각각의 시각적 요소는, 모든 시각적 요소들을 비디오 스트림으로 압축하고 그 비디오 스트림을 원격 컴퓨팅 장치와 공유하는 대신에, 상이하게 및 개별적으로 처리될 수 있다. 예를 들어, 프로세서에 의해 생성되어 프레임 버퍼(112) 내에 저장된 제1 시각적 요소(1112)는 다른 시각적 요소들에 대한 데이터와 별개로 비디오 스트림으로 압축될 수 있다. 이전에 압축된, 비디오 시각적 요소(1111)에 대한 압축된 비디오 파일 또는 이미지 시각적 요소(111)에 대한 압축된 이미지 파일과 같은 제2 시각적 요소는, 압축된 비디오 파일 또는 압축된 이미지 파일과 같은 압축된 데이터를 압축해제/재압축 과정을 통하지 않고 원격 컴퓨팅 장치(120)에 송신함으로써, 원격 컴퓨팅 장치(120)에 공유될 수 있다. 다른 예시로서, 제1 시각적 요소로부터 추출된 제3 시각적 요소는 백그라운드 구성요소와 별개로 압축될 수 있다. 상이한 시각적 요소를 상이하게 처리하는 주요한 이유는 (1) 그들의 특성들이 매우 상이하여, 단일 비디오 코덱을 가지는 것은 낮은 압축 성능이라는 결과를 가져올 수 있고, (2) 그들 중 일부는 그들이 컴퓨터에 들어왔을 때 이미 압축 즉, MPEG1/MPEG2/VC8/JPEG/JPEG2k로 비디오 및 이미지가 압축되어 있을 수 있어서, 그들을 재인코딩하는 것은 연산 리소스의 낭비가 되고, 재인코딩은 또한 감소된 시각 품질을 수반하게 된다. 따라서, 상술한 실시예들은 더 나은 코딩 효율, 더 나은 코딩 품질, 및 더 낮은 비트 레이트(bit rate)를 이끌어낸다.

도 5를 참고하면, 운영 시스템(1167), 비디오 파일 및/또는 이미지 파일과 같은 압축된 파일(1166), 및 스크린 공유 애플리케이션(1164)은 로컬 컴퓨팅 장치(110)의 메모리(111)(메모리는 도 5에는 도시되지 않음) 내에 저장된다. 스크린 공유 애플리케이션(1164)은 픽셀 데이터 캡쳐 모듈(1161), 메타데이터 획득 모듈(1169), 검출 모듈(1170), 압축 모듈(1162), 압축 데이터 획득 모듈(1165) 및 전송 모듈(1163)을 포함한다.

도 6a와 도 6b를 도 5와 함께 참고한다. 이들은 스크린 공유를 구현하는 일 실시예를 도시한다.

픽셀 데이터 캡쳐 모듈(1161)은 프레임 버퍼(112)로부터 제1 시각적 요소의 픽셀 데이터를 캡쳐한다(단계 601). 픽셀 데이터 캡쳐 모듈(1161)은 적합한 속도와 해상도(resolution)(예컨대, MPEG 준수 프레임 속도 및 해상도)에서 시각적 요소의 픽셀 데이터를 샘플링한다.

캡쳐된 픽셀 데이터를 바로 송신하는 대신에, 압축 모듈(1162)은 캡쳐된 픽셀 데이터를 압축하여 네트워크에 의해 부과되는 대역폭 제한과 원격 컴퓨팅 장치의 허용 가능한 최대 데이터 속도(data rate)를 조정할 수 있는 비디오 스트림을 생성한다(단계 602). 압축 포맷은 MPEG(Motion Picture Experts Group), 또는 원격 컴퓨팅 장치에 의해 지원되는 임의의 유형의 압축 및/또는 미디어 스트림 포맷일 수 있다. 구체적으로, 도 7에 도시된 것처럼, 압축 모듈(1162)은 제1 시각적 요소(1112)를 압축하기 위해 제1 인코더(1131)를 포함하고, 제1 시각적 요소(1112)로부터 추출된 제3 시각적 요소를 압축하기 위한 제2 인코더(1132)를 포함할 수 있다. 제1 인코더에 의해 압축된 제1 시각적 요소의 픽셀 데이터는 비디오 스트림을 형성하는 반면, 제2 인코더에 의해 암축된 제3 시각적 요소의 픽셀 데이터는 제1 시각적 요소에 대한 비디오 스트림과 별개인 다른 비디오 스트림을 형성한다. 압축 모듈(1162)이 제1 시각적 요소를 압축하는 경우, 상이하게 처리될 스크린상의 다른 시각적 요소가 차지하는 영역은, 제1 시각적 요소 전체에 대해 전반적인 비트 레이트를 감소시키는데 도움이 될 수 있기만 하다면, 임의의 텍스쳐(선과 같은), 플랫 필드(flat field), 또는 텍스트를 임의의 색으로 표현하는 픽셀로 채워질 수 있다. 유사하게, 제3 시각적 요소가 압축되어 제1 시각적 요소와 별개로 전송되면, 스크린상에서 제3 시각적 요소가 차지하는 영역도 제1 시각적 요소 전체에 대해 전반적인 비트 레이트를 감소시키는데 도움이 될 수 있기만 하다면, 임의의 텍스쳐(선과 같은), 플랫 필드(flat field), 또는 텍스트를 임의의 색으로 표현하는 픽셀로 채워질 수 있다.

검출 모듈(1170)은 로컬 컴퓨팅 장치(110)의 스크린이 비디오 시각적 요소 또는 이미지 시각적 요소와 같은 제2 시각적 요소를 표시할 것인지를 판정한다(단계 603). 비디오 시각적 요소와 이미지 시각적 요소 모두는 압축된 데이터로부터 압축해제된다. 판정을 하기 위한 방법은 여러가지가 있다. 예를 들어, 사용자에 의해 주어진, 압축된 파일을 오픈(open)하라는 명령어가 검출될 때일 수 있다. 다른 예시로는, 검출 모듈은, 압축된 데이터가 GPU(114) 또는 전용 디코더(113)에 의해 압축해제되는 것 또는 압축된 데이터가 압축해제되어 프레임 버퍼(112) 내에 저장되는 것에 기초하여 결정한다.

압축 데이터 획득 모듈(1165)은 로컬 컴퓨팅 장치의 메모리로부터 압축된 데이터를 획득한다(단계 604). 단계 603에서 결정이 이루어지면, 로컬 컴퓨팅 장치(110)는 압축된 데이터를 획득하고 이를 원격 컴퓨팅 장치(120)에 송신할 준비를 할 것이다.

로컬 컴퓨팅 장치(110)상에서 시각적 요소가 표시되는 것과 동일한 방식으로 원격 컴퓨팅 장치(120)상에서 상이한 시각적 요소를 표시하기 위해, 메타데이터 획득 모듈(1169)는 시간 정보 및/또는 위치 정보를 포함하는 메타데이터(1120)를 획득할 수 있다(단계 605 및 606). 시간 정보는 타임-스탬프(time-stamp), 시작, 종료, 기간 등에 관한 정보를 포함할 수 있고, 상이한 시각적 요소들을 동기화하는데 이용되고, x-y 좌표와 같은 위치 정보는 시각적 요소의 표시 위치(들)를 나타낸다. 더 구체적으로는, 위치 정보는 제1 시각적 요소, 제2 시각적 요소(비디오 시각적 요소 및/또는 이미지 시각적 요소), 및 제3 시각적 요소의 표시 위치를 나타낼 수 있다. 위치 정보는 각각의 시각적 요소의 투명도 정보와, 원격 컴퓨팅 장치(120)의 모니터상에 표시되는 최종 조합의 구성에 있어서 이들 시각적 요소들의 배열에 관한 다른 정보를 더 포함할 수 있다. 일례로서, 메타데이터는 하나 이상의 시각적 요소에 대한 허용 정보를 더 포함할 수 있다. 허용 정보는 각각의 시각적 요소에 의해 운반될 수 있고; 따라서 로컬 컴퓨팅 장치(110)의 소유자는 어떤 시각적 요소가 원격 컴퓨팅 장치(120)와 공유될지를 제어할 수 있다. 이러한 특징은 스크린 공유 애플리케이션에 있어서 사생활 문제를 위해 일부 시각적 요소를 숨기기 위해 유용한 것일 수 있다. 위치 정보, 시간 정보, 및 최종 조합을 구성하는데 이용되는 다른 인자(factor)를 포함하는 메타데이터는 보통 일부로서 현재 표시될 수 있는 개개의 소프트웨어 애플리케이션에 의해 또는 전체 스크린 콘텐츠에 대해 제공될 수 있다. 이는 또한, 운영 시스템 자체에 의해 제공될 수도 있다.

전송 모듈(1163)은 제1 시각적 요소에 대한 비디오 스트림, 비디오 시각적 요소에 대한 비디오 파일의 비디오 스트림, 이미지 시각적 요소에 대한 이미지 파일의 비디오 스트림, 제3 시각적 요소에 대한 비디오 스트림, 및 메타데이터(1200)를 원격 컴퓨팅 장치(120)에 송신한다(단계 607). 도 7에 도시된 것처럼, 로컬 컴퓨팅 장치(110)는 제1 시각적 요소에 대한 비디오 스트림, 비디오 시각적 요소에 대한 비디오 파일의 비디오 스트림, 이미지 시각적 요소에 대한 이미지 파일의 비디오 스트림, 제3 시각적 요소에 대한 비디오 스트림, 및 메타데이터(1200)를 데이터 스트림으로서(비디오 스트림으로도 호칭될 수 있음) 멀티플렉싱(multiplex)하고, 원격 컴퓨팅 장치(120)에 이들을 송신할 수 있다. 구성요소 각각에 대한 최적의 전달을 달성하기 위해, 메타데이터(1200)는 시각적 요소의 인코딩된/압축된 데이터와 함께, 멀티플렉싱된 스트림으로 또는 독립 채널을 통해 원격 컴퓨팅 장치(120)와 공유될 수 있다. 일례로서, 백그라운드 구성요소에 대한 비디오 스트림은 단 한 번만 공유될 수 있고, 비디오 파일의 비디오 스트림 또는 비디오 구성요소에 대한 비디오 스트림, 그리고 존재할 수도 있는 별개의 구성요소에 대한 비디오 스트림은 스트리밍 방식으로 연속하여 또는 주기적으로 전달될 수 있다.

도 6b와 도 8을 참고하면, 원격 컴퓨팅 장치(120)는 제1 시각적 요소에 대한 비디오 스트림, 비디오 시각적 요소에 대한 비디오 파일, 이미지 시각적 요소에 대한 이미지 파일, 및 메타데이터(1200)를 수신한다(단계 608). 제3 시각적 요소가 제1 시각적 요소로부터 추출되는 경우에는, 원격 컴퓨팅 장치(120)는 제3 시각적 요소에 대한 비디오 스트림도 수신할 수 있다. 원격 컴퓨팅 장치(120)는 먼저, 제3 시각적 요소가 제1 시각적 요소로부터 추출되어 제1 시각적 요소와 상이하게 및 독립하여 압축되었는지의 여부에 따라, 수신된 데이터 스트림을 상이한 데이터 스트림들: 제1 시각 시각적 요소에 대한 비디오 스트림, 비디오 시각적 요소에 대한 비디오 스트림, 이미지 시각적 요소에 대한 비디오 스트림, 메타데이터(1200), 및 존재할 수도 있는 제3 시각적 요소에 대한 비디오 스트림으로 디멀티플렉싱(de-multiplex)한다.

각각의 비디오 스트림은 그 자신의 디코더에 의해 추가로 디코딩될 수 있다(단계 609). 도 8에 도시된 것처럼, 비디오 시각적 요소에 대한 비디오 스트림은 MPEG 디코더와 같은 비디오 디코더에 의해 압축해제될 수 있다. 이미지 파일의 비디오 스트림은 JEPG 디코더와 같은 이미지 디코더에 의해 디코딩될 수 있다. 제1 시각적 요소에 대한 압축된 픽셀 데이터는 제1 디코더에 의해 압축해제될 수 있는 반면, 제1 시각적 요소로부터 추출된 2D/3D 애니메이션에 대한 비디오 스트림은 2D/3D 애니메이션 디코더에 의해 디코딩될 수 있다. 여기에 함께 언급된 디코더는 원격 컴퓨팅 장치(120)의 그래픽 카드상에 장착된 하드웨어이거나, 소프트웨어에 의해 구현될 수 있다.

원격 컴퓨팅 장치(120)는 백그라운드 구성요소, 비디오 구성요소, 및 이미지 구성요소를 수신된 메타데이터에 따라 표시한다(단계 610). 원격 컴퓨팅 장치(120)는 백그라운드 구성요소에 대한 비디오 스트림, 비디오 구성요소에 대한 비디오 스트림, 이미지 구성요소에 대한 비디오 스트림을 시간 정보에 따라 동기화된 방식으로 표시한다. 원격 컴퓨팅 장치(120)는 또한, 백그라운드 구성요소에 대한 비디오 스트림, 비디오 구성요소에 대한 비디오 스트림, 및 이미지 구성요소에 대한 비디오 스트림을 위치 정보에 따라 표시하여, 시각적 요소들이 로컬 컴퓨팅 장치의 모니터상에 표시되는 방식과 동일한 방식으로 배열된다. 제3 시각적 요소가 제1 시각적 요소로부터 추출되면, 제3 시각적 요소는 그에 부수하는 시간 정보와 위치 정보에 따라 표시될 것이다. 구체적으로, 원격 컴퓨팅 장치(120)의 모니터상에 표시되는 최종 스크린 비디오는, 위치 정보, 시간 정보, 및 허용 정보에 관한 정보가 표시를 위한 최종 스크린 콘텐츠를 조성하는데 이용될 경우, 스크린 콘텐츠 조성 모듈에 의해 생성될 것이다.

본 발명이 특정의 특징들 및 그 실시예들을 참고하여 설명되었으나, 이하의 청구범위에 의해 정의되는 본 발명의 사상과 범위를 벗어남이 없이 본 발명에 대한 다양한 변경과 대체가 이루어질 수 있다는 것을 이해하여야 한다.

Claims

원격 컴퓨팅 장치와 스크린 이미지를 공유하기 위해 로컬 컴퓨팅 장치에 의해 수행되는 방법으로서,
상기 로컬 컴퓨팅 장치의 프레임 버퍼로부터 상기 로컬 컴퓨팅 장치의 스크린 콘텐츠의 제1 시각적 요소의 픽셀 데이터를 캡쳐하는 단계;
제1 비디오 스트림을 형성하기 위해 상기 제1 시각적 요소의 캡쳐된 픽셀 데이터를 압축하는 단계;
상기 스크린 콘텐츠의 제2 시각적 요소가 스크린상에서 디스플레이될 것으로 판정하는 단계 - 상기 스크린 콘텐츠의 제2 시각적 요소는 압축된 데이터로부터 압축해제됨 -;
상기 제2 시각적 요소에 대한 상기 압축된 데이터를 획득하는 단계;
상기 제1 시각적 요소 및 제2 시각적 요소의 표시 위치를 나타내는 위치 정보 및 상기 제1 시각적 요소 및 제2 시각적 요소의 표시를 동기화하기 위한 시간 정보를 획득하는 단계; 및
상기 원격 컴퓨팅 장치와 스크린을 공유하기 위해, 상기 스크린 콘텐츠의 제1 시각적 요소에 대한 압축된 제1 비디오 스트림, 상기 압축된 데이터, 상기 위치 정보, 및 상기 시간 정보를 상기 원격 컴퓨팅 장치에 송신하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 판정하는 단계는,
압축된 데이터를 오픈(open)하기 위해 명령어가 사용자에 의해 부여되는 것; 또는
상기 압축된 데이터가 상기 로컬 컴퓨팅 장치의 프로세서에 의해 압축해제되고 있는 것; 또는
상기 압축된 데이터가 압축해제되어 상기 프레임 버퍼 내에 저장되는 것
을 검출하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 압축된 데이터는 비디오 파일이고, 상기 제2 시각적 요소는 비디오 시각적 요소이거나, 또는
상기 압축된 데이터는 이미지 파일이고, 상기 제2 시각적 요소는 이미지 시각적 요소인, 방법.
제1항에 있어서,
상기 로컬 컴퓨팅 장치의 프레임 버퍼로부터의 상기 제1 시각적 요소로부터 추출된 제3 시각적 요소의 픽셀 데이터를 캡쳐하는 단계;
상기 제3 시각적 요소의 캡쳐된 픽셀 데이터를 제2 비디오 스트림으로 압축하는 단계; 및
상기 압축된 제2 비디오 스트림을 상기 원격 컴퓨팅 장치에 송신하는 단계
를 더 포함하는 방법.
공유 컴퓨팅 장치에 의해 공유되는 스크린 콘텐츠를 표시하기 위해 컴퓨팅 장치에 의해 수행되는 방법으로서,
상기 스크린 콘텐츠의 제1 시각적 요소에 대한 제1 비디오 스트림, 상기 스크린 콘텐츠의 제2 시각적 요소에 대한 압축된 데이터, 및 메타데이터를 상기 공유 컴퓨팅 장치로부터 수신하는 단계 - 상기 메타데이터는 상기 제1 시각적 요소와 제2 시각적 요소의 표시를 동기화하기 위한 시간 정보 및 상기 제1 시각적 요소와 제2 시각적 요소의 표시 위치를 나타내는 위치 정보를 포함함 -;
상기 제1 시각적 요소를 획득하기 위해 상기 제1 시각적 요소에 대한 제1 비디오 스트림을 압축해제하는 단계;
상기 제2 시각적 요소를 획득하기 위해 상기 제2 시각적 요소에 대한 압축된 데이터를 압축해제하는 단계; 및
상기 시간 정보에 따라 및 상기 위치 정보에 따라, 동기화된 방식으로 상기 제1 시각적 요소와 제2 시각적 요소를 표시하는 단계
를 포함하는 방법.
제5항에 있어서,
상기 제2 시각적 요소에 대한 압축된 데이터가 데이터 스트림으로서 수신되는, 방법.
제5항에 있어서,
상기 압축된 데이터는 비디오 파일이고, 상기 제2 시각적 요소는 비디오 시각적 요소인, 방법.
제5항에 있어서,
상기 압축된 데이터는 이미지 파일이고, 상기 제2 시각적 요소는 이미지 시각적 요소인, 방법.
원격 컴퓨팅 장치와 스크린 이미지를 공유하기 위한 컴퓨팅 장치로서,
모니터;
프레임 버퍼; 및
상기 모니터와 프레임 버퍼와 결합된 프로세서
를 포함하고,
상기 프로세서는,
상기 프레임 버퍼로부터 상기 컴퓨팅 장치의 모니터상에서 표시될 스크린 콘텐츠의 제1 시각적 요소의 픽셀 데이터를 캡쳐하고;
제1 비디오 스트림을 형성하기 위해 상기 제1 시각적 요소의 캡쳐된 픽셀 데이터를 압축하며;
상기 스크린 콘텐츠의 제2 시각적 요소가 상기 모니터상에서 디스플레이될 것으로 판정하고 - 상기 스크린 콘텐츠의 제2 시각적 요소는 압축된 데이터로부터 압축해제됨 -;
상기 제2 시각적 요소에 대한 상기 압축된 데이터를 획득하며;
상기 제1 시각적 요소 및 제2 시각적 요소의 표시 위치를 나타내는 위치 정보 및 상기 제1 시각적 요소 및 제2 시각적 요소의 표시를 동기화하기 위한 시간 정보를 획득하고;
상기 원격 컴퓨팅 장치와 스크린을 공유하기 위해, 상기 스크린 콘텐츠의 제1 시각적 요소에 대한 압축된 제1 비디오 스트림, 상기 압축된 데이터, 상기 위치 정보, 및 상기 시간 정보를 상기 원격 컴퓨팅 장치에 송신하도록 구성되는, 컴퓨팅 장치.
제9항에 있어서,
상기 프로세서가,
압축된 데이터를 오픈(open)하기 위해 명령어가 사용자에 의해 부여되는 것; 또는
상기 압축된 데이터가 상기 컴퓨팅 장치의 프로세서에 의해 압축해제되고 있는 것; 또는
상기 압축된 데이터가 압축해제되어 상기 프레임 버퍼 내에 저장되는 것
을 검출할 때, 상기 프로세서가 상기 스크린 콘텐츠의 제2 시각적 요소가 상기 모니터상에서 디스플레이될 것으로 판정하는, 컴퓨팅 장치.
제9항에 있어서,
상기 압축된 데이터는 비디오 파일이고, 상기 제2 시각적 요소는 비디오 시각적 요소이거나, 또는
상기 압축된 데이터는 이미지 파일이고, 상기 제2 시각적 요소는 이미지 시각적 요소인, 컴퓨팅 장치.
제9항에 있어서,
상기 프로세서는,
상기 프레임 버퍼로부터의 상기 제1 시각적 요소로부터 추출된 제3 시각적 요소의 픽셀 데이터를 캡쳐하고;
상기 제3 시각적 요소의 캡쳐된 픽셀 데이터를 제2 비디오 스트림으로 압축하며;
상기 압축된 제2 비디오 스트림을 상기 원격 컴퓨팅 장치에 송신하도록 더 구성되는, 컴퓨팅 장치.
공유 컴퓨팅 장치에 의해 공유되는 스크린 콘텐츠를 표시하기 위한 컴퓨팅 장치로서,
모니터; 및
상기 모니터와 결합된 프로세서
를 포함하고,
상기 프로세서는,
상기 스크린 콘텐츠의 제1 시각적 요소에 대한 제1 비디오 스트림, 상기 스크린 콘텐츠의 제2 시각적 요소에 대한 압축된 데이터, 및 메타데이터를 상기 공유 컴퓨팅 장치로부터 수신하고 - 상기 메타데이터는 상기 제1 시각적 요소와 제2 시각적 요소의 표시를 동기화하기 위한 시간 정보 및 상기 제1 시각적 요소와 제2 시각적 요소의 표시 위치를 나타내는 위치 정보를 포함함 -;
상기 제1 시각적 요소를 획득하기 위해 상기 제1 시각적 요소에 대한 제1 비디오 스트림을 압축해제하며;
상기 제2 시각적 요소를 획득하기 위해 상기 제2 시각적 요소에 대한 압축된 데이터를 압축해제하고;
상기 시간 정보에 따라 및 상기 위치 정보에 따라, 동기화된 방식으로 상기 제1 시각적 요소와 제2 시각적 요소를 표시하도록 구성되는, 컴퓨팅 장치
제13항에 있어서,
상기 제2 시각적 요소에 대한 압축된 데이터가 데이터 스트림으로서 수신되는, 컴퓨팅 장치.
제13항에 있어서,
상기 압축된 데이터는 비디오 파일이고, 상기 제2 시각적 요소는 비디오 시각적 요소이거나, 또는
상기 압축된 데이터는 이미지 파일이고, 상기 제2 시각적 요소는 이미지 시각적 요소인, 컴퓨팅 장치.
삭제
삭제
삭제
삭제
삭제