TWI627858B - Screen image transmission and playing method and device based on network-based operating system operating environment - Google Patents

Screen image transmission and playing method and device based on network-based operating system operating environment Download PDF

Info

Publication number
TWI627858B
TWI627858B TW103110279A TW103110279A TWI627858B TW I627858 B TWI627858 B TW I627858B TW 103110279 A TW103110279 A TW 103110279A TW 103110279 A TW103110279 A TW 103110279A TW I627858 B TWI627858 B TW I627858B
Authority
TW
Taiwan
Prior art keywords
network
operating system
screen image
screen
point
Prior art date
Application number
TW103110279A
Other languages
English (en)
Other versions
TW201526620A (zh
Inventor
zhi-jun Yuan
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201526620A publication Critical patent/TW201526620A/zh
Application granted granted Critical
Publication of TWI627858B publication Critical patent/TWI627858B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1093—In-session procedures by adding participants; by removing participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1094—Inter-user-equipment sessions transfer or sharing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio

Abstract

本發明揭示了一種基於以網路為基礎的(Web-based)作業系統(OS)運行環境的螢幕影像傳輸播放方法以及裝置。所述基於Web-based OS運行環境的螢幕影像傳輸播放方法包括：投射端與播放端使用Web-based OS提供的點到點連接介面建立點到點通信鏈路；投射端使用Web-based OS提供的螢幕訪問介面訪問螢幕影像，將螢幕影像即時轉換為螢幕影像資料，並透過所述通信鏈路發送所述螢幕影像資料；所述播放端接收所述螢幕影像資料，並使用Web-based OS提供的影像播放控制項將螢幕影像資料繪製在螢幕上。採用上述的基於Web-based OS運行環境的螢幕影像傳輸播放方法實施螢幕投射的門檻低，基於普通的Web-based OS運行環境的二設備之間即可實施螢幕投射，擴大了螢幕投射技術的使用範圍，並且操作簡單，實施便捷。

Description

基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法及裝置
本發明關於一種螢幕投射技術，具體關於一種基於以網路為基礎的(Web-based)作業系統(OS)運行環境的螢幕影像傳輸播放方法。本發明同時提供於基於Web-based OS運行環境的螢幕影像傳輸方法，和對應該方法的基於Web-based OS運行環境的螢幕影像播放方法；本發明同時提供對應於上述一種基於Web-based OS運行環境的螢幕影像傳輸播放裝置。
具有螢幕的電子設備在日常生活和商務環境中已經廣泛應用。為了充分利用各種螢幕，經常需要共用螢幕內容。常見的共用螢幕內容的方式有螢幕共用技術、螢幕映射技術以及螢幕投射技術。螢幕投射技術是指一設備螢幕目前播放的影像透過某種手段或者裝置在另外一個或多個設備螢幕即時播放的技術。螢幕投射技術是非常普遍的需求，常常應用在投影儀領域、智慧終端機設備領域。螢幕投射技術包括兩個過程，過程一是將第一螢幕的螢幕影像 資料向第二螢幕傳輸的資料傳輸過程，過程二是在所述第二螢幕上將接收到的螢幕影像資料在該第二螢幕上播放，上述兩個過程組成一個完整的螢幕投射過程。在本發明中，為了敘述方便，將螢幕投射稱為螢幕影像傳輸播放；其中，過程一稱為螢幕影像傳輸，過程二稱為螢幕影像播放。
過去，螢幕投射都需要使用專門的資料線連接需要共用螢幕的兩個設備，透過該資料線實現螢幕影像資料的傳輸。隨著網路應用的發展，一般電子設備均具有成為某個網路上的節點的功能，利用這些網路直接共用螢幕內容成為可能。
現有技術下利用網路實現螢幕投射技術的方法主要是移動設備透過無線將自身的螢幕影像投射到在同一局域網之內連接的特定大螢幕設備的螢幕上，例如，Apple設備(iPad、iPhone、iPod和PC)透過WIFI將自身螢幕投射到局域網範圍之內的Apple TV的螢幕上；小米移動設備、iOS移動設備以及電腦將自身螢幕投射到局域網範圍內連接的小米電視螢幕上，或者投射到小米盒子上，透過小米盒子將螢幕資料傳輸至小米電視播放。
上述現有技術的缺陷在於，設備之間的連接需要專用的軟體支援，使這些連接方式缺少通用性。例如，Apple移動設備向Apple TV投射螢幕限制為Apple的專有產品，並且基於Apple專有協定，只有支援Apple協定的設備才能相互之間進行投射；小米移動設備或iOS移動設備 向小米盒子或TV投射螢幕需要安裝小米專有軟體，只支援Android或iOS設備和小米盒子之間螢幕投射，並且基於Apple專有協議。為了實現上述螢幕投射方法，一般還需要專門下載安裝這些APP軟體，這些APP軟體往往需要支付費用，安裝完畢後，還需要進行調試。
由於上述原因，使現有技術提供的上述方式具有較高的使用門檻。
本發明提供一種基於Web-based OS運行環境的螢幕影像傳輸播放方法，以解決現有的螢幕投射技術存在的問題。
本發明提供一種基於Web-based OS運行環境的螢幕影像傳輸播放方法，包括以下步驟：投射端與播放端使用Web-based OS提供的點到點連接介面建立點到點通信鏈路；投射端使用Web-based OS提供的螢幕訪問介面訪問螢幕影像，將螢幕影像即時轉換為螢幕影像資料，並透過所述通信鏈路發送所述螢幕影像資料；所述播放端接收所述螢幕影像資料，並使用Web-based OS提供的影像播放控制項將螢幕影像資料繪製在螢幕上。
可選的，執行所述建立投射端與播放端的點到點通信鏈路的步驟之前，包括下述步驟： 投射端內置Web-based OS原始運行環境透過url訪問一Web伺服器，從該Web伺服器載入投射端所需邏輯代碼，並執行完成投射端註冊初始化相關的代碼；播放端內置Web-based OS原始運行環境透過url訪問所述Web伺服器，從該Web伺服器載入播放端所有邏輯代碼，並執行完成播放端註冊初始化相關的代碼。
可選的，所述投射端與所述播放端在所述Web伺服器的仲介下，透過各自的註冊資訊建立所述的點到點通信鏈路。
可選的，所述Web-based OS運行環境為具有WebRTC應用的HTML5運行環境。
可選的，所述投射端與播放端使用Web-based OS提供的點到點連接介面建立點到點通信鏈路，是使用WebRTC的RTCPeerConnection介面建立。
可選的，所述投射端使用Web-based OS提供的螢幕訪問介面訪問螢幕影像，是透過WebRTC的MediaStream介面實現。
可選的，所述播放端使用的影像播放控制項，是HTML5的Video控制項。
可選的，所述使用Web-based OS提供的影像播放控制項將螢幕影像資料繪製在螢幕上之前，還包括：播放端內置Web-based OS運行環境選擇下述解析度之一播放所述螢幕影像資料：播放端螢幕解析度，或者發送端螢幕解析度，或者自 訂的螢幕解析度。
可選的，所述投射端與播放端使用Web-based OS提供的點到點連接介面建立點到點通信鏈路的步驟中，所述點到點通信鏈路為以下形式之一：同一局域網內的有線通信鏈路；或者，同一局域網內以Wifi或者藍牙建立的無線通訊鏈路；或者，網際網路上建立的遠端的點到點通信鏈路。
本發明另外提供一種基於Web-based OS運行環境的螢幕影像傳輸方法，包括：使用Web-based OS提供的點到點連接介面建立與播放端的點到點通信鏈路；使用Web-based OS提供的螢幕訪問介面訪問螢幕影像，將螢幕影像即時轉換為螢幕影像資料，並透過所述通信鏈路向所述播放端發送。
可選的，執行所述建立與播放端的點到點通信鏈路的步驟之前，包括下述步驟：內置Web-based OS原始運行環境透過url訪問一Web伺服器，從該Web伺服器載入投射端所需邏輯代碼，並執行完成初始化相關的代碼，然後在該Web伺服器上註冊。
可選的，所述在該Web服務其上註冊，是透過初始化完成後的Web-based OS運行環境，將獲取到的設備的註冊相關資訊上傳至所述Web伺服器，完成註冊。
可選的，所述使用Web-based OS提供的點到點連接 介面建立與播放端的點到點通信鏈路步驟包括：內置Web-based OS運行環境定義一個新的RTCPeerConnection介面，並完成所述RTCPeerConnection介面的初始化；內置Web-based OS運行環境向播放端發出點到點的連接請求消息；收到播放端回饋的答覆消息後，執行RTCPeerConnection介面連接的相關代碼，與播放端之間建立點到點通信鏈路。
可選的，所述螢幕影像資料的讀取以及發送過程如下：內置Web-based OS運行環境定義並初始化一個新的MediaStream介面，並透過所述MediaStream介面讀取目前螢幕的螢幕影像資料；內置Web-based OS運行環境WebRTC運行環境將上述獲取到的目前螢幕影像資料添加到上述RTCPeerConnection介面中，所述RTCPeerConnection介面將該螢幕影像資料透過上述點到點的通信鏈路發送至播放端。
本發明還提供一種基於Web-based OS運行環境的螢幕影像播放方法，包括：使用Web-based OS提供的點到點連接介面建立與投射端之間的點到點通信鏈路；將接收到的所述螢幕影像資料使用Web-based OS提 供的影像播放控制項繪製在螢幕上。
可選的，執行所述建立與投射端的點到點通信鏈路的步驟之前，包括下述步驟：內置Web-based OS原始運行環境透過url訪問一Web伺服器，從該Web伺服器載入投射端所需邏輯代碼，並執行完成播放端初始化相關的代碼，然後在該Web伺服器上註冊。
可選的，所述在該Web伺服器上註冊，是透過初始化完成後的Web-based OS運行環境，將獲取到的設備資訊上傳至所述Web伺服器，完成註冊。
可選的，所述使用Web-based OS提供的點到點連接介面建立與投射端的點到點通信鏈路步驟包括：內置Web-based OS運行環境定義一個新的RTCPeerConnection介面，並完成所述RTCPeerConnection介面的初始化；內置Web-based OS運行環境接收到來自投射端點到點的連接請求消息，向投射端返回答覆消息後執行RTCPeerConnection介面連接的相關代碼建立與投射端之間的點到點通信鏈路。
可選的，所述將接收到的所述螢幕影像資料，使用Web-based OS提供的影像播放控制項將螢幕影像資料繪製在螢幕上，具體播過程如下：內置Web-based OS運行環境定義初始化一個新的Video控制項； 透過所述Video控制項獲取上述RTCPeerConnection介面接收的螢幕影像資料；內置Web-based OS運行環境選擇在播放端的螢幕解析度或者投射端解析度或者自訂解析度中選擇一個解析度；所述Video控制項將上述螢幕影像資料根據選定的螢幕解析度繪製到目前播放端螢幕上。
本發明還提供一種基於Web-based OS運行環境的螢幕影像傳輸播放裝置，包括：通信鏈路建立單元，用於在投射端與播放端之間使用Web-based OS提供的點到點連接介面建立點到點通信鏈路；螢幕影像資料轉換單元，用於在投射端使用Web-based OS提供的螢幕訪問介面訪問螢幕影像，將螢幕影像即時轉換為螢幕影像資料，並透過所述點對點通信鏈路發送所述螢幕影像資料；螢幕影像資料播放單元，用於在播放端接收所述螢幕影像資料，並使用Web-based OS提供的影像播放控制項將螢幕影像資料繪製在螢幕上。
可選的，，所述基於Web-based OS運行環境的螢幕影像傳輸播放裝置還包括註冊初始化單元，該註冊初始化單元包括：連接伺服器子單元，用於投射端以及播放端內置Web-based OS原始運行環境與Web伺服器之間建立連 接；註冊初始化子單元，用於投射端以及播放端透過各自內置Web-based OS原始運行環境透過url訪問一Web伺服器，從該Web伺服器載入投射端以及播放端各自註冊初始化所需邏輯代碼，並執行該註冊初始化相關的代碼。
可選的，所述基於Web-based OS運行環境的螢幕影像傳輸播放裝置還包括：螢幕解析度選擇單元，用於播放端內置Web-based OS運行環境選擇下述解析度之一播放所述螢幕影像資料：播放端螢幕解析度，或者發送端螢幕解析度，或者自訂的螢幕解析度。
與現有技術相比，本發明的技術方案具有以下優點：
1、具有廣泛的通用性。由於本發明基於普通內置Web-based OS運行環境即可實現，而無需安裝專門的支援軟體，使其具有廣泛的通用性，可以在多種電子設備之間實現螢幕投射。
2、顯著降低了應用門檻。本發明的技術方案不需要安裝專門的支援軟體即可實現電子設備之間的螢幕投射，顯著降低了螢幕投射設備的門檻，使目前大部分的設備都可以使用該技術方案實現螢幕投射。同樣由於不需要安裝專門的支援軟體，顯著降低了一般使用者應用難度，使更多使用者有可能使用該技術。
此外，該技術方案中，進行螢幕投射的設備之間可以 透過局域網內的無線連接，而且可以透過有線連接，也可以透過網際網路連接，增加了螢幕投射的投射範圍以及螢幕投射技術的使用範圍。由於無需購置專門的投射裝置或者安裝特定的軟體，也使其具有較低的實施成本。
S101-S107‧‧‧步驟
S201-S205‧‧‧步驟
S301-S306‧‧‧步驟
401‧‧‧註冊初始化單元
401-1‧‧‧連接伺服器子單元
401-2‧‧‧註冊初始化子單元
402‧‧‧通信鏈路建立單元
403‧‧‧螢幕影像資料轉換單元
404‧‧‧螢幕解析度選擇單元
405‧‧‧螢幕影像資料播放單元
圖1是根據本發明實施例一提供的基於Web-based OS運行環境的螢幕影像傳輸播放方法的系統架構圖。
圖2是根據本發明實施例一提供的基於Web-based OS運行環境的螢幕影像傳輸播放方法的步驟流程圖。
圖3是根據本發明實施例二提供的投射端傳輸螢幕影像資料的步驟流程圖。
圖4是根據本發明實施例三提供的播放端播放螢幕影像資料的步驟流程圖。
圖5是根據本發明實施例四提供的基於Web-based OS運行環境的螢幕影像傳輸播放裝置的單元方塊圖。
在下面的描述中闡述了很多具體細節以便於充分理解本發明。但是本發明能夠以很多不同於在此描述的其它方式來實施，本領域技術人員可以在不違背本發明內涵的情況下做類似推廣，因此本發明不受下面揭示的具體實施的限制。
參照圖1，其示出了根據本發明實施例一提供的基於 Web-based OS運行環境的螢幕影像傳輸播放方法的系統架構圖。
本實施例提供了一種基於Web-based OS運行環境的螢幕影像傳輸播放方法，該方法包括：投射端與播放端使用Web-based OS提供的點到點連接介面透過Web伺服器的仲介建立點到點通信鏈路；投射端使用Web-based OS提供的螢幕訪問介面訪問螢幕影像資料，並透過所述通信鏈路將螢幕影像資料發送至播放端；所述播放端接收到螢幕影像資料後，使用Web-based OS提供的影像播放控制項選擇合適的螢幕解析度將螢幕影像資料繪製在播放端目前螢幕上以實現播放。
需要說明的是，Web伺服器是指駐留於網際網路上某種類型電腦的程式，該程式可以向發出請求的瀏覽器提供文檔，並且可以向Internet上的Web瀏覽器(用戶端)提供WWW、Email和FTP等各種Internet服務。Web伺服器是一種被動程式：只有當Internet上運行在其他電腦中的Web瀏覽器(用戶端)發出請求時，Web伺服器才會回應。當Web瀏覽器(用戶端)連接到Web伺服器上並請求檔時，Web伺服器將處理該請求並將檔回饋到該Web瀏覽器(用戶端)上，附帶的資訊會告訴Web瀏覽器(用戶端)如何查看該文件(即檔案類型)。
進一步地，投射端以及播放端要想與Web伺服器之間建立連接，必須具備上述的Web瀏覽器(用戶端)。在本實施例中，所述的Web瀏覽器(用戶端)是指投射端和 播放端內置的Web-based OS運行環境。Web-based OS運行環境是以承載和運行web代碼為主的作業系統，該作業系統的實現方式有多種，目前一種比較可行的方案是基於HTML5技術進行開發，在此情況下，該Web-based OS運行環境支援HTML5的特性，尤其支持HTML5的支持網頁瀏覽器進行即時語音對話或視頻對話的技術，例如WebRTC技術。
參照圖2，其示出了根據本發明實施例一提供的一種基於Web-based OS運行環境的螢幕影像傳輸播放方法的步驟流程圖。
S101；投射端以及播放端透過內置Web-based OS原始運行環境與Web伺服器建立連接後訪問Web伺服器獲得初始化代碼，並執行該初始化代碼。
需要說明的是，Web伺服器與Web瀏覽器(用戶端)之間的資訊交流是透過HTTP(超文字傳輸協議)進行交流的。Web瀏覽器(用戶端)要想訪問Web伺服器獲得資訊，必須與Web伺服器之間建立HTTP連接。本實施例中，投射端以及用戶端內置Web-based OS原始運行環境與Web伺服器之間建立HTTP連接的步驟如下：1)投射端以及播放端透過撥號分別與各自的訪問路由器之間建立物理連接；所述物理連接可以是有線連接，如光纜連接；也可以是無線連接，如WIFI、藍牙等；2)投射端以及播放端透過各自內置Web-based OS原始運行環境獲取本機IP位址； 3)投射端以及播放端透過各自內置Web-based OS原始運行環境與訪問路由器之間建立資料連結；4)投射端以及播放端透過各自內置Web-based OS原始運行環境獲取Web伺服器的IP位址；5)投射端以及播放端透過各自內置Web-based OS原始運行環境與Web伺服器之間建立TCP連接；6)投射端以及播放端透過各自內置Web-based OS原始運行環境與Web伺服器之間建立HTTP連接。該步驟完成後，投射端以及播放端內置Web-based OS運行環境與Web伺服器之間可以進行訪問以及資訊的交流。
完成上述投射端以及播放端與Web伺服器的連接之後，投射端以及播放端就可以分別透過內置Web-based OS原始運行環境訪問Web伺服器獲得各自的初始化代碼，並執行該初始化代碼，完成初始化。具體步驟如下：投射端以及播放端向Web伺服器發出訪問Web伺服器的訪問請求消息，Web伺服器收到該訪問請求消息後，向投射端以及播放端回饋同意訪問的消息，投射端以及播放端收到該Web伺服器回饋同意訪問的消息後，投射端以及播放端內置Web-based OS原始運行環境透過URL訪問web伺服器，載入投射端以及播放端各自初始化所需要的所有的邏輯代碼，Web-based OS運行環境載入上述初始化邏輯代碼完成之後，執行該初始化邏輯代碼並完成投射端以及播放端各自的初始化。初始化完成後，投射端即具有了運行螢幕投射所需的完整的Web-based OS運行環 境，播放端也具有了將所接收的螢幕影像資料繪製到螢幕的完整的Web-based OS運行環境。
此處需要說明的是，投射端以及播放端內置Web-based OS原始運行環境在不同設備中可能有所區別。一些投射端設備已經內置了完整的Web-based OS運行環境，可以直接進行螢幕投射的操作，或者一些播放端設備內置了完整的Web-based OS運行環境，當接收到投射端發送的螢幕影像資料時，能夠直接將所述螢幕影像資料在目前設備螢幕播放，但一些設備可能僅僅具有Web-based OS原始運行環境，該環境使其具有基本的網路連接功能，但是並不具有一些複雜的功能，這些功能應當根據需要，透過訪問Web伺服器獲得。此處假設上述的投射端和播放端僅僅設置了Web-based OS原始運行環境。上述所說的初始化，是在Web-based OS原始運行環境的基礎上，使其具備完整的Web-based OS運行環境的過程。在本實施例中，所述Web-based OS運行環境具體為HTML5運行環境。該運行環境下需要支援WebRTC架構元件，WebRTC是Web Real-Time Communication的縮寫，中文名稱可以稱為網頁即時通訊，該架構元件用於支援網頁瀏覽器之間進行即時語音對話或視頻對話。
S102；投射端以及播放端透過內置Web-based OS運行環境向Web伺服器提交註冊資訊。
投射端以及播放端具有了完整的HTML5環境後，投射端以及播放端就可以實現更多的功能。註冊的目的是為 了透過Web伺服器的仲介建立投射端和播放端之間的通信鏈路。具體的註冊過程如下：第一步，投射端以及播放端分別獲取本機的設備資訊，所述的設備資訊包括：本機IP位址、設備標識以及設備的螢幕解析度；第二步，投射端以及播放端透過各自內置Web-based OS運行環境將本機的設備資訊發送至Web伺服器，完成註冊。
S103；投射端執行內置Web-based OS運行環境提供的RTCPeerConnection介面相關代碼以及配置播放端資訊的代碼。
本步驟所述的RTCPeerConnection介面是WebRTC架構元件提供的一個面向協力廠商開發者的WebRTC標準API(應用程式設計發展介面)，該API允許用戶在兩個正在運行的瀏覽器之間直接建立通信關係。
本步驟中投射端使用內置Web-based OS運行環境執行RTCPeerConnection介面相關代碼以及投射端配置播放端資訊相關代碼的執行過程如下：
需要說明的是，本實施例所述的與RTCPeerConnection介面相關代碼以及配置播放端資訊相關代碼僅僅是指目前建立投射端與播放端二者之間點到點通信鏈路的一種方法所對應的代碼，除此之外，也可以採用與本實施例所描述的代碼相類似或者之外的代碼實現相同的功能(即在投射端與播放端之間建立點到點通信鏈路)，在此不作限制。
另外，還需要說明的是，所述的一個RTCPeerConnection物件允許兩個瀏覽器之間直接通訊，該通信是透過一個信號通道來協調；同時，這個連接還可以用於中轉語音和視頻的資料。在實際的應用當中，採用上述RTCPeerConnection介面建立的點到點通信鏈路來傳輸螢幕影像資料時，對網路頻寬的要求比較高。一般要求保證投射端和播放端在同一局域網內，並且投射端和播放端兩端都透過有線連接或者WIFI連接的方式連接到同一路由器；此外，在雲OS平臺實施的效果最佳，能夠最大程度的保證螢幕投射的圖像品質以及即時性。在保證螢幕投射的圖像品質以及即時性的前提下，也可以採用其他的連接方式，在此不做限制。
S104；播放端執行內置Web-based OS提供的RTCPeerConnection介面相關代碼以及配置投射端資訊的 代碼。
與上述步驟S103中相對應的，播放端內置Web-based OS運行環境執行RTCPeerConnection介面相關代碼，以及播放端配置投射端資訊相關代碼的執行過程如下：
需要說明的是，本實施例所述的與RTCPeerConnection介面相關代碼以及配置接收端資訊相關代碼僅僅是指目前建立投射端與播放端二者之間點到點通信鏈路的一種方法所對應的代碼，也可以採用與本實施例所描述的代碼相類似或者之外的代碼實現相同的功能(即：在投射端與播放端之間建立點到點通信鏈路)，在此不作限制。
執行完上述步驟S103和步驟S104以後，則完成了投 射端與播放端之間點到點通信鏈路的建立。
S105；投射端透過Web-based OS提供的MediaStream介面訪問投射端螢幕，將獲取到的螢幕影像資料透過上述步驟建立的點到點通信鏈路發送至播放端。
1)投射端透過內置Web-based OS提供的MediaStream介面調用目前投射端的螢幕影像資料；MediaStream介面調用投射端目前螢幕影像資料的代碼執行過程如下：
MediaStream介面獲取到投射端目前的螢幕影像資料後，透過上述步驟S103和步驟S104建立的點到點通信鏈路將該螢幕影像資料發送至播放端。
需要說明的是，上述MediaStream介面用來表示一段向遠端節點發送的資料流程或者是從遠端節點接受的資料流程。此外，上述的MediaStream介面指本實施例採取的一種目前調用螢幕影像資料的方法，也可以採用其它的介面或者方法來獲取螢幕影像資料，在此不做限制。
2)螢幕影像資料轉換為超文字標記語言HTML5支援的音視頻流，本實施例中，是將螢幕影像資料轉換為內置Web-based OS運行環境支援的音視頻流； 需要說明的是，超文字標記語言(英文：Hypertext Markup Language，簡稱：HTML)5支援的音視頻流包括但不限於OGG格式、WEBM格式和MP4格式，如果螢幕影像資料是音訊信號可以轉換為OGG格式，如果螢幕影像資料是視訊訊號可以轉換為WEBM格式或MP4格式，由於部分瀏覽器不支援WEBM格式，如IE瀏覽器，而MP4即支援音訊信號也支援視訊訊號，因此MP4格式是最優選擇；進一步需要說明的是，目前主流瀏覽器包括火狐、網際瀏覽(Internet Explorer，簡稱：IE)、穀歌瀏覽器、傲遊瀏覽器、360瀏覽器和騰訊瀏覽器等都支援HTML5標準，因此可以播放HTML5支援的音視頻流；3)所述MediaStream介面被上述步驟S104中RTCPeerConnection介面調用，即：MediaStream介面獲取到螢幕影像資料轉換後的音視頻流透過RTCPeerConnection介面發送至播放端。
S106；播放端接收到來自投射端發送的螢幕影像資料後，播放端內置Web-based OS運行環境選擇合適的螢幕解析度。
播放端透過RTCPeerConnection介面接收到來自投射端發送的螢幕影像資料後，播放端內置Web-based OS運行環境選擇在目前螢幕播放所述螢幕影像資料採用的螢幕解析度，可選擇的解析度有：播放端螢幕解析度，或者發送端螢幕解析度，或者自訂的螢幕解析度。選擇好解析度 後，執行下一步操作。
S107；播放端使用以網路為基礎的作業系統提供的Video控制項將螢幕資料繪製在播放端目前螢幕上。
播放端透過以網路為基礎的作業系統提供HTML5的一個Video控制項將所述音視頻流繪製到目前螢幕上。具體代碼執行過程如下：
需要說明的是，上述的Video控制項指本實施例採取的一種目前將接收到的螢幕影像資料在目前螢幕播放的方法，也可以採用其它控制項或者方法來播放螢幕影像資料，在此不做限制。
本實施例中使用的具體的代碼，以及具體使用環境，隨著技術發展可能會有所變化，只要是透過兩個瀏覽器之間的通訊實現螢幕影像資料的傳輸播放即可。
本發明第二實施例提供一種基於以網路為基礎的作業系統運行環境的螢幕影像傳輸方法。
參照圖3，其示出了根據本發明實施例二提供的投射端投射螢幕的步驟流程圖。
S201；投射端透過內置以網路為基礎的作業系統原始 運行環境與Web伺服器建立連接。
Web伺服器是指駐留於網際網路上某種類型電腦的程式，該程式可以向發出請求的瀏覽器提供文檔，並且可以向Internet上的Web瀏覽器(用戶端)提供WWW、Email和FTP等各種Internet服務。Web伺服器是一種被動程式：只有當Internet上運行在其他電腦中的Web瀏覽器(用戶端)發出請求時，Web伺服器才會回應。當Web瀏覽器(用戶端)連接到Web伺服器上並請求檔時，Web伺服器將處理該請求並將檔回饋到該Web瀏覽器(用戶端)上，附帶的資訊會告訴Web瀏覽器(用戶端)如何查看該文件(即檔案類型)。
進一步地，投射端以及播放端要想與Web伺服器之間建立連接，必須具備上述的Web瀏覽器(用戶端)。在本實施例中，所述的Web瀏覽器(用戶端)是指投射端和播放端內置以網路為基礎的作業系統運行環境。以網路為基礎的作業系統運行環境是以承載和運行web代碼為主的作業系統，該作業系統的實現方式有多種，目前一種比較可行的方案是基於HTML5技術之進行開發，在此情況下，該以網路為基礎的作業系統運行環境支援HTML5的特性，尤其支持HTML5的支持網頁瀏覽器進行即時語音對話或視頻對話的技術，例如WebRTC技術。
更進一步地，Web伺服器與Web瀏覽器(用戶端)之間的資訊交流是透過HTTP(超文字傳輸協議)進行交流的。Web瀏覽器(用戶端)要想訪問Web伺服器獲得資 訊，首先必須與Web伺服器之間建立HTTP連接。本實施例中，投射端內置以網路為基礎的作業系統原始運行環境與Web伺服器建立HTTP連接的步驟如下：1)投射端透過撥號與訪問路由器之間建立物理連接；所述物理連接可以是有線連接，如光纜連接；也可以是無線連接，如WIFI、藍牙等；2)投射端透過內置以網路為基礎的作業系統原始運行環境獲取本機IP位址；3)投射端透過內置以網路為基礎的作業系統原始運行環境與訪問路由器之間建立資料連結；4)投射端透過內置以網路為基礎的作業系統原始運行環境獲取Web伺服器的IP位址；5)投射端透過內置以網路為基礎的作業系統原始運行環境與Web伺服器之間建立TCP連接；6)投射端透過內置以網路為基礎的作業系統原始運行環境與Web伺服器之間建立HTTP連接。該步驟完成後，投射端內置以網路為基礎的作業系統原始運行環境與Web伺服器之間可以進行訪問以及資訊的交流。
S202；投射端透過內置以網路為基礎的作業系統原始運行環境訪問Web伺服器獲得初始化代碼，並執行該初始化代碼。
投射端內置以網路為基礎的作業系統原始運行環境在不同設備中可能有所區別。一些投射端設備已經內置了完整的以網路為基礎的作業系統運行環境，可以直接進行螢 幕投射的操作，但一些設備可能僅僅具有以網路為基礎的作業系統初始環境，該環境使其具有基本的網路連接功能，但是並不具有一些複雜的功能，這些功能應當根據需要，透過訪問Web伺服器獲得。此處假設投射端僅僅設置了以網路為基礎的作業系統原始運行環境。
首先，投射端向Web伺服器發出訪問Web伺服器的訪問請求消息，Web伺服器收到該訪問請求消息後，向投射端回饋同意訪問的消息，投射端收到該Web伺服器回饋的同意訪問的消息後，投射端內置以網路為基礎的作業系統原始運行環境透過URL訪問Web伺服器，載入投射端初始化所需要的所有的邏輯代碼，以網路為基礎的作業系統原始運行環境載入上述初始化邏輯代碼完成之後，執行該初始化邏輯代碼並完成投射端的初始化。初始化完成後，投射端即具有了運行螢幕投射所需的完整的以網路為基礎的作業系統運行環境。
S203；投射端透過內置以網路為基礎的作業系統運行環境向Web伺服器提交註冊資訊。
投射端具有了完整的HTML5環境後，投射端就設備可以實現更多的功能。註冊的目的是為了透過Web伺服器的仲介建立投射端和播放端之間的通信鏈路。具體的註冊過程如下：第一步，投射端獲取本機的設備資訊，所述的設備資訊包括：本機IP位址、設備標識以及設備的螢幕解析度； 第二步，投射端透過內置以網路為基礎的作業系統運行環境將本機的設備資訊發送至Web伺服器，完成註冊。
S204；投射端使用以網路為基礎的作業系統提供的點到點連接介面連接到播放端。
本步驟所述的點到點連接介面是指RTCPeerConnection介面，RTCPeerConnection介面是WebRTC架構元件提供的一個面向協力廠商開發者的WebRTC標準API(應用程式設計發展介面)，該API允許用戶在兩個正在運行的瀏覽器之間直接建立通信關係。
本步驟中投射端使用內置以網路為基礎的作業系統運行環境執行RTCPeerConnection介面相關代碼以及投射端配置播放端資訊相關代碼的執行過程如下：
需要說明的是，本實施例所述的與RTCPeerConnection介面相關代碼以及配置播放端資訊相 關代碼僅僅是指目前建立投射端與播放端二者之間點到點通信鏈路的一種方法所對應的代碼，也可以採用與本實施例所描述的代碼相類似或者之外的代碼實現相同的功能(即：在投射端與播放端之間建立點到點通信鏈路)，在此不作限制。
另外，還需要說明的是，所述的一個RTCPeerConnection物件允許兩個瀏覽器之間直接通訊，該通信是透過一個信號通道來協調；同時，這個連接還可以用於中轉語音和視頻的資料。在實際的應用當中，採用上述RTCPeerConnection介面建立的點到點通信鏈路來傳輸螢幕影像資料時，對網路頻寬的要求比較高。一般要求保證投射端和播放端在同一局域網內，並且投射端和播放端兩端都透過有線連接或者WIFI連接的方式連接到同一路由器；此外，在雲OS平臺實施的效果最佳，能夠最大程度的保證螢幕投射的圖像品質以及即時性。在保證螢幕投射的圖像品質以及即時性的前提下，也可以採用其他的連接方式，在此不做限制。
S205；投射端透過以網路為基礎的作業系統提供的MediaStream介面獲取螢幕影像資料並透過上述S204步驟建立的點到點通信鏈路將所述螢幕影像資料發送至播放端。
投射端透過內置以網路為基礎的作業系統提供的MediaStream介面調用投射端目前螢幕影像資料的代碼執行過程如下：
MediaStream介面獲取到投射端目前的螢幕影像資料後，透過上述步驟S204步驟建立的點到點通信鏈路將該螢幕影像資料發送至播放端。
上述MediaStream介面用來表示一段向遠端節點發送的資料流程或者是從遠端節點接受的資料流程。需要說明的是，上述的MediaStream介面指本實施例採取的一種目前調用螢幕影像資料的方法，也可以採用其它的介面或者方法來獲取螢幕影像資料，在此不做限制。
2)螢幕影像資料轉換為超文字標記語言HTML5支援的音視頻流，本實施例中，是將螢幕影像資料轉換為內置以網路為基礎的作業系統運行環境支援的音視頻流；需要說明的是，超文字標記語言(英文：Hypertext Markup Language，簡稱：HTML)5支援的音視頻流包括但不限於OGG格式、WEBM格式和MP4格式，如果螢幕影像資料是音訊信號可以轉換為OGG格式，如果螢幕影像資料是視訊訊號可以轉換為WEBM格式或MP4格式。目前，由於部分瀏覽器不支援WEBM格式，如IE瀏覽器，而MP4即支援音訊信號也支援視訊訊號，因此MP4格式是目前最優選擇； 進一步需要說明的是，目前主流瀏覽器包括火狐、網際瀏覽(Internet Explorer，簡稱：IE)、谷歌瀏覽器、傲遊瀏覽器、360瀏覽器和騰訊瀏覽器等都支援HTML5標準，因此可以播放HTML5支援的音視頻流；3)所述MediaStream介面被上述步驟S204中RTCPeerConnection介面調用，即：MediaStream介面獲取到螢幕影像資料轉換後的音視頻流透過RTCPeerConnection介面發送至播放端。
上述介紹的一些具體的使用環境和支援情況，只是目前的情況，隨著技術的發展，情況可能發生變化，但並不影響本實施例的實質內容。
本發明實施例三提供一種基於以網路為基礎的作業系統運行環境的螢幕影像播放方法，該方法和上述第二實施例提供的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸方法相配合，以實現螢幕影像在本地瀏覽器的播放。
參照圖4，其示出了根據本發明實施例三提供的螢幕影像播放方法的流程圖。
S301；播放端透過內置以網路為基礎的作業系統運行環境與Web伺服器建立連接。
與上述實施例二中步驟S201當中描述的投射端透過內置以網路為基礎的作業系統原始運行環境與Web伺服器建立連接的過程類似，本步驟所述的投射端與Web伺服器建立連接HTTP的步驟如下： 1)播放端透過撥號與訪問路由器之間建立物理連接；所述物理連接可以是有線連接，如光纜連接；也可以是無線連接，如WIFI、藍牙等；2)播放端透過內置以網路為基礎的作業系統原始運行環境獲取本機IP位址；3)播放端透過內置以網路為基礎的作業系統原始運行環境與訪問路由器之間建立資料連結；4)播放端透過內置以網路為基礎的作業系統原始運行環境獲取Web伺服器的IP位址；5)播放端透過內置以網路為基礎的作業系統原始運行環境與Web伺服器之間建立TCP連接；6)播放端透過內置以網路為基礎的作業系統原始運行環境與Web伺服器之間建立HTTP連接。該步驟完成後，播放端內置以網路為基礎的作業系統原始運行環境與Web伺服器之間可以進行訪問以及資訊的交流。
S302；播放端透過內置以網路為基礎的作業系統原始運行環境訪問Web伺服器獲得初始化代碼，並執行該初始化代碼。
播放端透過內置以網路為基礎的作業系統原始運行環境透過步驟S301建立的連接向Web伺服器發出訪問的消息請求，Web伺服器收到該消息請求後，向播放端回饋同意訪問的消息，播放端收到該Web伺服器回饋的消息後，透過內置以網路為基礎的作業系統原始運行環境透過URL訪問web伺服器並從該伺服器載入播放端初始化 所需要的所有的邏輯代碼，載入初始化邏輯代碼完成後，執行該初始化邏輯代碼並完成播放端的初始化。初始化完成後，完整的以網路為基礎的作業系統運行環境即完全建立。
S303；播放端透過內置以網路為基礎的作業系統運行環境向Web伺服器提交註冊資訊。
註冊過程就是播放端首先獲取本機的設備資訊，所述的本地設備資訊包括：本機IP位址、設備標識以及設備的螢幕解析度；其次播放端透過內置以網路為基礎的作業系統運行環境將本機的設備資訊發送至Web伺服器，完成註冊。
S304；播放端使用以網路為基礎的作業系統提供的點到點連接介面與投射端建立點到點通信鏈路。
與上述實施例二當中的步驟S204相對應，播放端使用以網路為基礎的作業系統提供的RTCPeerConnection介面連接到投射端的具體連接過程如下：
需要說明的是，本實施例所述的與RTCPeerConnection介面相關代碼以及配置接收端資訊的代碼僅僅是指目前建立投射端與播放端二者之間點到點通信鏈路的一種方法所對應的代碼，也可以採用與本實施例所描述的代碼相類似或者之外的代碼實現相同的功能(即：在投射端與播放端之間建立點到點通信鏈路)，在此不作限制。
本步驟與相對應的步驟S204都完成以後，則投射端與播放端之間的點到點通信鏈路建立完成。
S305；播放端透過RTCPeerConnection介面接收到來自投射端發送的螢幕影像資料後，播放端內置以網路為基礎的作業系統運行環境選擇在目前螢幕播放所述螢幕影像資料採用的螢幕解析度，可選擇的解析度有：播放端螢幕解析度，或者發送端螢幕解析度，或者自訂的螢幕解析度。選擇好解析度後，執行下一步操作。
S306；播放端使用HTML5的Video控制項將螢幕影像資料繪製在目前螢幕上。
首先由上述步驟S304中的RTCPeerConnection介面接收到對應步驟S205投射端發送的音視頻流；播放端透過以網路為基礎的作業系統提供HTML5的一個Video控制項將所述音視頻流繪製到目前螢幕上。具 體代碼執行過程如下：
需要說明的是，上述的Video控制項指本實施例採取的一種目前將接收到的螢幕影像資料在目前螢幕播放的方法，也可以採用其它控制項或者方法來播放螢幕影像資料，在此不做限制。
本發明第四實施例提供一種基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放裝置。
參照圖5，其示出了根據本發明實施例四提供的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放裝置的單元方塊圖。
如圖5所示，本實施例提供的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放裝置包括：註冊初始化單元401、通信鏈路建立單元402、螢幕影像資料轉換單元403、螢幕解析度選擇單元404和螢幕影像資料播放單元405。
所述註冊初始化單元401包括連接伺服器子單元401-1和註冊初始化子單元401-2。
連接伺服器子單元401-1，用於投射端以及播放端內 置以網路為基礎的作業系統原始運行環境與Web伺服器之間建立連接；需要說明的是，Web伺服器與Web瀏覽器(用戶端)之間的資訊交流是透過HTTP(超文字傳輸協議)進行交流的。本實施例中，投射端以及播放端內置以網路為基礎的作業系統原始運行環境要想訪問Web伺服器並從Web伺服器獲得資料資訊，則必須與Web伺服器之間建立HTTP連接。
註冊初始化子單元401-2，包括兩個子單元：初始化子單元和註冊子單元。
初始化子單元用於投射端以及播放端向Web伺服器發出訪問Web伺服器的訪問請求消息，Web伺服器收到該訪問請求消息後，向投射端以及播放端回饋同意訪問的消息，投射端以及播放端收到該Web伺服器回饋的同意訪問的消息後，投射端以及播放端內置以網路為基礎的作業系統原始運行環境透過URL訪問web伺服器，載入投射端以及播放端各自初始化所需要的所有的邏輯代碼，以網路為基礎的作業系統原始運行環境載入上述初始化邏輯代碼完成之後，執行該初始化邏輯代碼並完成投射端以及播放端各自的初始化。初始化完成後，投射端即具有了運行螢幕投射所需的完整的以網路為基礎的作業系統運行環境，播放端也具有了將所接收的螢幕影像資料繪製到螢幕的完整的以網路為基礎的作業系統運行環境。
註冊子單元用於投射端以及播放端透過各自內置以網 路為基礎的作業系統運行環境獲取本機的設備資訊並將該設備資訊發送至Web伺服器，完成註冊。所述設備資訊包括：本機IP位址、設備標識以及設備的螢幕解析度。
所述通信鏈路建立單元402，用於在投射端執行內置以網路為基礎的作業系統運行環境提供的RTCPeerConnection介面相關代碼以及配置播放端資訊的代碼；以及在播放端執行內置以網路為基礎的作業系統提供的RTCPeer Connection介面相關代碼以及配置投射端資訊的代碼。所述投射端和播放端的代碼執行完畢後，建立投射端與播放端之間的點到點通信鏈路。
所述螢幕影像資料轉換單元403用於投射端透過以網路為基礎的作業系統提供的MediaStream介面訪問投射端螢幕並獲取到螢幕影像資料；並將獲取到螢幕影像資料轉換為超文字標記語言HTML5支援的音視頻流，本實施例中，是將螢幕影像資料轉換為內置以網路為基礎的作業系統運行環境支援的音視頻流；並透過上述的RTCPeer Connection介面將所述音視頻流發送至播放端。
所述螢幕解析度選擇單元404，用於播放端透過RTCPeerConnection介面接收到來自投射端發送的螢幕影像資料後，播放端內置以網路為基礎的作業系統運行環境選擇在目前螢幕播放所述螢幕影像資料採用的螢幕解析度。本實施例中，可選擇的螢幕解析度包括：播放端透過RTCPeerConnection介面接收到來自投射端發送的螢幕影像資料後，播放端內置以網路為基礎的作業系統運行環境 選擇在目前螢幕播放所述螢幕影像資料採用的螢幕解析度。
所述螢幕影像資料播放單元405用於使用以網路為基礎的作業系統提供的Video控制項將播放端接收到來自投射端發送的螢幕資料繪製在播放端目前螢幕上。此處，在播放端螢幕播放螢幕影像資料採用的螢幕解析度是上述螢幕解析度選擇單元404選定的螢幕解析度。
本發明雖然以較佳實施例揭示如上，但其並不是用來限定本發明，任何本領域技術人員在不脫離本發明的精神和範圍內，都可以做出可能的變動和修改，因此本發明的保護範圍應當以本發明申請專利範圍所界定的範圍為準。
在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。
記憶體可能包括電腦可讀媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非易失性記憶體等形式，如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。記憶體是電腦可讀媒體的示例。
1、電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式設計唯讀記憶體 (EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁片儲存或其他磁性存放裝置或任何其他非傳輸媒體，可用於儲存可以被計算設備訪問的資訊。按照本文中的界定，電腦可讀媒體不包括非暫存電腦可讀媒體(transitory media)，如調製的資料信號和載波。
2、本領域技術人員應明白，本發明的實施例可提供為方法、系統或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。

Claims (18)

  1. 一種基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法，其特徵在於，該方法包括以下步驟：投射端與播放端向Web伺服器執行投射端及播放端註冊；該投射端與播放端使用以網路為基礎的作業系統提供的點到點連接介面建立點到點通信鏈路；該投射端使用以網路為基礎的作業系統提供的螢幕訪問介面訪問螢幕影像，將螢幕影像即時轉換為螢幕影像資料，並透過該通信鏈路向該播放端發送該螢幕影像資料；及該播放端接收該螢幕影像資料，並使用以網路為基礎的作業系統提供的影像播放控制項將螢幕影像資料繪製在螢幕上，其中，投射端與播放端向Web伺服器執行投射端及播放端註冊包括下述步驟：該投射端獲取本機的設備資訊，將本機的設備資訊透過內置以網路為基礎的作業系統原始運行環境將本機的設備資訊發送至該Web伺服器，透過url訪問該Web伺服器，從該Web伺服器載入該投射端所需邏輯代碼，並執行完成該投射端註冊初始化相關的代碼；及該播放端獲取本機的設備資訊，將本機的設備資訊透過內置以網路為基礎的作業系統原始運行環境將 本機的設備資訊發送至該Web伺服器，透過url訪問該Web伺服器，從該Web伺服器載入該播放端所需邏輯代碼，並執行完成該播放端註冊初始化相關的代碼。
  2. 根據申請專利範圍第1項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法，其中，該投射端與該播放端在該Web伺服器的仲介下，透過各自的註冊資訊建立該點到點通信鏈路。
  3. 根據申請專利範圍第1項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法，其中，該以網路為基礎的作業系統運行環境為具有WebRTC應用的HTML5運行環境。
  4. 根據申請專利範圍第3項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法，其中，該投射端與播放端使用以網路為基礎的作業系統提供的點到點連接介面建立點到點通信鏈路，是使用WebRTC的RTCPeerConnection介面建立。
  5. 根據申請專利範圍第3項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法，其中，該投射端使用以網路為基礎的作業系統提供的螢幕訪問介面訪問螢幕影像，是透過WebRTC的MediaStream介面實現。
  6. 根據申請專利範圍第3項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法，其中， 該播放端使用的影像播放控制項，是HTML5的Video控制項。
  7. 根據申請專利範圍第1項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法，其中，該使用以網路為基礎的作業系統提供的影像播放控制項將螢幕影像資料繪製在螢幕上之前，還包括：播放端內置以網路為基礎的作業系統運行環境選擇下述解析度之一播放該螢幕影像資料：及播放端螢幕解析度，或者發送端螢幕解析度，或者自訂的螢幕解析度。
  8. 根據申請專利範圍第1項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放方法，其中，該投射端與播放端使用以網路為基礎的作業系統提供的點到點連接介面建立點到點通信鏈路的步驟中，該點到點通信鏈路為以下形式之一：同一局域網內的有線通信鏈路；或者，同一局域網內以Wifi或者藍牙建立的無線通訊鏈路；或者，網際網路上建立的遠端的點到點通信鏈路。
  9. 一種基於以網路為基礎的作業系統運行環境的螢幕影像傳輸方法，其特徵在於，該方法包括：投射端向Web伺服器執行投射端註冊；該投射端使用以網路為基礎的作業系統提供的點到點連接介面建立與播放端的點到點通信鏈路；及該投射端使用以網路為基礎的作業系統提供的螢幕訪 問介面訪問螢幕影像，將螢幕影像即時轉換為螢幕影像資料，並透過該通信鏈路向該播放端發送，其中，投射端向Web伺服器執行投射端註冊包括下述步驟：該投射端獲取本機的設備資訊，將本機的設備資訊透過內置以網路為基礎的作業系統原始運行環境將本機的設備資訊發送至該Web伺服器，透過url訪問該Web伺服器，從該Web伺服器載入投射端所需邏輯代碼，並執行完成該投射端註冊初始化相關的代碼。
  10. 根據申請專利範圍第9項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸方法，其中，該在該Web服務其上註冊，是透過初始化完成後的以網路為基礎的作業系統運行環境，將獲取到的設備的註冊相關資訊上傳至該Web伺服器，完成註冊。
  11. 根據申請專利範圍第9項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸方法，其中，該使用以網路為基礎的作業系統提供的點到點連接介面建立與播放端的點到點通信鏈路步驟包括：內置以網路為基礎的作業系統運行環境定義一個新的RTCPeerConnection介面，並完成該RTCPeerConnection介面的初始化；內置以網路為基礎的作業系統運行環境向播放端發出點到點的連接請求消息；及收到播放端回饋的答覆消息後，執行 RTCPeerConnection介面連接的相關代碼，與播放端之間建立點到點通信鏈路。
  12. 根據申請專利範圍第11項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸方法，其中，該螢幕影像資料的讀取以及發送過程如下：內置以網路為基礎的作業系統運行環境定義並初始化一個新的MediaStream介面，並透過該MediaStream介面讀取目前螢幕的螢幕影像資料；及內置以網路為基礎的作業系統運行環境WebRTC運行環境將上述獲取到的目前螢幕影像資料添加到上述RTCPeerConnection介面中，該RTCPeerConnection介面將該螢幕影像資料透過上述點到點通信鏈路發送至播放端。
  13. 一種基於以網路為基礎的作業系統運行環境的螢幕影像播放方法，其特徵在於，該方法包括：播放端向Web伺服器執行播放端註冊；該播放端使用以網路為基礎的作業系統提供的點到點連接介面建立與投射端之間的點到點通信鏈路；及將接收到的該螢幕影像資料使用以網路為基礎的作業系統提供的影像播放控制項繪製在螢幕上，其中，播放端向Web伺服器執行播放端註冊包括下述步驟：該播放端獲取本機的設備資訊，將本機的設備資訊透過內置以網路為基礎的作業系統原始運行環境將本機的設備資訊發送至該Web伺服器，透過url訪問 該Web伺服器，從該Web伺服器載入該播放端所需邏輯代碼，並執行完成該播放端註冊初始化相關的代碼。
  14. 根據申請專利範圍第13項所述的基於以網路為基礎的作業系統運行環境的螢幕影像播放方法，其中，該在該Web伺服器上註冊，是透過初始化完成後的以網路為基礎的作業系統運行環境，將獲取到的設備資訊上傳至該Web伺服器，完成註冊。
  15. 根據申請專利範圍第13項所述的基於以網路為基礎的作業系統運行環境的螢幕影像播放方法，其中，該使用以網路為基礎的作業系統提供的點到點連接介面建立與投射端的點到點通信鏈路步驟包括：內置以網路為基礎的作業系統運行環境定義一個新的RTCPeerConnection介面，並完成該RTCPeerConnection介面的初始化；及內置以網路為基礎的作業系統運行環境接收到來自投射端點到點的連接請求消息，向投射端返回答覆消息後執行RTCPeerConnection介面連接的相關代碼建立與投射端之間的點到點通信鏈路。
  16. 根據申請專利範圍第13項所述的基於以網路為基礎的作業系統運行環境的螢幕影像播放方法，其中，該將接收到的該螢幕影像資料，使用以網路為基礎的作業系統提供的影像播放控制項將螢幕影像資料繪製在螢幕上，具體播放過程如下： 內置以網路為基礎的作業系統運行環境定義初始化一個新的Video控制項；透過該Video控制項獲取上述RTCPeerConnection介面接收的螢幕影像資料；內置以網路為基礎的作業系統運行環境選擇在播放端的螢幕解析度或者投射端解析度或者自訂解析度中選擇一個解析度；及該Video控制項將上述螢幕影像資料根據選定的螢幕解析度繪製到目前播放端螢幕上。
  17. 一種基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放裝置，其中，該裝置包括：註冊初始化單元，用於向Web伺服器執行投射端及播放端註冊通信鏈路建立單元，用於在該投射端與播放端之間使用以網路為基礎的作業系統提供的點到點連接介面建立點到點通信鏈路；螢幕影像資料轉換單元，用於在該投射端使用以網路為基礎的作業系統提供的螢幕訪問介面訪問螢幕影像，將螢幕影像即時轉換為螢幕影像資料，並透過該點到點通信鏈路向該播放端發送該螢幕影像資料；及螢幕影像資料播放單元，用於在播放端接收該螢幕影像資料，並使用以網路為基礎的作業系統提供的影像播放控制項將螢幕影像資料繪製在螢幕上，其中，該註冊初始化單元包括： 連接伺服器子單元，用於該投射端以及該播放端內置以網路為基礎的作業系統原始運行環境與Web伺服器之間建立連接；及註冊初始化子單元，用於該投射端以及該播放端獲取本機的設備資訊，將本機的設備資訊透過各自內置以網路為基礎的作業系統原始運行環境將本機的設備資訊發送至該Web伺服器，透過url訪問該Web伺服器，從該Web伺服器載入該投射端以及該播放端各自註冊初始化所需邏輯代碼，並執行該註冊初始化相關的代碼。
  18. 根據申請專利範圍第17項所述的基於以網路為基礎的作業系統運行環境的螢幕影像傳輸播放裝置，其中，還包括：螢幕解析度選擇單元，用於播放端內置以網路為基礎的作業系統運行環境選擇下述解析度之一播放該螢幕影像資料：及播放端螢幕解析度，或者發送端螢幕解析度，或者自訂的螢幕解析度。
TW103110279A 2013-12-27 2014-03-19 Screen image transmission and playing method and device based on network-based operating system operating environment TWI627858B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310741237.0A CN104753989B (zh) 2013-12-27 2013-12-27 基于Web-based OS运行环境的屏幕影像传输播放方法及装置

Publications (2)

Publication Number Publication Date
TW201526620A TW201526620A (zh) 2015-07-01
TWI627858B true TWI627858B (zh) 2018-06-21

Family

ID=53479703

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103110279A TWI627858B (zh) 2013-12-27 2014-03-19 Screen image transmission and playing method and device based on network-based operating system operating environment

Country Status (8)

Country Link
US (1) US10498801B2 (zh)
EP (1) EP3087502B1 (zh)
JP (1) JP6966675B2 (zh)
KR (1) KR20160102419A (zh)
CN (1) CN104753989B (zh)
HK (1) HK1207761A1 (zh)
TW (1) TWI627858B (zh)
WO (1) WO2015100417A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131145B (zh) * 2016-06-29 2019-04-19 成都中科创达软件有限公司 一种移动终端的投影方法
US10572031B2 (en) * 2016-09-28 2020-02-25 Salesforce.Com, Inc. Processing keyboard input to cause re-sizing of items in a user interface of a web browser-based application
US10642474B2 (en) * 2016-09-28 2020-05-05 Salesforce.Com, Inc. Processing keyboard input to cause movement of items in a user interface of a web browser-based application
KR20180076720A (ko) 2016-12-28 2018-07-06 주식회사 케이티 동영상 전송 장치 및 동영상 재생 장치
CN107016289B (zh) * 2017-02-15 2020-04-10 中国科学院信息工程研究所 基于Web操作系统的移动瘦终端安全模型建立方法及装置
CN115836528A (zh) 2020-04-24 2023-03-21 海信视像科技股份有限公司 一种显示设备及投屏方法
CN113556590B (zh) * 2020-04-24 2022-11-11 海信视像科技股份有限公司 一种投屏视频流有效分辨率检测方法及显示设备
CN112328941A (zh) * 2020-11-19 2021-02-05 Oppo广东移动通信有限公司 基于浏览器的应用投屏方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130325934A1 (en) * 2012-06-01 2013-12-05 Andrew T. Fausak General client engine with load balancing for client-server communication
US20130328997A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Multiple channel communication using multiple cameras

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020023265A1 (en) * 2000-08-08 2002-02-21 Metcalf Darrell J. Wireless controller with publicly-accessible communications link for controlling the content seen on large-screen systems
AU2001284799A1 (en) 2000-08-10 2002-02-25 Mike Fullerton Method for screen image sharing
US7180475B2 (en) * 2001-06-07 2007-02-20 Infocus Corporation Method and apparatus for wireless image transmission to a projector
US7599989B2 (en) * 2005-01-24 2009-10-06 Microsoft Corporation System and method for gathering and reporting screen resolutions of attendees of a collaboration session
US7933955B2 (en) * 2006-07-11 2011-04-26 Igor Khalatian One-click universal screen sharing
JP2009116630A (ja) 2007-11-07 2009-05-28 Sony Corp ウェブ画面の共有システム、その共有用端末機およびその共有プログラム
US8175639B2 (en) 2007-11-26 2012-05-08 Nasrin Chaparian Amirmokri NanoPC mobile personal computing and communication device
JP5262359B2 (ja) 2008-07-02 2013-08-14 パナソニック株式会社 自動販売機の内扉ロック装置
JP5305894B2 (ja) 2008-12-26 2013-10-02 株式会社東芝 画面共有システム、設定変更方法、クライアント装置、およびプログラム
JP5197351B2 (ja) * 2008-12-26 2013-05-15 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
US9733886B2 (en) 2009-11-24 2017-08-15 Clearslide, Inc. Method and system for browser-based screen sharing
US8527549B2 (en) * 2010-02-22 2013-09-03 Sookasa Inc. Cloud based operating and virtual file system
US8342696B2 (en) * 2010-03-26 2013-01-01 Seiko Epson Corporation System and method for displaying remote content through multiple projectors
US9143570B2 (en) 2010-05-04 2015-09-22 Microsoft Technology Licensing, Llc Desktop screen sharing over HTTP
US8364130B2 (en) * 2010-05-12 2013-01-29 Sony Mobile Communications Ab Establishing sessions between devices in a network
CN102325144B (zh) * 2011-09-29 2014-07-30 Tcl集团股份有限公司 一种媒体设备间互联互通的方法、系统及多媒体设备
US8941673B2 (en) 2011-11-08 2015-01-27 Red Hat, Inc. Rendering images in a remote web browser
US9268517B2 (en) 2011-12-07 2016-02-23 Adobe Systems Incorporated Methods and systems for establishing, hosting and managing a screen sharing session involving a virtual environment
US9525998B2 (en) * 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US8881170B2 (en) 2012-04-30 2014-11-04 Genesys Telecommunications Laboratories, Inc Method for simulating screen sharing for multiple applications running concurrently on a mobile platform
US20130332857A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Photo edit history shared across users in cloud system
US20140053182A1 (en) * 2012-08-20 2014-02-20 Veiko Jääger Method and system for evaluating and sharing media
US9113033B2 (en) * 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
KR101422808B1 (ko) * 2012-09-21 2014-08-14 주식회사 팬택 드로잉 화면 공유 서비스의 제공 장치 및 방법과 이를 위한 휴대 단말
KR102220267B1 (ko) * 2013-07-11 2021-02-25 삼성전자주식회사 전자문서를 공유하는 방법 및 이를 위한 장치들
US9369491B2 (en) * 2014-11-10 2016-06-14 Cisco Technology, Inc. Inspection of data channels and recording of media streams

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130325934A1 (en) * 2012-06-01 2013-12-05 Andrew T. Fausak General client engine with load balancing for client-server communication
US20130328997A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Multiple channel communication using multiple cameras

Also Published As

Publication number Publication date
CN104753989A (zh) 2015-07-01
CN104753989B (zh) 2018-09-14
KR20160102419A (ko) 2016-08-30
US20150188998A1 (en) 2015-07-02
EP3087502A4 (en) 2017-09-06
JP6966675B2 (ja) 2021-11-17
EP3087502A1 (en) 2016-11-02
EP3087502B1 (en) 2018-12-19
TW201526620A (zh) 2015-07-01
US10498801B2 (en) 2019-12-03
HK1207761A1 (zh) 2016-02-05
JP2017511511A (ja) 2017-04-20
WO2015100417A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
TWI627858B (zh) Screen image transmission and playing method and device based on network-based operating system operating environment
US20230199079A1 (en) Systems and methods for enabling access to third party services via a service layer
JP6456472B2 (ja) 複数のデバイス上での複数のコマンドの実行を可能にすることによるｍ２ｍシステムにおけるサービス層と管理層との間の拡張型動作
TWI669957B (zh) Media projection method, media projection device, control terminal, and cloud server
TWI502367B (zh) 使用Javascript及ＨＴＭＬ５在裝置間串流元資料的方法與設備
WO2015188781A1 (zh) 信息处理方法、装置和系统
JP2018512645A (ja) メッセージバスサービスディレクトリ
TWI686702B (zh) 檔案傳輸方法及裝置
WO2012155477A1 (zh) 数字电视节目共享装置及方法、机顶盒
JP7005141B2 (ja) リモートモニタリングのための方法、及び信号取得及びリモートモニタリングのためのシステム
US10104153B2 (en) Method and device for processing information
WO2015176648A1 (zh) 将智能终端上的数据传输至电视终端的方法、装置
WO2022057677A1 (zh) 振动控制方法、装置、电子设备和计算机可读存储介质
KR101587500B1 (ko) 클라우드 기반 스마트 디바이스 협업 플랫폼 구축 시스템 및 그 시스템을 이용한 스마트 디바이스 협업 서비스 제공 방법
WO2016101652A1 (zh) 远程协助设置的方法、服务器、终端及系统
US11889506B2 (en) Method and apparatus for configuring 5G application servers in connected uplink-to-downlink streaming
KR101735995B1 (ko) 사물인터넷 디바이스 드라이버 관리 시스템 및 방법
JP6158667B2 (ja) サーバ装置、端末装置、通信方法およびコンピュータプログラム
TWI540861B (zh) 管理系統與管理方法
Maartens et al. DDS as middleware of the Southern African Large Telescope control system
CN117857860A (zh) 投屏方法、投屏系统及计算机可读存储介质
CN116126263A (zh) 非镜像投屏方法、装置、设备及存储介质
Meniya et al. Next Generation Mobile Application in Cloud Computing: using RESTful Web Service
WO2015093192A1 (ja) 被制御装置、制御装置、および情報機器
US20130262977A1 (en) Controlling Browser Preferences with a Rich Internet Application

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees