TWI491259B - 遠端影音分享方法及其應用程式 - Google Patents

Description

遠端影音分享方法及其應用程式

本發明係有關於影音資料的分享方法，尤其更有關於能夠將一電子裝置的螢幕畫面及聲音傳送至其他的電子裝置上播放，並透過其他電子裝置來進行操控的影音分享方法及其使用的應用程式。

自從電腦發明以來，因其便利性及強大的處理能力，即迅速地普及於一般大眾的生活週遭。無論是生活中瑣碎的雜事，或是工作上的運用等，現今皆可通過電腦來進行處理。

對於一般大眾來說，最常透過電腦來進行休閒娛樂，例如上網、玩遊戲及觀看影片等等。因此，相關技術領域的從業人員業已針對電腦的娛樂功能，開發出各式各樣的技術。

以觀看影片為例，絕大部分使用者仍然習慣在客廳中，通過具有大螢幕尺寸的電視來觀看。然而，雖然以電腦來播放影片具有一定的便利性，但電腦通常擺設在房間內，並且電腦的螢幕尺寸通常沒有電視來得大，解析度也會略遜一籌。因此，即有人提出許多有線及無線的影音傳輸方式，能夠將電腦的螢幕畫面及聲音等影音資料傳送至電視上，以進行較大螢幕尺寸的播放。

然而，即使將上述影音資料傳送至電視上播放，但使用者仍需對 電腦進行操控，以改變影音資料的狀態(例如選擇檔案、快轉及變換大小聲等)。如此一來，使用者只能通過無線鍵盤、滑鼠等電腦週邊裝置對電腦進行遠端遙控。

惟，此種操控方式非常不適合使用者在客廳中進行，使用者無法隨心所欲的躺在沙發上，或在其他較舒適或慵懶的姿勢下使用鍵盤及滑鼠等電腦週邊裝置。並且，鍵盤及滑鼠主要係通過USB、PS/2傳輸線與電腦有線連接，或通過藍牙、紅外線或無線電(例如2.4GHz無線電)等無線傳輸方式，來與電腦無線連接。若使用者所在位置與電腦距離太遠，超過傳輸線的長度，或超出藍牙、紅外線或無線電等無線傳輸方式的傳輸有效距離，則無法對電腦進行操控，對使用者來說實在相當不方便。

本發明之主要目的，在於提供一種遠端影音分享方法及其應用程式，係可擷取傳送端電子裝置的螢幕畫面及聲音，分別依據觀賞及操控的不同需求，進行不同參數的編碼動作，並分別傳送至播放端電子裝置及控制端電子裝置，令使用者易於通過播放端電子裝置來觀賞，並通過控制端電子裝置來操控。

為達上述目的，本發明主要由一傳送端電子裝置擷取自身螢幕畫面及聲音，分別經過第一編碼及第二編碼後，傳送至一播放端電子裝置及一控制端電子裝置上播放。播放端電子裝置接收資料並解碼後，可流暢地播放所接收的資料。而控制端電子裝置接收資料並解碼後，可與傳送端電子裝置達到同步播放的效果。並且，還可通過控制端電子裝置產生控制命令，回傳至傳送端電子裝置，以操控傳送端電子裝置的作動。並且，於控制命令產生時，傳 送端電子裝置動態調整第一編碼及第二編碼之參數，如此一來，除了能同時滿足使用者觀賞及操控之需求外，亦能最佳化傳送端電子裝置、播放端電子裝置及控制端電子裝置的編碼/解碼成本。

本發明對照先前技術所具備之功效在於，傳送端電子裝置(例如為一電腦)擷取自身螢幕畫面及聲音後，可針對用來觀賞的播放端電子裝置，進行高解析度及高幀速率的編碼，並於傳送時保留較大緩衝區。如此一來，播放端電子裝置於接收資料並解碼後，可進行較為流暢且高解析度的播放，令使用者易於觀看。並且，傳送端電子裝置還可針對用來操控的控制端電子裝置，進行低解析度及低幀速率的編碼，並於傳送時保留較小緩衝區。藉以，控制端電子裝置於接收資料並解碼後，可以同步的速度播放傳送端電子裝置的螢幕畫面及聲音。藉以，使用者能輕易地通過控制端電子裝置來對傳送端電子裝置進行操控。

傳統使用者在使用遠端影音串流應用時，若想讓接收端的電子裝置達到高畫質且順暢地播放，需要採用高比特率(high bitrate)的編碼，並於傳送時提供較大的緩衝區。而若想讓接收端的電子裝置易於用來操控，則需要採用低比特率(low bitrate)的編碼，並且不使用緩衝，藉以通過低延遲(low latency)的特性讓使用者所見即所得，進而容易進行操控。然而，上述二種不同目的所需採用的技術手段係互相牴觸，是以先前技術無法達成，本發明即用以解決上述先前技術之缺失。

再者，傳送端電子裝置能根據控制端電子裝置的控制事件觸發與否，動態調整第一編碼及第二編碼之參數，藉以，降低傳送端電 子裝置同時進行兩種不同編碼之負載。並且，當使用者專注於觀賞，致使控制端電子裝置於一定期間內沒有控制事件觸發時，動態調整第一編碼及第二編碼之參數，藉以節省控制端電子裝置不必要的傳輸頻寬浪費，以及解碼動作所耗費之電力。

1‧‧‧傳送端電子裝置

2‧‧‧播放端電子裝置

3‧‧‧控制端電子裝置

31‧‧‧觸控式螢幕

32‧‧‧實體按鍵

4‧‧‧擴充連接裝置

10、20、30‧‧‧應用程式

S40~S62‧‧‧步驟

第一圖係本發明之一較佳具體實施例之方塊圖。

第二圖係本發明之一較佳具體實施例之架構示意圖。

第三圖係本發明之另一較佳具體實施例之架構示意圖。

第四圖係本發明之一較佳具體實施例之流程圖。

茲就本發明之一較佳實施例，配合圖式，詳細說明如後。

首請參閱第一圖，為本發明之一較佳具體實施例之方塊圖。如圖所示，本發明的遠端影音分享方法，主要係運用於一傳送端電子裝置1、一播放端電子裝置2及一控制端電子裝置3之間(下面將簡稱為該傳送端裝置1、該播放端裝置2及該控制端裝置3，舉例說明)。其中，該傳送端裝置1、該播放端裝置2及該控制端裝置3中分別儲存有一應用程式10、20及30，當各該應用程式10、20、30被執行後，該傳送端裝置1、該播放端裝置2及該控制端裝置3可通過網路系統彼此建立連接。

其中，各該應用程式10、20、30係分別內建於該傳送端裝置1、該播放端裝置2及該控制端裝置3中，或通過下載或其他方式傳輸並儲存於該傳送端裝置1、該播放端裝置2及該控制端裝置3中。當該傳送端裝置1、該播放端裝置2及該控制端裝置3分別載入各 該應用程式10、20、30並執行後，即可互相連接，並執行本發明的遠端影音分享方法。本實施例中，該傳送端裝置1、該播放端裝置2及該控制端裝置3主要係通過網路系統，例如無線相容認證(Wireless Fidelity,Wi-Fi)技術建立連接，但不加以限定。

該傳送端裝置1中的該應用程式10，主要作為一傳送端的應用程式，該傳送端裝置1通過該應用程式10擷取自身的螢幕畫面及聲音(screen&sound capture)，並且經過編碼之後對外傳送。更具體而言，該傳送端裝置1係通過該應用程式10，針對該播放端裝置2與該控制端裝置3的效能，同時以較高解析度、較高延遲時間之編碼方式，以及較低解析度、較低延遲時間之編碼方式進行編碼，並分別傳送給該播放端裝置2與該控制端裝置3。

該播放端裝置2中的該應用程式20，及該控制端裝置3中的該應用程式30，主要作為一接收端的應用程式，該播放端裝置2及該控制端裝置3係分別通過各該應用程式20及30，接收該傳送端裝置1傳送的資料，並據以解碼後進行播放。

其中，該播放端裝置2主要係被用以觀賞，因此該播放端裝置2主要接收以較高解析度、較高延遲時間編碼而成的資料；而該控制端裝置3主要係被用來操控該傳送端裝置1，因此該控制端裝置3主要接收以較低解析度、較低延遲時間編碼而成的資料。

續請同時參閱第二圖及第三圖，為本發明之一較佳具體實施例及另一較佳具體實施例之架構示意圖。該傳送端裝置1主要可為一電腦，並且通過外接的鍵盤及滑鼠等硬體裝置(圖)，控制內部作動。該播放端裝置2主要為具有大螢幕尺寸的播放器，例如電視 或投影機等。並且，若該播放端裝置2為一智慧型電視(Smart TV)，則該播放端裝置2內部可搭載並直接執行該應用程式20。

然而若如第三圖中所示，該播放端裝置2為不具備運算功能的播放器，如傳統電視或投影機時，則該播放端裝置2必須外接一擴充連接裝置4。該擴充連接裝置4內部安裝並執行有該應用程式20，並且該擴充連接裝置4通過訊號線，例如高清晰度多媒體介面(High Definition Multimedia Interface,HDMI)或AV端子等訊號線與該播放端裝置2電性連接。藉以，該擴充連接裝置4接收該傳送端裝置1傳送的資料，並經解碼後，將解碼所得的螢幕畫面及聲音傳輸至該播放端裝置2上播放。

該控制端裝置3主要為手持式的電子裝置，例如智慧型行動電話(Smart phone)及平板電腦(Tablet)等。該控制端裝置3上具有一觸控式螢幕31，並且視情況而定，該控制端裝置3上亦可能設置有一實體按鍵32。其中，該播放端裝置2的螢幕尺寸，係大於該控制端裝置3上的該觸控式螢幕31的螢幕尺寸。

是以，該播放端裝置2及該控制端裝置3皆可接收並播放該傳送端裝置1的螢幕畫面及聲音，並且該播放端裝置2具有大螢幕尺寸，能以較高的解析度(higher resolution)來順暢地播放；而該控制端裝置3具有小型的觸控式螢幕，係以較低的解析度及較低的延遲時間來播放，藉以能與該傳送端裝置1達到同步效果，便於使用者直接通過該觸控式螢幕31或該實體按鍵32來對該傳送端裝置1進行即時操控。更具體而言，該播放端裝置2及該控制端裝置3皆可播放該傳送端裝置1的螢幕畫面及聲音，但所達成的目的並不相同，因此所接收的資料的編碼方式亦不相同。

請參閱第四圖，為本發明之一較佳具體實施例之流程圖。首先，該傳送端裝置1通過該應用程式10，擷取自身的螢幕畫面及聲音(步驟S40)。接著，該傳送端裝置1透過一編碼器(圖未標示)，針對該播放端裝置2進行一第一編碼(步驟S42)，並且，再將編碼後的資料傳送至該播放端裝置2上進行解碼及播放(步驟S44)。接著，該傳送端裝置1再透過該編碼器，針對該控制端裝置3進行一第二編碼(步驟S46)，並且，再將編碼後的資料傳送至該控制端裝置3上進行解碼及播放(步驟S48)。其中，該步驟S44係跟隨該步驟S42所執行，該步驟S48係跟隨該步驟S46所執行，但該步驟S42與該步驟S46並不存在執行上的順序關係，亦可視實際情況而定，先執行該步驟S46及S48，再執行該步驟S42及S44，不可加以限定。

值得一提的是，上述該第一編碼及該第二編碼所使用的編碼參數並不相同。該第一編碼的編碼參數主要係針對用來觀賞的該播放端裝置2所設定，具有較高解析度，以及較高幀速率，例如每秒30個幀幅(30fps)。並且，於傳送資料時，該播放端裝置2同時保留較大的緩衝區(buffer)。藉以，由較大緩衝區來克服在高品質(high quality)、高比特率(high bitrate)的無線傳輸條件之下，因無線干擾所造成的影像停格、破碎或影音不同步之狀況。該播放端裝置2通常具有足夠的解碼處理能力，藉以該播放端裝置2接收資料後，能夠對高比特率的資料正常解碼，並進行較為流暢(smooth)且具有高解析度的播放，令使用者易於觀看。

該控制端裝置3的解碼處理能力通常弱於該播放端裝置2，是以該第二編碼的編碼參數主要係針對用來進行操控的該控制端裝置3 所設定，具有較低解析度，以及較低幀速率。於傳送資料時，該控制端裝置3保留較少的緩衝區(甚至可將緩衝區設為零)，如此該控制端裝置3可以得到較低延遲時間(Low latency delay)。藉以，該控制端裝置3於接收資料並解碼後，可因低延遲時間的特性，以同步的速度播放該傳送端裝置1的螢幕畫面及聲音，令使用者能夠處於「所見即所得」的狀態，輕易地通過該控制端裝置3來對該傳送端裝置1進行操控。

如上所述，該第一編碼使用的幀速率係大於該第二編碼使用的幀速率，並且該第一編碼使用的解析度亦大於該第二編碼使用的解析度。再者，該傳送端裝置1傳送資料時，該播放端裝置2保留的緩衝區大於該控制端裝置3保留的緩衝區。

該步驟S48之後，該控制端裝置3回傳內部的幀幅消化狀況(Frame Digestion Acknowledge)至該傳送端裝置1(步驟S50)。藉以，該傳送端裝置1依據該控制端裝置3回傳的幀幅消化狀況，調整該第二編碼中使用的幀速率(步驟S52)。本發明中，該控制端裝置3主要為手持式的電子裝置，而手持式電子裝置的處理效能通常不如智慧型電視或該擴充連接裝置4來得高。因此，該步驟S52的目的，在於確認該控制端裝置3的處理速度以及進度，藉以確保該控制端裝置3能與該傳送端裝置1保持同步播放，讓使用者持續處於「所見即所得」的狀態。

接著，該控制端裝置3判斷是否有控制事件發生(步驟S54)，若是，則該控制端裝置3立即傳送一控制訊號至該傳送端裝置1，令該傳送端裝置1提高該第二編碼使用的幀速率(步驟S56)，以利使用者操控該控制端裝置3。值得一提的是，對該傳送端裝置1而言， 同時進行兩種不同的編碼係具有相當高的負荷(overhead)。是以在該步驟S56中，係根據該控制端裝置3的控制事件觸發與否，來動態調整第一編碼及第二編碼之參數，決定該傳送端裝置1要全力為該控制端裝置3的效能做最佳化，並適度犧牲該播放端裝置2的效能。藉以，減少該傳送端裝置1同時進行兩種不同編碼的負載。然而以上所述僅為本發明之較佳實例，不應以此為限。

於該步驟S56之後，該控制端裝置3傳送對應的控制命令至該傳送端裝置1，以操控該傳送端裝置1的作動(步驟S58)。更具體而言，該控制端裝置3係於其上的該觸控式螢幕31或該實體按鍵32被觸碰時，判斷為有控制事件發生。該步驟S58中，該控制端裝置3係擷取該觸控式螢幕31上的絕對座標或相對座標，傳送至該傳送端裝置1，轉換為該傳送端裝置1的滑鼠的控制命令。並且，該控制端裝置3還掃瞄該實體按鍵32的鍵盤碼，或掃瞄通過該觸控式螢幕31或該實體按鍵32輸入的unicode字串，傳送至該傳送端裝置1，轉換為該傳送端裝置1的鍵盤的控制命令。然而以上所述僅為本發明的較佳具體實施，不應以此為限。

若在該步驟S54中，判斷該控制端裝置3在一定期間內未有控制事件發生，則該傳送端裝置1降低該第二編碼使用的幀速率，或將該第二編碼使用的幀速率設為零(步驟S60)。更具體而言，該控制端裝置3主要係為處理能力較弱，且需以電池做為電力的裝置。長時間的傳輸及解碼動作不但會浪費該控制端裝置3的傳輸頻寬，亦會消耗大量的電力。上述該步驟S60的目的即在於，可動態調整第一編碼及第二編碼之參數，以降低該傳送端裝置1同時進行兩種不同編碼的負載，並同時節省該控制端裝置3的傳輸頻 寬，以及解碼所產生的電力消耗。

本發明的遠端影音分享方法中，該傳送端裝置1、該播放端裝置2及該控制端裝置3彼此係通過該應用程式10、20及30的執行來建立連線。更具體而言，係於其中之一該應用程式10、20或30被執行後，搜尋其他應用程式所在的IP位址，藉以通過WIFI建立連接，並互相傳遞資料。

該傳送端裝置1、該播放端裝置2及該控制端裝置3係隨時判斷各該應用程式10、20及30是否被關閉(步驟S62)，並且於各該應用程式10、20及30的其中之一被關閉時斷除連接，結束本發明的遠端影音分享方法。更具體而言，當該應用程式10被關閉，該傳送端裝置1斷除與該播放端裝置2及該控制端裝置3的連接；當該應用程式20被關閉，該播放端裝置2斷除與該傳送端裝置1的連接，但該傳送端裝置1與該控制端裝置3的連接仍持續運作；而當該應用程式30被關閉，該控制端裝置3斷除與該傳送端裝置1的連接，但該傳送端裝置1與該播放端裝置2的連接仍持續運作。

若該些應用程式10、20及30皆正常運作，則回到該步驟S40，該傳送端裝置1持續擷取自身的螢幕畫面及聲音，傳送到該播放端裝置2及該控制端裝置3播放，並接收該控制端裝置3的控制命令。

以上所述僅為本發明之較佳具體實例，非因此即侷限本發明之專利範圍，故舉凡運用本發明內容所為之等效變化，均同理皆包含於本發明之範圍內，合予陳明。

S40~S62

Claims (12)

1. 一種遠端影音分享方法，係運用於一傳送端電子裝置、一播放端電子裝置及一控制端電子裝置之間，其中該傳送端電子裝置、該播放端電子裝置及該控制端電子裝置內部分別儲存並執行有一應用程式，彼此通過該應用程式建立連接，該遠端影音分享方法包括：a)該傳送端電子裝置擷取自身的螢幕畫面及聲音；b)針對該播放端電子裝置，對擷取的螢幕畫面及聲音進行第一編碼，並針對該控制端電子裝置，對擷取的螢幕畫面及聲音進行第二編碼，其中該第一編碼的編碼參數不同於該第一編碼的編碼參數；c)將經過該第一編碼後的資料傳送至該播放端電子裝置進行解碼與播放，並將經過該第二編碼後的資料傳送至該控制端電子裝置進行解碼與播放；d)承步驟c，該控制端電子裝置回傳幀幅消化狀況(Frame Digestion Acknowledge)給該傳送端電子裝置；e)承步驟d，該傳送端電子裝置根據該控制端電子裝置的幀幅消化狀況調整該第二編碼使用的幀速率(frame rate)；f)承步驟c，該控制端電子裝置判斷是否有控制事件發生；g)承步驟f，若有控制事件發生，該控制端電子裝置傳送控制訊號至該傳送端電子裝置，令該傳送端電子裝置提高該第二編碼使用的幀速率，並同時動態調整該第一編碼之編碼參數，以犧牲該 播放端裝置的效能並為該控制端裝置的效能做最佳化；及h)承步驟g，該控制端電子裝置依據該控制事件，傳送對應的控制命令至該傳送端電子裝置，以操控該傳送端電子裝置的作動。
2. 如請求項1所述的遠端影音分享方法，其中更包括一步驟i：承步驟f，若該控制端電子裝置在一定期間內未有控制事件發生，該傳送端電子裝置降低該第二編碼使用的幀速率，或將該第二編碼使用的幀速率設為零。
3. 如請求項1所述的遠端影音分享方法，其中該控制端電子裝置為一手持式電子裝置，並且具有一觸控式螢幕，該步驟f係於該觸控式螢幕被觸碰時，判斷有控制事件發生。
4. 如請求項3所述的遠端影音分享方法，其中該步驟h中，該控制端電子裝置係擷取該觸控式螢幕上的絕對座標或相對座標，傳送至該傳送端電子裝置，轉換為該傳送端電子裝置的滑鼠的控制命令。
5. 如請求項3所述的遠端影音分享方法，其中該控制端電子裝置上更設置有一實體按鍵，該步驟h中，該控制端電子裝置係掃瞄該實體按鍵的鍵盤碼，或擷取通過該觸控式螢幕或該實體按鍵所輸入的unicode字串，傳送至該傳送端電子裝置，轉換為該傳送端電子裝置的鍵盤的控制命令。
6. 如請求項1所述的遠端影音分享方法，其中該播放端電子裝置的螢幕尺寸，大於該控制端電子裝置的螢幕尺寸。
7. 如請求項1所述的遠端影音分享方法，其中該第一編碼使用的幀速率大於該第二編碼使用的幀速率，該第一編碼使用的解析度大於該第二編碼使用的解析度。
8. 如請求項7所述的遠端影音分享方法，其中該第一編碼使用的幀 速率為每秒三十個幀幅(30fps)。
9. 如請求項1所述的遠端影音分享方法，其中該傳送端電子裝置、該播放端電子裝置及該控制端電子裝置係通過無線相容認證(Wireless Fidelity,Wi-Fi)技術建立連接。
10. 如請求項9所述的遠端影音分享方法，其中該傳送端電子裝置傳送資料時，該播放端電子裝置保留的緩衝區(buffer)大於該控制端電子裝置保留的緩衝區。
11. 如請求項10所述的遠端影音分享方法，其中該控制端電子裝置保留的緩衝區為零，藉以該控制端電子裝置得到低延遲時間(Low latency delay)，並與該傳送端電子裝置達到同步效果。
12. 一種內儲於一電子裝置的應用程式(Application Program)，當複數的電子裝置分別載入該應用程式並執行後，該複數電子裝置可互相連接，並執行一遠端影音分享方法，其中該複數電子裝置包括一傳送端電子裝置、一播放端電子裝置及一控制端電子裝置，該遠端影音分享方法包括：a)該傳送端電子裝置擷取自身的螢幕畫面及聲音；b)針對該播放端電子裝置，對擷取的螢幕畫面及聲音進行第一編碼，並針對該控制端電子裝置，對擷取的螢幕畫面及聲音進行第二編碼；c)將經過該第一編碼後的資料傳送至該播放端電子裝置進行解碼與播放，並將經過該第二編碼後的資料傳送至控制端電子裝置進行解碼與播放，其中該第一編碼的編碼參數不同於該第一編碼的編碼參數；d)承步驟c，該控制端電子裝置回傳幀幅消化狀況給該傳送端電子裝置； e)承步驟d，該傳送端電子裝置根據該控制端電子裝置的幀幅消化狀況調整該第二編碼使用的幀速率；f)承步驟c，該控制端電子裝置判斷是否有控制事件發生；g)承步驟f，若有控制事件發生，該控制端電子裝置傳送控制訊號至該傳送端電子裝置，令該傳送端電子裝置提高該第二編碼使用的幀速率，並同時動態調整該第一編碼之編碼參數，以犧牲該播放端裝置的效能並為該控制端裝置的效能做最佳化；及h)承步驟g，該控制端電子裝置依據該控制事件，傳送對應的控制命令至該傳送端電子裝置，以操控該傳送端電子裝置的作動。