TWI871908B - 視訊畫面的產生方法、電腦程式產品及與其相關之電子裝置和視訊系統 - Google Patents

Abstract

本揭露為一種視訊畫面的產生方法、電腦程式產品及與其相關之電子裝置和視訊系統。視訊畫面的產生方法包含以下步驟：首先，擷取使用者的影像後產生包含前景影像與背景影像的原始視訊畫面。前景影像被定義為前景圖層，背景影像被定義為後景圖層。接著，因應使用者的觸發操作而更新前景圖層與後景圖層其中的至少一者，並進而產生合成視訊畫面。

Description

視訊畫面的產生方法、電腦程式產品及與其相關 之電子裝置和視訊系統

本揭露是有關於一種視訊畫面的產生方法、電腦程式產品及與其相關之電子裝置和視訊系統，且特別是有關於一種用於即時傳送的視訊畫面的產生方法、電腦程式產品及與其相關之電子裝置和視訊系統。

隨著網路的普及，直播節目越來越普及。儘管直播的內容可為聊天、遊戲直播、販賣商品等不同型態，但其共通處均為，讓直播主可和觀眾進行即時互動。為能使直播的過程順利進行，直播主的直播現場經常需要他人的協助。例如，做為一個販售商品的直播主，可能會需要助手協助統計現場的剩餘商品數量、對販售商品之特價期間倒數計時、進行現場抽籤等活動、協助更替所販售之商品的照片等相關庶務。或者，為了讓直播畫面看起來更吸引人，直播主也可能需要他人協助化妝、調整燈光角度、拍攝角度等。

由於網路直播的走向為分眾市場，身為直播主可用的各種資源無法與傳統電視直播節目相比。再者，並非每個直播主均能擁有足夠財 力聘用人員處理庶務、協助化妝、調整燈光等等。也就是說，目前直播節目的製作與播放方式往往需要多人協助方能進行。如何能在人力有限的情況下提升直播的互動效果，仍為一亟待解決的問題。

本揭露係有關於一種用於即時傳送的視訊畫面的產生方法、電腦程式產品及與其相關之電子裝置和視訊系統。本揭露的視訊畫面的產生方法、電腦程式產品及與其相關之電子裝置和視訊系統可即時因應使用者的觸發操作，自動化地調整產生合成視訊畫面的方式。

根據本揭露之第一方面，提出一種視訊畫面的產生方法。視訊畫面的產生方法包含以下步驟：首先，擷取使用者的影像後產生包含前景影像與背景影像的原始視訊畫面。接著，將前景影像定義為前景圖層，以及，將背景影像定義為後景圖層。其後，因應使用者的觸發操作而更新前景圖層與後景圖層其中的至少一者，並據以產生合成視訊畫面。當前景圖層被更新且背景圖層未被更新時，將更新後的前景圖層疊加在未被更新的後景圖層上形成合成視訊畫面。當前景圖層未被更新且背景圖層被更新時，將未被更新的前景圖層疊加在更新後的後景圖層上形成合成視訊畫面。當前景圖層與背景圖層均被更新時，將更新後的前景圖層疊加在更新後的後景圖層上形成合成視訊畫面。

根據本揭露之第二方面，提出一種電腦程式產品。電腦程式產品上儲存有軟體程式。軟體程式執行時進行該視訊畫面的產生方法。

根據本揭露之第三方面，提出一種電子裝置。電子裝置包含：影像擷取模組、輸入模組、控制模組與通訊模組。影像擷取模組擷 取使用者的影像後產生包含前景影像與背景影像的原始視訊畫面。前景影像被定義為前景圖層，且背景影像被定義為後景圖層。輸入模組感測使用者的觸發操作。控制模組電連接於影像擷取模組與輸入模組。控制模組依據觸發操作的類型而更新前景圖層與後景圖層其中的至少一者，並據以產生合成視訊畫面。當控制模組根據觸發操作的類型而更新前景圖層且不更新該背景圖層時，控制模組將更新後的前景圖層疊加在未被更新的後景圖層上形成合成視訊畫面。當控制模組根據觸發操作的類型而不更新前景圖層且更新背景圖層時，控制模組將未被更新的前景圖層疊加在更新後的後景圖層上形成合成視訊畫面。當控制模組根據觸發操作的類型而更新前景圖層與背景圖層時，控制模組將更新後的前景圖層疊加在更新後的後景圖層上形成合成視訊畫面。通訊模組電連接於控制模組，且通訊模組傳送合成視訊畫面至網路。

根據本揭露之第四方面，提出一種視訊系統。視訊系統包含該電子裝置與另一電子裝置。該電子裝置將合成視訊畫面傳送至網路後，另一電子裝置自網路接收合成視訊畫面。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

20:直播畫面

21,fgIMG:前景畫面

17a,87a,87c,97a:使用者

11:視訊傳送裝置

outBS,outBS_a,outBS_b:輸出視訊位元流

15:網路

inBS,inBS_a,inBS_b,inBS_1,inBS_N:輸入視訊位元流

13,60:視訊接收裝置

10,80,90:視訊系統

bgIMG:背景畫面

fgLYR:前景圖層

bgLYR:後景圖層

30:工具庫

301a,401a:子畫面

301c,401c:直播公告訊息

301e:計數器

301g:聯絡電話的圖案

301i,401i:計時器

301k:標價圖案

updt_bgLYR:更新後的後景圖層

synthVID:合成視訊畫面

50:視訊傳送裝置

51,61:控制模組

53:影像擷取模組

55,65:螢幕

57,63:通訊模組

58:輸入模組

58a:麥克風

58c:鍵盤

58e:滑鼠

59:儲存模組

S701,S703,S705,S707,S709,S711,S709a,S709c,S709e,S709g,S709i,S709k,S709l,S709m,S709o,S709q,S709s,S709t,S709u,S709v,S709w,S709x:步驟

81,83,91,93,rvDEV_1,rvDEV_N:電子裝置

rplyBS_1,rplyBS_N:回傳資訊位元流

第1圖，其係使用者操作視訊傳送裝置，拍攝視訊畫面進行直播的示意圖；第2圖，其係將第1圖的原始視訊畫面origVID區分為前景圖層fgLYR和 和後景圖層bgLYR之示意圖；第3A圖，其係第2圖所示的前景圖層fgLYR之示意圖；第3B圖，其係第2圖所示的後景圖層bgLYR之示意圖；第4圖，其係在視訊傳送裝置的工具庫中，可提供之小工具應用程式及與其對應的工具圖案之示意圖；第5圖，其係視訊傳送裝置依據使用者所選用的小工具應用程式，將與小工具應用程式對應的工具圖案疊加在後景圖層bgLYR後，產生更新後的後景圖層updt_bgLYR的示意圖；第6圖，其係將第3A圖的前景圖層fgLYR疊加在第5圖的後景圖層bgLYR上，產生合成視訊畫面synthVID之示意圖；第7A圖，其係視訊傳送裝置的方塊圖；第7B圖，其係視訊接收裝置的方塊圖；第8圖，其係視訊傳送裝置產生合成播放畫面的流程圖；第9A、9B圖，其係控制模組因應使用者的觸發操作trigOP而將原始視訊畫面轉換為合成視訊畫面的流程圖；第10圖，其係將本揭露的視訊系統搭配通訊軟體使用之示意圖；及第11圖，其係將本揭露的視訊系統應用於線上課程/線上會議之示意圖。

請參見第1圖，其係一種應用於直播的視訊系統的示意圖。視訊系統10包含視訊傳送裝置11與視訊接收裝置13。視訊傳送裝置11與視 訊接收裝置13均信號連接於網路15。視訊傳送裝置11與視訊接收裝置13可為具網路連線、拍攝與播放影像功能之電子裝置。

由使用者17a操作的視訊傳送裝置11用於拍攝使用者17a的影像後，利用畫面合成軟體進行畫面處理與轉換，進而產生直播畫面20。且，視訊傳送裝置11將直播畫面20的內容傳送至網路15，視訊接收裝置13自網路15接收直播畫面20的內容。關於視訊傳送裝置11如何將直播畫面20的內容匯集為輸出視訊位元流(output video bitstream)outBS，並將輸出視訊位元流outBS封裝為網路封包；以及，視訊接收裝置13如何在接收網路封包後，產生輸入視訊位元流(input video bitstream)inBS與取得直播畫面20的內容等過程，屬於本揭露所屬技術領域慣用的技術手段，本文不予詳述。

根據本揭露構想的視訊傳送裝置11，並不會直接將攝影機所拍攝之使用者17a的影像(原始視訊畫面origVID)當作傳送至網路15的直播畫面20。相反地，根據本揭露構想的視訊傳送裝置11先根據使用者17a的個人化需求，在傳送至網路15之前，會預先對原始視訊畫面origVID進行轉換處理，產生合成視訊畫面synthVID。之後，視訊傳送裝置11再以合成視訊畫面synthVID作為傳送至網路15的直播畫面20。以下實施例將說明畫面合成軟體如何對原始視訊畫面origVID進行轉換處理後，產生直播畫面20所使用的合成視訊畫面synthVID。

基於畫面處理與轉換的目的，畫面合成軟體會將原始視訊畫面origVID區分為前景圖層fgLYR和後景圖層bgLYR，如第2圖所示。請參見第2圖，其係將第1圖之原始視訊畫面origVID區分為前景圖層fgLYR和後景圖層bgLYR之示意圖。

視訊傳送裝置11具有人類影像的邊緣偵測功能，可以辨別並區隔原始視訊畫面origVID中的使用者17a的影像。原始視訊畫面origVID可區分為，包含使用者17a的影像的前景畫面(foreground image)fgIMG21，以及以斜線標示的背景畫面(background image)23。本揭露將包含使用者17a的影像的前景畫面fgIMG定義為前景圖層(foreground layer)fgLYR；以及，將排除使用者17a的影像後的背景畫面bgIMG定義為後景圖層(background layer)bgLYR。

畫面合成軟體先將原始視訊畫面origVID中的使用者17a的影像分離出來，作為前景圖層fgLYR，其餘部分則作為後景圖層bgLYR。接著，畫面合成軟體可針對前景圖層fgLYR和後景圖層bgLYR各自選擇性進行畫面處理與修改。經過修改後的前景圖層fgLYR稱為，更新後的前景圖層updt_fgLYR。經過修改後的後景圖層bgLYR稱為，更新後的後景圖層updt_bgLYR。

根據本揭露構想的畫面合成軟體，可根據使用者17a的觸發操作，產生更新後的前景圖層updt_fgLYR及/或更新後的後景圖層updt_bgLYR。之後，畫面合成軟體再依據更新後的前景圖層updt_fgLYR及/或成更新後的後景圖層updt_bgLYR，產生直播畫面20所使用的合成視訊畫面synthVID。

請參見第3A圖，其係第2圖所示之原始視訊畫面origVID其中的前景圖層fgLYR之示意圖。前景圖層(fgLYR)21為現場的網路攝影機所拍攝之使用者17a的影像。若使用者17a希望對其個人影像進行影像處理 (例如，美肌、打光等)時，視訊傳送裝置11將個別針對前景圖層fgLYR進行處理。

請參見第3B圖，其係第2圖所示之原始視訊畫面origVID其中的後景圖層bgLYR之示意圖。若使用者17a希望加入額外的小工具應用程式的功能時，視訊傳送裝置11將在後景圖層bgLYR中，進一步疊加(overlay)與小工具應用程式對應的工具圖案。且，視訊傳送裝置11同步啟用小工具應用程式的功能。

藉由將前景圖層fgLYR和後景圖層bgLYR分開進行影像處理的作法，可以確保在合成視訊畫面synthVID中，位於前景圖層fgLYR上的使用者17a的影像，仍可清晰的出現。據此，在直播畫面20中，並不會因為呈現與小工具應用程式對應的工具圖案的緣故，影響直播觀眾看到直播畫面20中的使用者17a的影像。

請參見第4圖，其係在視訊傳送裝置的工具庫中，可提供之小工具應用程式及與其對應的工具圖案之示意圖。此處假設工具庫30提供計數器301e、直播公告訊息301c、子畫面301a、標價圖案301k、計時器301i、聯絡電話的圖案301g等小工具應用程式。第4圖所示的幾種小工具應用程式，僅作為舉例使用。實際應用時，視訊傳送裝置所提供之小工具應用程式的類型與來源不需加以限定。例如，使用者17a可以自微軟的視窗作業系統(windows)中，選擇可能需要使用的小工具應用程式，並搭配畫面合成軟體設定為直播時可被啟用。或者，使用者17a可自行開發或自網路尋找適用的小工具應用程式。

工具庫30提供小工具應用程式的方式，可隨著技術的發展而以多元方式提供。例如，可以由視訊傳送裝置11提供預設幾類小工具應用程式讓使用者17a在直播期間選擇，或由使用者17a根據個人需求而在直播前 就預先選用/設定偏好的小工具應用程式。或者，視訊傳送裝置11可以搭配人工智慧(Artificial Intelligence，簡稱為AI)的功能，學習使用者17a的慣用操作模式後，在直播期間以自動化的方式讓使用者17a使用小工具應用程式。

表1將觸發操作trigOP的方式大致分為聲控與手動兩類。實際應用時，使用者17a所採用之觸發操作trigOP的方式，可能穿插著聲控與手動的方式。此部分關於應用上的組合與搭配，本文不予詳述。

請參見第5圖，其係視訊傳送裝置依據使用者所選用的小工具應用程式，將與小工具應用程式對應的工具圖案疊加在後景圖層bgLYR後，產生更新後的後景圖層updt_bgLYR的示意圖。實際應用時，畫面合成軟體所搭配之小工具應用程式的類型與用途，或是畫面合成軟體可提供之影像處理的功能等，均不需要加以限定。

請同時參見第3B、4、5圖。為便於說明，此處假設使用者17a選取直播公告訊息401c、計時器401i與子畫面401a。其中，直播公告訊息401c、計時器401i與子畫面401a的內容，均可視使用者17a的需求而提供客製化的設定。

例如，使用者17a可以根據個人的實際需求，而動態決定計時器401i的計數期間(例如，設定為3分鐘、30分鐘等)。甚至，使用者17a可以根據個人喜好選擇螢幕上所顯示之計時器的外觀。例如，使用者17a可以選擇使用時鐘外觀的計時器，或是使用碼表外觀的計時器等。

再者，若使用者17a選擇在後景圖層bgLYR上顯示子畫面401a時，子畫面401a的內容亦相當彈性。例如，子畫面401a可以顯示直銷販售之商品的相片、使用者17a預先錄製的影片，或是與其他電子裝置連線而顯示來自直播觀眾(視訊接收裝置13的使用者)所提供的畫面內容等。

同理，直播公告訊息401c的內容可以預先產生、即時(現場根據使用者17a的設定)產生。或者，直播公告訊息401c的內容的一部分為預先產生，一部分則由使用者17a現場設定。例如，直播公告訊息的內容為促銷某種商品。其中，關於商品的介紹與用途是預先設定的樣板(template)，但使用者17a可以視直播觀眾(視訊接收裝置13的使用者)的反應，或是基於促銷需求等而動態修改、決定促銷活動的期間、販售數量、商品價格等。

將第3A圖的前景圖層fgLYR疊加在第5圖的後景圖層bgLYR上，將產生如第6圖所示的合成視訊畫面synthVID。在直播過程中，使用者17a所使用的視訊傳送裝置11將傳送第6圖所示的合成視訊畫面synthVID傳送至網路。另請留意，視訊傳送裝置11會不斷產生新的合成視訊畫面synthVID。視訊傳送裝置11後續產生的合成視訊畫面synthVID，需繼續沿用因應使用者17a先前曾發出之觸發操作而仍然有效的畫面合成設定(包含對前景圖層fgLYR中的影像加以修改，及/或在後景圖層bgLYR加入與小工具應用程式對應的工具圖案等)。關於如何提供更便利性的設計，均可視實際應用的需求而進一步優化，本文不予詳述。

請參見第7A圖，其係視訊傳送裝置的方塊圖。視訊傳送裝置50包含：控制模組51、影像擷取模組53、螢幕55、通訊模組57、輸入模組58與儲存模組59。且，控制模組51電連接於影像擷取模組53、螢幕55、通訊模組57、輸入模組58與儲存模組59。控制模組51可為中央處理器(central processing unit，簡稱為CPU)、圖形處理器(Graphics processing unit，簡稱為GPU)、網路處理器(Network Processing Unit，簡稱為NPU)或其組合。

實際應用時，影像擷取模組53可為內建或外接(有線或無線)的攝影機。輸入模組58可進一步包含：麥克風58a、鍵盤58c、滑鼠58e等不同類型的輸入裝置。輸入模組58所包含之輸入裝置的類型並不限於此處的舉例。

影像擷取模組53用於拍攝並產生原始視訊畫面origVID。原始視訊畫面origVID經由控制模組51的畫面轉換後，將產生合成視訊畫面synthVID。關於控制模組51將原始視訊畫面origVID轉換為合成視訊畫面synthVID的過程，將進一步於第8、9A、9B圖說明。其後，控制模組51將合成視訊畫面synthVID傳送至螢幕55；且，控制模組51將合成視訊畫面synthVID進行編碼(encode)後，將編碼後的合成視訊畫面synthVID傳送至通訊模組57。使用者17a可以透過螢幕55觀看合成視訊畫面synthVID的內容，且通訊模組57將包含編碼後的合成視訊畫面synthVID的輸出視訊位元流outBS傳送至網路。

儲存模組59可用於儲存工具庫與背景圖庫(background image database)imgDB。工具庫可提供一個或多個小工具應用程式(例如：計時器、計數器等。背景圖庫imgDB用於儲存使用者17a在進行直播時可能使用的虛擬背景vBG。若使用者17a不擬使用其所在位置的實體背景rBG作為直播所使用的後景圖層bgLYR時，使用者17a可以只用一個預設的虛擬背景vBG，或預存多個虛擬背景vBG以便直播時選用。例如，若背景圖庫imgDB儲存多個虛擬背景vBG時，使用者17a也可以根據個人喜好或是直播進行的過程(例如，根據販賣商品的不同)而進行觸發操作trigOP，進而控制畫面合成軟體更替所使用的虛擬背景vBG。

再者，若畫面合成軟體提供讓使用者17a以按壓快捷鍵的方式作為一種觸發操作trigOP的方式時，儲存模組59另可儲存快捷鍵與小工具應用程式之間的對照表(mapping table)。據此，當使用者17a利用輸入裝置輸入快捷鍵組合時，控制模組51可從儲存模組59所儲存的對照表，查詢得知應啟用哪一個小工具應用程式。或者，若控制模組51具備AI功能時，則可透過自動學習的方式，習得使用者17a的使用習慣，進而判斷與快捷鍵對應而應啟用的小工具應用程式。

請參見第7B圖，其係視訊接收裝置的方塊圖。視訊接收裝置60包含：控制模組61、通訊模組63與螢幕65。控制模組61提供視訊播放的功能。通訊模組63信號連接於網路；控制模組61電連接於通訊模組63與螢幕65。控制模組61可為CPU、GPU、NPU或其組合。

通訊模組63從網路接收包含輸入視訊位元流inBS的封包後，自輸入視訊位元流inBS進一步取得輸入視訊inVID。且，通訊模組63將輸入視訊inVID傳送至控制模組61。控制模組61對輸入視訊inVID進行解碼(decode)後，產生可供螢幕65播放的解碼視訊decVID。本揭露的視訊畫面的產生方法可直接適用於既有的視訊接收裝置60。

實際應用時，電子裝置可能同時提供視訊傳送裝置50與視訊接收裝置60的功能。即，控制模組可提供產生傳送至網路之合成視訊畫面synthVID，以及播放自網路接收之合成視訊畫面synthVID的功能；通訊模組同時具有傳送輸出視訊位元流outBS與接收輸入視訊位元流inBS的功能等。此部分關於應用上的變化，本文不予詳述。

請參見第8圖，其係視訊傳送裝置產生合成播放畫面的流程圖。請同時參見第1、7A、8圖。

首先，影像擷取模組53擷取使用者17a的影像後產生原始視訊畫面origVID(步驟S701)。控制模組51偵測輸入裝置的狀態(步驟S703)後，由控制模組51判斷使用者17a是否進行觸發操作trigOP(步驟S705)。

關於控制模組51(畫面合成軟體)如何根據輸入裝置的狀態判斷使用者17a是否進行觸發操作trigOP的作法可相當彈性。例如，使用者17a可使用麥克風58a下達口頭指令，且控制模組51具備語音辨識功能。則，畫面合成軟體可根據語音辨識的結果判斷使用者17a欲使用的功能。或者，使用者17a可透過鍵盤58c、滑鼠58e進行快捷鍵操作。一旦畫面合成軟體確認使用者17a按下預設的快捷鍵時，便啟用和該快捷鍵操作對應的小工具應用程式，以及將與小工具應用程式對應的工具圖案疊加於後景圖層bgLYR上。

再者，在功能相對入門的機種，畫面合成軟體的功能相對簡易。針對此種情況，畫面合成軟體可提供由使用者17a手動選取小工具應用程式的功能。即，使用者17a透過鍵盤58c、滑鼠58e點選小工作後，畫面合成軟體再將與被選取之小工具應用程式對應的工具圖案疊加於後景圖層bgLYR上。

若步驟S705的判斷結果為否定，通訊模組57直接將原始視訊畫面origVID傳送至網路(步驟S707)。若步驟S705的判斷結果為肯定，在控制模組51執行的畫面合成軟體，因應使用者17a的觸發操作trigOP，將原始視訊畫面origVID轉換為合成視訊畫面synthVID(步驟S709)。為能提供使用者17a操作時的彈性，畫面合成軟體可結合AI的功能執行步驟S709。步驟S709的相關細節可參見第9A、9B圖。通訊模組57將合成視訊畫面synthVID傳送至網路(步驟S711)。

在直播進行的過程中，影像擷取影像53將持續擷取使用者17a的影像產生原始視訊畫面origVID，且第8圖的流程將重複進行。若重複執行第8圖的流程時，先前用於產生合成視訊畫面synthVID的相關設定亦將持續沿用。例如，若使用者17a先前已經選取使用某個小工具應用程式的功能，則控制模組51會在小工具應用程式的啟用期間持續在合成視訊畫面synthVID顯示與小工具應用程式對應的工具圖案。

此外，使用者17a要求畫面合成軟體提供之協助的數量和類型並不需要加以限定。例如，使用者17a透過觸發操作trigOP而啟用畫面合成軟體對其個人的影像進行調光的同時，畫面合成軟體仍持續於後景圖層bgLYR中持續顯示計時器的圖案。此部分關於應用上的組合與修改，並不需要加以限定。

本揭露所提出之視訊畫面的產生方法，可應用於各類電腦程式產品。在電腦程式產品上儲存軟體程式，且軟體程式執行時進行本揭露的視訊畫面的產生方法。

請參見第9A、9B圖，其係控制模組因應使用者的觸發操作trigOP而將原始視訊畫面轉換為合成視訊畫面的流程圖。首先，控制模組51判斷使用者17a是否選擇以實體背景rBG作為原始視訊畫面origVID中的背景畫面bgIMG(步驟S709a)。若步驟S709a的判斷結果為肯定，控制模組51直接將原始視訊畫面origVID中的前景畫面fgIMG定義為前景圖層fgLYR；以及，將原始視訊畫面origVID中的背景畫面bgIMG定義為後景圖層bgLYR(步驟S709c)。例如，若使用者17a在攝影棚內拍攝，則步驟S709c可直接以攝影棚的環境作為實體背景rBG。

若步驟S709a的判斷結果為否定，控制模組51維持以原始視訊畫面origVID中的前景畫面fgIMG作為前景圖層fgLYR，但改以使用者17a預先選定之虛擬背景vBG作為後景圖層bgLYR(步驟S709e)。例如，若使用者17a在背景雜亂的街道邊拍攝，則步驟S709e可直接採用使用者17a預先選定的海灘相片做為虛擬背景vBG。

步驟S709c、S709e結束後，控制模組51根據使用者17a所產生的觸發操作trigOP的類型，確認使用者17a是否僅欲調整前景圖層fgLYR(步驟S709g)。若步驟S709g的判斷結果為，使用者17a希望對前景圖層fgLYR的內容進行調整(例如，使用者17a希望膚色能更亮一點)，控制模組51根據觸發操作trigOP的內容調整前景圖層fgLYR的顯示效果，進而產生更新後的前景圖層updt_fgLYR(步驟S709i)；且，控制模組51疊加更新後的前景圖層updt_fgLYR與未被更新的後景圖層bgLYR後，產生合成視訊畫面synthVID(步驟S709k)。步驟S709k可表示為，synthVID=updt_fgLYR+bgLYR。

另一方面，若步驟S709g的判斷結果為否定，控制模組51進一步判斷使用者17a是否僅欲調整後景圖層bgLYR的內容(步驟S709l)。若步驟S709l的判斷結果為肯定，控制模組51根據觸發操作trigOP的類型，確認使用者17a擬啟用之小工具應用程式的功能(步驟S709m)。且，控制模組51將與小工具應用程式對應的工具圖案疊加於後景圖層bgLYR後，產生更新後的後景圖層updt_bgLYR(步驟S709o)。控制模組51執行小工具應用程式的功能(步驟S709q)。控制模組51疊加前景圖層fgLYR與更新後的後景圖層updt_bgLYR後， 產生合成視訊畫面synthVID(步驟S709s)。步驟S709s可表示為，synthVID=fgLYR+updt_bgLYR。

若步驟S709l的判斷結果為否定，代表使用者17a希望同時調整其個人影像的效果與啟用小工具軟體。因此，控制模組51須分別針對前景圖層fgLYR與後景圖層bgLYR進行更新。

針對前景圖層fgLYR，控制模組51根據觸發操作trigOP的類型調整前景圖層fgLYR的顯示效果後，產生更新後的前景圖層updt_fgLYR(步驟S709t)。針對後景圖層bgLYR，控制模組51先根據觸發操作trigOP的類型，確認使用者17a擬啟用之小工具應用程式的功能(步驟S709u)。且，控制模組51將與小工具應用程式對應的工具圖案疊加於後景圖層bgLYR後，產生更新後的後景圖層updt_bgLYR(步驟S709v)。此外，控制模組51須執行小工具應用程式的功能(例如，進行計時)(步驟S709w)。待更新後的前景圖層updt_fgLYR與更新後的後景圖層updt_bgLYR均產生後，控制模組51再將更新後的前景圖層updt_fgLYR疊加在更新後的後景圖層updt_bgLYR上，進而產生合成視訊畫面synthVID(步驟S709x)。步驟S709x可表示為，synthVID=updt_fgLYR+updt_bgLYR。

關於步驟S709s所述之，控制模組51產生合成視訊畫面synthVID的方式，可以參見第3A、3B、4、5、6圖的說明。關於步驟S709k、S709x產生合成視訊畫面synthVID的作法，亦可類推前述說明而得出。

在前述說明中，雖以直播應用為例。但在實際應用中，類似之，在通訊過程中修改視訊畫面的作法，亦可應用於使用者17a之間的視訊通話、線上會議、線上課程等類型的應用。採用本揭露之畫面合成軟體進行視訊通話、線上會議、線上課程時，亦可提升網路兩端之使用者的互動效果。

以視訊通話的應用為例，通話者A(發話者)可以跟通話者B(受話者)約定在一分鐘內在兩地分別執行相同的任務，並於一分鐘結束後比較兩個人的成果。則，通話者A可以在自己的手機以口頭指令啟用計時器。且，通話者A的手機上的畫面合成軟體可在螢幕上顯示一個計時器的畫面。假設通話者A將這個計時器的期間設定為1分鐘，通話者A的手機會將這個為期1分鐘的計時器的畫面同步傳送至通話者B的手機。如此一來，就可以確保雙方的計時過程不會出現時間差。在視訊通話過程中，通話者A、B可能交替成為受話者或發話者。在兩人持續通話的期間，兩人的手機上的畫面合成軟體可同步或分別顯示與通話者A、B各自以觸發操作trigOP啟用的小工具應用程式對應的工具圖案。

再以線上課程/線上會議的應用為例，授課者/主講者可以先利用畫面合成軟體，於螢幕上顯示某個題目與該題目的幾種可能選項，以便聽課者/聽講者選擇。之後，聽課者/聽講者再操作各自的電子裝置，透過網路即時回傳其偏好選項至授課者/主講者的電子裝置。待授課者/主講者根據畫面合成軟體搭配之統計工具確認已經收到聽課者/聽講者的回覆後，授課者/主講者可再以其他的觸發操作trigOP要求畫面合成軟體顯示對各個選項進行統計的結果。接著，畫面合成軟體控制電子裝置在螢幕上，顯示根 據聽課者/聽講者之回覆而產生之統計結果的畫面(例如，每種選項各有多少人次選取)。

或者，授課者/主講者所採用的觸發操作trigOP，可用於讓畫面合成軟體依其偏好的格式顯示統計結果(例如，以圓形圖表示各選項所佔的比例等)。再者，授課者/主講者可能提供多個題目，且要求畫面合成軟體對各個題目的選擇結果進行交叉分析等。此部分關於應用上的延伸變化，並不需要加以限定。

根據前述說明可以得知，用於搭配本揭露之視訊畫面的產生方法的即時視訊軟體的類型無須被限定。例如，本揭露的畫面合成軟體可搭配視訊會議軟體、即時通訊軟體、直播軟體等應用軟體使用。第10、11圖將進一步說明如何將本揭露視訊系統搭配個人通訊軟體、視訊會議軟體使用。

請參見第10圖，其係將本揭露的視訊系統搭配通訊軟體使用之示意圖。視訊系統80包含分別由使用者87a、87c操作的電子裝置81、83。電子裝置81、83均信號連接於網路85。此處假設使用者87a、87c正在使用通訊軟體進行通話。

在使用者87a、87c通話的過程中，操作電子裝置81的使用者87a所產生的觸發操作trigOP，將促使在電子裝置81執行的畫面合成軟體產生合成視訊畫面synthVID_a。且，電子裝置81將包含合成視訊畫面synthVID_a的輸出視訊位元流outBS_a傳送至網路85。自電子裝置81傳送的輸出視訊位元流outBS_a透過網路85傳送至電子裝置83後，成為電子裝置83接收的輸入視訊位元流inBS_a。且，電子裝置83依據輸入視訊位元 流inBS_a的內容，轉換產生供使用者87c觀看的合成視訊畫面synthVID_a。

同理，在使用者87a、87c通話的過程中，操作電子裝置83的使用者87c，可透過觸發操作trigOP而驅動在電子裝置83執行的畫面合成軟體產生合成視訊畫面synthVID_b。且，電子裝置83發出包含合成視訊畫面synthVID_b的輸出視訊位元流outBS_b至網路85。自電子裝置83發出的輸出視訊位元流outBS_b透過網路85傳送至電子裝置81後，成為電子裝置81接收的輸入視訊位元流inBS_b。且，電子裝置81對輸入視訊位元流inBS_b進行資料處理與資料格式的轉換後，產生供使用者87a觀看的合成視訊畫面synthVID_b。

請參見第11圖，其係將本揭露的視訊系統應用於線上課程/線上會議之示意圖。視訊系統90包含操作的電子裝置91、(rvDEV_1、rvDEV_N)93。電子裝置91、(rvDEV_1、rvDEV_N)93均信號連接於網路85。此處假設使用者97a為線上課程的授課者，正在使用線上會議軟體講課。自電子裝置91發出的輸出視訊位元流outBS透過網路95傳送至聽講者所使用的電子裝置(rvDEV_1、rvDEV_N)93。聽講者所使用的電子裝置(rvDEV_1~rvDEV_N)93亦可對應產生傳送至網路95的回傳資訊位元流rplyBS_1~rplyBS_N。其後，電子裝置91自網路95接收輸入視訊位元流inBS。

假設使用者97a提出一個選擇題希望聽講者回答，則使用者97a所操作的電子裝置91可以先利用畫面合成軟體，在合成視訊畫面synthVID中加入計時器301i的圖案，並在聽講者回傳各自的選項後，再使用畫面合成軟體於合成視訊畫面synthVID上顯示針對各個選項回答的人次的統計結果。其中，在等待聽講者利用電子裝置(rvDEV_1~rvDEV_N)93回傳 夾帶著答案的資訊位元流rplyBS_1~rplyBS_N的期間，由電子裝置91傳送的輸出視訊位元流outBS可包含由題目、使用者97a之個人影像，以及計時器301i的圖案共同疊加後產生的合成視訊畫面synthVID。待聽講者均回傳各自的答案後，由電子裝置91傳送的輸出視訊位元流outBS可包含由解答、使用者97a之個人影像，以及選擇各個選項的人次計數結果所共同合成產生的合成視訊畫面synthVID。

實際應用時，由電子裝置91傳送的輸出視訊位元流outBS所包含之即時視訊的內容，會根據線上課程/視訊會議進行過程中，使用者97a所需使用的功能不同而異。例如，使用者97a可能僅使用畫面合成軟體調整其膚色，則輸出視訊位元流outBS所包含之即時視訊的內容，就不會顯示任何與小工具應用程式對應的工具圖案。或者，使用者97a可能只需要使用小工具應用程式，則輸出視訊位元流outBS所包含之即時視訊的內容，便不會調整前景圖層fgLYR的顯示效果。

根據前述的舉例，此處以表2彙整可應用本揭露之視訊畫面的產生方法的幾類情況。實際應用時，本揭露的視訊畫面的產生方法可搭配應用的場合和可搭配使用的軟體並不以此處的舉例為限。

儘管表2所列之應用場合不甚相同，但就影像傳輸、資訊分享的概念而言，這些應用場合仍有其相似處。因此，本揭露的視訊畫面的產生方法仍可略為修改後，搭配不同類型的應用軟體使用。藉由畫面合成軟體的採用，可以讓直播主進行直播時，無須搭配大量的人力支援直播的過程。或者，在使用者使用通訊軟體進行通話、進行線上課程、線上會議時，提供更為便利的互動功能。

實際應用時，本揭露的視訊畫面的產生方法可應用於手機、平板、桌上型電腦、筆記型電腦等各種類型的電子裝置。關於可作為本揭露之視訊傳送裝置使用的電子裝置，均可由本揭露所屬之技術領域的習知技藝者自由代換而毋需加以限制。

在本領域中的通常知識者均可瞭解：在上述的說明中，作為舉例之各種邏輯方塊、模組、電路及方法步驟皆可利用電子硬體、電腦軟體，或二者之組合來實現，且該些實現方式間的連線方式，無論上述說明所採用的是信號連結、連接、耦接、電連接或其他類型之替代作法等用語，其目的僅為了說明在實現邏輯方塊、模組、電路及方法步驟時，可以透過不同的手段，例如有線電子信號、無線電磁信號以及光信號等，以直接、間接的方式來進行信號交換，進而達到信號、資料、控制資訊的交換與傳遞之目的。因此說明書所採的用語並不會形成本揭露在實現連線關係時的 限制，更不會因其連線方式的不同而脫離本揭露之範疇。

綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

S701,S703,S705,S707,S709,S711:步驟

Claims (8)

1. 一種視訊畫面的產生方法，包含以下步驟：擷取一使用者的影像後產生包含一前景影像與一背景影像的一原始視訊畫面；將該前景影像定義為一前景圖層；將該背景影像定義為一後景圖層；感測該使用者的一觸發操作的類型；依據該觸發操作的類型而判斷應更新該前景圖層與該後景圖層其中的至少一者，並據以產生一合成視訊畫面，其中依據該觸發操作的類型而判斷應更新該後景圖層時，判斷與該觸發操作的類型對應的一小工具應用程式；將與該小工具應用程式對應的一工具圖案疊加於該後景圖層上，進而產生更新後的該後景圖層並啟用該小工具應用程式，其中當該前景圖層被更新且該背景圖層未被更新時，將更新後的該前景圖層疊加在未被更新的該後景圖層上形成該合成視訊畫面；當該前景圖層未被更新且該背景圖層被更新時，將未被更新的該前景圖層疊加在更新後的該後景圖層上形成該合成視訊畫面；以及當該前景圖層與該背景圖層均被更新時，將更新後的該前景圖層疊加在更新後的該後景圖層上形成該合成視訊畫面。
2. 如請求項1所述之視訊畫面的產生方法，其中依據該觸發操作的類型而判斷應更新該前景圖層時，該視訊畫面的產生方法更包含以下步驟：因應該觸發操作的類型而對該前景影像中的該使用者的影像進行影像處理，進而產生更新後的該前景圖層。
3. 如請求項1所述之視訊畫面的產生方法，其中該觸發操作係以一聲控方式進行，或以一手動方式進行。
4. 如請求項1所述之視訊畫面的產生方法，其中該背景影像係為拍攝該使用者所在位置的影像後產生的一實體背景，或為該使用者自一背景圖庫選取的一虛擬背景。
5. 一種電腦程式產品，其上儲存有一軟體程式，該軟體程式執行時係進行一視訊畫面的產生方法，其中該視訊畫面的產生方法係包含以下步驟：擷取一使用者的影像後產生包含一前景影像與一背景影像的一原始視訊畫面；將該前景影像定義為一前景圖層；將該背景影像定義為一後景圖層；感測該使用者的一觸發操作的類型；依據該觸發操作的類型而判斷應更新該前景圖層與該後景圖層其中的至少一者，並據以產生一合成視訊畫面，其中依據該觸發操作的類型而判斷應更新該後景圖層時，判斷與該觸發操作的類型對應的一小工具應用程式； 將與該小工具應用程式對應的一工具圖案疊加於該後景圖層上，進而產生更新後的該後景圖層並啟用該小工具應用程式，其中當該前景圖層被更新且該背景圖層未被更新時，將更新後的該前景圖層疊加在未被更新的該後景圖層上形成該合成視訊畫面；當該前景圖層未被更新且該背景圖層被更新時，將未被更新的該前景圖層疊加在更新後的該後景圖層上形成該合成視訊畫面；以及當該前景圖層與該背景圖層均被更新時，將更新後的該前景圖層疊加在更新後的該後景圖層上形成該合成視訊畫面。
6. 一種電子裝置，包含：一影像擷取模組，其係擷取一使用者的影像後產生包含一前景影像與一背景影像的一原始視訊畫面，其中該前景影像被定義為一前景圖層，且該背景影像被定義為一後景圖層；一輸入模組，其係感測一使用者的一觸發操作；一控制模組，電連接於該影像擷取模組與該輸入模組，其係在感測該觸發操作的類型後，依據該觸發操作的類型而更新該前景圖層與該後景圖層其中的至少一者，並據以產生一合成視訊畫面，其中，當該控制模組依據該觸發操作的類型而判斷應更新該後景圖層時，該控制模組將判斷與該觸發操作的類型對應的一小工具應用程式，並將與該小工具應用程式對應的一工具圖案疊加於該後景圖層上產生更新後的該後景圖層，且該控制模組啟用該小工具應用程式；以及 一通訊模組，電連接於該控制模組，其係傳送該合成視訊畫面至一網路，其中當該控制模組根據該觸發操作的類型而更新該前景圖層且不更新該背景圖層時，該控制模組係將更新後的該前景圖層疊加在未被更新的該後景圖層上形成該合成視訊畫面；當該控制模組根據該觸發操作的類型而不更新該前景圖層且更新該背景圖層時，該控制模組係將未被更新的該前景圖層疊加在更新後的該後景圖層上形成該合成視訊畫面；且，當該控制模組根據該觸發操作的類型而更新該前景圖層與該背景圖層時，該控制模組係將更新後的該前景圖層疊加在更新後的該後景圖層上形成該合成視訊畫面。
7. 一種視訊系統，包含：一第一電子裝置，包含：一影像擷取模組，其係擷取一使用者的影像後產生包含一前景影像與一背景影像的一原始視訊畫面，其中該該前景影像被定義為一前景圖層，且該背景影像被定義為一後景圖層；一輸入模組，其係感測一使用者的一觸發操作；一控制模組，電連接於該影像擷取模組與該輸入模組，其係在感測該觸發操作的類型後，依據該觸發操作的類型而更新該前景圖層與該後景圖層其中的至少一者，並據以產生一合成視訊畫面，其中 當該控制模組依據該觸發操作的類型而判斷應更新該後景圖層時，該控制模組將判斷與該觸發操作的類型對應的一小工具應用程式，並將與該小工具應用程式對應的一工具圖案疊加於該後景圖層上產生更新後的該後景圖層，且該控制模組啟用該小工具應用程式，其中當該控制模組根據該觸發操作的類型而更新該前景圖層且不更新該背景圖層時，該控制模組係將更新後的該前景圖層疊加在未被更新的該後景圖層上形成該合成視訊畫面；當該控制模組根據該觸發操作的類型而不更新該前景圖層且更新該背景圖層時，該控制模組係將未被更新的該前景圖層疊加在更新後的該後景圖層上形成該合成視訊畫面；且，當該控制模組根據該觸發操作的類型而更新該前景圖層與該背景圖層時，該控制模組係將更新後的該前景圖層疊加在更新後的該後景圖層上形成該合成視訊畫面；以及一通訊模組，電連接於該控制模組，其係傳送該合成視訊畫面至一網路；以及一第二電子裝置，信號連接於該第一電子裝置，其係自該網路接收該合成視訊畫面，以及播放該合成視訊畫面。
8. 如請求項7所述之視訊系統，其中該視訊系統更包含：一第三電子裝置，信號連接於該第一電子裝置，其係自該網路接收該合成視訊畫面，以及播放該合成視訊畫面。

Images