TWI616102B - 視訊影像生成系統及其視訊影像生成之方法 - Google Patents

Abstract

一種視訊影像生成系統及其視訊影像生成之方法。視訊影像生成系統包括影像擷取模組、影像選取模組及背景合成模組。影像擷取模組用以擷取場景的原始影像，原始影像包含物件。影像選取模組係電性連接影像擷取模組，用以從原始影像中找出包含物件的選取區域影像。背景合成模組係電性連接影像選取模組，用以將選取區域影像與背景影像結合成最終影像。

Description

視訊影像生成系統及其視訊影像生成之方法

本發明係關於一種視訊影像生成系統及其視訊影像生成之方法，特別是一種可以縮小影片容量的視訊影像生成系統及其視訊影像生成之方法。

隨著科技的進步，藉由網路進行傳送的視訊會議的應用已經越來越廣泛。執行視訊會議須注重網路的頻寬大小，較低頻寬條件的傳輸環境只能較低的解析度(resolution)來做影像編碼，例如從720p(1080x720)降成SD(640x480)。在現今的網際網路環境下，封包遺失或抖動的狀況在所難免，若非以昂貴的租用專線的方式保留特定的頻寬，就得忍受影像效果不佳的缺點。所以於先前技術中已經具有一種基於 H.264或H.265標準的編碼技術，可以在有限的頻寬環境底下達成雙向傳輸的目的，也能保持一定品質的影像。然而新的編碼技術雖然可以降低影像所需要的容量，但影像編碼的計算量也會隨之提高。例如H.265或H.264都要比原先的影像編碼的計算量高出了4倍。如此一來，就需要功能強大的處理器才能順利執行，會增加不少成本。

因此，有必要發明一種新的視訊影像生成系統及其視訊影像生成之方法，以解決先前技術的缺失。

本發明之主要目的係在提供一種視訊影像生成系統，其具有可以縮小影片容量的效果。

本發明之另一主要目的係在提供一種用於上述系統的視訊影像生成之方法。

為達成上述之目的，本發明之視訊影像生成系統包括影像擷取模組、影像選取模組及背景合成模組。影像擷取模組用以擷取場景的原始影像，原始影像包含物件。影像選取模組係電性連接影像擷取模組，用以從原始影像中找出包含物件的選取區域影像。背景合成模組係電性連接影像選取模組，用以將選取區域影像與背景影像結合成最終影像。

本發明之視訊影像生成之方法包括以下步驟：擷取場景的原始影像，原始影像包含物件；從原始影像中找出包含該物件的選取區域影像；以及將選取區域影像與背景影像結合成最終影像。

為能讓 貴審查委員能更瞭解本發明之技術內容，特舉較佳具體實施例說明如下。

以下請先參考圖1係本發明之視訊影像生成系統之架構示意圖及圖1A係本發明之視訊影像生成系統之外觀示意圖。

本發明之視訊影像生成系統1可以用於視訊會議系統中，來生成要傳遞到遠方之一影像。該視訊影像生成系統1可包括影像擷取模組10、深度影像偵測模組20、同步模組30、影像選取模組40、特徵偵測模組50、背景合成模組70、編碼模組80及智慧比對模組60，但本發明並不僅限於上述的模組，也不限定視訊影像生成系統1須包括上述全部的模組才能達到本發明的功效。影像擷取模組10用以擷取一場景，以得到原始影像，原始影像就包括一物件。物件可以為人體或物體，本發明並不限於此。原始影像可以為彩色的影像，但本發明並不限於此。影像選取模組40係電性連接影像擷取模組10，用以從該原始影像中找出包含該物件的一選取區域影像，例如利用顏色比對等方式找出該物件，但本發明並不限於此。背景合成模組70係電性連接該影像選取模組40，用以將該選取區域影像與一背景影像結合成一最終影像。

於本發明之一實施例中，視訊影像生成系統1可以包括深度影像偵測模組20，用以對使用者進行偵測以得到人體的深度影像資訊。深度影像偵測模組20可以為雙攝影機(Dual Camera)、結構光源(Structured Lighting)掃描或時差測距(Time-of-Flight)掃描等技術，來得到不同種表現方式的深度影像，但本發明並不以上述列舉之技術為限。視訊影像生成系統1之外觀可如同圖1A所示，影像擷取模組10及深度影像偵測模組20並列且皆朝同一方向進行擷取，且影像擷取模組10之擷取角度及深度影像偵測模組20之偵測角度係經過校正，讓原始影像及深度影像資訊之畫面能對齊。

接著請參考圖2A所示，圖2A係本發明之原始影像之示意圖。

首先影像擷取模組10就對第一使用者直接擷取得到原始影像91。原始影像就會包括第一使用者的影像及其背後的背景畫面。同時深度影像偵測模組20會對相同的第一使用者進行偵測得到深度影像資訊。且視訊影像生成系統1之同步模組30係電性連接該影像擷取模組10及該深度影像偵測模組20，用以將該原始影像及該深度影像資訊進行一時間軸同步，避免原始影像及深度影像資訊的時間不一致。

接著影像選取模組40係根據該深度影像資訊從該原始影像中找出對應之一選取區域影像92。就如同圖2B所示，圖2B係本發明之找出選取區域影像之示意圖。

於本發明之一實施例中，視訊影像生成系統1可以包括一特徵偵測模組50，係電性連接該深度影像偵測模組20。特徵偵測模組50用以於該深度影像資訊中偵測使用者之一臉部影像資訊或是一身體影像資訊，使得該影像選取模組40係根據該臉部影像資訊或是該身體影像資訊比對該原始影像，來得到對應之該選取區域影像92。就如同圖2B中，特徵偵測模組50可以先找出第一使用者之臉部影像，影像選取模組40再將臉部影像之部分圈選出來以作為選取區域影像92。

並須注意的是，為了確定深度影像偵測模組20得到的深度影像資訊是真的與會者的資訊，視訊影像生成系統1會包括智慧比對模組60。智慧比對模組60係電性連接該特徵偵測模組50，該智慧比對模組60係進一步判斷該臉部影像資訊或是該身體影像資訊是否持續位於一特定區域範圍內且超過一特定時間；若是，才使得該影像選取模組40係根據該臉部影像資訊或是該身體影像資訊得到對應之該選取區域影像92。

背景合成模組70用以將選取區域影像92之每一影格(Frame)與一背景影像93結合成一最終影像94。就如圖2C所示，圖2C係本發明之最終影像之第一實施例之示意圖。

該背景影像93可以為一靜態圖像，例如該背景合成模組70係於該原始影像91中將該選取區域影像92以外之畫面設定為該靜態圖像。如果選取區域影像92僅包括使用者的臉部影像資訊，背景合成模組70係於該原始影像91中將使用者臉部以外的畫面都設定為靜態圖像。若選取區域影像92有包括到使用者的身體影像資訊，背景合成模組70則於該原始影像91中將使用者身體以外的畫面都設定為靜態圖像。而在本發明之另一實施方式中，該背景合成模組70也可以供該第一使用者選擇出一場景，例如辦公室場景或是戶外場景，以設定為該靜態圖像。如此一來，背景合成模組70將每一影格的選取區域影像92與靜態圖像的背景影像93結合，最後再合併成一個完整動態的最終影像94。此外，於本發明之另一實施例中，背景影像93也可以為動態影像，本發明並不限於此。

視訊影像生成系統1更包括一編碼模組80，係電性連接於該背景合成模組70，用以將該最終影像94進行一影像格式轉換。例如轉換為H.264或H.265標準的編碼格式，但本發明並不限於此。如此一來，最終影像94就會包括連續動作的選取區域影像92及靜態圖片類型的背景影像93，由於H.264或H.265標準的編碼格式可以利用比較前後影格之間的變化以找出相同的區域，在僅對有變化的區域進行處理。如此一來，編碼模組80可以降低影像中靜態圖片類型的背景影像93的所需的資訊大小，主要只處理最終影像94中連續動作的選取區域影像92，使得使用者在進行通訊時，視訊影像生成系統1可以大幅降低傳輸連續的最終影像94時所需的傳輸頻寬。

接著請參考圖2D係本發明之最終影像之第二實施例之示意圖。

本發明之視訊影像生成系統1並不限定僅能適用於單一個使用者。若該深度影像偵測模組20偵測到一第二使用者之深度影像資訊時，該智慧比對模組60也同樣判斷第二使用者之深度影像資訊是否持續位於一新特定區域範圍內且超過一特定時間，也就是藉由特徵偵測模組50偵測到該第二使用者之該臉部影像資訊或是該身體影像資訊來判斷第二使用者是否持續位於一新特定區域範圍內且超過特定時間，即可以推斷第二使用者也是要參與會議的人。如果第二使用者之深度影像資訊沒有持續位於新特定區域範圍內且超過特定時間，代表第二使用者可能只是路過而非會議參與者。因此當智慧比對模組60推斷出第二使用者也是要參與會議的人時，智慧比對模組60係進一步根據該新深度影像資訊比對該第二使用者之該臉部影像資訊或是該身體影像資訊，以得到一新選取區域影像92’。最後背景合成模組70將第一使用者的該選取區域影像92以及第二使用者的新選取區域影像92’與背景影像結合成最終影像94’。由上述說明可知，本發明之視訊影像生成系統1並不限定僅能適用於單一個使用者，也可以適用於兩個或兩個以上的使用者。

接著請參考圖3A-3F關於本發明之結合空白畫面之實施例之示意圖。

該背景影像93也可以為空白畫面93’。影像選取模組40得到選取區域影像92後，背景合成模組70可以將選取區域影像92與空白畫面93’合成。也就是背景合成模組70可以只將該臉部影像資訊的選取區域影像92結合空白畫面93’(如圖3A所示)或是有包括身體影像資訊的選取區域影像92結合空白畫面93’ (如圖3B所示)，即類似去背之效果。

另外，而為了讓雙邊的使用者能夠知道對方所設定使用的背景，背景合成模組70係在空白畫面93’的部分加入需要通知另一使用者的訊息。比如說通知對方背景影像93可以是原本的場景，或某一個背景圖。就如同圖3C-3D，背景合成模組70也可以再加入QR Code的識別條碼95a，讓另一使用者藉由裝置讀取。或如同圖3E-3F，背景合成模組70可以加入一維的識別條碼95b，本發明並不以此為限。

需注意的是，視訊影像生成系統1具有的各模組可以為硬體裝置、軟體程式結合硬體裝置、韌體結合硬體裝置等方式架構而成，例如可以為儲存於一電腦可讀取媒介中的應用程式軟體。且各模組可以設置於相同的設備中，也可以為不同的設備，例如影像擷取模組10及深度影像偵測模組20可以設置於同一擷取設備中，而其他的模組則為設置於電腦系統內，但本發明並不以上述的方式為限。此外，本實施方式僅例示本發明之較佳實施例，為避免贅述，並未詳加記載所有可能的變化組合。然而，本領域之通常知識者應可理解，上述各模組或元件未必皆為必要。且為實施本發明，亦可能包含其他較細節之習知模組或元件。各模組或元件皆可能視需求加以省略或修改，且任兩模組間未必不存在其他模組或元件。

接著請參考圖4係本發明之視訊影像生成之方法之第一實施方式之步驟流程圖。此處需注意的是，以下雖以上述視訊影像生成系統1為例說明本發明之視訊影像生成之方法，但本發明之視訊影像生成之方法並不以使用在上述相同結構的視訊影像生成系統1為限。

首先進行步驟401：擷取一場景的一原始影像。

首先影像擷取模組10用以擷取一場景，以得到原始影像91，原始影像中91包括一物件，物件可以為人體或物體，本發明並不限於此。。

其次進行步驟402：從該原始影像中找出包含該物件的一選取區域影像。

其次影像選取模組40用以從該原始影像91中找出包含該物件的一選取區域影像92，例如利用顏色比對等方式找出該物件，但本發明並不限於此。

最後進行步驟403：將該選取區域影像與一背景影像結合成一最終影像。

最後背景合成模組70係先將靜態圖像設定為背景影像93，再將選取區域影像92之每一影格與背景影像93結合成最終影像94。背景影像93可以為一靜態圖像、空白畫面93’，背景合成模組70也可以再加入QR Code的識別條碼95a或一維的識別條碼95b，本發明並不限於此。

前述的「物件」可以為參與會議的使用者，因此本發明可以有第二種實施方式，以達到更佳的處理效果。接著請參考圖5係本發明之視訊影像生成之方法之第二實施方式之步驟流程圖。

首先進行步驟501：對使用者進行擷取以得到一原始影像。

首先影像擷取模組10就對場景進行擷取，以得到原始影像，原始影像當中包含一物件。於本發明之一實施方式中，影像擷取模組10係對使用者直接擷取得到原始影像91。原始影像就會包括使用者的影像及其背後的背景畫面。

其次若視訊影像生成系統1是對使用者進行擷取時，可以進行步驟502：對該使用者進行偵測以得到一深度影像資訊。

其次深度影像偵測模組20會對相同的使用者進行偵測得到深度影像資訊。

接著進行步驟503：於該深度影像資訊中偵測該使用者之一臉部影像資訊或是一身體影像資訊。

接著特徵偵測模組50用以於該深度影像資訊中偵測使用者之一臉部影像資訊或是一身體影像資訊。

再進行步驟504：判斷該臉部影像資訊或是該身體影像資訊是否持續位於一特定區域範圍內且超過一特定時間。

智慧比對模組60係進一步判斷該臉部影像資訊或是該身體影像資訊是否持續位於一特定區域範圍內且超過一特定時間。

若是，接著進行步驟505：根據該臉部影像資訊或是該身體影像資訊比對該原始影像，來得到對應之該選取區域影像。

該影像選取模組40係根據該臉部影像資訊或是該身體影像資訊比對該原始影像，來得到對應之該選取區域影像92。需注意的是，本發明之視訊影像生成系統1並不限定僅能適用於單一個使用者，也可以適用於兩個或兩個以上的使用者。亦即於步驟501到步驟505中，智慧比對模組60可以同時判斷是否有兩個或兩個以上的使用者的臉部影像資訊或是身體影像資訊持續位於某一特定區域範圍內且超過一特定時間，以同時找出選取區域影像92以及新選取區域影像92’。

接著進行步驟506：將該選取區域影像與一背景影像結合成一最終影像。

與步驟403相同，背景合成模組70係先將靜態圖像設定為背景影像93，再將選取區域影像92之每一影格與背景影像93結合成最終影像94。背景合成模組70也可以將選取區域影像92與空白畫面93’結合，或是再加入識別條碼95a、識別條碼95b。

此處需注意的是，本發明之影像生成之方法並不以上述之步驟次序為限，只要能達成本發明之目的，上述之步驟次序亦可加以改變。

藉由本案的視訊影像生成系統1及影像生成之方法，使得最終影像94中的背景影像93畫面都相同，因此若再藉由編碼模組80利用H.264或H.265標準的編碼技術處理後，即可有效減少視訊時所需的頻寬。

需注意的是，上述實施方式僅例示本發明之較佳實施例，為避免贅述，並未詳加記載所有可能的變化組合。然而，本領域之通常知識者應可理解，上述各模組或元件未必皆為必要。且為實施本發明，亦可能包含其他較細節之習知模組或元件。各模組或元件皆可能視需求加以省略或修改，且任兩模組間未必不存在其他模組或元件。只要不脫離本發明基本架構者，皆應為本專利所主張之權利範圍，而應以專利申請範圍為準。

視訊影像生成系統1 影像擷取模組10 深度影像偵測模組20 同步模組30 影像選取模組40 特徵偵測模組50 智慧比對模組60 背景合成模組70 編碼模組80 原始影像91 選取區域影像92 新選取區域影像92’ 背景影像93 空白畫面93’ 最終影像94、94’ 識別條碼95a、95b

圖1係本發明之視訊影像生成系統之架構示意圖。 圖1A係本發明之影像生成系統之外觀示意圖。 圖2A係本發明之原始影像之示意圖。 圖2B係本發明之找出選取區域影像之示意圖。 圖2C係本發明之最終影像之第一實施例之示意圖。 圖2D係本發明之最終影像之第二實施例之示意圖。 圖3A-3F係本發明之結合空白畫面之實施例之示意圖。 圖4係本發明之視訊影像生成之方法之第一實施方式之步驟流程圖。 圖5係本發明之視訊影像生成之方法之第二實施方式之步驟流程圖。

視訊影像生成系統1 影像擷取模組10 深度影像偵測模組20 同步模組30 影像選取模組40 特徵偵測模組50 智慧比對模組60 背景合成模組70 編碼模組80

Claims (17)

1. 一種視訊影像生成系統，包括：一影像擷取模組，用以擷取一場景的一原始影像，該原始影像包含一物件；一影像選取模組，係電性連接該影像擷取模組，用以從該原始影像中找出包含該物件的一選取區域影像；以及一背景合成模組，係電性連接該影像選取模組，用以將該選取區域影像與一背景影像結合成一最終影像，其中該背景影像係為一靜態圖像，該背景合成模組係於該原始影像中將該選取區域影像以外之畫面設定為該靜態圖像。
2. 如申請專利範圍第1項所述之視訊影像生成系統，更包括一深度影像偵測模組，用以取得該場景的一深度影像資訊，使該影像選取模組用以根據該深度影像資訊從該原始影像中找出包含該物件的該選取區域影像。
3. 如申請專利範圍第2項所述之視訊影像生成系統，其中該深度影像偵測模組之偵測角度係先與將該影像擷取模組之擷取角度進行校正。
4. 如申請專利範圍第2項所述之視訊影像生成系統，更包括一同步模組，係電性連接該影像擷取模組及該深度影像偵測模組，用以將該原始影像及該深度影像資訊進行一時間軸同步。
5. 如申請專利範圍第2項所述之視訊影像生成系統，更包括一特徵偵測模組，係電性連接該深度影像偵測模組，用以於該深度影像資訊中偵測一第一使用者之一臉部影像資訊或是一身體影像資訊，使得該影像選取模組係根據該臉部影像資訊或是該身體影像資訊比對該原始影像，來得到對應之該選取區域影像。
6. 如申請專利範圍第5項所述之視訊影像生成系統，更包括一智慧比對模組，係電性連接該特徵偵測模組，該智慧比對模組係進一步判斷該臉部影像資訊或是該身體影像資訊是否持續位於一特定區域範圍內且超過一特定時間；若是，才使得該影像選取模組係根據該臉部影像資訊或是該身體影像資訊得到對應之該選取區域影像。
7. 如申請專利範圍第6項所述之視訊影像生成系統，其中若該深度影像偵測模組偵測到一第二使用者之一新深度影像資訊時，該智慧比對模組係判斷該第二使用者之該新深度影像資 訊是否持續位於一新特定區域範圍內且超過該特定時間；若是，該智慧比對模組係進一步根據該第二使用者之該新深度影像資訊以得到一新選取區域影像。
8. 如申請專利範圍第1項所述之視訊影像生成系統，更包括一編碼模組，係電性連接於該背景合成模組，用以將該最終影像進行一影像格式轉換。
9. 如申請專利範圍第1項所述之視訊影像生成系統，其中該背景合成模組進一步於該背景影像中加入一識別條碼。
10. 一種視訊影像生成之方法，係用於一視訊影像生成系統以生成一傳輸視訊影像；該方法包括：擷取一場景的一原始影像，該原始影像包含一物件；從該原始影像中找出包含該物件的一選取區域影像；以及將該選取區域影像與一背景影像結合成一最終影像，其中該背景影像為一靜態圖像，該靜態圖像係自該原始影像中該選取區域影像以外之影像設定而得。
11. 如申請專利範圍第10項所述之視訊影像生成之方法，更包括以下步驟： 取得該場景的一深度影像資訊，以根據該深度影像資訊從該原始影像中找出包含該物件的該選取區域影像。
12. 如申請專利範圍第11項所述之視訊影像生成之方法，更包括以下步驟：校正擷取該場景的該原始影像之一擷取方向及取得該場景的該深度影像資訊之一偵測方向。
13. 如申請專利範圍第11項所述之視訊影像生成之方法，更包括將該原始影像及該深度影像資訊進行一時間軸同步之步驟。
14. 如申請專利範圍第11項所述之視訊影像生成之方法，更包括以下步驟：於該深度影像資訊中偵測一第一使用者之一臉部影像資訊或是一身體影像資訊；以及根據該臉部影像資訊或是該身體影像資訊比對該原始影像，來得到對應之該選取區域影像。
15. 如申請專利範圍第14項所述之視訊影像生成之方法，更包括以下步驟：進一步判斷該臉部影像資訊或是該身體影像資訊是否持續位於 一特定區域範圍內且超過一特定時間；以及若是，才根據該臉部影像資訊或是該身體影像資訊得到對應之該選取區域影像。
16. 如申請專利範圍第15項所述之視訊影像生成之方法，更包括以下步驟：若偵測到一第二使用者且超過一特定時間之一新深度影像資訊時，判斷該第二使用者之該新深度影像資訊是否持續位於一新特定區域範圍內且超過該特定時間；以及若是，進一步根據該第二使用者之該新深度影像資訊以得到一新選取區域影像。
17. 如申請專利範圍第10項所述之視訊影像生成之方法，更包括於該背景影像加入一識別條碼之步驟。