TWI840300B - 視訊會議系統及方法 - Google Patents

Abstract

本發明提供一種視訊會議系統及方法，其中視訊會議方法包括以下步驟：由一主攝影單元擷取存在一目標物件之一主影像；對主影像中之目標物件進行影像辨識並產生對應之一特徵資訊；將特徵資訊分別傳輸至一第一輔助攝影單元及一第二輔助攝影單元；由各輔助攝影單元於其影像擷取範圍內擷取一輔助影像；由各輔助攝影單元根據特徵資訊及輔助影像中出現之目標物件而產生對應於目標物件之特徵係數；判斷各特徵係數之權重高低，並輸出權重較高者所對應之輔助影像。

Description

視訊會議系統及方法

本發明係關於一種視訊會議系統及方法。

視訊會議是現代人們實現遠端溝通常用的手段之一，通過攝影鏡頭以及網路傳輸即可讓分隔兩地的人們宛如面對面的溝通討論。在傳統視訊會議中，一般係在參與會議的各個終端位置各使用一個攝影鏡頭擷取與會人員的畫面並傳輸至其他終端，但是如果說話的人離鏡頭較遠，可能使其他與會終端不易分辨說話的人的影像。

由於網路傳輸速度、影像處理技術的提昇，現行技術大多採用多個鏡頭整合輸出方案來解決上述問題。請參閱圖1A所示，習知的一種視訊會議系統100係將一廣角鏡頭111與一望遠鏡頭112整合於一攝影裝置110，並設置於一會議室中。在此架構下，雖然望遠鏡頭112能夠補足廣角鏡頭111無法取得較清晰的個人影像的缺點，然而兩個鏡頭的相對位置仍受限於只能在同一方向或固定方向上取景，導致望遠鏡頭112並不一定能夠取得最佳影像。

請再參閱圖1B所示，視訊會議系統150可具有複數個攝影鏡頭16a～16d，其係分別設置於一會議室中的不同位置，以期能夠涵蓋會議室中大部分的影像範圍。在此架構下，必須設定每個攝影鏡頭16a～16d的相對位置，甚至必須設定會議室的空間尺寸，以利會議進行中能夠選擇使用適合的鏡頭來取景，但是設定的過程需要座標以及角度等資訊，以致於設定過程相當複雜。由於所記錄的每個鏡頭的相對位置業已固定，因此不可任意移動攝影鏡頭16a～16d的位置，如若位置移動後將需要重新進行設定，才能夠讓每個鏡頭相互連動，自動選取待攝人物最佳的取景位置。

因此，如何提供一種能夠自動切換適當的攝影鏡頭而取得清晰的待攝人員影像的視訊會議系統及方法，實屬當前重要課題之一。

有鑑於上述課題，本發明之一目的係提供一種視訊會議系統及方法，其能夠在視訊會議過程中，自動切換不同的攝影單元而選擇輸出清晰的畫面至各個終端。

為達上述目的，本發明提供一種視訊會議方法，其包括下列步驟。首先，由一主攝影單元擷取一主影像，主影像中存在至少一目標物件。接著，在主影像中對目標物件進行影像辨識並產生與其對應之至少一特徵資訊。接著，將至少一特徵資訊分別傳輸至一第一輔助攝影單元及一第二輔助攝影單元。接著，第一輔助攝影單元於其影像擷取範圍內擷取一第一輔助影像，第二輔助攝影單元於其影像擷取範圍內擷取一第二輔助影像。接著，根據該至少一特徵資訊以及第一輔助影像中出現之該至少一目標物件，而產生對應於該至少一目標物件之一第一特徵係數，且根據該至少一特徵資訊以及第二輔助影像中出現之該至少一目標物件，而產生對應於該至少一目標物件之一第二特徵係數。接著，判斷該第一特徵係數及該第二特徵係數之權重高低。接著，輸出權重較高者所對應之該第一輔助影像或該第二輔助影像。

另外，為達上述目的，本發明提供一種視訊會議系統，包括一主攝影單元、一第一輔助攝影單元、一第二輔助攝影單元以及一處理中心。主攝影單元擷取一主影像，並對存在於該主影像中之至少一目標物件進行影像辨識並產生與其對應之至少一特徵資訊。第一輔助攝影單元係於其影像擷取範圍內擷取一第一輔助影像，根據該至少一特徵資訊以及該第一輔助影像中出現之該至少一目標物件產生對應於該至少一目標物件之一第一特徵係數。第二輔助攝影單元係於其影像擷取範圍內擷取一第二輔助影像，根據該至少一特徵資訊以及該第二輔助影像中出現之該至少一目標物件產生對應於該至少一目標物件之一第二特徵係數。處理中心係與該主攝影單元、該第一輔助攝影單元及該第二輔助攝影單元通訊連接，判斷該第一特徵係數及該第二特徵係數之權重高低，並輸出權重較高者所對應之該第一輔助影像或該第二輔助影像。

承上所述，本發明之視訊會議系統及方法係在一個空間中設置主攝影單元以及多個輔助攝影單元，由具有廣角鏡頭功能的主攝影單元拍攝會議室中的影像後，針對影像中的人形進行臉部(人臉)辨識後即可得到每個人的臉部特徵資訊。接著，再將這些臉部特徵資訊傳送到各個輔助攝影單元，並由輔助攝影單元對每個人賦予特徵係數。由於每個輔助攝影單元相對於不同人的角度不同，而對每個人有不同的特徵係數。最後，將以特徵係數之權重較高的輔助攝影單元輸出其影像，因而可以獲得較清晰的影像。

為了使所屬技術領域中具有通常知識者能瞭解本發明的內容，並可據以實現本發明的內容，茲配合適當實施例及圖式說明如下，其中相同的元件將以相同的元件符號加以說明。

請參閱圖2所示，依據本發明較佳實施例之一視訊會議系統200係可設置於一室內空間，本實施例係以一會議室300為例說明。會議室300的中央設置有一會議桌310，並於前方設置有一顯示裝置320。與會人員之座位係沿會議桌310而設置，並可令與會人員易於觀察顯示裝置320之顯示畫面。

請再同時配合圖3所示，視訊會議系統200包括一主攝影單元211、一第一輔助攝影單元221、一第二輔助攝影單元222、一麥克風陣列231以及一處理中心241。在本實施例中，主攝影單元211係可為一360度環景攝影機，其可與麥克風陣列231整合於同一框架或殼體250中，並設置於會議桌310上。第一輔助攝影單元221與第二輔助攝影單元222係可分別為一PTZ攝影機，並且可為USB傳輸介面。處理中心241係分別與主攝影單元211、第一輔助攝影單元221、第二輔助攝影單元222以及麥克風陣列231通訊連接，其可通過有線或無線的方式進行資料或控制信號之傳輸。處理中心241可包括硬體及軟體，其係可為一計算機裝置或一雲端運算裝置搭配一應用程式(APP)，並且具有一資料庫242。另外，在本實施例中，主攝影單元211、第一輔助攝影單元221及第二輔助攝影單元222係可分別具有運算處理功能，其例如但不包括能夠執行深度學習、機器學習、影像辨識或比對運算及其他類似或延伸功能。

在一些實施例中，主攝影單元211與麥克風陣列231係可選擇鄰設於顯示裝置320，例如設置於會議室300的前方。在此架構下，主攝影單元211可以使用廣角鏡頭以能夠涵蓋與會人員之範圍，而不需具備360度環景之功能。在一些實施例中，主攝影單元211與麥克風陣列231還可以係為各別的單體而分別設置。在一些實施例中，第一輔助攝影單元221與第二輔助攝影單元222係可分別僅具有望遠鏡頭或變焦鏡頭之攝影機。

接著，請參閱圖4並配合上述以說明本發明較佳實施例之視訊會議方法。在系統啟動之後，係以主攝影單元211擷取之本地端之影像為預設輸出畫面，該影像係輸出至其他參與視訊會議的各個終端(terminal)。視訊會議方法包括步驟S11至S21。

步驟S11係由主攝影單元211擷取一主影像。其中，主影像中係存在至少一目標物件。在本實施例中，目標物件係指參與視訊會議的本地端人員，於此係指圖2中之一第一目標物件411與一第二目標物件412。

步驟S12係在主影像中對目標物件進行影像辨識並產生與其對應之至少一特徵資訊。在本實施例中，特徵資訊係可包括但不限於臉部特徵資訊以及位置資訊。其中，臉部特徵資訊係使用以人臉辨識為主的影像辨識，其可由主影像中先辨識出兩個獨立的人形，再進而分別辨識其臉部特徵而分別產生對應於第一目標物件411之臉部特徵資訊，以及對應於第二目標物件412之臉部特徵資訊。其次，位置資訊則係可由目標物件位於主影像中的位置而所賦予的座標或特定資訊。在本實施例中，目標物件的影像辨識係可由主攝影單元211執行之，當然在其他實施例中，亦可由處理中心241執行之，於此並未加以限制。

上述之主影像係可作為視訊會議之本地端預設影像而傳輸至其他各個終端。另外，主攝影單元211或處理中心241亦可在獲得各目標物件之特徵資訊後，據以建立資料庫242，或將該些資訊新增於資料庫242內。於此，資料庫242內容可包括但不限於目標物件之編號、臉部特徵資訊及位置資訊。

步驟S13係將特徵資訊分別傳輸至第一輔助攝影單元221及第二輔助攝影單元222。第一輔助攝影單元221與第二輔助攝影單元222將分別接收到對應於第一目標物件411之特徵資訊以及對應於第二目標物件412之特徵資訊。於本實施例中，特徵資訊係可由主攝影單元211傳送至處理中心241，再由處理中心241傳送至第一輔助攝影單元221及第二輔助攝影單元222。在一些實施例中，主攝影單元211與第一輔助攝影單元221、第二輔助攝影單元222之間亦可建立通訊連結而可直接相互傳遞資訊，在此架構下，主攝影單元211即可直接將對應於第一目標物件411之特徵資訊，以及對應於第二目標物件412之特徵資訊分別傳送至第一輔助攝影單元221與第二輔助攝影單元222。

步驟S14係由第一輔助攝影單元221於其影像擷取範圍內擷取一第一輔助影像，並由第二輔助攝影單元222於其影像擷取範圍內擷取一第二輔助影像。

步驟S15係由第一輔助攝影單元221根據特徵資訊以及第一輔助影像中出現之目標物件，而產生對應於目標物件之一第一特徵係數，並由第二輔助攝影單元222根據特徵資訊以及第二輔助影像中出現之目標物件，而產生對應於目標物件之一第二特徵係數。進一步說明，在第一輔助影像中應當存在有第一目標物件411與第二目標物件412，第一輔助攝影單元221係根據對應於第一目標物件411之特徵資訊而運算出第一目標物件411於第一輔助影像中的第一特徵係數，並且根據對應於第二目標物件412之特徵資訊而運算出第二目標物件412於第一輔助影像中的第一特徵係數；第二輔助影像中亦應當存在有第一目標物件411與第二目標物件412，第二輔助攝影單元222係根據對應於第一目標物件411之特徵資訊而運算出第一目標物件411於第二輔助影像中的第二特徵係數，並且根據對應於第二目標物件412之特徵資訊而運算出第二目標物件412於第二輔助影像中的第二特徵係數。

在本實施例中，當第一輔助攝影單元221所擷取之第一輔助影像中之第一目標物件411具有較多的正臉，因此在第一輔助攝影單元221，第一目標物件411之第一特徵係數大於第二目標物件412之第一特徵係數。另外，當第二輔助攝影單元222所擷取之第二輔助影像中之第二目標物件412具有較多的正臉，因此在第二輔助攝影單元222中，第二目標物件412之第二特徵係數大於第一目標物件411之第二特徵係數。本實施例係以辨識結果與特徵資訊的相似程度而產生對應的特徵係數，越大的特徵係數表示兩者越近似，也表示該目標物件在該輔助影像中越清晰。

值得一提的是，第一輔助攝影單元221與第二輔助攝影單元222係為PTZ攝影機，因此其具有縮放倍率、傾角及旋轉角度可調整之功能。於此，第一輔助攝影單元221及第二輔助攝影單元222係可調整其縮放倍率、傾角及旋轉角度，而取得各種組合之第一輔助影像及第二輔助影像。舉例說明，第一輔助攝影單元221係可先調整其縮放倍率至一廣角之影像擷取範圍，再逐漸調整其縮放倍率至一窄角之影像擷取範圍，並且在期間分別擷取不同的第一輔助影像，並由當中判斷選擇較佳特徵係數之設定予以記錄。其中，所謂的窄角之影像擷取範圍係指鏡頭之望遠端。

步驟S16係將第一輔助攝影單元221及第二輔助攝影單元222所產生之對應於目標物件之第一特徵係數及第二特徵係數記錄於資料庫242中。在本實施例中，第一輔助攝影單元221係將對應於第一目標物件411之第一特徵係數以及對應於第二目標物件412之第一特徵係數記錄至處理中心241之資料庫242中，並且第二輔助攝影單元222係將對應於第一目標物件411之第二特徵係數以及對應於第二目標物件412之第二特徵係數記錄至處理中心241之資料庫242中。至此，資料庫242中至少記錄有包括但不限於主攝影單元211產生之各目標物件及其對應之特徵資訊(包括位置資訊及臉部特徵資訊)、第一輔助攝影單元221產生之各目標物件及其對應之第一特徵係數，以及第二輔助攝影單元222產生之各目標物件及其對應之第二特徵係數。

在本實施例中，上述之第一輔助攝影單元221及第二輔助攝影單元222係為PTZ攝影機，因此其記錄於資料庫242中之資訊除了對應於各目標物件之特徵係數之外，還可包括位置資訊，即PTZ攝影機之縮放倍率、傾角及旋轉角度等資訊。

步驟S17係由麥克風陣列231根據其一輸入而產生一音訊資訊。其中，音訊資訊係包括一聲音訊號及一方向資訊。在本實施例中，麥克風陣列231與主攝影單元211係整合於同一殼體250中，通過麥克風陣列231即可得知聲音的來源及方向，進而可判斷出是哪一個目標物件在說話。麥克風陣列係可配置為一條狀音箱或是一360度環繞音箱，於此並未限定。

步驟S18係根據音訊資訊選定主影像中對應之目標物件。例如第一目標物件411說話時，可由麥克風陣列231所接收之音訊資訊中分析出方向資訊，而得知聲音係由第一目標物件411之方向而來，進而可通過與主影像中之特徵資訊中之位置資訊比對後得到是第一目標物件411在說話的結果，進而選擇之。

步驟S19係判斷第一特徵係數及第二特徵係數之權重高低。在本實施例中，處理中心241之資料庫242中記錄有各輔助攝影單元對應於各目標物件之特徵係數，並且由於特徵係數越高則代表該目標物件之影像越清晰或越完整，因此可藉由判斷特徵係數之權重而得知能夠獲得較清晰影像之輔助攝影單元。

步驟S20係輸出權重較高者所對應之輔助影像。在本實施例中，例如第一目標物件411在說話，並且第一輔助攝影單元221係較正對於第一目標物件411，因此係使用由第一輔助攝影單元221之第一輔助影像而傳輸至參與視訊會議的其他終端，如此一來，在其他終端將能夠獲得較清晰之第一目標物件411的影像。

上述步驟S18至步驟S20係可由處理中心241執行，其可根據所接收之資訊而由資料庫242中即時獲得最適當之結果，進而控制第一輔助攝影單元221、第二輔助攝影單元222或主攝影單元211。在本實施例中，處理中心241在得到特徵係數之權重高低的結果之後，將發出命令(command)給權重較高者所對應的輔助攝影單元，並輸出其所擷取之輔助畫面。於此，輔助畫面例如係輸出至虛擬攝影機，其係可為處理中心241所包括的應用程式(APP)之應用，並傳輸至其他各個終端或是本地端之顯示裝置320。

步驟S21係當選定之目標物件不存在於輔助攝影單元的影像擷取範圍內時，則由處理中心241裁切主攝影單元211之主影像中對應於該選定之目標物件的影像，並輸出之。

值得一提的是，當在視訊會議進行的過程中有其他人員進入會議室並加入視訊會議時，步驟S11至步驟S16係可即時執行，以保持資料庫中的資訊完整性。另外，上述步驟在沒有特別指定先後順序之情形下，係可依照實際情形而適度的調換其順序，或選擇執行與否。換言之，除了執行步驟的順序可調換之外，亦可能包含有同步執行的情況，例如輔助攝影單元在運算特徵係數的同時，主攝影單元同時辨識新的與會人員的特徵資訊。

綜上所述，本發明之視訊會議系統及方法係在一個空間中設置主攝影單元以及多個輔助攝影單元，並且不需要預先設定各個攝影單元之間的相對位置，即可自動判斷目標物件在各個攝影單元中出現的位置，從而選擇最佳的攝影單元輸出其影像。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

100,150,200:視訊會議系統 110:攝影裝置 111:廣角鏡頭 112:望遠鏡頭 16a~16d:攝影鏡頭 211:主攝影單元 221:第一輔助攝影單元 222:第二輔助攝影單元 231:麥克風陣列 241:處理中心 242:資料庫 250:殼體 300:會議室 310:會議桌 320:顯示裝置 411:第一目標物件 412:第二目標物件 S11~S21:步驟

［圖1A］係顯示第一種習知的視訊會議系統之一架構示意圖。 ［圖1B］係顯示第二種習知的視訊會議系統之一架構示意圖。 ［圖2］係顯示依據本發明較佳實施例之一種視訊會議系統於一會議室內的設置位置示意圖。 ［圖3］係顯示依據本發明較佳實施例之視訊會議系統之一架構示意圖。 ［圖4］係顯示依據本發明較佳實施例之一種視訊會議方法的執行流程圖。

S11~S21:步驟

Claims (10)

1. 一種視訊會議方法，包含： 由一主攝影單元擷取一主影像，該主影像中存在至少一目標物件； 在該主影像中對該至少一目標物件進行影像辨識並產生與其對應之至少一特徵資訊； 將該至少一特徵資訊分別傳輸至一第一輔助攝影單元及一第二輔助攝影單元； 該第一輔助攝影單元於其影像擷取範圍內擷取一第一輔助影像，該第二輔助攝影單元於其影像擷取範圍內擷取一第二輔助影像； 根據該至少一特徵資訊以及該第一輔助影像中出現之該至少一目標物件，而產生對應於該至少一目標物件之一第一特徵係數，且根據該至少一特徵資訊以及該第二輔助影像中出現之該至少一目標物件，而產生對應於該至少一目標物件之一第二特徵係數； 判斷該第一特徵係數及該第二特徵係數之權重高低；以及 輸出權重較高者所對應之該第一輔助影像或該第二輔助影像。
2. 如請求項1所述之視訊會議方法，其中，當該至少一目標物件係複數時，係分別產生對應於各目標物件之該至少一特徵資訊，並且該第一輔助攝影單元及該第二輔助攝影單元亦分別產生對應於各目標物件之該第一特徵係數及該第二特徵係數。
3. 如請求項1或2所述之視訊會議方法，將該第一輔助攝影單元及該第二輔助攝影單元所產生之對應於該至少一目標物件之該第一特徵係數及該第二特徵係數記錄於一資料庫中。
4. 如請求項3所述之視訊會議方法，其中該資料庫係記錄有包含該主攝影單元所辨識之對應於該至少一目標物件之該特徵資訊、該第一輔助攝影單元中對應於該至少一目標物件之該第一特徵係數，及該第二輔助攝影單元中對應於該至少一目標物件之該第二特徵係數，其中該特徵資訊包含一臉部特徵資訊及一位置資訊。
5. 如請求項1或2所述之視訊會議方法，更包含： 由一麥克風陣列根據其一輸入而產生一音訊資訊，該音訊資訊包含一聲音訊號及一方向資訊；以及 根據該音訊資訊選定該主影像中對應之該至少一目標物件。
6. 如請求項1所述之視訊會議方法，其中，在獲得該第一特徵係數及該第二特徵係數之前，該第一輔助攝影單元及該第二輔助攝影單元係於其一廣角之影像擷取範圍與其一窄角之影像擷取範圍內擷取該第一輔助影像及該第二輔助影像。
7. 一種視訊會議系統，包含： 一主攝影單元，擷取一主影像，並對存在於該主影像中之至少一目標物件進行影像辨識並產生與其對應之至少一特徵資訊； 一第一輔助攝影單元，於其影像擷取範圍內擷取一第一輔助影像，根據該至少一特徵資訊以及該第一輔助影像中出現之該至少一目標物件產生對應於該至少一目標物件之一第一特徵係數； 一第二輔助攝影單元，於其影像擷取範圍內擷取一第二輔助影像，根據該至少一特徵資訊以及該第二輔助影像中出現之該至少一目標物件產生對應於該至少一目標物件之一第二特徵係數；以及 一處理中心，係與該主攝影單元、該第一輔助攝影單元及該第二輔助攝影單元通訊連接，判斷該第一特徵係數及該第二特徵係數之權重高低，並輸出權重較高者所對應之該第一輔助影像或該第二輔助影像。
8. 如請求項7所述之視訊會議系統，更包含一麥克風陣列，其係與該處理中心通訊連接，並根據其一輸入而產生一音訊資訊，該音訊資訊包括一聲音訊號及一方向資訊。
9. 如請求項8所述之視訊會議系統，其中該處理中心係根據該音訊資訊選定該主影像中對應之該至少一目標物件，並致能該第一輔助攝影單元或該第二輔助攝影單元而輸出權重較高者所對應之該第一輔助影像或該第二輔助影像。
10. 如請求項7所述之視訊會議系統，更包含： 一資料庫，其係記錄有包含該主攝影單元所辨識之對應於該至少一目標物件之該特徵資訊、該第一輔助攝影單元中對應於該至少一目標物件之該第一特徵係數，及該第二輔助攝影單元中對應於該至少一目標物件之該第二特徵係數，其中該特徵資訊包含一臉部特徵資訊及一位置資訊。

Images