TW201414307A - 會議終端及該會議終端的視頻處理方法 - Google Patents

Abstract

本發明提供一種會議終端及該會議終端的視頻處理方法。該方法包括：即時獲取對應的會議終端的影像；對影像進行解碼獲得各幀圖像，並從每幀圖像中提取演示文稿圖像和指示部圖像；確定演示文稿圖像和指示部圖像的尺寸；確定每幀圖像中指示部圖像在演示文稿圖像上所指示的物件；按照其所屬會議終端的演示文稿的預定尺寸對來自其他各個會議終端的指示部圖像尺寸進行縮放，並確定所述物件分別在該預定尺寸的演示文稿上的對應位置，並將縮放之後的其他各個會議終端的指示部圖像分別按照該些對應位置與該預定尺寸的演示文稿合成組合畫面。

Description

會議終端及該會議終端的視頻處理方法

本發明涉及通信領域，尤其涉及一種會議終端及該會議終端視頻處理的方法。

視頻會議系統提供至少兩個會議終端之間的通信，在諸如WAN或LAN等網路上即時傳輸視頻、音頻和/或資料流程，以允許本地端和會議終端處的參與者之間進行視頻會議。由於傳統的視頻會議系統都是通過分屏技術使各個會議終端處獲取的包括用戶的視頻影像可以和顯示幕上的演示文稿同時顯示，即，視頻影像與演示文稿分成兩個獨立的畫面同時顯示於顯示幕上。這樣，遠端與會者能清楚看到其他會議終端處用戶的肢體動作，然而卻不能直觀地看到用戶此時講述的演示文稿的具體位置。

有鑒於此，有必要提供一種會議終端及該會議終端的視頻處理的方法，能夠解決上述問題。

本發明提供一種會議終端，可與其他至少一會議終端通過網路進行通信，每個會議終端均包括一用於顯示演示文稿的顯示幕，該會議終端還連接有一投影裝置和一影像獲取裝置，該投影裝置用於將顯示的演示文稿投影至一投影屏上，該影像獲取裝置用於對投影的演示文稿進行影像獲取，該會議終端包括：

一影像獲取模組，用於即時獲取對應的會議終端的影像；

一影像處理模組，用於採用預定的編碼演算法對獲取的影像進行解碼而獲得來自該會議終端的影像的各幀圖像，然後從每幀圖像中提取出演示文稿圖像和指示部圖像；

一尺寸分析模組，用於獲取該會議終端的影像中的演示文稿圖像和指示部圖像，並確定該會議終端的所述演示文稿圖像和指示部圖像的尺寸；

一物件定位模組，用於確定每幀圖像中指示部圖像在演示文稿圖像上所指示的物件；和

一組合模組，用於獲取其他各個會議終端的所有指示部圖像、該指示部圖像和演示文稿圖像的尺寸以及該指示部圖像相對於該演示文稿圖像的距離，按照其所屬會議終端的演示文稿的預定尺寸對來自其他各個會議終端的指示部圖像尺寸進行縮放，並結合來自其他各個會議終端的指示部圖像在其相應的演示文稿圖像上所指示的物件確定所述物件分別在該預定尺寸的演示文稿上的對應位置，然後將縮放之後的其他各個會議終端的指示部圖像分別按照該些對應位置與該預定尺寸的演示文稿合成一組合畫面，並顯示於各個會議終端的顯示幕。

本發明還提供一種會議終端的視頻處理方法，應用於至少兩個會議終端之間，每個會議終端均包括一用於顯示演示文稿的顯示幕，該會議終端還連接有一投影裝置和一影像獲取裝置，該投影裝置用於將顯示的演示文稿投影至一投影屏上，該影像獲取裝置用於對投影的演示文稿進行影像獲取，該方法包括：

即時獲取對應的會議終端的影像；

採用預定的編碼演算法對獲取的影像進行解碼而獲得來自該會議終端的影像的各幀圖像，然後從每幀圖像中提取出演示文稿圖像和指示部圖像；

獲取所述提取該會議終端的影像中的演示文稿圖像和指示部圖像，並確定該會議終端的所述演示文稿圖像和指示部圖像的尺寸；

確定每幀圖像中指示部圖像在演示文稿圖像上所指示的物件；和

獲取其他各個會議終端的所有指示部圖像、該指示部圖像和演示文稿圖像的尺寸以及該指示部圖像相對於該演示文稿圖像的距離，按照其所屬會議終端的演示文稿的預定尺寸對來自其他各個會議終端的指示部圖像尺寸進行縮放，並結合來自其他各個會議終端的指示部圖像在其相應的演示文稿圖像上所指示的物件確定所述物件分別在該預定尺寸的演示文稿上的對應位置，然後將縮放之後的其他各個會議終端的指示部圖像分別按照該些對應位置與該預定尺寸的演示文稿合成一組合畫面，並顯示於各個會議終端的顯示幕。

相較於現有技術，本發明從各個會議終端獲取的影像中提取出指示部影像，然後將所有的指示部影像分別做一定比例的縮放後按照一定的位置關係與演示文稿組合成一個組合畫面，使得各個會議終端的顯示幕可在顯示演示文稿的同時在演示文稿的特定位置同時顯示各個指示部影像。

圖1為本發明一較佳實施例中的會議終端100的環境應用示意圖。每一個會議終端100與其他會議終端100之間建立有視頻媒體傳輸通道，並通過IP網路在所述視頻媒體傳輸通道之間進行通信。其中，所述會議終端100之間可以通過預定的媒體傳輸通道參數或動態信令協商的方式來建立所述視頻媒體傳輸通道。所述信令可以採用但並不局限於即時流傳輸協議（RTSP，Real Time Streaming Protocol）；所述媒體傳輸通道可以採用但並不局限於傳輸控制協議（TCP，Transmission Control Protocol）或用戶資料包協定（UDP，User Datagram Protocol）。為簡要起見，圖1僅示出兩個會議終端100，然而，本發明同樣適用於多個會議終端100的情況。

每個會議終端100均包括一用於顯示演示文稿的顯示幕101，每一會議終端100還連接有一投影裝置200和一影像獲取裝置（如一攝像機，圖未示），該投影裝置200用於將顯示幕101顯示的演示文稿投影至一投影屏（圖未示）上，該影像獲取裝置用於獲取包括投影屏上演示文稿的影像，其中，該獲取的影像還包括用於指示該演示文稿的指示部的影像。在本實施方式中，用戶利用手指對投影屏上的演示文稿進行指示，故所述指示部的影像為至少包括用戶手指的影像。當然，所述指示部並不局限於用戶的手指。在其他實施方式中，當用戶採用如鐳射筆對演示文稿進行指示時，所述影像獲取裝置對投影屏上包括鐳射點的演示文稿進行攝取。在這種情況下，所述指示部的影像為包括鐳射點的影像。其中，該指示部圖像還可包括人的身體等。

如圖2所示，該會議終端100包括一影像獲取模組11、一影像處理模組12、一尺寸分析模組13、一物件定位模組14和一組合模組15。

該影像獲取模組11用於即時獲取對應的會議終端100的影像。

該影像處理模組12用於採用預定的編碼演算法（如H.263或H.264）對獲取的影像進行解碼而獲得來自該會議終端100的影像的各幀圖像，然後從每幀圖像中提取出演示文稿圖像和指示部圖像。在本實施方式中，每幀圖像還包括背景圖像，其中，演示文稿圖像、指示部圖像以及背景圖像各具有不同的灰度。該影像處理模組12用於根據該灰度差異從每幀圖像中提取出所述的演示文稿圖像和指示部圖像，該提取過程可參考現有的圖像提取技術，例如，可結合青島海信電子產業控股股份有限公司於2009年1月6日提出的“車輛陰影去除方法和裝置”（專利申請號200910000341.8）。

該尺寸分析模組13用於獲取該影像處理模組12提取的該會議終端100影像中的演示文稿圖像和指示部圖像，確定該會議終端100影像中所述演示文稿圖像和指示部圖像的尺寸。在本實施方式中，該尺寸分析模組13將所述演示文稿圖像和指示部圖像的寬度方向的尺寸確定為所述演示文稿圖像和指示部圖像的尺寸。

該物件定位模組14用於確定每幀圖像中指示部圖像在演示文稿圖像上所指示的物件。在本實施方式中，該指示的物件通過指示部圖像相對於該演示文稿圖像的距離來確定，該物件定位模組14首先識別該指示部圖像的中心位置，然後通過確定該中心位置與演示文稿圖像的至少兩個固定點的距離來獲取該指示部圖像相對於該演示文稿圖像的距離，以根據該距離確定指示部圖像在演示文稿上所指示的物件。其中，該至少兩個固定點中的任一固定點可以是演示文稿圖像的頂點、邊界中點或者演示文稿的中心點等。在另一實施方式中，該指示的物件通過該指示部圖像在演示文稿圖像上指示的內容來確定。在這種情況下，該物件定位模組14首先識別指示部圖像中指示部（如手指）的位置，並識別與該指示部位置對應的演示文稿圖像的內容。

該組合模組15用於獲取其他各個會議終端100的通過所述視頻媒體傳輸通道發送來的所有指示部圖像、該指示部圖像和演示文稿圖像的尺寸以及該指示部圖像相對於該演示文稿圖像的距離，由於顯示的演示文稿相同，該組合模組15按照其所屬會議終端100的演示文稿的預定尺寸對來自其他各個會議終端100的指示部圖像尺寸進行縮放，並結合來自其他各個會議終端100的指示部圖像在其相應的演示文稿圖像上所指示的物件確定所述物件分別在該預定尺寸的演示文稿上的對應位置，然後將縮放之後的其他各個會議終端100的指示部圖像分別按照該些對應位置與該預定尺寸的演示文稿合成一組合畫面，這樣，該組合模組15能夠在將各個會議終端100的指示部圖像以及演示文稿圖像組合成該組合畫面，並顯示於本會議終端100的顯示幕101。在這種情況下，所述各個會議終端100的顯示幕101 的顯示比例均相同，使得該預定尺寸的演示文稿的顯示比例與各個顯示幕101上顯示的演示文稿的顯示比例均相同。

具體的，若該物件定位模組14通過獲取指示部圖像相對於該演示文稿圖像的距離來確定指示部圖像在該演示文稿上指示的物件，該組合模組15在按照其所屬會議終端100的演示文稿的預定尺寸對來自其他各個會議終端100的指示部圖像尺寸進行縮放後，對各個會議終端100的指示部圖像相對於該演示文稿圖像的距離也進行相應的縮放，該縮放之後的距離即對應於縮放之後的指示部圖像在該預定尺寸的演示文稿圖像上的指示的物件，然後將該演示文稿圖像以及縮放之後的其他各個會議終端100的指示部圖像按照該縮放之後的距離合成所述組合畫面。在本實施方式中，該組合模組15根據演示文稿圖像相對於該預定尺寸的演示文稿的縮放比例對相應的指示部圖像的尺寸和其相對於該演示文稿圖像的距離也進行同樣比例的縮放，然後將該演示文稿圖像以及縮放之後的其他各個會議終端100的指示部圖像按照該縮放之後的距離合成所述組合畫面。例如，如圖3所示，若位於A處的會議終端100接收到來自B處和C處的會議終端100的分別傳輸的指示部圖像（以下簡稱指示部圖像B和指示部圖像C），其中，指示部圖像B和對應的演示文稿圖像B的尺寸分別為10 inch和15 inch，指示部圖像B的中心位置距離該演示文稿圖像B的兩個頂點的距離分別為5 inch和16 inch；指示部圖像C與對應的演示文稿圖像C的距離分別為10 inch和20 inch，指示部圖像C的中心位置距離該演示文稿圖像C的兩個頂點的距離分別為8 inch和24 inch。A處的會議終端100的演示文稿的預定尺寸為30 inch。由於該預定尺寸分別為該演示文稿圖像B和演示文稿圖像C的尺寸的2倍和1.5倍，故，指示部圖像B和指示部圖像C分別放大2倍和1.5倍至20 inch和15 inch，指示部圖像B的中心位置距離該演示文稿圖像B的兩個頂點的距離相應放大至10 inch和32 inch，指示部圖像C與對應的演示文稿圖像C的距離相應放大至12 inch和36 inch。經過尺寸縮放和距離縮放之後，指示部圖像B、指示部圖像C以及該預定尺寸的演示文稿合成所述組合畫面並顯示於A處的會議終端100的顯示幕101上。

當然，本發明對指示部圖像進行尺寸縮放和距離縮放的方式並不局限於以上實施例所示出的。在另一實施方式中，該組合模組15進一步計算各個會議終端100的指示部圖像相對於演示文稿圖像的尺寸比例以及其距離相對於該演示文稿圖像尺寸的位置關係比例。顯然，當該指示部圖像相對於演示文稿圖像的距離包括指示部圖像的中心位置與演示文稿圖像的至少兩個邊界點的距離時，該位置關係比例也相應包括至少兩個位置關係比例。然後，該組合模組15按照其所屬會議終端100的演示文稿的預定尺寸、指示部圖像相對於演示文稿圖像的尺寸比例以及其距離相對於該演示文稿圖像尺寸的位置關係比例相應縮放所述指示部圖像以及相對於演示文稿圖像的距離，再將該演示文稿以及縮放之後的其他各個會議終端100的指示部圖像按照該縮放之後的距離合成所述組合畫面。其中，該組合畫面中各個指示部圖像相對於該預定尺寸的演示文稿的尺寸比例以及位置關係比例與所獲取的對應的會議終端100中的指示部圖像相對於演示文稿的尺寸比例以及位置關係比例相同。根據上述例子，組合模組15計算指示部圖像B和演示文稿圖像B的尺寸比例為2/3，距離相對於該演示文稿圖像B的位置關係比例為1/3和16/15；指示部圖像C和演示文稿圖像C的尺寸比例為1/2，距離相對於該演示文稿圖像C的位置關係比例為6/5和2/5。由於該預定尺寸為30 inch，故，指示部圖像B放大至30 inch的2/3倍至20 inch，指示部圖像C放大至30 inch的1/2倍至15 inch，指示部圖像B與演示文稿的距離放大至30 inch的1/3倍和16/15倍至10 inch和32 inch，指示部圖像C與演示文稿的距離放大至30 inch的6/5倍和2/5倍至36 inch和12 inch，以獲得所述組合畫面。

若該物件定位模組14通過識別與指示部圖像的指示部位置對應的演示文稿圖像的內容來確定指示部圖像在該演示文稿上指示的物件，該組合模組15按照該預定尺寸的演示文稿中確定該內容的位置，該位置即對應於縮放之後的指示部圖像在該預定尺寸的演示文稿上指示的物件，然後將縮放之後的其他各個會議終端100的指示部圖像分別按照該內容的位置與該預定尺寸的演示文稿合成所述組合畫面。

在本實施方式中，當該影像處理模組12識別出從某一會議終端100處解碼得到的各幀圖像中均不存在指示部圖像時，則該會議終端100停止向該組合模組15發送其指示部圖像，在這種情況下，其他會議終端100的顯示幕101不顯示來自該會議終端100的影像。在本實施方式中，該演示文稿可以為視頻格式的演示文稿或圖片格式的演示文稿。當該演示文稿為圖片格式的演示文稿時，該組合模組15先將該圖片格式的演示文稿轉化為視頻格式的演示文稿，然後再將來自其他會議終端100的指示部圖像與視頻格式的演示文稿進行組合。

圖4為本發明一較佳實施例中的會議終端的視頻處理方法的流程圖，其中，該方法應用於上述會議終端100之間，該方法包括如下步驟：

步驟S41：該影像獲取模組11即時獲取對應的會議終端100的影像。

步驟S42：該影像處理模組12採用預定的編碼演算法對獲取的影像進行解碼而獲得來自該會議終端100的影像的各幀圖像。

步驟S43：該影像處理模組12判斷解碼後的影像的每幀圖像中是否存在指示部圖像，若是，則進行步驟S44；否則，則回到步驟S41。

步驟S44：該影像處理模組12從每幀圖像中提取演示文稿圖像和指示部圖像。

步驟S45：該尺寸分析模組13獲取該影像處理模組12提取的該會議終端100影像中的演示文稿圖像和指示部圖像，確定該會議終端100影像中所述演示文稿圖像和指示部圖像的尺寸。

步驟S46：該物件定位模組14確定每幀圖像中在演示文稿圖像上所指示的物件。

步驟S47：該組合模組15獲取其他各個會議終端100的通過所述視頻媒體傳輸通道發送來的所有指示部圖像、該指示部圖像和演示文稿圖像的尺寸以及該指示部圖像相對於該演示文稿圖像的距離，由於顯示的演示文稿相同，該組合模組15按照其所屬會議終端的演示文稿的一預定尺寸對來自其他各個會議終端100的指示部圖像尺寸進行縮放，並結合來自其他各個會議終端100的指示部圖像在其相應的演示文稿圖像上所指示的物件確定所述物件分別在該預定尺寸的演示文稿上的對應位置，然後將縮放之後的其他各個會議終端100的指示部圖像分別按照該些對應位置與該預定尺寸的演示文稿合成一組合畫面，這樣，該組合模組15能夠在將各個會議終端100的用戶圖像以及演示文稿圖像組合成該組合畫面，並顯示於本會議終端100的顯示幕101。

本技術領域的普通技術人員應當認識到，以上的實施方式僅是用來說明本發明，而並非用作為對本發明的限定，只要在本發明的實質精神範圍之內，對以上實施例所作的適當改變和變化都落在本發明要求保護的範圍之內。

100．．．會議終端

101．．．顯示幕

200．．．投影裝置

11．．．影像獲取模組

12．．．影像處理模組

13．．．尺寸分析模組

14．．．物件定位模組

15．．．組合模組

圖1為本發明一較佳實施方式中的會議終端的環境應用示意圖。

圖2為本發明一較佳實施方式中的會議終端的硬體架構圖。

圖3為本發明一較佳實施方式中的其中一會議終端的顯示幕上顯示的組合畫面的示意圖。

圖4為本發明一較佳實施方式中的會議終端的視頻處理方法的流程圖。

100．．．會議終端

11．．．影像獲取模組

12．．．影像處理模組

13．．．尺寸分析模組

14．．．物件定位模組

15．．．組合模組

Claims (12)

1. 一種會議終端，可與其他至少一會議終端通過網路進行通信，每個會議終端均包括一用於顯示演示文稿的顯示幕，該會議終端還連接有一投影裝置和一影像獲取裝置，該投影裝置用於將顯示的演示文稿投影至一投影屏上，該影像獲取裝置用於對投影的演示文稿進行影像獲取，其改良在於，該會議終端包括：
   一影像獲取模組，用於即時獲取對應的會議終端的影像；
   一影像處理模組，用於採用預定的編碼演算法對獲取的影像進行解碼而獲得來自該會議終端的影像的各幀圖像，然後從每幀圖像中提取出演示文稿圖像和指示部圖像；
   一尺寸分析模組，用於獲取該會議終端的影像中的演示文稿圖像和指示部圖像，並確定該會議終端的所述演示文稿圖像和指示部圖像的尺寸；
   一物件定位模組，用於確定每幀圖像中指示部圖像在演示文稿圖像上所指示的物件；和
   一組合模組，用於獲取其他各個會議終端的所有指示部圖像、該指示部圖像和演示文稿圖像的尺寸以及該指示部圖像相對於該演示文稿圖像的距離，按照其所屬會議終端的演示文稿的預定尺寸對來自其他各個會議終端的指示部圖像尺寸進行縮放，並結合來自其他各個會議終端的指示部圖像在其相應的演示文稿圖像上所指示的物件確定所述物件分別在該預定尺寸的演示文稿上的對應位置，然後將縮放之後的其他各個會議終端的指示部圖像分別按照該些對應位置與該預定尺寸的演示文稿合成一組合畫面，並顯示於各個會議終端的顯示幕。
2. 如申請專利範圍第1項所述的會議終端，其中，所述每幀圖像還包括背景圖像，該演示文稿圖像、指示部圖像以及背景圖像各具有不同的灰度；該影像處理模組根據該灰度差異從每幀圖像中提取出所述的演示文稿圖像和指示部圖像。
3. 如申請專利範圍第1項所述的會議終端，其中，該尺寸分析模組將所述演示文稿圖像和指示部圖像的寬度方向的尺寸確定為所述演示文稿圖像和指示部圖像的尺寸。
4. 如申請專利範圍第1項所述的會議終端，其中，該指示的物件通過指示部圖像相對於該演示文稿圖像的距離來確定；該物件定位模組首先識別該指示部圖像的中心位置，然後通過確定該中心位置與演示文稿圖像的至少兩個固定點的距離來獲取該指示部圖像相對於該演示文稿圖像的距離，以根據該距離確定指示部圖像在演示文稿上所指示的物件。
5. 如申請專利範圍第4項所述的會議終端，其中，該組合模組在按照其所屬會議終端的演示文稿的預定尺寸對來自其他各個會議終端的指示部圖像相對於該演示文稿圖像的距離也進行相應的縮放，該縮放之後的距離即對應於縮放之後的指示部圖像在該預定尺寸的演示文稿圖像上的指示的物件，然後將該演示文稿圖像以及縮放之後的其他各個會議終端的指示部圖像按照該縮放之後的距離合成所述組合畫面。
6. 如申請專利範圍第1項所述的會議終端，其中，該指示的物件通過該指示部圖像在演示文稿圖像上指示的內容來確定；該物件定位模組首先識別指示部圖像中指示部的位置，並識別與該指示部位置對應的演示文稿圖像的內容。
7. 如申請專利範圍第6項所述的會議終端，其中，該組合模組按照該預定尺寸的演示文稿中確定該內容的位置，該位置即對應於縮放之後的指示部圖像在該預定尺寸的演示文稿上指示的物件，然後將縮放之後的其他各個會議終端的指示部圖像分別按照該內容的位置與該預定尺寸的演示文稿合成所述組合畫面。
8. 如申請專利範圍第1項所述的會議終端，其中，該影像處理模組識別出從某一會議終端處解碼得到的各幀圖像中均不存在指示部圖像時，則該會議終端停止向該組合模組發送其指示部圖像，使得其他會議終端的顯示幕不顯示來自該會議終端的影像。
9. 如申請專利範圍第1項所述的會議終端，其中，該組合模組在該演示文稿為圖片格式的演示文稿時，將該圖片格式的演示文稿轉化為視頻格式的演示文稿，然後再將來自其他各個會議終端的指示部圖像與視頻格式的演示文稿進行組合。
10. 一種會議終端的視頻處理方法，應用於至少兩個會議終端之間，每個會議終端均包括一用於顯示演示文稿的顯示幕，該會議終端還連接有一投影裝置和一影像獲取裝置，該投影裝置用於將顯示的演示文稿投影至一投影屏上，該影像獲取裝置用於對投影的演示文稿進行影像獲取，其改良在於，該方法包括：
    即時獲取對應的會議終端的影像；
    採用預定的編碼演算法對獲取的影像進行解碼而獲得來自該會議終端的影像的各幀圖像，然後從每幀圖像中提取出演示文稿圖像和指示部圖像；
    獲取所述提取該會議終端的影像中的演示文稿圖像和指示部圖像，並確定該會議終端的所述演示文稿圖像和指示部圖像的尺寸；
    確定每幀圖像中指示部圖像在演示文稿圖像上所指示的物件；和
    獲取其他各個會議終端的所有指示部圖像、該指示部圖像和演示文稿圖像的尺寸以及該指示部圖像相對於該演示文稿圖像的距離，按照其所屬會議終端的演示文稿的預定尺寸對來自其他各個會議終端的指示部圖像尺寸進行縮放，並結合來自其他各個會議終端的指示部圖像在其相應的演示文稿圖像上所指示的物件確定所述物件分別在該預定尺寸的演示文稿上的對應位置，然後將縮放之後的其他各個會議終端的指示部圖像分別按照該些對應位置與該預定尺寸的演示文稿合成一組合畫面，並顯示於各個會議終端的顯示幕。
11. 如申請專利範圍第10項所述的會議終端的視頻處理方法，其中，該指示的物件通過指示部圖像相對於該演示文稿圖像的距離來確定；所述步驟“確定每幀圖像中指示部圖像在演示文稿圖像上所指示的物件”包括：
    識別該指示部圖像的中心位置；和
    通過確定該中心位置與演示文稿圖像的至少兩個固定點的距離來獲取該指示部圖像相對於該演示文稿圖像的距離，以根據該距離確定指示部圖像在演示文稿上所指示的物件。
12. 如申請專利範圍第10項所述的會議終端的視頻處理方法，其中，該指示的物件通過該指示部圖像在演示文稿圖像上指示的內容來確定；所述步驟“確定每幀圖像中指示部圖像在演示文稿圖像上所指示的物件”包括：
    識別指示部圖像中指示部的位置；和
    識別與該指示部位置對應的演示文稿圖像的內容。