TWI700933B - 視頻通信裝置及方法 - Google Patents

Abstract

本發明涉及一種本地視頻通信裝置，包括：一本地半透明顯示裝置，用於顯示遠端的視頻資訊；複數本地攝像機，用於拍攝本地使用者的視頻資訊；所述複數本地攝像機設置於所述本地半透明顯示裝置的背面，該複數本地攝像機排列成一二維攝像機陣列，所述本地半透明顯示裝置包括一微處理單元，所述微處理單元包括：一視頻採集及處理模組，用於選擇與遠端用戶臉部位置對應的本地攝像機；一位置獲取模組，用於獲取本地使用者的臉部空間位置資訊；一通訊模組，用於接收和發送視頻資訊及位置資訊；一顯示模組，用於顯示遠端的視頻資訊。

Description

視頻通信裝置及方法

本發明涉及通信領域，特別涉及一種視頻通信裝置及方法。

隨著通信技術的發展，視頻通話方式已經越來越多出現在人們的工作和生活中，比如公司內的遠端視訊會議、與遠方親友的視頻聊天等。視頻通話在一定程度上拉近了人們之間的距離。然而，先前的遠端視訊、視頻通話系統都存在一個問題，就是無法直視對方的眼睛。這其中的原因就是顯示幕和攝像頭不在同一位置。如果對方要看著顯示幕說話，而這邊看到的圖像就是對方的眼睛就在看著別處，如果對方看著攝像頭，則對方無法看到這邊人物圖像的眼睛。因此，對話的雙方之間沒有眼神的交流，對話體驗不好。另外，先前的視頻播放裝置僅單方播放視頻，本地使用者與遠端場景的交互為零。

有鑒於此，提供一種能夠讓視頻通話的雙方可以進行眼神交流的視頻通信系統實為必要。

一種本地視頻通信裝置，包括：一本地半透明顯示裝置，用於顯示遠端的視頻資訊；複數本地攝像機，用於拍攝本地使用者的視頻資訊；其中，所述複數本地攝像機設置於所述本地半透明顯示裝置的背面，該複數本地攝像 機排列成一二維攝像機陣列，進一步所述本地半透明顯示裝置包括一微處理單元，所述微處理單元包括：一視頻採集及處理模組，用於選擇與遠端用戶臉部位置對應的本地攝像機，並對本地攝像機拍攝的視頻資訊進行採集和處理；一位置獲取模組，用於獲取本地使用者的臉部空間位置資訊；一通訊模組，用於與遠端視頻通信裝置之間接收和發送視頻資訊及位置資訊；一顯示模組，用於顯示遠端的視頻資訊。

與先前技術相比較，本發明提供的本地視頻通信裝置，將攝像頭設置在半透明螢幕的背後，並且攝像頭始終正對用戶的頭部位置，從而使用者在看螢幕中對方的眼睛位置時，背後攝像頭拍到的就是用戶直視對方的面孔，通信的雙方可彼此直視對方的眼睛，中間只相當於隔了一塊透明玻璃，大大增加浸入感，通話體驗大為改善。

1、2:視頻通信系統

10:本地視頻通信裝置

10’:遠端視頻通信裝置

100:微處理單元

101:視頻採集及處理模組

102:位置獲取模組

103:聲音處理模組

104:通訊模組

105:顯示模組

106:位置控制模組

107:中央控制模組

11:本地半透明顯示裝置

12:本地攝像機

121:機械臂

122:移動台

123、124:橫樑

13:遠程半透明顯示裝置

14、33:遠程攝像機

112a:像素單元

112b:間隔區域

113:普通顯示器

114:半透半反鏡

115:投影儀

116:半透明投影屏

120、140:深度感測器

15、32、42:本地識別定位裝置

16:遠端識別定位裝置

17:揚聲器陣列

18:麥克風

34、44:資訊處理器

30、40:實景窗系統

31、41:本地顯示器

43:遠程攝像機陣列

圖1是本發明第一實施例提供的視頻通信系統的結構示意圖。

圖2是本發明提供的半透明顯示器的結構示意圖。

圖3是本發明提供的普通顯示器與半透半反鏡組成的半透明顯示裝置的結構示意圖。

圖4是本發明提供的投影儀與半透明投影屏組成的半透明顯示裝置的結構示意圖。

圖5是本發明提供的微處理單元的結構示意圖。

圖6是本發明提供的通過機械臂移動攝像機的示意圖。

圖7是本發明提供的通過桁架式x-y移動台移動攝像機的示意圖。

圖8是本發明提供的通過桁架式y移動台移動攝像機的示意圖。

圖9是本發明提供的本地攝像機陣列的結構示意圖。

圖10是本發明提供的用戶位置與視野範圍的關係示意圖。

圖11是本發明提供的揚聲器陣列的結構示意圖。

圖12是本發明提供的麥克風陣列的結構示意圖。

圖13是本發明第二實施例提供的視頻通信系統的結構示意圖。

圖14是本發明第三實施例提供的視頻通信方法的流程圖。

圖15是本發明提供的半透明顯示裝置的圖像顯示幀和攝像頭的採集幀的工作原理圖。

圖16是本發明提供的獲取使用者位置資訊的示意圖。

圖17是本發明第四實施例提供的實景窗系統的結構示意圖。

圖18是本發明第五實施例提供的實景窗系統的結構示意圖。

下面將結合具體實施例及附圖對本發明所提供的視頻通信裝置、視頻通信方法以及實景窗系統作進一步說明。

請參閱圖1，本發明第一實施例提供一種視頻通信系統1，該視頻通信系統1包括一本地視頻通信裝置10和一遠端視頻通信裝置10’。所述本地視頻通信裝置10和所述遠端視頻通信裝置10’分別用於視頻通話的雙方，所述本地視頻通信裝置10與遠端視頻通信裝置10’通過有線或無線相連接。所述本地視頻通信裝置10包括一本地半透明顯示裝置11和一本地攝像機12；所述遠端視頻通信裝置10’包括一遠端半透明顯示裝置13和一遠端攝像機14。所述本地攝像機12的位置對應於遠端用戶的眼睛在本地半透明顯示裝置11上顯示畫面的位置，並跟隨遠端用戶眼睛的位置移動。所述遠端攝像機14的位置對應於本地用戶的眼睛在遠端半透明顯示裝置13上顯示畫面的位置，並跟隨本地用戶 眼睛的位置移動。在此，所述本地視頻通信裝置10和遠端視頻通信裝置10’的結構特徵與作用相同，以下僅對所述本地視頻通信裝置10進行詳細描述。

所述本地半透明顯示裝置11用於顯示遠端的視頻資訊。所述本地半透明顯示裝置11顯示的遠端的視頻資訊是通過遠端攝像機14拍攝並傳輸到本地半透明顯示裝置11的遠端視頻圖像。其中，半透明顯示裝置是指顯示裝置是半透明的，從半透明顯示裝置的背面可以捕捉到半透明顯示裝置前面的景象。所述半透明顯示裝置可為半透明顯示器，也可通過普通顯示器與半透半反鏡組合而成，還可通過投影儀與半透明投影屏組合而成。請參閱圖2，為本實施例採用的半透明顯示器的結構示意圖，所述半透明顯示器包括複數像素單元112a，該複數像素單元112a間隔分佈，且間隔區域112b是透明的，為透光區域。所述像素單元112a為非透光區域，用於顯示視頻圖像。人眼或本地攝像機12可從所述半透明顯示器的背面透過該間隔區域112b捕捉到半透明顯示器前面的景象資訊。

請參閱圖3，在另一個實施例中，該半透明顯示裝置為一普通顯示器113與一半透半反鏡114組合而成。所述半透半反鏡114放置於所述普通顯示器113前面，與該普通顯示器113的顯示幕面呈夾角α，其中0°<α<90°。優選地，30°<α<60°。更優選地，α=45°。所述半透半反鏡114可改變光的路線，使用時用戶與普通顯示器113位於所述半透半反鏡114的同一側，該半透半反鏡114將普通顯示器113顯示的畫面反射到使用者眼睛中(如圖3中虛線所示)，用戶即可看到該普通顯示器113顯示的畫面，而這時位於半透半反鏡114另一側的本地攝像機12或人眼可透過該半透半反鏡114捕捉到使用者的視頻資訊。

請參閱圖4，在另一個實施例中，該半透明顯示裝置為一投影儀115與一半透明投影屏116組合而成。所述投影儀115將視頻圖像投影到半透明投影屏116上，用戶在投影屏前面即可看到螢幕上顯示的視頻圖像，而由於該 投影屏116是半透明的，則在投影屏116的背面的本地攝像機12是可以透過該半透明投影屏116捕捉到螢幕前面使用者的視頻資訊的。

所述本地通信視頻裝置10中還包括一微處理單元100。請參閱圖5，該微處理單元100包括一視頻採集及處理模組101，一位置獲取模組102，一聲音處理模組103，一通訊模組104，一顯示模組105，一位置控制模組106、和一中央控制模組107。所述視頻採集及處理模組101用於對本地使用者的視頻資訊進行採集及處理以能夠在遠端半透明顯示裝置13中顯示。具體地，對視頻資訊的處理主要包括對視訊訊號進行剪裁、失真矯正及景物遮擋關係的計算等。所述位置獲取模組102用於獲取本地使用者的臉部空間位置資訊，優選地，用於獲取本地使用者的眼睛位置資訊。所述聲音處理模組103用於控制視頻資訊的聲音播放以及採集本地聲音；所述通訊模組104用於與遠端通訊，如從遠端視頻通信裝置接收視頻資訊及位置資訊、發送視頻資訊及位置資訊至遠端視頻通信裝置等；所述顯示模組105用於顯示遠端的視頻資訊；所述位置控制模組106用於根據遠端使用者顯示畫面的位置資訊控制本地攝像機的位置和角度的選取，使該本地攝像機移動至相應位置。所述中央控制模組107用於協調各模組工作。具體地，所述位置獲取模組102獲取的位置資訊可通過所述中央控制模組107傳送給所述視頻採集及處理模組101，從而生成符合三維空間關係的視頻畫面。所述本地半透明顯示裝置可為智慧電視、一體機等。

所述本地攝像機12用於拍攝本地使用者的視頻資訊，所述視頻資訊會被傳遞給遠端視頻通信裝置10’。所述本地攝像機12設置於所述本地半透明顯示裝置11的背面，由於該本地半透明顯示裝置11是半透明的，所述本地攝像機12可拍攝到位於該本地半透明顯示裝置11前面的本地使用者的視頻資訊。所述本地攝像機12是可移動的。該本地攝像機12通過所述位置控制模組106進行位置的移動和角度的旋轉。具體地，該本地攝像機12可在與所述本地半透 明顯示裝置11的顯示幕平行的平面內自由移動，該本地攝像機12與所述本地半透明顯示裝置11的間隔距離可根據需要進行調節，只要保證本地攝像機12在移動的過程中不會碰到半透明顯示裝置，又能正常拍攝到本地半透明顯示裝置11前面的畫面即可。所述本地攝像機12的位置隨著遠端用戶在本地半透明顯示裝置11上的畫面移動而移動，並始終保持與遠端使用者的畫面位置相對應。具體地，在實施例中，本地攝像機12所對應的遠端使用者畫面的位置是指遠端使用者的臉部圖像的位置，優選地，該本地攝像機12的位置對應於遠端用戶的眼睛的位置，從而使得本地用戶與遠端用戶可以有對視的真實體驗。上述本地攝像機12相當於遠端用戶的眼睛，當遠端用戶移動時，該本地攝像機12也相應移動，本地攝像機12拍攝的畫面不斷變化，因此，遠端用戶在移動時看到的畫面也是在不斷變化的。

進一步，所述本地攝像機12的位置資訊也可通過遠端視頻通信裝置10’直接傳輸到本地視頻通信裝置10。具體地，當遠端使用者移動時，遠端視頻通信裝置10’根據遠端攝像機14拍攝到的遠端使用者的畫面並結合遠端攝像機14本身所在的位置，即時計算確定遠端用戶的移動軌跡，再將遠端使用者移動軌跡的資訊傳遞給本地視頻通信裝置10的位置控制模組106。所述本地攝像機12會根據遠端使用者的位置移動到相應位置，從而捕捉相應位置的畫面，並傳遞給遠端半透明顯示裝置13。因此，遠端用戶能夠更真實浸入式體驗。

所述本地攝像機12的移動方式可通過以下三種方式實現。請參閱圖6，所述本地攝像機12可被放置在一機械臂121上，通過機械臂121的帶動而移動，即可實現在所在的平面內朝各個方向自由移動。請參閱圖7，所述本地攝像機12還可被放置在一桁架式x-y移動台122上，該桁架式x-y移動台122包括一橫樑123，所述本地攝像機12本身可在橫樑123上的x方向水準移動，並結合橫樑123本身可在y方向上豎直移動，從而實現該本地攝像機12在所在 平面內的自由移動。當然，上述橫樑123也可改為豎直方向的立柱，本地攝像機12可在立柱上沿y方向上下移動，該立柱可沿x方向移動。進一步，請參閱圖8，複數所述本地攝像機12被放置於一桁架式y移動台122上，該桁架式y移動台122包括一橫樑124，所述複數本地攝像機12並排並固定放置於該橫樑124上。該橫樑124可實現y方向上的豎直移動，所述複數攝像機12不會在x方向上移動。對應地，所述視頻採集及處理模組101需要根據遠端使用者的X方向位置，選取最接近的一個或複數本地攝像機的視頻畫面，即該位置對應的一個或複數本地攝像機的視頻畫面，計算生成在遠端用戶真實位置上應當看到的視頻畫面。本實施例中，所述本地攝像機12被放置於桁架式y移動臺上。

進一步，請參閱圖9，所述本地視頻通信裝置10還可包括複數本地攝像機12，該複數本地攝像機12排列成一二維攝像機陣列，該二維攝像機陣列均勻分佈於所述本地半透明顯示裝置11的背面。其中，每個本地攝像機12的位置和安裝角度固定，這時，該本地視頻通信裝置10無需設置所述位置控制模組106去移動所述本地攝像機12的位置。該複數本地攝像機12可同時工作，所述視頻採集及處理模組101控制複數本地攝像機同時工作並從同時工作的複數本地攝像機12中選取僅與遠端使用者臉部畫面位置相對應的一個或複數本地攝像機12，而所述一個或複數本地攝像機12所拍攝的視頻資訊會經過所述視頻採集及處理模組101生成一個與遠端使用者位置對應的視頻畫面，傳遞給遠端視頻通信裝置10’；該複數本地攝像機12也可不用同時工作，而根據遠端使用者的即時位置，由所述視頻採集及處理模組101選擇僅與遠端使用者畫面位置相對應的一個或複數本地攝像機12工作，並生成合適的視頻畫面。

進一步，所述本地攝像機12可包括雙目攝像頭。所述雙目攝像頭可類比人眼的雙目視覺，根據兩攝像頭拍攝的景物資訊，三維計算從而得到景物的深度資訊。例如，根據本地攝像機12得到本地使用者距離顯示幕的深度資 訊，再把該深度資訊傳遞給遠端視頻通信裝置10’，所述遠端視頻通信裝置10’會根據深度資訊計算並選取本地使用者在該位置應當看到的視野範圍和景物之間的遮擋關係的視頻資訊。請參閱圖10，當本地用戶位於顯示幕前的M位置處時，其對應的視野範圍較大；當位於N位置處時，其對應的視野範圍變小。具體地，遠端攝像機相當於本地用戶的眼睛，本地用戶可在本地的顯示幕前前後移動，而遠端攝像機距離遠端顯示幕的距離固定不變，因此，遠端攝像機需拍攝相對較大的視野範圍，優選地，視角達到180°視野範圍的攝像機。這樣所述顯示模組105才能根據本地使用者距離本地半透明顯示裝置11的位置資訊從較大的視野範圍中選取相應的視野範圍的視頻資訊進行顯示。在此，所述本地攝像機12和遠端攝像機14的攝像頭均為廣角、高像素攝像頭。

上述深度資訊的計算可由本地半透明顯示裝置11中的位置獲取模組102完成，也可將數據傳到雲上完成計算再發送給遠端，以保證資料傳輸的即時性。上述深度資訊的傳輸可由本地半透明顯示裝置11中的通訊模組104完成。進一步，為了在豎直方向上計算遮擋關係，所述本地攝像機12還可包括交叉設置的4個攝像頭組成的攝像機。進一步，在本地還可增設一深度感測器120，以專門感知本地景物的深度資訊；同樣地，在遠端也可增設一深度感測器140，以專門感知遠端景物的深度資訊。上述深度資訊的傳輸可由本地半透明顯示裝置11中的通訊模組104完成。

所述遠端半透明顯示裝置13用於顯示本地攝像機12拍攝並經過計算處理的視頻圖像。上述對所述本地半透明顯示裝置11的技術特徵的描述同樣適用於該遠端半透明顯示裝置13，在此不再贅述。

所述遠端攝像機14用於拍攝遠端使用者的視頻資訊，並將視頻資訊經過計算處理後傳遞給本地半透明顯示裝置11。所述遠端攝像機14設置於所述遠端半透明顯示裝置13的背面，由於該遠端半透明顯示裝置13是半透明的， 所述遠程攝像機14可拍攝到位於該遠端半透明顯示裝置13前面的遠端使用者的視頻資訊。上述對本地攝像機12的技術特徵的描述同樣適用於該遠端攝像機14，在此不再贅述。

進一步，請參閱圖11，在所述本地半透明顯示裝置11上還可設置一揚聲器陣列17，所述揚聲器陣列17均勻分佈於本地半透明顯示裝置11的背面，根據對方的聲源位置模擬對方說話的方位。該揚聲器陣列17也可以超出半透明顯示裝置11的範圍設置，如設置在所述本地攝像機12遠離該本地半透明顯示裝置11的一側或外側(圖未示)，以模擬視野範圍外的聲源。請參閱圖12，在所述本地半透明顯示裝置11的前方設置複數身歷聲麥克風18，用以採集實際聲場用以傳輸給對方。上述設置可使用戶在聽覺上同樣有身臨其境的感覺，如在視頻畫面中看不到的地方有只貓叫，對方也能聽出方位。

本發明提供的本地視頻通信裝置10具有以下優點：將攝像頭設置在半透明螢幕的背後，並且攝像頭可跟隨用戶的頭部位置即時移動，從而使用者在看螢幕中對方的眼睛位置時，背後攝像頭拍到的就是用戶直視對方的面孔，通信的雙方可彼此直視對方的眼睛，中間只相當於隔了一塊透明玻璃，大大增加浸入感，通話體驗大為改善。

請參閱圖13，本發明第二實施例提供一種視頻通信系統2，該視頻通信系統2包括一本地半透明顯示裝置11，一本地攝像機12，一本地識別定位裝置15，一遠端半透明顯示裝置13，一遠端攝像機14，一遠端識別定位裝置16。所述本地識別定位裝置15設置於所述本地半透明顯示裝置11上，用於識別本地使用者的臉部位置資訊。所述本地攝像機12的位置對應於遠端用戶在本地本透明顯示裝置11上顯示畫面的位置，並跟隨遠端使用者顯示畫面的位置移動。所述遠端識別定位裝置16設置於所述遠端半透明顯示裝置13上，用於識別遠端 使用者的臉部位置資訊。所述遠端攝像機14的位置對應於本地用戶在遠端半透明顯示裝置13上顯示畫面的位置，並跟隨本地使用者的顯示畫面位置移動。

本實施例所提供的視頻通信系統2與第一實施例提供的視頻通信系統1基本相同，其區別在於，所述視頻通信系統2增加了一本地識別定位裝置15和一遠端識別定位裝置16。所述本地識別定位裝置15用於識別並計算本地使用者的位置資訊，並將本地使用者的位置資訊傳遞至遠端攝像機14。所述本地攝像機12只用於拍攝本地使用者的視頻資訊。所述遠端識別定位裝置16用於識別並計算遠端使用者的位置資訊，並將遠端使用者的位置資訊傳遞至本地攝像機12。所述遠端攝像機14只用於拍攝遠端使用者的視頻資訊。所述本地識別定位裝置15和所述遠端識別定位裝置16可為光學攝像頭、紅外攝像頭、需與用戶佩戴的位置標籤式感測器配合使用的位置檢測單元等。本實施例中，所述本地識別定位裝置15和所述遠端識別定位裝置16均為kinect裝置。

請參閱圖14，本發明第三實施例提供一種視頻通信的方法，其包括以下步驟：S11，獲取本地和遠端兩方的視頻圖像資訊；S12，將兩方的視頻圖像資訊分別顯示在對方的半透明顯示裝置，並使得對方的攝像機獲取視頻資訊中使用者的位置資訊；S13，本地和遠端的攝像機根據接收到的位置資訊分別移動到相應的位置，並採集視頻資訊傳遞給對方的半透明顯示裝置。

在步驟S11中，本地視頻圖像資訊通過本地攝像機12拍攝得到，遠端視頻圖像資訊通過遠端攝像機14拍攝得到。所述本地攝像機12位於本地半透明顯示裝置11的背面，該本地攝像機12透過該本地半透明顯示裝置11拍攝本地使用者的視頻圖像資訊。所述遠程攝像機14位於遠程半透明顯示裝置13的背面，該遠程攝像機14透過該遠端半透明顯示裝置13拍攝遠端使用者的視頻 圖像資訊。在攝像機透過半透明顯示裝置拍攝時，半透明顯示裝置中可發光的像素部分由於在像素下有遮光層遮擋，光線不會進入到顯示裝置的背面，從而避免了干擾攝像機工作，因此，在半透明顯示裝置工作的過程中，其背面的攝像機也可以即時工作。本實施例中，本地和遠端的視頻圖像資訊均由雙目廣角攝像頭即時拍攝得到。

優選地，為了使得攝像機工作時不會有光線的干擾，半透明顯示裝置的圖像顯示幀和攝像機的圖像採集幀可採用分幀錯開的方法。具體地，請參閱圖15，半透明顯示裝置的圖像顯示幀和攝像頭的圖像採集幀是一幀一幀交替工作，在圖像顯示幀工作時，攝像頭的圖像採集幀關閉；在圖像顯示幀關閉時，攝像頭的圖像採集幀工作。其中，圖像顯示幀和圖像採集幀的交替時間很短，人眼無法區分，所以不會對人們的視頻通信體驗造成影響。

在步驟S12中，本地攝像機12將拍攝的本地使用者的視頻圖像資訊傳遞給遠端半透明顯示裝置13，同時，所述遠端攝像機14需獲取視頻圖像資訊中本地使用者的位置資訊。遠端攝像機14將拍攝的遠端使用者的視頻圖像資訊傳遞給本地半透明顯示裝置11，同時，該本地攝像機12需獲取視頻圖像資訊中遠端使用者的位置資訊。

上述視頻中使用者畫面的位置資訊可通過以下兩種方法得到。一、從攝像機拍攝的視頻中採用圖像識別方法得到使用者在視頻中的相對位置，再結合攝像機自身位置計算確定用戶的位置。如圖16所示，假定本地攝像機12和遠端攝像機14的初始位置均在顯示裝置的正中間位置，本地視頻通信裝置10和遠端視頻通信裝置10’會根據攝像機拍攝到的使用者在視頻中的相對位置以及攝像機自身的位置計算並確定用戶的位置，並將位置資訊傳遞給對方的攝像機。最後，本地攝像機12和遠端攝像機14會分別根據接收到的位置資訊移動到相應的位置。上述使用者畫面的位置資訊的計算可以在本地計算後傳遞至遠方， 也可以將資料傳遞至遠方再計算。二、所述使用者畫面的位置資訊還可通過專門的識別定位裝置識別得到，所述識別定位裝置可設置於半透明顯示裝置前用以直接識別用戶臉部位置。所述識別定位裝置可為光學攝像頭、紅外攝像頭、需與用戶佩戴的位置標籤式感測器配合使用的位置檢測單元等。

在步驟S13中，在進行視頻通信之前，所述本地攝像機12和遠端攝像機14均位於一初始位置。所述初始位置可為半透明顯示裝置背面的任一位置，如中間或兩端位置。本實施例中，在進行視頻通信前，所述本地攝像機12設置於本地半透明顯示裝置11背面的正中間位置，所述遠程攝像機14設置於遠程半透明顯示裝置13背面的正中間位置。

所述本地攝像機12根據視頻中遠端使用者畫面的位置資訊移動到相應位置。又，本地半透明顯示裝置11是用於接收並顯示遠端使用者的視頻圖像資訊，視頻顯示的遠端使用者畫面在本地半透明顯示裝置11中的相對位置正好與本地攝像機12移動後的位置重疊。因此，當本地使用者看向螢幕中的遠端使用者時，位於顯示裝置後面的本地攝像機12正好拍攝到本地使用者直視的畫面，從而遠端使用者可以看到本地使用者直視自己的畫面。同樣地，所述遠端攝像機14在接收到本地使用者的位置資訊後，也會作出相應的位置移動，從而本地用戶也可以看到遠端使用者直視自己的畫面。

當然，在視頻通信的過程中，若一方用戶離開攝像機的視野範圍，則該用戶所對應的攝像機不再移動。例如，當遠端使用者離開其所在視頻通信的房間後，超出了遠端攝像機14或遠端識別定位裝置對於臉部識別的視野範圍，該遠端用戶所對應的本地攝像機12則不再移動，這時，所述遠端半透明顯示裝置13所播放的視頻的視野範圍不再改變。然而，由於本地用戶依然在本地半透明顯示裝置11前，該本地用戶所對應的遠端攝像頭仍會根據本地使用者的位置移動，本地用戶依然可觀看到遠端不同視野範圍的景象。

上述視頻通信方法分別適用於本地視頻通信裝置和遠端視頻通信裝置。在另一個實施例中，適用於本地視頻通信裝置的視頻通信方法包括以下步驟：

S21，從遠端視頻通信裝置10’獲取遠端使用者的視頻圖像資訊；在本實施例中，遠端使用者的視頻圖像資訊是由遠端視頻通信裝置10’中的遠端攝像機14拍攝獲取得到，該遠端攝像機14透過該遠端半透明顯示裝置13拍攝遠端使用者的視頻圖像資訊。

S22，將遠端使用者的視頻圖像資訊顯示於本地半透明顯示裝置11；在本實施例中，本地半透明顯示裝置11通過所述通訊模組104接收遠端使用者的視頻圖像資訊後，該視頻圖像資訊會通過所述視頻處理模組101處理並經所述顯示模組105顯示於本地半透明顯示裝置11。

S23，獲取遠端使用者的顯示畫面在本地半透明顯示裝置11上的位置資訊；獲取遠端使用者的顯示畫面的位置資訊可先通過所述遠端視頻通信裝置10’計算後再傳遞至本地視頻通信裝置10；也可先將遠端使用者的顯示畫面資訊傳遞至本地視頻通信裝置10，再經本地視頻通信裝置10計算得到位置資訊。本實施例中，遠端使用者的顯示畫面的位置資訊是先通過所述遠端視頻通信裝置10’計算後再傳遞至本地視頻通信裝置10。

S24，使本地攝像機12移動到與遠端使用者的顯示畫面在本地半透明顯示裝置11上的位置對應的位置；在本實施例中，本地攝像機12通過所述位置控制模組106移動到與遠端使用者的圖像的位置資訊所對應的位置。

當然，當所述本地視頻通信裝置10包括複數本地攝像機12排列成二維攝像機陣列時，該複數本地攝像機12不會移動。這時，只有與本地半透明顯示裝置顯示的遠端使用者圖像的位置對應的一個或複數本地攝像機會被選取。

S25，本地攝像機12在該對應位置採集本地使用者的視頻圖像，並將該本地使用者的視頻圖像發送給遠端視頻通信裝置10’。

在本實施例中，該本地攝像機12採集本地使用者的視頻圖像通過所述通訊模組104發送至遠端程視頻通信裝置10’。

本發明提供的視頻通信方法具有以下優點：通過即時移動攝像頭，使用者雙方在視頻通信時能夠彼此注視對方的眼睛，增加交互體驗；用戶在顯示幕前移動時，其對應的攝像頭也在相應移動，拍攝到的畫面也在不斷變化，從而使得用戶在移動時看到的畫面也在不斷改變，沉浸感增加。

請參閱圖17，本發明第四實施例提供一種實景窗系統30，所述實景窗系統30包括一本地顯示器31，一本地識別定位裝置32，一遠端攝像機33。所述本地識別定位裝置32用於識別本地使用者的臉部位置，並將臉部位置資訊傳遞給所述遠端攝像機33。所述遠端攝像機33用於根據臉部位置資訊拍攝相應的遠端景象的視頻資訊。在此，所述本地顯示器31和所述本地識別定位裝置32可設定為本地用戶端。

所述本地顯示器31用於顯示遠端的視頻資訊。該本地顯示器31為普通顯示器即可，如LED顯示器、LCD顯示器等。所述本地識別定位裝置32設置於該本地顯示器31上，該本地識別定位裝置32可為光學攝像頭、紅外攝像頭、需與用戶佩戴的位置標籤式感測器配合使用的位置檢測單元等。本實施例中，所述本地顯示器31為LED顯示器，所述本地識別定位裝置32為kinect裝置。

所述遠端攝像機33用於拍攝遠端景象的視頻資訊。具體地，該遠端攝像機33被設置在遠端的某一位置，且滿足在該位置能夠拍攝到所需要的景物視頻即可。所述遠端攝像機33可為一可移動攝像頭，複數不同方位的攝像頭形成的陣列，或為一廣角攝像機，以滿足該遠端攝像機33可在拍攝到大範圍的 景象。所述遠端攝像機33的移動方式與本地攝像機12的移動方式相同，在此不再贅述。

進一步，在所述實景窗系統30上還包括一資訊處理器34，該資訊處理器34分別與本地用戶端和遠端攝像機連接。具體地，所述資訊處理器34可根據本地使用者的臉部位置資訊計算出使用者在該位置所能看到的視野範圍，並根據本地使用者的視野範圍選取所述遠端攝像機33拍攝該範圍內的視頻資訊，並將拍攝的視頻資訊傳遞到本地顯示器31，本地用戶即可看到遠端的即時景象。優選地，所述資訊處理器34可根據本地使用者的眼睛位置資訊計算出使用者在該位置所能看到的視野範圍。同時，隨著本地用戶位置的移動，該本地識別定位裝置32也會根據本地使用者的位置的改變，選擇相應的視頻景象傳遞給所述本地顯示器31。當所述遠端攝像機33包括複數遠端攝像機排列成一二維攝像機陣列時，所述資訊處理器34用於從該複數遠端攝像機中選取僅與本地使用者臉部的位置資訊對應的一個或複數遠端攝像機拍攝的視頻資訊，對所述一個或複數遠端攝像機拍攝的視頻資訊計算得到本地使用者位置對應的視頻資訊，再將計算得到的視頻資訊傳遞至本地顯示器31。因此，本地用戶在所述本地顯示器31前移動時，看到的視頻景象也會不同。

進一步，還可設置本地揚聲器、本地光照裝置、本地噴霧裝置與該本地顯示器31配合使用，以模擬遠端景象中的聲音、光照、空氣濕度等。相應地，在遠端場景中也會相應設置麥克風、感光裝置、空氣濕度檢測器等。

具體地，當遠端場景為一沙灘時，所述實景窗系統30打開後，本地用戶也如同置身於沙灘上，可看到蔚藍的海水、聽到海浪拍岸的聲音、感受沙灘充足的陽光以及海邊潮濕的空氣，給人身臨其境的感覺。當本地用戶移動時，看到的視野範圍也在改變，如同漫步海邊。

請參閱圖18，本發明第五實施例提供一種實景窗系統40，所述實景窗系統40包括複數本地顯示器41，複數本地識別定位裝置42，一遠端攝像機陣列43，一資訊處理器44。其中，每個本地顯示器和每個本地識別定位裝置可看作一本地使用者端。每個本地識別定位裝置42用於識別其對應的本地用戶的臉部位置，並將臉部位置資訊傳遞給所述資訊處理器44。所述資訊處理器44分別與複數本地用戶端和遠端攝像機陣列連接，該資訊處理器44用於可根據每位本地使用者的臉部位置資訊計算出該本地使用者在其位置所能看到的視野範圍，並根據視野範圍選取所述遠端攝像機陣列43中對應的攝像機採集的視頻圖像。所述遠端攝像機陣列43包括複數攝像機，該複數攝像機呈陣列式排布。所述資訊處理器44可控制該複數攝像機同時工作並分別選取不同的視角範圍拍攝視頻資訊，並將拍攝的視頻資訊傳遞給對應的本地顯示器41。

本實施例所提供的實景窗系統40與第四實施例提供的實景窗系統30基本相同，其區別在於，所述實景窗系統40包括複數本地顯示器41，所述資訊處理器44根據每個本地使用者的位置資訊將視頻資訊同時傳遞給複數本地顯示器41，以供複數用戶同時欣賞。具體地，所述遠端攝像機陣列43中的複數攝像機可分別選取不同的視角範圍進行拍攝，從而該遠端攝像機陣列43可同時拍攝多角度、不同視野範圍的視頻。由於每個本地顯示器41前的用戶所在位置角度不盡相同，其通過本地識別定位裝置42傳遞給遠端攝像機陣列43的位置資訊也不同，這時，該資訊處理器44可根據不同使用者的位置及角度資訊進行計算處理後再選取相應的視頻資訊傳遞給對應的本地顯示器41。所述實景窗系統40可同時適用於處在不同地方的複數用戶同時使用，且每個使用者根據自己的位置資訊看到的視野範圍也不相同。

本發明提供的實景窗系統具有以下優點：通過即時感測使用者的位置資訊，將不同位置的遠端的景象即時傳遞給用戶，用戶可以與遠端場景即時交互，可以體驗到身臨其境的感覺。

綜上所述，本發明確已符合發明專利之要件，遂依法提出專利申請。惟，以上所述者僅為本發明之較佳實施例，自不能以此限制本案之申請專利範圍。舉凡習知本案技藝之人士援依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。

11:本地半透明顯示裝置

12:本地攝像機

Claims (10)

1. 一種本地視頻通信裝置，包括：一本地半透明顯示裝置，用於顯示遠端的視頻資訊；複數本地攝像機，用於拍攝本地使用者的視頻資訊；其改進在於，所述複數本地攝像機設置於所述本地半透明顯示裝置的背面，該複數本地攝像機排列成一二維攝像機陣列，進一步所述本地半透明顯示裝置包括一微處理單元，所述微處理單元包括：一視頻採集及處理模組，用於選擇與遠端用戶臉部位置對應的本地攝像機，被選擇的本地攝像機始終位於遠端用戶臉部位置的正後方，並對本地攝像機拍攝的視頻資訊進行採集和處理；一位置獲取模組，用於獲取本地使用者的臉部空間位置資訊；一通訊模組，用於與遠端視頻通信裝置之間接收和發送視頻資訊及位置資訊；一顯示模組，用於顯示遠端的視頻資訊。
2. 如請求項1所述的本地視頻通信裝置，其中，所述本地半透明顯示裝置是半透明顯示器、普通顯示器與半透半反鏡的組合、投影儀與半透明投影屏的組合中的一種。
3. 如請求項1所述的本地視頻通信裝置，其中，所述位置獲取模組用於獲取本地使用者的眼睛的位置資訊；所述顯示模組用於根據本地使用者的位置顯示相應視野範圍的遠端視頻資訊。
4. 如請求項1所述的本地視頻通信裝置，其中，進一步包括一本地識別定位裝置設置於所述本地半透明顯示裝置上，用於識別本地使用者的臉部位置資訊，並將該臉部位置資訊通過所述通訊模組傳遞給遠端使用者；所述本地 識別定位裝置為光學攝像頭、紅外攝像頭、需與用戶佩戴的位置標籤式感測器配合使用的位置檢測單元中的一種。
5. 如請求項1所述的本地視頻通信裝置，其中，所述視頻採集及處理模組選擇本地攝像機並對採集的視頻資訊處理的方法為：控制複數本地攝像機同時工作，選取僅與遠端使用者臉部圖像位置對應的一個或複數本地攝像機拍攝的視頻資訊，計算所述一個或複數本地攝像機拍攝的視頻資訊獲得一與遠端使用者位置對應的視頻資訊。
6. 如請求項1所述的本地視頻通信裝置，其中，所述視頻採集及處理模組選擇本地攝像機並對採集的視頻資訊處理的方法為：從複數本地攝像機中選取與遠端使用者臉部圖像位置對應的一個或複數本地攝像機，僅使該選取的一個或複數本地攝像機工作並計算獲得與遠端使用者位置對應的視頻資訊。
7. 一種視頻通信方法，該方法適用於請求項1-6中任一本地視頻通信裝置，該方法包括以下步驟：從遠端視頻通信裝置獲取遠端使用者的視頻圖像資訊；將遠端使用者的視頻圖像資訊顯示於本地半透明顯示裝置；獲取遠端使用者的臉部圖像在本地半透明顯示裝置上的位置資訊；選取與本地半透明顯示裝置中遠端使用者的臉部圖像在本地半透明顯示裝置上的位置資訊對應的本地攝像機，被選擇的本地攝像機始終位於遠端用戶臉部位置的正後方；以及所述本地攝像機在該對應位置採集本地使用者的視頻圖像，並將該本地使用者的視頻圖像發送給遠端視頻通信裝置。
8. 如請求項7所述的視頻通信方法，其中，所述本地半透明顯示裝置的圖像顯示幀和本地攝像頭的圖像採集幀交替工作。
9. 如請求項7所述的視頻通信方法，其中，獲取遠端使用者的臉部圖像在本地半透明顯示裝置上的位置資訊的方法為：在遠端視頻中採用圖像識別方法得到遠端使用者臉部圖像的相對位置，再結合遠端攝像機的自身位置，計算得到遠端使用者臉部圖像的位置資訊。
10. 如請求項7所述的視頻通信方法，其中，獲取遠端使用者的臉部圖像在本地半透明顯示裝置上的位置資訊的方法為：通過專門的識別定位裝置直接識別得到遠端使用者臉部圖像的位置資訊。

Images