TW201943266A

TW201943266A - 視頻通信裝置及方法

Info

Publication number: TW201943266A
Application number: TW107136642A
Authority: TW
Inventors: 劉亮
Original assignee: 大陸商北京富納特創新科技有限公司
Priority date: 2018-03-28
Filing date: 2018-10-18
Publication date: 2019-11-01
Also published as: TWI710247B; US20190306459A1; US10972699B2; CN110324559A; CN110324559B

Abstract

本發明涉及一本地視頻通信裝置，包括：本地半透明顯示器，用於顯示遠端的視頻資訊；本地攝像機陣列，用於拍攝複數本地使用者的視頻資訊；其中，本地半透明顯示器為裸眼3D顯示器，本地攝像機陣列是由複數本地攝像機排列形成；本地半透明顯示器包括一微處理單元；微處理單元包括：一視頻採集及處理模組，用於對每個本地使用者的視頻資訊進行採集及處理；一位置獲取模組，用於獲取每個本地用戶的臉部空間位置；一通訊模組，用於從遠端視頻通信裝置接收視頻及位置、發送視頻及位置至遠端視頻通信裝置；一顯示模組，用於顯示遠端的視頻。

Description

視頻通信裝置及方法

本發明涉及通信領域，特別涉及一種視頻通信裝置及方法。

隨著通信技術的發展，視頻通話方式已經越來越多出現在人們的工作和生活中，比如公司內的遠端視訊會議、與遠方親友的視頻聊天等。視頻通話在一定程度上拉近了人們之間的距離。然而，先前的遠端視訊、視頻通話系統都存在一個問題，就是無法直視對方的眼睛。這其中的原因就是顯示幕和攝像頭不在同一位置。如果對方要看著顯示幕說話，而這邊看到的圖像就是對方的眼睛就在看著別處，如果對方看著攝像頭，則對方無法看到這邊人物圖像的眼睛。因此，對話的雙方之間沒有眼神的交流，對話體驗不好。

有鑒於此，提供一種能夠讓視頻通話的雙方可以進行眼神交流的視頻通信裝置及方法實為必要。

一種本地視頻通信裝置，所述本地視頻通信裝置用於兩方視頻通信系統中的一方，該本地視頻通信裝置包括：一本地半透明顯示器，用於顯示遠端的視頻資訊；一本地攝像機陣列，用於拍攝複數本地使用者的視頻資訊；其中，所述本地半透明顯示器為裸眼3D顯示器，所述本地攝像機陣列是由複數本地攝像機排列形成的二維攝像機陣列；進一步，所述本地半透明顯示器包括一微處理單元；所述微處理單元包括：一視頻採集及處理模組，用於對每個本地使用者的視頻資訊進行採集及處理以能夠在遠端半透明顯示器中顯示；一位置獲取模組，用於獲取每個本地用戶的臉部空間位置資訊；一通訊模組，用於從遠端視頻通信裝置接收視頻資訊及位置資訊、發送視頻資訊及位置資訊至遠端視頻通信裝置；一顯示模組，用於顯示遠端的視頻資訊。

與先前技術相比較，本發明提供的視頻通信裝置，將攝像頭陣列設置在半透明螢幕的背後，並且可跟隨複數遠端用戶的頭部位置移動來即時選取對應的一個或複數攝像頭，從而複數本地使用者在看螢幕中遠端使用者的眼睛位置時，本地攝像頭拍到的就是本地用戶直視遠端用戶的面孔，通信的雙方可彼此直視對方的眼睛，中間只相當於隔了一塊透明玻璃，大大增加浸入感，通話體驗大為改善。

下面將結合具體實施例及附圖對本發明所提供的視頻通信裝置、視頻通信方法作進一步說明。

請參閱圖1，本發明第一實施例提供一種視頻通信系統1，該視頻通信系統1包括一本地視頻通信裝置10和一遠端視頻通信裝置10’。所述本地視頻通信裝置10和所述遠端視頻通信裝置10’分別用於視頻通話的雙方，所述本地視頻通信裝置10與遠端視頻通信裝置10’通過有線或無線相連接。所述本地視頻通信裝置10包括一本地半透明顯示器11和一本地攝像機陣列12；所述遠端視頻通信裝置10’包括一遠程半透明顯示器13和一遠端攝像機陣列14。所述本地攝像機陣列12設置於所述本地半透明顯示器11的背面，與遠端用戶在本地半透明顯示器11顯示畫面的位置對應的本地攝像機拍攝的視頻資訊傳遞給遠端視頻通信裝置10’。所述遠端攝像機陣列14設置於所述遠程半透明顯示器13的背面，與本地用戶在遠程半透明顯示器13顯示畫面的位置對應的遠端攝像機拍攝的視頻資訊傳遞給本地視頻通信裝置10。在此，所述本地視頻通信裝置10和遠端視頻通信裝置10’的結構特徵與作用相同，以下僅對所述本地視頻通信裝置10進行詳細描述。

所述本地半透明顯示器11用於顯示遠端的視頻資訊。所述本地半透明顯示器11顯示的遠端的視頻資訊是通過遠端攝像機陣列14拍攝並傳輸到本地半透明顯示器11的遠端視頻圖像。其中，半透明顯示器是半透明的，從半透明顯示器的背面可以捕捉到半透明顯示器前面的景象。請參閱圖2，為所述半透明顯示器的結構示意圖，所述半透明顯示器為裸眼3D顯示器，該半透明顯示器包括複數像素單元112a，該複數像素單元112a間隔分佈形成像素區域，且間隔區域112b是透明的，為透光區域；每個像素單元112a上均設置一微透鏡112c。所述像素單元112a為非透光結構，用於顯示視頻圖像；所述微透鏡112c僅覆蓋在所述像素單元112a上。所述裸眼3D顯示器可向位於不同方向的複數本地使用者提供視頻資訊，並根據每位使用者的方向顯示不同的視頻資訊。請參閱圖3，所述裸眼3D顯示器中每個像素單元112a的顯示區域按照角度可平均分成N個角度單元，N大於等於2。本實施例中，所述裸眼3D顯示器的顯示區域分為3個角度單元a、b、c，該裸眼3D顯示器同時在上述3個角度單元顯示的視頻資訊不同。請參閱圖4，當三位用戶A、B、C的視覺方向分別在上述三個不同的角度單元時，所看到的畫面也不同，使用者A、B、C看到的視頻資訊不同。人眼或本地攝像機陣列12可從所述本地半透明顯示器11背面的透光區域捕捉到本地半透明顯示器11前面的景象資訊。

所述本地半透明顯示器11中設置有一微處理單元100。請參閱圖5，該微處理單元100包括一視頻採集及處理模組101，一位置獲取模組102，一聲音處理模組103，一通訊模組104，一顯示模組105，和一中央控制模組107。所述視頻採集及處理模組101用於對每個本地使用者的視頻資訊進行採集及處理以能夠在遠程半透明顯示器13中顯示。其中，對視頻資訊的處理主要包括對視訊訊號進行剪裁、失真矯正及景物遮擋關係的計算等。具體地，該視頻採集及處理模組101可控制複數本地攝像機同時工作，僅選取與遠端使用者臉部畫面位置相對應的一組或多組本地攝像機所拍攝的視頻資訊，並處理生成與遠端使用者位置對應的視頻資訊；所述本地攝像機陣列12中的本地攝像機也可不同時工作，該視頻採集及處理模組101僅選擇與遠端使用者畫面位置相對應的一組或多組本地攝像機工作，並處理生成與遠端使用者位置對應的視頻資訊。所述位置獲取模組102用於獲取每個本地用戶的臉部空間位置資訊，優選地，用於獲取每個本地使用者的眼睛位置資訊。所述聲音處理模組103用於控制視頻資訊的聲音播放以及採集本地聲音。所述通訊模組104用於與遠端通訊，如從遠端視頻通信裝置接收視頻資訊及位置資訊、發送視頻資訊及位置資訊至遠端視頻通信裝置等。所述顯示模組105用於顯示遠端的視頻資訊，具體地，根據每個本地使用者的視覺方向顯示相應的遠端的視頻資訊。所述中央控制模組107用於協調各模組工作。具體地，所述位置獲取模組102獲取的位置資訊可通過所述中央控制模組107傳送給所述視頻採集及處理模組101，從而生成符合三維空間關係的視頻畫面。

所述本地攝像機陣列12用於拍攝本地使用者的視頻資訊，所述視頻資訊會被傳遞給遠端視頻通信裝置10’。具體地，所述本地攝像機陣列12設置於所述本地半透明顯示器11的背面，由於該本地半透明顯示器11是半透明的，所述本地攝像機陣列12可透過該本地半透明顯示器11拍攝到該本地半透明顯示器11前面的本地使用者的視頻資訊。請參閱圖6，所述本地攝像機陣列12是由複數本地攝像機排列形成的二維攝像機陣列。所述複數本地攝像機可同時工作，而僅與遠端使用者的顯示畫面位置相對應的一個或複數本地攝像機所拍攝的視頻資訊可被傳遞給遠端視頻通信裝置10’；該複數本地攝像機也可不用同時工作，僅與遠端使用者的顯示畫面位置相對應的一個或複數本地攝像機工作，且工作的本地攝像機所拍攝的視頻資訊會被傳遞給遠端視頻通信裝置10’，上述選取本地攝像機拍攝的視頻資訊可通過所述視頻採集和處理模組101獲取得到。當遠端使用者在本地透明顯示器上的顯示的位置位於幾個本地攝像機之間時，本地視頻採集和處理模組將選取幾個最近的本地攝像機拍攝的視頻資訊，通過計算合成遠端用戶所在的真實位置應當看到的視頻資訊，並傳遞給遠端視頻通信系統。

當所述本地半透明顯示器11顯示有複數遠端使用者的畫面時，該複數遠端使用者的畫面對應所述本地攝像機陣列12中的多個或多組本地攝像機，該多個或多組本地攝像機所拍攝的視頻資訊會同時被傳遞給遠端視頻通信裝置10’。當遠端使用者的畫面的位置移動變化時，其所對應的本地攝像機陣列12中選取的本地攝像機也在不斷改變。具體地，在實施例中，本地攝像機所對應的遠端使用者畫面的位置是指遠端使用者的臉部圖像的位置，優選地，該本地攝像機的位置對應於遠端用戶的眼睛的位置，從而使得本地用戶與遠端用戶可以有對視的真實體驗。上述與遠端使用者畫面相對應的本地攝像機相當於遠端用戶的眼睛，當遠端使用者畫面移動時，其對應的本地攝像機也相應改變，不同位置的本地攝像機所拍攝的畫面不同，因此，遠端用戶在移動時看到的畫面也是不同的。

具體地，所述視頻採集及處理模組101會根據遠端使用者畫面的位置資訊選取相應位置的攝像機，從而精確捕捉到相應的畫面。從而遠端用戶能夠擁有更真實的浸入式體驗。具體地，當遠端使用者臉部圖像僅對應一個攝像機時，所述視頻採集及處理模組101會選取該攝像機所拍攝的視頻資訊；當遠端使用者臉部圖像變大同時對應複數攝像機時，所述視頻採集及處理模組101會從該複數攝像機中選取對應眼睛位置的攝像機拍攝的視頻資訊；當遠端使用者臉部圖像再變大時，遠端用戶的眼睛位置分別對應一攝像機，所述視頻採集及處理模組101可選取該眼睛位置對應的兩攝像機的視頻資訊並將兩視頻資訊進行合成，或者也可選取眼睛間距的中間位置處對應的攝像機所拍攝的視頻資訊；當遠端使用者臉部圖像進一步變大時，遠端用戶的每只眼睛對應複數攝像機，所述視頻採集及處理模組101可選取眼睛瞳孔位置處對應的攝像機所拍攝的視頻資訊，或者也可選取眼睛對應的複數攝像機所拍攝的視頻資訊並進行合成。

進一步，所述本地攝像機陣列12中的本地攝像機可為雙目攝像頭。所述雙目攝像頭可類比人眼的雙目視覺，根據兩攝像頭拍攝的景物資訊，三維計算得到景物的深度資訊。例如，根據本地攝像機陣列12中兩攝像機拍攝的視頻資訊得到本地使用者距離顯示幕的深度資訊，再把該深度資訊傳遞給遠端視頻通信裝置10’，所述遠端視頻通信裝置10’會根據深度資訊計算並選取本地使用者在該位置應當看到的視野範圍和景物之間的遮擋關係的視頻資訊。請參閱圖7，從圖中可以看出，當本地用戶位於顯示幕前的M位置處時，其對應的視野範圍較大；當位於N位置處時，其對應的視野範圍變小。具體地，遠端攝像機相當於本地用戶的眼睛，本地用戶可在本地的顯示幕前前後移動，而遠端攝像機距離遠端顯示幕的距離固定不變，因此，遠端攝像機需拍攝相對較大的視野範圍，優選地，視角達到180^o 視野範圍的攝像機。這樣所述顯示模組105才能根據本地使用者距離本地半透明顯示器11的位置資訊從較大的視野範圍中選取相應的視野範圍的視頻資訊進行顯示。在此，所述本地攝像機陣列12和遠端攝像機陣列14的攝像頭均為廣角、高像素攝像頭。

上述深度資訊的計算可由本地半透明顯示器11中的位置獲取模組102完成，也可將數據傳到雲上完成計算再發送給遠端，以保證資料傳輸的即時性。進一步，為了能在豎直方向上計算遮擋關係，所述本地攝像機陣列12的每個本地攝像機還可為4個攝像頭組成的攝像機。進一步，在本地還可增設一深度感測器120，以專門感測本地景物的深度資訊；在遠端還可增設一深度感測器140，以專門感測遠端景物的深度資訊。上述深度資訊的傳輸可由本地半透明顯示器11中的通訊模組104完成。

進一步，請參閱圖8，在所述本地半透明顯示器11上還可設置一揚聲器陣列17，所述揚聲器陣列17均勻分佈於本地半透明顯示器11的背面，也可以超出半透明顯示裝置11的範圍設置，根據對方的聲源位置模擬對方說話的方位。該揚聲器陣列17可設置在所述本地攝像機陣列12遠離該本地半透明顯示器11的一側。請參閱圖9，在所述本地半透明顯示器11的前方設置複數立體聲麥克風18，用以採集實際聲場用以傳輸給對方。上述設置可使用戶在聽覺上同樣有身臨其境的感覺，如在視頻畫面中看不到的地方有只貓叫，對方也能聽出方位。

本發明提供的本地視頻通信裝置10具有以下優點：將攝像頭陣列設置在半透明螢幕的背後，並且可跟隨複數遠端用戶的頭部位置移動來即時選取對應的一個或複數攝像頭，從而複數本地使用者在看螢幕中遠端使用者的眼睛位置時，本地攝像頭拍到的就是本地用戶直視遠端用戶的面孔，通信的雙方可彼此直視對方的眼睛，中間只相當於隔了一塊透明玻璃，大大增加浸入感，通話體驗大為改善。

請參閱圖10，本發明第二實施例提供一種視頻通信系統2，該視頻通信系統2包括一本地半透明顯示器11，一本地攝像機陣列12，一本地識別定位裝置15，一遠程半透明顯示器13，一遠端攝像機陣列14，一遠端識別定位裝置16。所述本地識別定位裝置15設置於所述本地半透明顯示器11上，用於識別複數本地使用者的人臉位置資訊。根據該複數遠端使用者在本地半透明顯示器11上顯示畫面的位置，選取對應的本地攝像頭。所述遠端識別定位裝置16設置於所述遠程半透明顯示器13上，用於識別複數遠端使用者的人臉位置資訊。根據複數本地使用者在遠程半透明顯示器13上顯示畫面的位置，選取對應的遠端攝像頭。

本實施例所提供的視頻通信系統2與第一實施例提供的視頻通信系統1基本相同，其區別在於，所述視頻通信系統2增加了一本地識別定位裝置15和一遠端識別定位裝置16。所述本地識別定位裝置15用於識別並計算複數本地使用者的位置資訊，並將複數本地使用者的位置資訊傳遞至遠端攝像機陣列14。所述本地攝像機陣列12只用於拍攝複數本地使用者的視頻資訊。所述遠端識別定位裝置16用於識別並計算複數遠端使用者的位置資訊，並將複數遠端使用者的位置資訊傳遞至本地攝像機陣列12。所述遠端攝像機陣列14只用於拍攝複數遠端使用者的視頻資訊。所述本地識別定位裝置15和所述遠端識別定位裝置16可為光學攝像頭、紅外攝像頭、需與用戶佩戴的位置標籤式感測器配合使用的位置檢測單元等。本實施例中，所述本地識別定位裝置15和所述遠端識別定位裝置16均為kinect裝置。

請參閱圖11，本發明第三實施例提供一種適用於所述本地視頻通信裝置10的通信方法，其包括以下步驟： S11，從遠端視頻通信裝置10’獲取遠端的視頻圖像資訊； S12，將遠端的視頻圖像資訊顯示於本地半透明顯示器11； S13，獲取本地半透明顯示器11上複數遠端使用者畫面的位置資訊； S14，在本地攝像機陣列12中選取與所述複數遠端使用者畫面的位置對應的本地攝像機，並將選取的複數本地攝像機拍攝的視頻圖像發送給遠端視頻通信裝置10’。

在步驟S11中，所述遠端的視頻圖像資訊通過所述遠端攝像機陣列14拍攝得到。所述遠程攝像機陣列14位於遠程半透明顯示器13的背面，該遠程攝像機陣列14透過該遠程半透明顯示器13拍攝複數遠端使用者的視頻圖像資訊。在攝像機透過半透明顯示器拍攝時，半透明顯示器中可發光的像素部分由於在像素下有遮光層遮擋，光線不會進入到顯示器的背面，從而避免了干擾攝像機工作，因此，在半透明顯示器工作的過程中，其背面的攝像機也可以即時工作。優選地，為了使得攝像機工作時不會有光線的干擾，半透明顯示器的圖像顯示幀和攝像機的圖像採集幀可採用分幀錯開的方法。具體地，請參閱圖12，半透明顯示器的圖像顯示幀和攝像頭的圖像採集幀是一幀一幀交替工作，在圖像顯示幀工作時，攝像頭的圖像採集幀關閉；在圖像顯示幀關閉時，攝像頭的圖像採集幀工作。其中，圖像顯示幀和圖像採集幀的交替時間很短，人眼無法區分，所以不會對人們的視頻通信體驗造成影響。

當遠端有複數遠端用戶時，所述複數遠端用戶會對應複數遠端攝像機，從而該複數攝像機會拍攝複數視頻資訊。該複數視頻資訊通過遠端視頻通信裝置10’處理合成形成所述遠端的視頻圖像資訊。本地視頻通信裝置10通過所述通訊模組104接收獲取遠端的視頻圖像資訊。

在步驟S12中，所述本地半透明顯示器11在接收獲取遠端的視頻圖像資訊後，該遠端的視頻圖像資訊會通過所述顯示模組105顯示於本地半透明顯示器11上。所述本地半透明顯示器11是裸眼3D顯示器會根據每位本地使用者的位置及方向顯示相對應的遠端視頻圖像資訊。

在步驟S13中，在本地半透明顯示器11上顯示的每個遠端使用者畫面的位置資訊可通過以下兩種方式獲取。一、每個遠端使用者畫面的位置資訊可通過專門的識別定位裝置識別得到。其中，在所述遠端視頻通信裝置10’上可專門設置一識別定位裝置，用以識別遠端使用者人臉位置得到每個遠端使用者畫面的位置資訊。所述識別定位裝置可為光學攝像頭、紅外攝像頭、需與用戶佩戴的位置標籤式感測器配合使用的位置檢測單元等。二、從攝像機拍攝的視頻中採用圖像識別方法得到每個遠端使用者在視頻中的相對位置，再結合攝像機自身位置計算確定每個遠端用戶的位置。

在步驟S14中，在本地攝像機陣列12中選取與所述複數遠端使用者畫面的位置對應的本地攝像機可通過所述視頻採集及處理模組101完成。由於被選取的複數本地攝像機位於每個遠端使用者畫面的後方，因此當本地使用者看向螢幕中的遠端使用者時，位於顯示器後的本地攝像機正好拍攝到本地使用者直視的畫面，從而遠端使用者可以看到本地使用者直視自己的畫面。被選取的複數本地攝像機所拍攝的視頻圖像會通過所述通訊模組104傳遞給遠端視頻通信裝置10’。

當然，在視頻通信的過程中，若一方用戶離開攝像機的視野範圍，則該用戶所對應的對方的攝像機陣列不再根據使用者畫面位置選取攝像機，這時視頻通信裝置可提前設置一初始位置，即當視頻通信裝置前沒有使用者時，其後方的攝像機陣列可選擇一固定攝像機工作。例如，當遠端使用者離開其所在視頻通信的房間後，超出了遠端攝像機陣列14或遠端識別定位裝置對於人臉識別的視野範圍，該遠端用戶所對應的本地攝像機陣列12中只有中間位置的本地攝像機工作，這時，所述遠程半透明顯示器13所播放的視頻的視野範圍不再改變。然而，由於本地用戶依然在本地半透明顯示器11前，該本地用戶所對應的遠端攝像頭仍會根據本地使用者的位置移動，本地用戶依然可觀看到遠端不同視野範圍的景象。

本發明提供的視頻通信方法具有以下優點：通過即時選取一個或複數攝像頭，使用者雙方在視頻通信時能夠彼此注視對方的眼睛，增加交互體驗；用戶在顯示幕前移動時，其對應的攝像頭也在相應即時選取，拍攝到的畫面也在不斷變化，從而使得用戶在移動時看到的畫面也在不斷改變，沉浸感增加。

請參閱圖13，本發明第四實施例提供一種視頻通信系統3，該視頻通信系統3包括複數視頻通信裝置。所述複數視頻通信裝置分別用於視頻通話的多方，該複數視頻通信裝置通過有線或無線兩兩相互連接。設定該視頻通信系統包括N個視頻通信裝置，N大於等於3。本實施例中，N為3，即該視頻通信系統3包括一視頻通信裝置30、一視頻通信裝置30’、和一視頻通信裝置30’’。所述視頻通信裝置30包括一半透明顯示器31和一攝像機陣列32。所述攝像機陣列32設置於所述半透明顯示器31的背面，僅與其他兩方的遠端使用者在半透明顯示器31顯示畫面的位置對應的攝像機拍攝的視頻資訊分別傳遞給兩方的視頻通信裝置。所述視頻通信裝置30’包括一半透明顯示器33和一攝像機陣列34。所述攝像機陣列34設置於所述半透明顯示器33的背面，僅與其他兩方的遠端使用者在半透明顯示器33顯示畫面的位置對應的攝像機拍攝的視頻資訊分別傳遞給兩方的視頻通信裝置。所述視頻通信裝置30’’包括一半透明顯示器35和一攝像機陣列36。所述攝像機陣列36設置於所述半透明顯示器35的背面，僅與其他兩方的遠端使用者在半透明顯示器35顯示畫面的位置對應的攝像機拍攝的視頻資訊分別傳遞給兩方的視頻通信裝置。在此，所述視頻通信裝置30、視頻通信裝置30’和視頻通信裝置30’’的結構特徵與作用均相同，以下會對所述視頻通信裝置30進行詳細描述。

請參閱圖14，所述半透明顯示器31用於顯示其他兩方的視頻資訊。所述其他兩方的視頻資訊可通過在所述半透明顯示器31的顯示幕上的不同位置設置虛擬視窗310顯示。設定參與視頻通話的三方使用者分別為U1、U2、U3，三方用戶分別對應的半透明顯示器31、32、33，則用戶U1在所述半透明顯示器31前可看到顯示U2、U3使用者畫面的視頻資訊，U2、U3使用者畫面的視頻資訊通過虛擬視窗310顯示在所述半透明顯示器31上。其中，顯示U2、U3使用者畫面的虛擬視窗310可根據使用者的數量調節視窗的個數、排布順序及大小等。所述半透明顯示器31是半透明的，從該半透明顯示器31的背面可以捕捉到該半透明顯示器31前面的景象。請參閱圖15，為所述半透明顯示器31的結構示意圖，所述半透明顯示器31包括複數像素單元112a，該複數像素單元112a間隔分佈，且間隔區域112b是透明的，為透光區域。所述像素單元112a為非透光區域，用於顯示視頻圖像。人眼或所述攝像機陣列32可從所述半透明顯示器31的背面透過該間隔區域112b捕捉到所述半透明顯示器31前面的景象資訊。

所述半透明顯示器31中設置有一微處理單元300。請參閱圖16，該微處理單元300包括一視頻採集及處理模組301，一位置獲取模組302，一聲音處理模組303，一通訊模組304，一顯示模組305，和一中央控制模組307。所述視頻採集及處理模組301用於對本地使用者的視頻資訊進行採集及處理以能夠在遠端半透明顯示器中顯示。其中，對視頻資訊的處理主要包括對視訊訊號進行剪裁、失真矯正及景物遮擋關係的計算等。所述位置獲取模組302用於獲取本地使用者的臉部空間位置資訊，優選地，用於獲取本地使用者的眼睛位置資訊。所述聲音處理模組303用於控制視頻資訊的聲音播放以及採集本地聲音；所述通訊模組304用於與遠端通訊，如從遠端視頻通信裝置接收視頻資訊及位置資訊、發送視頻資訊及位置資訊至遠端視頻通信裝置等。所述顯示模組305用於根據通過複數虛擬視窗310的設置，對複數遠端視頻資訊進行矯正處理，並通過虛擬視窗310在所述半透明顯示器31中顯示。所述中央控制模組307用於協調控制各模組工作。

請參閱圖17，未經處理的U2、U3使用者的視頻資訊可直接通過虛擬視窗在所述半透明顯示器31中顯示，其中，顯示U2使用者視頻資訊的虛擬視窗和顯示U3使用者視頻資訊的虛擬視窗以方框形式平鋪於顯示桌面上；所述U2、U3使用者的視頻資訊也可通過所述顯示模組305進行矯正處理後以立體形式顯示在所述半透明顯示器31中，顯示矯正後的U2、U3使用者視頻資訊的虛擬視窗可為能呈現立體感覺的梯形框。所述顯示模組305對未經處理的U2、U3使用者的視頻資訊進行視頻矯正以分別顯示在對應的虛擬視窗裡，但矯正後視頻裡景物的相對位置不會發生變化。如，U2使用者矯正前位於螢幕的一邊，矯正後在虛擬視窗中仍在一邊；U3使用者矯正前位於螢幕的中間，矯正後仍在虛擬視窗的中間。同時，所生成的立體虛擬視窗，相對於本地半透明顯示器31的空間相對位置也會通過通訊模組304發送給遠端視頻通信裝置30’和30’’，遠端視頻矯正模組將根據此空間相對位置生成遠端的虛擬視窗，使得多方的虛擬窗口空間位置保持一致。這樣，當U2用戶與U3用戶對視時，該半透明顯示器31前的U1用戶可觀察到U2用戶與U3使用者對視的畫面。所述虛擬視窗的位置定義和調整，可由視頻通話中的一方或多方用戶進行調整。

本實施例中所述攝像機陣列32與本發明第一實施例的本地攝像機陣列12的結構特徵以及根據使用者畫面的位置選擇攝像機的方法均相同，在此不再贅述。在所述半透明顯示器31上顯示的複數使用者畫面是來自多方的視頻通信裝置，因此，分別與不同使用者畫面對應的攝像機所拍攝的視頻會被傳遞不同的視頻通信裝置。

本發明提供的視頻通信裝置30具有以下優點：將攝像頭設置在半透明螢幕的背後，並且可跟隨多方遠端用戶的頭部位置移動來即時選取對應的一個或複數攝像頭，從而本地使用者在看螢幕中遠端使用者的眼睛位置時，本地攝像頭拍到的就是本地用戶直視遠端用戶的面孔，通信的任意雙方可彼此直視對方的眼睛，中間只相當於隔了一塊透明玻璃，大大增加浸入感，通話體驗大為改善。

請參閱圖18，本發明第五實施例提供一種適用於所述視頻通信裝置30的通信方法，其包括以下步驟： S21，從所述視頻通信裝置30’和所述視頻通信裝置30’’中分別獲取視頻圖像資訊； S22，將每一方的視頻圖像資訊分別顯示於本地半透明顯示器31的一立體式設置的虛擬視窗310中； S23，獲取虛擬視窗310中複數使用者顯示畫面的位置資訊； S24，在所述攝像機陣列32中選取與該複數使用者顯示畫面的位置對應的攝像機，並將選取的每個攝像機拍攝的視頻圖像發送至相應的使用者使用的視頻通信裝置上。

在步驟S21中，本實施例中獲取視頻圖像資訊的方法與本發明第三實施例中獲取視頻圖像資訊的方法基本相同，其區別在於，所述視頻通信裝置30同時獲取其他兩方的視頻圖像資訊，即通過該視頻通信裝置30’中攝像機陣列34拍攝的視頻資訊和通過該視頻通信裝置30’’中攝像機陣列36拍攝的視頻資訊。

在步驟S22中，所述半透明顯示器31中的視頻採集及處理模組301可根據獲取的視頻數量設置虛擬視窗310的數量及排布，再對所述複數視頻圖像資訊進行矯正處理以顯示於對應的虛擬視窗310中。具體地，每個視頻圖像資訊均顯示於一單獨的立體式的虛擬視窗310中。所述立體式的虛擬視窗是指虛擬視窗並非平鋪顯示於所述半透明顯示器31中，而是呈空間三維立體方式呈現在所述半透明顯示器31中。其中，虛擬視窗的形狀、大小、位置分佈可根據視頻數量或具體需要進行調節，如圖19所示，複數虛擬視窗可在同一水準高度依次排開，複數虛擬視窗獨立分佈，當本地用戶通過顯示器與其他用戶通話時，就像所有人圍成一圈互相交流，如同多為用戶圍在一圓桌或方桌前交流，而其中任意兩個人均可以直接眼神交流。

在步驟S23中，本實施例中獲取使用者畫面的位置資訊的方法與本發明第三實施例中獲取使用者畫面的位置資訊的方法相同，在此不再贅述。

在步驟S24中，本實施例中選取攝像機的方法與本發明第三實施例中獲選取攝像機的方法相同，在此不再贅述。選取攝像機後，每個攝像機拍攝的視頻圖像僅會發送給相應使用者所使用的視頻通信裝置，具體地，每個攝像機對應於哪個使用者的顯示畫面，該攝像機所拍攝的視頻就會傳送給哪個使用者所使用的視頻通信裝置上。請參閱圖20，設定在所述攝像機陣列32中所選定的攝像機分別為321和322，所述攝像機321對應於U2使用者畫面的位置，所述攝像機322對應於U3使用者畫面的位置。該攝像機321會將拍攝的U1使用者的視頻資訊發送給U2使用者所使用的視頻通信裝置30’。所述攝像機322會將拍攝的U1使用者的視頻資訊發送給U3使用者所使用的視頻通信裝置30’’。同樣地，所述攝像機341會將拍攝的U2使用者的視頻資訊發送給所述視頻通信裝置30；所述攝像機342會將拍攝的U2使用者的視頻資訊發送給所述視頻通信裝置30’’；所述攝像機361會將拍攝的U3使用者的視頻資訊發送給所述視頻通信裝置30；該攝像機362會將拍攝的U3使用者的視頻資訊發送給所述視頻通信裝置30’。

綜上所述，本發明確已符合發明專利之要件，遂依法提出專利申請。惟，以上所述者僅為本發明之較佳實施例，自不能以此限制本案之申請專利範圍。舉凡習知本案技藝之人士援依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。

1、2、3‧‧‧視頻通信系統

10‧‧‧本地視頻通信裝置

10’‧‧‧遠端視頻通信裝置

100、300‧‧‧微處理單元

101‧‧‧視頻採集及處理模組

102、302‧‧‧位置獲取模組

103、303‧‧‧聲音處理模組

104、304‧‧‧通訊模組

105、305‧‧‧顯示模組

107、307‧‧‧中央控制模組

11‧‧‧本地半透明顯示器

12‧‧‧本地攝像機陣列

13‧‧‧遠程半透明顯示器

14‧‧‧遠程攝像機陣列

112a‧‧‧像素單元

112c‧‧‧微透鏡

120、140‧‧‧深度感測器

15‧‧‧本地識別定位裝置

16‧‧‧遠端識別定位裝置

17‧‧‧揚聲器陣列

18‧‧‧麥克風

30、30’、30’’‧‧‧視頻通信裝置

31、33、35‧‧‧半透明顯示器

32、34、36‧‧‧攝像機陣列

321、322、341、342、361、362‧‧‧攝像機

圖1是本發明第一實施例提供的視頻通信系統的結構示意圖。

圖2是本發明提供的半透明顯示器的結構示意圖。

圖3是本發明提供的半透明顯示器的顯示區域的劃分示意圖。

圖4是本發明提供的本地使用者視覺方向劃分示意圖。

圖5是本發明提供的微處理單元的結構示意圖。

圖6是本發明提供的攝像機陣列的結構示意圖。

圖7是本發明提供的用戶位置與視野範圍的關係示意圖。

圖8是本發明提供的揚聲器陣列的結構示意圖。

圖9是本發明提供的麥克風陣列的結構示意圖。

圖10是本發明第二實施例提供的視頻通信系統的結構示意圖。

圖11是本發明第三實施例提供的視頻通信方法的流程圖。

圖12是本發明提供的半透明顯示器的圖像顯示幀和攝像頭的採集幀的工作原理圖。

圖13是本發明第四實施例提供的視頻通信系統的結構示意圖。

圖14是本發明提供的半透明顯示器顯示畫面的示意圖。

圖15是本發明提供的半透明顯示器的結構示意圖。

圖16是本發明提供的微處理單元的結構示意圖。

圖17是本發明提供的視頻顯示畫面矯正前後的示意圖。

圖18是本發明第五實施例提供的視頻通信方法的流程圖。

圖19是本發明提供的半透明顯示器中虛擬視窗的排布示意圖。

圖20是本發明提供的視頻通信系統中攝像機與視頻通信裝置的對應圖。

無

Claims

一種本地視頻通信裝置，所述本地視頻通信裝置用於兩方視頻通信系統中的一方，該本地視頻通信裝置包括：一本地半透明顯示器，用於顯示遠端的視頻資訊；一本地攝像機陣列，用於拍攝複數本地使用者的視頻資訊；其改進在於，所述本地半透明顯示器為裸眼3D顯示器，所述本地攝像機陣列是由複數本地攝像機排列形成的二維攝像機陣列；進一步，所述本地半透明顯示器包括一微處理單元；所述微處理單元包括：一視頻採集及處理模組，用於對每個本地使用者的視頻資訊進行採集及處理以能夠在遠端半透明顯示器中顯示；一位置獲取模組，用於獲取每個本地用戶的臉部空間位置資訊；一通訊模組，用於從遠端視頻通信裝置接收視頻資訊及位置資訊、發送視頻資訊及位置資訊至遠端視頻通信裝置；一顯示模組，用於顯示遠端的視頻資訊。
如請求項1所述的本地視頻通信裝置，其中，所述位置獲取模組用於獲取每個本地使用者的眼睛位置資訊。
如請求項1所述的本地視頻通信裝置，其中，所述顯示模組用於根據每個本地使用者的位置顯示相應的遠端視頻資訊。
如請求項1所述的本地視頻通信裝置，其中，進一步包括一本地識別定位裝置設置於所述本地半透明顯示器上，用於識別每個本地使用者的人臉位置資訊，並將該人臉位置資訊通過所述通訊模組傳遞給遠端使用者，所述本地識別定位裝置為光學攝像頭、紅外攝像頭、需與用戶佩戴的位置標籤式感測器配合使用的位置檢測單元中的一種。
如請求項1所述的本地視頻通信裝置，其中，所述視頻採集及處理模組對每個本地使用者的視頻資訊進行採集及處理的方法為：控制複數本地攝像機同時工作，選取僅與遠端使用者臉部圖像位置對應的一組或多組本地攝像機拍攝的視頻資訊，計算所述一組或多組本地攝像機拍攝的視頻資訊獲得一與遠端使用者位置對應的視頻資訊。
如請求項1所述的本地視頻通信裝置，其中，所述視頻採集及處理模組對每個本地使用者的視頻資訊進行採集及處理的方法為：從複數本地攝像機中選取與遠端使用者臉部圖像位置對應的一組或多組本地攝像機，僅使該選取的一組或多組本地攝像機工作並計算獲得與遠端使用者位置對應的視頻資訊。
一種視頻通信方法，該方法適用於請求項1-6中任一本地視頻通信裝置，該方法包括以下步驟：獲取遠端的視頻圖像資訊；將遠端的視頻圖像資訊顯示於本地半透明顯示器；獲取複數遠端使用者臉部圖像在本地半透明顯示器上的位置資訊；在本地攝像機陣列中選取與所述複數遠端使用者臉部圖像在本地半透明顯示器上的位置資訊對應的本地攝像機，並將選取的複數本地攝像機拍攝的視頻圖像發送給遠端視頻通信裝置。
如請求項7所述的視頻通信方法，其中，所述本地半透明顯示器的圖像顯示幀和本地攝像頭的圖像採集幀交替工作。
如請求項7所述的視頻通信方法，其中，獲取複數遠端使用者臉部圖像在本地半透明顯示器上的位置資訊的方法為：在遠端視頻中採用圖像識別方法得到每個遠端使用者臉部圖像的相對位置，再結合遠端攝像機的自身位置，計算得到每個遠端使用者臉部圖像的位置資訊。
如請求項7所述的視頻通信方法，其中，獲取複數遠端使用者臉部圖像在本地半透明顯示器上的位置資訊的方法為：通過專門的識別定位裝置直接識別得到每個遠端使用者臉部圖像的位置資訊。