TWI384867B - 用於一視訊裝置之影像矯正方法及其相關裝置 - Google Patents

Description

用於一視訊裝置之影像矯正方法及其相關裝置

本發明係指一種用於一視訊裝置之影像矯正方法及其相關裝置，尤指一種根據該視訊裝置之一使用者所觀看之一視訊影像的位置，矯正該視訊影像的影像矯正方法及其相關裝置。

在網路技術發達的現代生活中，傳統僅有聲音傳輸的網路電話或文字訊息已無法滿足大眾對於通訊品質的需求。因此，視訊電話成了人與人之間更有效率的通訊介面之一。人們透過視訊電話或視訊會議即時地看到彼此的影像，更正確地傳遞訊息。

在常用的視訊裝置如桌上型電腦或筆記型電腦中，相機通常設置於螢幕的上方，視訊裝置的使用者(以下簡稱發訊者)透過螢幕中間的視窗觀看對方的臉部影像。視訊裝置亦透過相機拍攝發訊者的臉部影像，傳送至另一視訊裝置的使用者(以下簡稱受訊者)。請參考第1圖，第1圖為一習知視訊裝置及其使用者之關係的示意圖。在第1圖中，使用視訊裝置A之發訊者與使用視訊裝置B之受訊者正在進行視訊電話。由於相機的位置與視窗中的臉部影像有一段距離，且發訊者的視線對著受訊者的臉部影像而非相機，因此形成一偏移的視角θ。受訊者由發訊者的影像(如視訊裝置B之螢幕中央的虛線影像)中，將看到發訊者的視線偏移了視角θ朝下看，而不是看著受訊者。因此，雙方的視訊溝通感覺將受影響。只有當發訊者的視線對著相機，受訊者才能收到兩人面對面，視線相對的影像。但如此一來，發訊者無法由螢幕中央的視窗得知受訊者的視線是否看著自己。簡言之，使用視訊電話溝通的兩人於觀看彼此的影像時，皆感覺對方沒有看著自己。

為了克服上述問題，部分視訊裝置假設發訊者的視線對著相機，且發訊者與相機之間為一固定距離(實際上，發訊者的視線是對著受訊者的臉部影像)。請繼續參考第1圖，視訊裝置A根據發訊者與相機之間的距離D1，以及相機與受訊者的臉部影像的距離D2之間的相對位置，得到視角θ。視訊裝置A根據視角θ對所拍攝的發訊者的臉部影像進行影像處理，而後將影像處理完成的臉部影像，傳送至視訊裝置B。如此一來，視訊裝置B之受訊者將能感覺發訊者在看著自己，達到了面對面視訊的效果。

然而，習知技術沒有考慮受訊者使用視訊裝置的情況。如第1圖所示，受訊者在進行視訊電話時，同時於其他視窗進行工作如文件編輯或程式寫作，視訊電話的視窗為視訊裝置B之螢幕左下方的實線影像。在此情形下，即使視訊裝置A已對發訊者的臉部影像進行影像處理，在受訊者看來，發訊者的視線方向為V1，而非V2。也就是說，受訊者仍然感覺發訊者沒有看著自己。

簡言之，習知技術只根據發訊者的眼睛位置及相機位置，對發訊者的臉部影像進行調整，但沒有考慮受訊者使用視訊裝置的情形。當受訊者所使用的視訊視窗非位於螢幕中央時，習知視訊裝置無法提供受訊者自然的眼神交流。

因此，本發明主要提供一種用於一視訊裝置之影像矯正方法及其相關裝置。

本發明揭露一種用於一視訊裝置之影像矯正方法，用來矯正該視訊裝置所接收的影像，該影像處理方法包含有接收一發訊者之影像；計算該發訊者之一第一偏移視角；計算該視訊裝置之一受訊者之一第二水平偏移視角及一第二垂直偏移視角；以及根據該第一偏移視角、該第二水平偏移視角及該第二垂直偏移視角，對該發訊者之影像進行影像合成，以產生一與該受訊者面對面之影像。

本發明另揭露一種用於一視訊裝置之影像矯正裝置，用來矯正該視訊裝置所接收的影像，該影像處理裝置包含有一接收單元，用來接收一發訊者之影像；一角度估測單元，耦接於該接收單元，用來計算該發訊者之一第一偏移視角、該視訊裝置之一受訊者之一第二水平偏移視角及一第二垂直偏移視角；以及一影像合成單元，耦接於該接收單元及該角度估測單元，用來根據該第一偏移視角、該第二水平偏移視角及該第二垂直偏移視角，對該發訊者之影像進行影像合成，以產生一與該受訊者面對面之影像。

請參考第2圖，第2圖為本發明實施例一流程20之示意圖。流程20用於一可進行視訊電話或視訊會議的視訊裝置，如一筆記型電腦，用來矯正視訊裝置所接收的視訊影像，使視訊裝置的使用者可以觀看到面對面的影像。流程20包含以下步驟：

步驟200：開始。

步驟202：接收一發訊者之影像。

步驟204：計算該發訊者之一第一偏移視角。

步驟206：計算該視訊裝置之一受訊者之一第二水平偏移視角及一第二垂直偏移視角。

步驟208：計算該視訊裝置之一面板相對於一鉛垂線之一偏斜角度。

步驟210：根據該第一偏移視角、該第二水平偏移視角、該第二垂直偏移視角及該視訊裝置之偏斜角度，對該發訊者之影像進行影像合成，以產生一與該受訊者面對面之影像。

步驟212：結束。

在此請先注意，本發明實施例在於使視訊裝置的使用者可以觀看到面對面的影像，為方便說明，流程20係以接收影像的受訊者的觀點來描述，並假設進行視訊電話的與會人員包含一位發訊者及一位受訊者。實際上，進行視訊電話的發訊者或受訊者皆可不只一位，且本發明實施例可用於進行視訊電話的所有視訊裝置中。

請同時參考第1圖，以了解視訊裝置及其使用者的關係。流程20係運作於如第1圖所示之視訊裝置B。流程20假設發訊者的影像為尚未經過影像矯正即送出的影像，因此，當視訊裝置B收到發訊者的影像後，視訊裝置B於步驟204中計算發訊者之第一偏移視角。第一偏移視角係發訊者對相機的視線，以及發訊者對視訊裝置A中所顯示之受訊者之影像的視線所形成的角度，亦即第1圖中的視角θ。視訊裝置B根據適當的演算法，如移動估測(Motion Estimation)演算法，計算發訊者之影像的深度變化，如臉部細節的深度變化，取得第一偏移視角。

另一方面，對受訊者來說，進行視訊電話的視窗可能不位於視訊裝置B之螢幕中央。即使發訊者的第一偏移視角已經矯正，受訊者仍會感覺發訊者沒有看著自己。因此，於步驟206中，視訊裝置B根據視訊裝置B中之一相機、受訊者、及視訊裝置B中所顯示之發訊者之影像這三者的相對位置，取得第二水平偏移視角及第二垂直偏移視角。關於第二水平偏移視角及第二垂直偏移視角的關係，請參考第3圖。第3圖為一視訊影像之偏移視角的示意圖。在第3圖中，d_y 為第二水平偏移視角；d_z 為第二垂直偏移視角；S_W 及S_L 為螢幕的解析度；P為受訊者至視訊裝置B之螢幕的垂直距離；W及L分別為螢幕的寬度及長度；r_y 及r_z 分別為相機至視訊視窗之距離的水平畫素數量及垂直畫素數量。第二水平偏移視角d_y 及第二垂直偏移視角d_z 可由下列方程式取得：

在本發明實施例中，發訊者之影像於螢幕中的位置係根據受訊者所使用之一滑鼠游標的位置而取得。若受訊者將滑鼠游標移至發訊者之臉部影像的眼睛位置，d_y 及d_z 將得到最準確的數值，如此一來，受訊者之影像可被最精確地矯正。值得注意的是，上述之偏移視角的測量皆基於視訊裝置B的螢幕與鉛垂線平行的條件上。

請參考第4圖，第4圖為一視訊裝置之一面板之一偏斜角度之示意圖。若視訊裝置的螢幕與一鉛垂線(如第4圖中的虛線)之間形成一偏斜角度Ψ，即使視訊裝置根據第一偏移視角、第二水平偏移視角及第二垂直偏移視角矯正發訊者之影像，受訊者仍會覺得發訊者是往上方看，而非看著自己。因此，在步驟208中，視訊裝置計算其面板相對於鉛垂線之偏斜角度。在流程20中，步驟204至208皆為計算角度的步驟，沒有固定的先後順序。對視訊裝置來說，只要在進行影像合成之前取得上述四個角度即可。接下來，在步驟210中，視訊裝置共根據下列四個角度：第一偏移視角、第二水平偏移視角、第二垂直偏移視角及面板的偏斜角度，對發訊者之影像進行影像合成，以產生與受訊者面對面的影像。進一步說，視訊裝置根據適當的演算法，如一深度圖像繪圖法(Depth Image Based Rendering)，對第一偏移視角、第二水平偏移視角、第二垂直偏移視角、面板的偏斜角度及發訊者之影像進行影像合成運算，以產生與受訊者面對面的影像。如此一來，受訊者才會真正覺得發訊者在看著自己。

值得注意的是，流程20為本發明之一實施例，本領域具通常知識者當可據以作不同的變化及修飾。舉例來說，除了移動估測演算法之外，視訊裝置亦可根據其他演算法取得第一偏移視角。除了深度圖像繪圖法之外，視訊裝置亦可根據其他演算法進行影像合成運算。另一方面，本發明之其他實施例可不包含步驟208，亦即不計算視訊裝置之面板的偏斜角度，僅單純預設面板與鉛垂線平行。

關於流程20的實現，請參考第5圖。第5圖為本發明實施例一影像矯正裝置50之示意圖。影像矯正裝置50用於一視訊裝置中，包含有一接收單元500、一角度估測單元502及一影像合成單元504。接收單元500用來接收一發訊者的影像IMG。角度估測單元502耦接於接收單元504，用來計算發訊者之一第一偏移視角θ、視訊裝置之一受訊者之一第二水平偏移視角d_y 及一第二垂直偏移視角d_z ，及視訊裝置之一面板之一偏斜角度Ψ。影像合成單元504耦接於接收單元500及角度估測單元502，用來根據第一偏移視角θ、第二水平偏移視角d_y 、第二垂直偏移視角d_z 及偏斜角度Ψ，對發訊者之影像進行影像合成，以產生一與受訊者面對面之影像。關於上述各角度的說明及取得角度所應用的演算法，請參考第1圖至第4圖及前述之流程20，在此不贅述。類似地，在本發明之其他實施例中，角度估測單元502亦可不需估測面板的偏斜角度Ψ。

綜上所述，本發明實施例根據發訊者之第一偏移視角、受訊者之一第二水平偏移視角及一第二垂直偏移視角、以及受訊者所使用之視訊裝置之面板的偏斜角度，對發訊者之影像進行影像合成，以產生與受訊者面對面之影像。如此一來，應用本發明實施例之視訊裝置可提供自然的眼神交流的影像，進而提升視訊裝置之使用者在使用視訊電話或視訊會議時的感覺。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

20．．．流程

50．．．影像矯正裝置

500．．．接收單元

502．．．角度估測單元

504．．．影像合成單元

A、B．．．視訊裝置

V1、V2．．．視線方向

θ、ψ、d_y 、d_z ．．．角度

S_W 、S_L ．．．解析度

r_y 、r_z ．．．畫素數量

D1、D2、P．．．距離

W．．．寬度

L．．．長度

IMG．．．影像

200、202、204、206、208、210、212．．．步驟

第1圖為一習知視訊裝置及其使用者之關係的示意圖。

第2圖為本發明實施例一流程之示意圖。

第3圖為一視訊影像之偏移視角的示意圖。

第4圖為一視訊裝置之一面板之一偏斜角度之示意圖。

第5圖為本發明實施例一影像矯正裝置之示意圖。

20．．．流程

200、202、204、206、208、210、212．．．步驟

Claims (14)

1. 一種用於一視訊裝置之影像矯正方法，用來矯正該視訊裝置所接收的影像，該影像矯正方法包含有：接收一發訊者之影像；計算該發訊者之一第一偏移視角；計算該視訊裝置之一受訊者之一第二水平偏移視角及一第二垂直偏移視角；以及根據該第一偏移視角、該第二水平偏移視角及該第二垂直偏移視角，對該發訊者之影像進行影像合成，以產生與該受訊者面對面之一影像。
2. 如請求項1所述之影像矯正方法，其另包含計算該視訊裝置之一面板相對於一鉛垂線之一偏斜角度。
3. 如請求項2所述之影像矯正方法，其另包含根據該第一偏移視角、該第二水平偏移視角、該第二垂直偏移視角及該偏斜角度，對該發訊者之影像進行影像合成，以產生與該受訊者面對面之該影像。
4. 如請求項1所述之影像矯正方法，其中計算該發訊者之該第一偏移視角，係根據一移動估測(Motion Estimation)演算法，計算該發訊者之影像的深度變化，以取得該第一偏移視角。
5. 如請求項1所述之影像矯正方法，其中計算該受訊者之該第二水平偏移視角及該第二垂直偏移視角，係根據該視訊裝置之一相機、該受訊者及該視訊裝置中所顯示之該發訊者之影像的相對位置，取得該第二水平偏移視角及該第二垂直偏移視角。
6. 如請求項5所述之影像矯正方法，其中該發訊者之影像的位置係根據該受訊者所使用之一滑鼠游標的位置而取得。
7. 如請求項1所述之影像矯正方法，其中根據該第一偏移視角、該第二水平偏移視角及該第二垂直偏移視角對該發訊者之影像進行影像合成，以產生與該受訊者面對面之該影像，係根據一深度圖像繪圖法(Depth Image Based Rendering)對該第一偏移視角、該第二水平偏移視角、該第二垂直偏移視角及該發訊者之影像進行影像合成運算，以產生與該受訊者面對面之該影像。
8. 一種用於一視訊裝置之影像矯正裝置，用來矯正該視訊裝置所接收的影像，該影像矯正裝置包含有：一接收單元，用來接收一發訊者之影像；一角度估測單元，耦接於該接收單元，用來計算該發訊者之一第一偏移視角、該視訊裝置之一受訊者之一第二水平偏移視角及一第二垂直偏移視角；以及一影像合成單元，耦接於該接收單元及該角度估測單元，用來根據該第一偏移視角、該第二水平偏移視角及該第二垂直偏移視角，對該發訊者之影像進行影像合成，以產生與該受訊者面對面之一影像。
9. 如請求項8所述之影像矯正裝置，其中該角度估測單元另用來計算該視訊裝置之一面板相對於一鉛垂線之一偏斜角度。
10. 如請求項9所述之影像矯正裝置，其中該影像合成單元另用來根據該第一偏移視角、該第二水平偏移視角、該第二垂直偏移視角及該偏斜角度，對該發訊者之影像進行影像合成，以產生與該受訊者面對面之該影像。
11. 如請求項8所述之影像矯正裝置，其中該角度估測單元係根據一移動估測(Motion Estimation)演算法，計算該發訊者之影像的深度變化，以取得該第一偏移視角。
12. 如請求項8所述之影像矯正裝置，其中該角度估測單元係根據該視訊裝置之一相機、該受訊者及該視訊裝置中所顯示之該發訊者之影像的相對位置，取得該第二水平偏移視角及該第二垂直偏移視角。
13. 如請求項12所述之影像矯正裝置，其中該發訊者之影像的位置係根據該受訊者所使用之一滑鼠游標的位置而取得。
14. 如請求項8所述之影像矯正裝置，其中該影像合成單元係根據一深度圖像繪圖法(Depth Image Based Rendering)對該第一偏移視角、該第二水平偏移視角、該第二垂直偏移視角及該發訊者之影像進行影像合成運算，以產生與該受訊者面對面之該影像。