TW201325201A - 可追蹤觀看者的立體顯示器 - Google Patents

Abstract

一種可追蹤觀看者的立體顯示器，包括多個攝影單元，立體影像顯示單元、以及影像處理單元。影像處理單元耦接至攝影單元及立體影像顯示單元。其中多個攝影單元由不同角度拍攝一觀看者而獲得至少三個觀看者畫面。而立體影像顯示單元提供一立體影像給該觀看者。影像處理單元依據觀看者畫面計算觀看者相對於立體影像顯示單元的觀看位置，以及依據觀看位置調整立體影像顯示單元的立體影像的投射角度與景深範圍。

Description

可追蹤觀看者的立體顯示器

本發明是有關於一種立體顯示技術，且特別是有關於一種利用至少三個攝影單元追蹤觀看者的立體顯示器(3D display或stereoscopic display)以及方法。

隨著顯示技術的進步，立體影像顯示裝置或擷取立體影像的設備都越來越普及。針對立體影像顯示裝置來說，如3DTV或3D電影，觀看者觀看的方式分為兩種，一種需佩帶一立體眼鏡，另一種則為裸視方式。更針對裸視方式來說，立體影像顯示裝置為了讓人的雙眼看到不同的影像進而產生立體效果，一般來說會引用的技術有兩種：一是光柵片(Lenticular Lens)，另一是視差屏障(Parallax Barrier)。不論是何種顯示技術，立體影像的觀看效果會因為觀看者的位置而有不同。舉例來說，當觀看者相對於立體影像顯示裝置的視角與距離不同時，必須調整立體影像顯示裝置顯示的投射角度與景深範圍，否則觀看者無法看到正確及舒適的立體影像。

因此，在3D顯示技術當中若使用裸視技術，就必須能夠偵測到觀看者的位置，進而調整顯示畫面。傳統偵測到觀看者位置的作法是在立體影像顯示裝置上搭配一個攝影鏡頭以及一紅外線裝置。其中攝影鏡頭用以追蹤觀看者，用以算出觀看者與立體影像顯示裝置之間的視角。而紅外線裝置則用以偵測觀看者所在位置相對於立體影像顯示裝置的距離。結合上述兩個裝置可取得觀看者相對於立體影像顯示裝置的一三維座標，進而調整顯示畫面。然而，上述紅外線裝置成本較高，在一些需求以及應用下並不適合。

本發明提出一種可追蹤觀看者的立體顯示器，利用多個攝影單元來擷取畫面，進而計算出觀看者的三維座標。

本發明提出一種可追蹤觀看者的立體顯示器，包括多個攝影單元、立體影像顯示單元、以及影像處理單元，影像處理單元耦接至攝影單元及立體影像顯示單元。其中多個攝影單元由不同角度拍攝一觀看者而獲得至少三個觀看者畫面。而立體影像顯示單元提供一立體影像給該觀看者。其中影像處理單元依據觀看者畫面計算觀看者相對於立體影像顯示單元的觀看位置，以及依據觀看位置調整立體影像顯示單元的立體影像的投射角度與景深範圍。

在本發明的一實施例中，上述攝影單元包括第一攝影單元，由第一角度拍攝上述觀看者而獲得第一觀看者畫面；第二攝影單元，由第二角度拍攝觀看者而獲得第二觀看者畫面；以及第三攝影單元，由第三角度拍攝觀看者而獲得第三觀看者畫面。其中影像處理單元依據第一觀看者畫面與第二觀看者畫面計算第一景深圖，依據第二觀看者畫面與第三觀看者畫面計算第二景深圖，以及依據第一景深圖與第二景深圖計算第三景深圖。

在本發明的一實施例中，上述影像處理單元依據第三景深圖決定觀看者與立體影像顯示單元的距離。

在本發明的一實施例中，上述影像處理單元依據第二觀看者畫面決定觀看者相對於立體影像顯示單元的方向。

在本發明的一實施例中，上述影像處理單元更依據上述觀看者畫面中至少一個觀看者畫面而辨識該觀看者的眼睛位置。

另一方面，本發明提出一種立體顯示器的觀看者追蹤方法，步驟如下。利用多個攝影單元由不同角度拍攝觀看者而獲得至少三個觀看者畫面。依據這些觀看者畫面計算觀看者相對於立體影像顯示單元的觀看位置。依據觀看位置調整立體影像顯示單元的立體影像的投射角度與景深範圍。藉由立體影像顯示單元提供所述立體影像給觀看者。

在本發明的一實施例中，上述拍攝該觀看者而獲得至少三個觀看者畫面的步驟包括以下步驟。利用第一攝影單元由第一角度拍攝該觀看者而獲得第一觀看者畫面。利用第二攝影單元由第二角度拍攝觀看者而獲得第二觀看者畫面。利用第三攝影單元由第三角度拍攝觀看者而獲得第三觀看者畫面。

在本發明的一實施例中，上述計算觀看者相對於立體影像顯示單元的觀看位置的步驟包括：依據第一觀看者畫面與第二觀看者畫面計算第一景深圖。依據第二觀看者畫面與第三觀看者畫面計算第二景深圖。以及，依據第一景深圖與第二景深圖計算第三景深圖。依據第三景深圖決定觀看者與立體影像顯示單元的距離。

在本發明的一實施例中，上述計算觀看者相對於立體影像顯示單元的觀看位置的步驟包括：依據第二觀看者畫面決定觀看者相對於立體影像顯示單元的方向。

在本發明的一實施例中，上述立體顯示器的觀看者追蹤方法還包括：依據這些觀看者畫面中至少一個觀看者畫面而辨識該觀看者的眼睛位置。

根據上述技術，本發明實施例透過至少三個攝影單元擷取觀看者畫面，每兩個觀看者畫面可以產生一景深圖，並將兩景深圖結合成另一景深圖，測得觀看者的三維座標。如此一來可以避免使用紅外線裝置降低成本。另一方面由於使用多個攝影單元，從不同的角度拍攝可以彌補拍攝上的死角，進而增進測量觀看者三維座標的精準度。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式做詳細說明如下。

圖1為依照本發明一實施例說明一種立體顯示器的功能方塊示意圖。立體顯示器100包括有第一攝影單元102a、第二攝影單元102b、立體影像顯示單元106、以及影像處理單元104，其中影像處理單元104連接至立體顯示單元106以及攝影單元102a~102b。立體顯示單元106可以是光柵片(Lenticular Lens)顯示面板或是視差屏障(Parallax Barrier)顯示面板。

攝影單元102a~102b例如為網路攝影機(WebCam)或是數位相機。例如，立體顯示器100可以是立體視訊會議設備，其中立體影像顯示單元106顯示出遠端參加會議人員的立體影像(由遠端立體視訊會議設備所提供)，而攝影單元102a~102b用不同角度擷取本地端觀看者302而獲得兩個觀看者畫面(左眼畫面與右眼畫面)。攝影單元102a~102b所擷取的立體影像會被傳送至遠端立體視訊會議設備，以供遠端參加會議人員觀看。在本發明中，影像處理單元104更利用攝影單元102a~102b所擷取的觀看者畫面，藉以計算出觀看者相對於立體影像顯示單元106的三維空間位置資訊。

立體影像顯示單元106例如為視差屏障顯示面板，用以顯示符合一立體格式的立體影像，此立體格式例如為左右併排(side by side)的立體格式，將代表左眼以及右眼的影像以水平的方式併排在一起成為一張影像，然而，此立體格式也可為其他格式，本發明不應受限於上述舉例。上述代表左眼以及右眼的影像藉由立體影像顯示單元106的控制來顯示。詳細的說，圖2為依照本發明實施例說明圖1中立體影像顯示單元106提供左眼影像與右眼影像的剖面示意圖。請參考圖2，立體影像顯示單元106包括視差屏障508以及顯示面板506。顯示面板506上的不同位置分別顯示左眼畫面504以及右眼畫面502。立體影像顯示單元106透過視差屏障508使觀看者302的左眼睛510b以及右眼睛510a看到相對應的左眼畫面504以及右眼畫面502。當觀看者302位置改變時，右眼睛510a以及左眼睛510b透過視差屏障508看到顯示面板506上的位置也會改變，因此需要改變顯式面板506上左眼畫面504以及右眼畫面502的位置。上述的觀看者302位置會在以下加以說明。

影像處理單元104為一積體電路(integrated circuit,IC)晶片，用以處理攝影單元102上擷取的影像，並控制立體影像顯示單元106。影像處理單元104的功能還包括處理攝影單元102的同步擷取問題、影像的白平衡、去雜訊等計算。並根據攝影單元102擷取來的影像計算出觀看者302位置。

圖3為依照本發明一實施例說明一種立體顯示器之觀看者追蹤方法的流程示意圖。圖4為是依照本發明一實施例說明觀看者302與立體顯示器100的俯視示意圖。在步驟S202中，立體顯示器100藉由立體影像顯示單元106將立體影像顯示給觀看者302觀賞。觀看者302用裸視的方式觀看立體影像顯示單元106所撥放的立體影像。而觀看者302與立體影像顯示單元106之間存在一距離404。觀看者302與立體影像顯示單元106形成一水平夾角，為視角402。視角402以及距離404可以定義觀看者302相對於立體影像顯示單元106的位置。立體顯示器100必須計算出距離404以及視角402，進一步調整立體顯示單元106上立體影像的景深範圍與投射角度，讓觀看者看到正確的畫面。距離404與視角402的計算方法如下所述。

在步驟S204中，立體顯示器100利用第一攝影單元102a、第二攝影單元102b由不同角度拍攝觀看者302而獲得不同的觀看者畫面。舉例來說，第一攝影單元102a拍攝觀看者302而獲得第一觀看者畫面，而第二攝影單元102b拍攝觀看者302而獲得第二觀看者畫面。

在步驟S206中，影像處理單元104依據第一觀看者畫面與第二觀看者畫面計算觀看者302相對於立體影像顯示單元106的觀看位置。舉例來說，影像處理單元104根據第一觀看者畫面與第二觀看者畫面計算出一景深圖(depth map)。此處計算出景深圖的過程為本領域技術人員所熟知，故在此不予贅述。此景深圖包含了距離404的資訊。因此，影像處理單元104可以從此景深圖中獲得觀看者302相對於立體影像顯示單元106的距離404。

另一方面，影像處理單元104可以從第一攝影單元102a拍攝的第一觀看者畫面獲得觀看者302相對於立體影像顯示單元106的視角402。例如，若觀看者302的影像位於第一觀看者畫面的中央，則影像處理單元104可以判斷視角402為0°。以此類推，根據觀看者302的影像位於第一觀看者畫面的位置，影像處理單元104可以判斷視角402。影像處理單元104可以根據上述距離404以及視角402的數值，而得到觀看者302相對於立體顯示單元106的觀看位置。

在步驟S206中，影像處理單元104會進一步的追蹤第一觀看者畫面中觀看者302的眼睛來計算距離404和視角402。如此一來，距離404和視角402更符合觀看者302觀看立體影像顯示單元106的角度，使得觀看效果更好。在其他實施例中，影像處理單元104可能會利用第二攝影單元102b拍攝的第二觀看者畫面獲得觀看者302相對於立體影像顯示單元106的視角402。

接著在步驟S208中，影像處理單元104依據上述計算所得觀看者302的觀看位置調整顯示於立體影像顯示單元106上立體影像的投射角度與景深範圍。上述立體影像的景深範圍可根據立體影像的顯示位置來模擬。舉例來說，圖5為依照本發明實施例說明立體影像顯示單元106產生立體效果的示意圖。請同時參考圖2和圖5，當左眼畫面504顯示在顯示面板506的位置708a，而右眼畫面502顯示在顯示面板506的位置708b時，觀看者302的左眼睛510b與右眼睛510a視線的交叉點位於成像位置702，此時觀看者302在視覺上會認為觀看到的物體位於顯示面板506前。同理，當左眼畫面504位於顯示面板506的位置718a，右眼畫面502位於顯示面板506的位置718b時，觀看者302的左眼睛510b與右眼睛510a視線的交叉點位於成像位置704，此時觀看者302在視覺上認為觀看到的物體位置在顯示面板506上。另一種情況，當左眼畫面504位於顯示面板506的位置710a，右眼畫面502位於顯示面板506的位置710b時，觀看者302的左眼睛510b與右眼睛510a視線的交叉點位於成像位置706，此時觀看者302在視覺上認為觀看到的物體位置位於顯示面板506後方。

圖6為依照本發明另一實施例說明一種可追蹤觀看者302的立體顯示器600的方塊示意圖。立體顯示器600包括有第一攝影單元102a、第二攝影單元102b、第三攝影單元102c、立體影像顯示單元106、以及影像處理單元104，其中影像處理單元104連接至立體顯示單元106以及攝影單元102a~102c。圖6所示實施例可以參照圖1的相關說明。不同於圖1所示實施例之處，在於圖6所示實施例還包括第三攝影單元102c。在本實施例中，第三攝影單元102c例如為網路攝影機(WebCam)或是數位相機。需注意的是，圖6所示實施例雖僅展示了三個攝影單元102a~102c，然而攝影單元的數量不應以此為限。依據本實施例之教示，應用本實施例者可以視實際設計需求而類推並決定攝影單元的數量。

圖7為依照本發明另一實施例說明一種立體顯示器之觀看者追蹤方法的流程示意圖。圖7所示實施例可以參照圖3的相關說明。請同時參考圖6以及圖7。在步驟S202中，立體顯示器600藉由立體影像顯示單元106將立體影像顯示給觀看者302觀賞。觀看者302用裸視的方式觀看立體影像顯示單元106所撥放的立體影像。而觀看者302與立體影像顯示單元106之間存在一距離404(如圖4所示)。於本實施例中，步驟S204包含子步驟S705~S730。完成步驟S202後，影像處理單元104會進行步驟S705~S715以利用攝影單元102a、102b、102c由不同角度拍攝觀看者302而獲得至少三個觀看者畫面。

舉例來說，第二攝影單元102b架設在第一攝影單元102a與第三攝影單元102c之間。圖8是依照本發明另一實施例說明計算景深圖的示意圖。攝影單元102a~102c的位置不同，使得攝影單元102a~102c在拍攝觀看者302時的角度不同。第一攝影單元102a由第一角度拍攝觀看者302而獲得第一觀看者畫面306a(步驟S705)。第二攝影單元102b由第二角度拍攝觀看者302而獲得第二觀看者畫面306b(步驟S710)。第三攝影單元102c由第三角度拍攝觀看者302而獲得第三觀看者畫面306c(步驟S715)。

在獲得觀看者畫面306a、306b、306c後，影像處理單元104依據觀看者畫面306a、306b、306c計算觀看者302相對於立體影像顯示單元106的觀看位置。詳細的說，影像處理單元104使用景深圖演算法根據第一觀看者畫面306a與第二觀看者畫面306b計算出第一景深圖308a(步驟S720)。影像處理單元104也使用相同的景深圖演算法根據第二觀看者畫面306b與第三觀看者畫面306c計算出第二景深圖308b(步驟S725)。最後，影像處理單元104再結合第一景深圖308a與第二景深圖308b可得第三景深圖308c(步驟S730)。

完成步驟S730後，影像處理單元104會進行步驟S206。在步驟S206中包含子步驟S735~S740。由於此景深圖308c包含了距離404的資訊，因此影像處理單元104可以依據第三景深圖308c決定該觀看者302與立體影像顯示單元106之間的距離(步驟S735)。另一方面，在本實施例中第二攝影單元102b位於第一攝影單元102a與第三攝影單元102c的中間，因此影像處理單元104是以第二攝影單元102b的位置當做基礎計算視角402。也就是說，影像處理單元104根據第二觀看者畫面306b決定觀看者302相對於立體影像顯示單元106的方向(步驟S740)。影像處理單元104根據上述距離404以及視角402的數值，可得到觀看者302相對於立體顯示單元106的觀看位置。

在本實施例中，由於使用至少三個攝影單元102a~102c由不同角度拍攝觀看者302而獲得至少三個觀看者畫面306a、306b、306c，使得景深圖的計算可避免遮蔽點的問題。舉例來說，圖9為依照本發明實施例說明景深誤差的示意圖。請參考圖9，在利用第一觀看者畫面306a與第二觀看者畫面306b產生第一景深圖308a時，觀看者302的某些角度並未被第一攝影單元102a擷取到，產生遮蔽區域602。也就是說，第一景深圖308a內沒有遮蔽區域602的景深資訊。同樣的，觀看者302的某些角度並未被第三攝影單元102c擷取到，造成第二景深圖308b的遮蔽區域604。也就是說，第二景深圖308b內沒有遮蔽區域604的景深資訊。但值得注意的是，在第二景深圖308b中可以擷取到遮蔽區域602的景深資訊，且在第一景深圖308a中可以擷取到遮蔽區域604的景深資訊。由於上述情形，使得第一景深圖308a與第二景深圖308b可以互補，舉例來說，遮蔽區域602中的景深數值可以從第二景深圖308b中獲得，而遮蔽區域604的景深數值可以從第一景深圖308a中獲得。如此一來，所得到的第三景深圖308c並沒有上述遮蔽區域602、604，避免了遮蔽點的問題，得到較精準的距離404。

在一實施例的步驟S206中，影像處理單元104會進一步的追蹤觀看者302的眼睛來計算距離404和視角402。如此一來，距離404和視角402更符合觀看者302觀看立體顯示器600的角度，使觀看效果更好。而影像處理單元104是根據觀看者畫面306a、306b、306c中至少之一觀看者畫面而計算觀看者302眼睛的位置。

綜上所述，本發明實施例所述的立體顯示器利用多個攝影單元來減少計算景深圖時所產生的遮蔽點問題，使得觀看者位置的計算更為精確，進而讓觀看者看到的立體影像品質較佳。另一方面，由於避免使用紅外線裝置，使得成本較低。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100、600．．．立體顯示器

102a~102c．．．攝影單元

204．．．影像處理單元

106．．．立體顯示單元

S202~S208、S705~S740．．．觀看者追蹤方法的各步驟

302．．．觀看者

306a~306c．．．觀看者畫面

308a~308c．．．景深圖

402．．．視角

404．．．距離

502．．．右眼畫面

504．．．左眼畫面

506．．．顯示面板

508．．．視差屏障

510a．．．右眼睛

510b．．．左眼睛

602、604．．．遮蔽區域

708a、710a、718a．．．左眼畫面位置

708b、710b、718b．．．右眼畫面位置

702、704、706．．．成像位置

圖1是依照本發明一實施例說明一種立體顯示器的功能方塊示意圖。

圖2是依照本發明一實施例說明圖1中立體影像顯示單元提供左眼影像與右眼影像的剖面示意圖。

圖3是依照本發明一實施例說明一種立體顯示器之觀看者追蹤方法的流程示意圖。

圖4是依照本發明一實施例說明觀看者與立體顯示器的俯視示意圖。

圖5是依照本發明一實施例說明立體影像顯示單元產生立體效果的示意圖。

圖6是依照本發明另一實施例說明一種可追蹤觀看者的立體顯示器的方塊示意圖。

圖7是依照本發明另一實施例說明一種立體顯示器之觀看者追蹤方法的流程示意圖。

圖8是依照本發明另一實施例說明計算景深圖的示意圖。

圖9為依照本發明實施例說明景深遮蔽區的示意圖。

102a~102c．．．攝影單元

104．．．影像處理單元

106．．．立體影像顯示單元

302．．．觀看者

600．．．立體顯示器

Claims (10)

1. 一種可追蹤觀看者的立體顯示器，包括：多個攝影單元，由不同角度拍攝一觀看者而獲得至少三個觀看者畫面；一立體影像顯示單元，提供一立體影像給該觀看者；以及一影像處理單元，耦接至該些攝影單元與該立體影像顯示單元，其中該影像處理單元依據該些觀看者畫面計算該觀看者相對於該立體影像顯示單元的一觀看位置，以及依據該觀看位置調整該立體影像顯示單元的該立體影像的投射角度與景深範圍。
2. 如申請專利範圍第1項所述可追蹤觀看者的立體顯示器，其中該些攝影單元包括：一第一攝影單元，由一第一角度拍攝該觀看者而獲得一第一觀看者畫面；一第二攝影單元，由一第二角度拍攝該觀看者而獲得一第二觀看者畫面；以及一第三攝影單元，由一第三角度拍攝該觀看者而獲得一第三觀看者畫面；其中該影像處理單元依據該第一觀看者畫面與該第二觀看者畫面計算一第一景深圖，依據該第二觀看者畫面與該第三觀看者畫面計算一第二景深圖，以及依據該第一景深圖與該第二景深圖計算一第三景深圖。
3. 如申請專利範圍第2項所述可追蹤觀看者的立體顯示器，其中該影像處理單元依據該第三景深圖決定該觀看者與該立體影像顯示單元的距離。
4. 如申請專利範圍第2項所述可追蹤觀看者的立體顯示器，其中該影像處理單元依據該第二觀看者畫面決定該觀看者相對於該立體影像顯示單元的方向。
5. 如申請專利範圍第1項所述可追蹤觀看者的立體顯示器，其中該影像處理單元更依據該些觀看者畫面中至少一個觀看者畫面而辨識該觀看者的眼睛位置。
6. 一種立體顯示器的觀看者追蹤方法，包括：利用多個攝影單元由不同角度拍攝一觀看者而獲得至少三個觀看者畫面；依據該些觀看者畫面計算該觀看者相對於該立體顯示器的一立體影像顯示單元的一觀看位置；依據該觀看位置調整該立體影像顯示單元的一立體影像的投射角度與景深範圍；以及藉由該立體影像顯示單元提供該立體影像給該觀看者。
7. 如申請專利範圍第6項所述立體顯示器的觀看者追蹤方法，其中所述拍攝該觀看者而獲得至少三個觀看者畫面的步驟包括：利用一第一攝影單元由一第一角度拍攝該觀看者而獲得一第一觀看者畫面；利用一第二攝影單元由一第二角度拍攝該觀看者而獲得一第二觀看者畫面；以及利用一第三攝影單元由一第三角度拍攝該觀看者而獲得一第三觀看者畫面。
8. 如申請專利範圍第7項所述立體顯示器的觀看者追蹤方法，其中所述計算該觀看者相對於該立體影像顯示單元的一觀看位置的步驟包括：依據該第一觀看者畫面與該第二觀看者畫面計算一第一景深圖；依據該第二觀看者畫面與該第三觀看者畫面計算一第二景深圖；依據該第一景深圖與該第二景深圖計算一第三景深圖；以及依據該第三景深圖決定該觀看者與該立體影像顯示單元的距離。
9. 如申請專利範圍第7項所述立體顯示器的觀看者追蹤方法，其中所述計算該觀看者相對於該立體影像顯示單元的一觀看位置的步驟包括：依據該第二觀看者畫面決定該觀看者相對於該立體影像顯示單元的方向。
10. 如申請專利範圍第6項所述立體顯示器的觀看者追蹤方法，還包括：依據該些觀看者畫面中至少一個觀看者畫面而辨識該觀看者的眼睛位置。