TW201919393A

TW201919393A - 立體成像顯示系統及顯示立體影像的顯示方法

Info

Publication number: TW201919393A
Application number: TW107121040A
Authority: TW
Inventors: 黃慕真; 戴雅麗; 江昱嫺
Original assignee: 英屬開曼群島商麥迪創科技股份有限公司; 大陸商上海蔚蘭動力科技有限公司
Priority date: 2017-11-09
Filing date: 2018-06-20
Publication date: 2019-05-16
Also published as: TW201919391A; CN109765693A; CN109764888A; CN109769113A; TW201919390A

Abstract

本發明揭露一種隨觀看者視線改變顯示內容的顯示系統以及顯示方法。具體來說，本發明的顯示系統以及方法根據觀看者的左右眼位置判斷觀看者的視線，當觀看者在第一位置時將一第一畫面透過一個透鏡模組顯示，且當觀看者從第一位置移到第二位置時將一第二畫面透過透鏡模組顯示。

Description

立體成像顯示系統及顯示立體影像的顯示方法

本發明涉及一種顯示系統以及方法，特別是有關一種隨觀看者視線改變顯示內容的顯示系統以及方法。

人眼的視域(field of view, FOV)有一定的界線，因此必須透過不停的更換視線才可以增加看到的範圍。舉例來說，假設在真實世界中有一台汽車位於一觀看者的正前方，因為視域的限制，觀看者僅能看到的汽車的正面。但如果觀看者稍為往右邊移動，將視線由右側往左邊看，就會看到部分汽車正面以及部分側面的影像。藉由移動，在真實世界中視域可以無限地被延伸。然而如果畫面是透過顯示裝置呈現時，受限於顯示裝置尺寸的關係，影像僅能以符合顯示裝置的尺寸呈現，能顯示的資訊也有限。

此外，習知的平面畫面利用透視法使得物件(例如一台汽車)在顯示裝置的螢幕上呈現立體的視覺效果。但是，透視法是一種將三維實體影像壓縮至平面呈現的方法，這樣的平面立體物件是靜態的，在觀賞者轉變觀賞視線後，所看物件的角度及樣貌並不會因此而改變，這與我們在真實世界中所體驗到的現象不同，大大減損了顯示畫面呈現的真實感。

本發明的一些實施例揭露一種立體成像顯示系統，包含有：一影像擷取模組，用以擷取一觀看者的臉部影像；一處理單元，與影像擷取模組連接，其中處理單元根據觀看者的臉部影像計算觀看者的一左眼位置以及一右眼位置，其中處理單元根據左眼位置計算一左眼向量並根據右眼位置計算一右眼向量，其中處理單元根據左眼向量以及右眼向量計算得到一左眼視像以及一右眼視像，處理單元對左眼視像以及右眼視像進行影像融合處理得到一融合影像；以及一顯示裝置，與處理單元連接並設置有一透鏡模組，其中融合影像透過透鏡模組分別折射至觀看者的左眼以及右眼。

本發明的另一些實施例揭露一種可以隨著觀看者視線改變顯示內容的立體影像顯示系統。本發明的顯示系統包含有：一影像擷取模組，用以擷取觀看者位於一第一位置的第一臉部影像，以及擷取觀看者於一第二位置的第二臉部影像；一處理單元，與影像擷取模組連接。處理單元進行以下步驟：根據觀看者的第一臉部影像計算觀看者的一第一左眼位置以及一第一右眼位置，根據第一左眼位置計算一第一左眼向量並根據第一右眼位置計算一第一右眼向量，根據第一左眼向量以及第一右眼向量計算得到一第一左眼視像以及一第一右眼視像，處理單元對第一左眼視像以及第一右眼視像進行影像融合處理得到一第一融合影像。處理單元另外根據觀看者的第二臉部影像計算觀看者的一第二左眼位置以及一第二右眼位置，根據第二左眼位置計算一第二左眼向量並根據第二右眼位置計算一第二右眼向量，根據第二左眼向量以及第二右眼向量計算得到一第二左眼視像以及一第二右眼視像，處理單元對第二左眼視像以及第二右眼視像進行影像融合處理得到一第二融合影像。此外，本發明的顯示系統還包含一顯示裝置，與處理單元連接並設置有一透鏡模組。當觀看者於第一位置時，第一融合影像透過透鏡模組折射至觀看者的左眼與右眼，而當觀看者位於第二位置時，第二融合影像透過透鏡模組折射至觀看者的左眼與右眼。

本發明的另些實施例揭露一種隨著觀看者的視線改變顯示內容的立體影像方法。本發明的顯示方法包括有：擷取觀看者位於一第一視線位置時的一第一臉部影像；根據第一臉部影像計算觀看者的一第一左眼位置及一第一右眼位置；根據觀看者的第一左眼位置及第一右眼位置，計算一第一左眼向量以及一第一右眼向量；根據第一左眼向量計算一第一左眼視像且根據第一右眼向量計算一第一右眼視像；將第一左眼視像與該第一右眼視像進行影像融合處理以得到一第一融合影像；以及當觀看者位於第一視線位置時透過一透鏡模組將第一融合影像折射至觀看者的左眼以及右眼。

進一步地，本發明的顯示內容另包括有：擷取觀看者位於一第二視線位置時的一第二臉部影像；根據第二臉部影像計算觀看者的一第二左眼位置及一第二右眼位置；根據觀看者的第二左眼位置及第二右眼位置，計算一第二左眼向量以及一第二右眼向量；根據第二左眼向量計算一第二左眼視像且根據第二右眼向量計算一第二右眼視像；將第二左眼視像與該第二右眼視像進行影像融合處理以得到一第二融合影像；以及當觀看者位於第二視線位置時透過一透鏡模組將第二融合影像折射至觀看者的左眼以及右眼。

本發明計算機裝置利用處理單元根據影像擷取模組擷取的臉部影像計算觀看者的雙眼所見的虛擬物件的左眼視像及右眼視像，並將左眼視像與右眼視像融合為相應呈現視線的融合影像。對觀看者來說，顯示裝置所顯示的虛擬物件看起來更為真實。此外，當觀看者變換觀賞視線，本發明另公開的顯示系統與方法應用前述的原則，融合出視線轉換後的觀看者所應見到的虛擬物件的融合影像。再者，透過透鏡模組將影像的不同部分分別折射到觀看者的左眼以及右眼，因為影像互相交織的效果，使得觀看者看到立體成像的效果。因此，虛擬物件可以隨著觀看者變換觀賞視線而轉換至相應的畫面，讓觀看者有更佳的體驗。有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之實施例的詳細說明中，將可清楚的呈現。

本發明揭露一顯示系統以及方法。本發明的顯示系統與方法可根據觀看者的視線產生對應該視線的影像畫面，透過本發明的顯示系統，物件可以呈現在模擬真實世界中隨觀看者觀看視線變化而變化的效果，進一步使得物件的顯示更具真實性。此外，本發明亦可根據觀看者的視線變化提供不同的顯示影像，達到視域(field of view, FOV)延伸的效果。

第1圖是將本發明的顯示方法以及顯示系統3實施於一種智慧汽車6000的示意圖。智慧汽車6000包括一底盤1、一車架2及一顯示系統3。車架2設置於底盤1上且具有一座艙20。須注意的是本發明的顯示系統以及方法並不限於僅能應用於智慧汽車上，任何配備有顯示系統的應用，例如手持裝置等等皆可採用本發明所揭露的方法與系統。

第2圖是依據本發明實施例的顯示系統3的功能方塊圖。如圖所示，顯示系統3包括一影像擷取模組31、一顯示裝置32及一處理單元33。影像擷取模組31及顯示裝置32可設置於座艙內，處理單元33耦接於影像擷取模組31及顯示裝置32。實施上，影像擷取模組31可為一攝影機或任何具有擷取影像功能的裝置。顯示裝置32可以是但不限於一數位車用儀錶板(digital vehicle instrument cluster)、一中控面板(central console panel)或一抬頭顯示器 (head-up display)。處理單元33可以是但不限於一車用電子單元(Electronic Control Unit, ECU)。

如前所述，不論預顯示圖像中的物件是立體或是平面的，一般顯示裝置僅能以平面地方式顯示這些圖像。不論怎麼由什麼方向觀看顯示裝置，這些圖像都不會有任何的變化，因此對觀察者來說，顯示裝置能夠呈現的視域範圍是固定不變的。

第3圖是解釋本發明顯示系統3操作的示範示意圖。如圖所示，觀看者(例如第1圖所示的駕駛9)面對顯示裝置32。有一影像擷取模組31面對著觀看者。物件4為一個預顯示於顯示裝置32的立體物件(例如一立方體)。雖然顯示裝置32為一平面的顯示裝置，但由於本發明的顯示系統3所產生的效果可以讓顯示面隨著觀察者的視線而改變，所以視覺空間上便可在顯示裝置32的延伸處產生一虛擬空間49的效果，如此一來物件4便以原本的立體形式呈現在虛擬空間49中。視觀察者的視線而定，顯示系統3再判斷需將物件4的哪部分顯示於顯示裝置32上。如前述，於習知技術以透視法的方式將立體物件以平面的方式呈現。因為透視法是一種將三維實體影像壓縮至平面呈現的方法，因此在壓縮後必定會造成圖像資料的遺失以及扭曲。然而在本發明中，所有關於物件4的圖像資料皆會被保留。

第4圖至第8圖解釋本發明的顯示系統3如何判斷觀看者的視線並改變顯示畫面。具體來說，第4圖是一觀看者(例如：駕駛9)的一臉部影像5的示意圖；第5圖是臉部影像5對應的臉部模型51及相應的臉部特徵資訊50的示意圖；第6圖是本發明產生左眼向量401(虛線)與右眼向量402(實線)的示意圖；第7圖是本發明根據左眼向量以及右眼向量分別產生一左眼視像41(虛線)及一右眼視像42(實線)的示意圖。第8圖是依據本發明將虛擬物件4的左眼視像41以及右眼視像42融合為一融合影像7的示意圖。

首先，如第1圖及第3圖所示，當觀看者(例如：駕駛9)坐於智慧汽車6000的座艙20內時，觀看者的頭部面向智慧汽車6000的前方。其中在觀看者的面前位置設置有影像擷取模組31及顯示裝置32。觀看者能透過顯示裝置32觀看一顯示畫面。其中顯示畫面中有一物件4。

接著，第4圖所示為影像擷取模組擷取觀看者的一臉部影像5；其中91以及92分別為觀看者的左眼及右眼。如第5圖所示，處理單元根據臉部影像5定義臉部特徵資訊50；此外，處理單元可以選擇性的先建立臉部模型51後再定義臉部特徵資訊50。臉部模型以及臉部特徵的建立方法可以透過一般習知影像辨識與影像處理的方法進行，本發明不再贅述。在本實施例中，臉部特徵資料至少包含一左眼位置501及一右眼位置502；此外臉部特徵資料50亦可包含一頭部位置500。

由於影像擷取模組31是固定在座艙20內(如第1圖所示)，所以影像擷取模組31的位置為已知且固定。物件4 在虛擬空間49中的位置對處理單元33來說也是已知。根據這些相對位置，處理單元33可以建立一個座標系統，而座標系統的原點可以設在虛擬空間49的某一定點。舉例來說，座標系統的原點可以定義在顯示物件(例如物件4)的一點(例如物件4的一質量中心或一體積中心)或是虛擬空間49的正中間。在本實施例中假設座標系統的原點為物件4的中心。根據建立好的座標系統，如第6圖所示，處理單元33可以得到從影像擷取模組31的位置至物件4的一位置向量P。

接著，根據建立好的座標系統處理單元33計算得到影像擷取模組31相對於左眼位置501的一左眼位置向量E1，以及從影像擷取模組31的位置至右眼位置502的右眼位置向量E2。在本實施例中，觀看者的左眼位置501以及右眼位置502是用來判斷觀看者觀看顯示裝置32的視線 (包含方向以及角度)。或者，本發明也可直接從觀看者的臉部特徵資料中直接定義一個使用者的頭部位置500來判斷觀看者的視線。舉例來說，觀看者的頭部位置500可為兩眼的中心位置，鼻尖位置，或由其他各臉部特徵資料的相對角度位置定義，本發明不限於任何形式。

在本實施例中，觀看者的觀看視線可根據其左眼以及右眼的位置501和502判斷。在這樣的假設提前下，如第6圖所示，處理單元便可根據位置向量P、左眼位置向量E1及右眼位置向量E2，分別計算從左眼位置501至虛擬物件4的一左眼向量401以及從右眼位置502至虛擬物件4的一右眼向量402。接著，如第7圖所示，分別沿著左眼向量401及右眼向量402朝前方擴展開，處理單元便可根據已知的視域(Field of View, FOV)分別計算出一左眼視域LFOV(第7圖虛線的一錐形區域)及一右眼視域 RFOV(第7圖實線的一錐形區域)，並在物件4 所在位置的平面上處(亦即，物件4的景深位置)分別形成一左眼視像41(如第7圖虛線所示的該錐形區域的一底面)及一右眼視像42(如第7圖實線所示的該錐形區域的一底面)。

在真實世界中人類的左眼和右眼能看到的資訊不盡相同。對同一物件來說，左眼能看到較多物件左邊的資訊，而右眼能看到較多物件右邊的資訊。如上所述，在本發明中物件4的所有資訊都會被保留，而為了貼近真實世界的視覺效果，本發明的顯示系統針對兩眼各別的位置產生對應兩眼的圖像，再透過影像融合(image fusion)的方式將所有的圖像資訊完整的合併在一起。相對於習知技術的顯示系統僅能提供單一視線的影像，本發明顯示系統所產生的影像較為真實且貼近實際生活體驗。

第8圖為本發明顯示系統依據左眼視像41以及右眼視像42產生顯示於顯示裝置的示意圖。如圖所示，左眼視像41與右眼視像42具有一重疊區43。此外，左眼視像41還包含物件4的左側圖像資訊；左側圖像資訊可以理解為觀看者用左眼單獨看物件4時可以看到的圖像資料。同樣地，右眼視像42也包含物件4的右側圖像資訊；右側圖像資訊可以理解為觀看者用右眼單獨看物件4時可以看到的圖像資料。左側圖像資料以及右側圖像資料皆包括位於重疊區43中物件4 的重疊圖像資訊。在本發明一實施例中，處理單元可先將位於重疊區43內的左側圖像資料以及右側圖像資料進行影像融合處理 (image fusion)，接著再將融合後的重疊區43的影像與剩餘的左側圖像資訊及右側圖像資訊融合以產生一融合影像7。或者，處理單元可以直接融合左眼視像41以及右眼視像42以產生融合影像7。最後，顯示裝置以顯示融合影像7。

第16圖為本發明根據觀看者視線位置顯示影像的方法流程示意圖。請一併參考第3圖至第8圖。本發明利用影像擷取模組31及處理單元33通過顯示裝置32使得一物件4呈現相對觀看者視線的影像。本發明的方法流程包括以下步驟：

步驟S100：如第4圖所示，影像擷取模組31擷取一觀看者的臉部影像5。

步驟S110：如第5圖所示，處理單元33根據頭部影像5取得臉部特徵資訊50；其中特徵資訊50至少包含一左眼位置501及一右眼位置502。

步驟S120：如第6 圖所示，處理單元33根據左眼位置501及右眼位置502計算左眼位置501至虛擬物件4的一左眼向量401，以及右眼位置502至虛擬物件4的一右眼向量402。

步驟S130：如第7圖所示，處理單元33根據左眼向量401估算一左眼視像41以及根據右眼向量402估算一右眼視像42，其中左眼視像41以及右眼視像42分別表示觀看者的左眼以及右眼分別看物件4時所呈現的視像；左眼視像41與右眼視像42會有一重疊區43(如第8圖所示)。另外，左眼視像41包含虛擬物件4的左側圖像資訊，右眼視像42包含虛擬物件4的右側圖像資訊。

步驟S140：處理單元33根據將左眼視像41以及右眼視像42融合後得到一融合影像7。

步驟S150：顯示裝置32顯示融合影像7。

經由上述步驟，本發明的顯示方法能通過觀看者的左眼91以及右眼91位置來進行對觀看者視線方向與角度的追蹤，以將物件4隨著觀看者的視線產生對應的影像。追蹤動作在此可以是追蹤觀看者的頭部姿勢、凝視向量(左眼向量401、右眼向量402)與雙眼視象等。總結來說，習知方法透過顯示裝置32呈現物件4時，觀看者不論在顯示裝置32的任何方向，看到的物件4都是一樣的。但藉由上述的方法，本發明的顯示系統3可以隨著觀看者的視線方向跟角度模擬在真實空間中物件4被觀察到的狀況，進一步產生相對應的顯示畫面。舉例來說，若觀看者改變視線為由左側上方往下看，則顯示裝置32便會呈現實際立方體由左側上方往下看的畫面。

如上所述，本發明根據觀看者的位置，計算得到分別從觀看者左眼以及右眼看物件4 的左眼視像41以及右眼視像42。接著再將這些視像做進一步的影像融合處理，便可利用左右眼視差的特性，使得物件4看起來更真實。

另外，利用左右眼視差也能達到增加視域範圍的同等效果。如上所述，左眼可以看到右眼看不到的圖像資料，同樣地右眼可以看到左眼看不到的圖像資料。在本發明中，左側以及右側圖像資料都會被保留，這些圖像資料會隨著觀看者的視線角度而出現在對應的顯示圖片中。雖然顯示裝置的位置跟尺寸是固定的，但因為視線的不同，呈現給觀看者的畫面也不同，視覺上來說視域會增加。

應用本發明的顯示系統以及方法，顯示裝置能提供多種不同的顯示資訊，根據觀看者的位置不同而顯示出對應的資訊或影像，以達到本發明視域延伸的功能。第9圖至第12圖以及第18圖為本發明第二實施例說明如何根據觀看者的視線而顯示對應的顯示資訊或影像。與上述實施例顯示方法的主要不同之處在於，本實施例的顯示方法不僅針對觀看者在第一時間點的第一位置1000視線呈現相對應的第一顯示影像；且在觀看者在第二時間點T2移動到第二位置2000後，亦針對第二位置2000的視線呈現相對的第二顯示影像。換句話說，本發明的顯示系統3具有可隨著觀看者視線轉換而更換虛顯示畫面。

首先，如第9圖所示，影像擷取模組在第一時間點觀看者所在的第一位置1000擷取第一臉部影像。如前一實施例所述，處理單元根據第一臉部影像定義出數個臉部特徵資料50；臉部特徵資料50可包含第一左眼位置501及第一右眼位置502。在本實施例中產生對應觀看者第一位置1000的第一融合畫面的方法與第一實施例相同，故不再贅述。

當觀看者從第一位置1000移動到第二位置2000時，影像擷取模組根據觀看者所在的第二位置2000擷取第二臉部影像6。接著，處理單元33根據第二臉部影像6計算數個第二臉部特徵資訊60；其中第二臉部特徵資訊60可包含第二左眼位置601及第二右眼位置602。如上所述，在實際應用中，處理單元可以根據第一臉部影像建立一第一臉部模型51，並根據第一臉部模型51定義第一臉部特徵資訊50；且根據第二臉部影像6建立一第二臉部模型61，並根據第二臉部模型61定義第二臉部特徵資訊60。另外，臉部特徵資訊亦可包含頭部位置500或600，但本發明不以此為限。

如第10圖所示，處理單元根據第二左眼位置601及第二右眼位置602計算第二左眼位置601至虛擬物件4的第二左眼向量405，以及第二右眼位置602至虛擬物件4的第二右眼向量406。

如第10圖以及第11圖所示，根據已知的人眼視域FOV沿著第二左眼向量405及第二右眼向量406可得到一左眼視域LFOV (第11圖虛線所示的一錐形區域)以及一右眼視域 RFOV(第11圖實線所示的一錐形區域)。左眼視域LFOV有一相應的第二左眼視像45；而右眼視域RFOV有一相應的第二第二右眼視像46。

如第12圖所示，第二左眼視像45與第二右眼視像46具有一第二重疊區47。第二左眼視像45可包含虛擬物件4的第二左側圖像資訊；其中第二左側圖像資料可以理解為觀看者在第二位置單獨用左眼觀看虛擬物件4 可以看到的圖像資料。相同地，第二右眼視像46包含虛擬物件4的右側圖像資訊；第二右側圖像資料可以理解為觀看者在第二位置單獨用右眼觀看虛擬物件4 可以看到的圖像資料。第二左側圖像資料以及第二右側圖像資料皆包含有第二重疊區47的圖像資料。在本發明一實施例中，處理單元可先將位於第二重疊區47內的第二左側圖像資料以及第二右側圖像資料4進行影像融合處理 (image fusion)，接著再將融合後的第二重疊區47的影像與剩餘的第二左側圖像資訊及第二右側圖像資訊融合以產生一第二融合影像8。或者，處理單元可直接將第二左眼影像45以及第二右眼影像46融合產生第二融合影像8。最後，顯示裝置以顯示第二融合影像8。

如上所述，不論觀看者的位置為何，本發明顯示系統3使用相同的方式得到相對應觀看者左眼91以及右眼92的左眼視像41以及右眼視像42。這些視像再進一步經過影像融合處理便可以產生對應觀看者視線的顯示畫面。對於觀看者來說，在第一位置1000時觀看到的畫面以及在第二位置2000觀看到的畫面是有差異的，應用這樣因視線而產生的圖像差異特徵，本發明的顯示系統3可以使得觀看者在透過顯示裝置32觀看物件4時更貼近真實世界中移動位置觀察物件的情況。舉例來說，假設觀察者第一個時間點在面對顯示裝置32正前方的位置(亦即第一位置1000)觀看顯示於顯示裝置32上的4物件，觀察者會看到如第19A圖所示的顯示畫面。而當觀察者的視線接著往左 (亦即觀察者由右往左觀看顯示裝置32)時，便能看較為右邊的物件4畫面，如第19B圖所示。相同地，當觀察者的視線往右 (亦即觀察者由左往右觀看顯示裝置32)時，便能看較為左邊的物件4畫面，如第19C圖所示。

另外，同樣應用本發明因視線而產生圖像差異的特徵，顯示系統可以設置有多個顯示資訊，這些顯示資訊會跟隨觀看者的視線而選擇性地顯示於顯示裝置上。舉例來說，第19A圖至第19C圖為數位汽車儀表板A的顯示畫面。第19A圖所示為駕駛9的視線保持面對數位儀表板A正中間時能看到的畫面；具體來說，數位儀表板的中間顯示汽車目前速度，左邊顯示為引擎轉速，而右邊為行駛距離以及方向指示。假設駕駛9將視線移向左邊(例如：駕駛9將頭偏向右側，視線由右往左看)，此時，如第19B圖所示，數位儀表板A的左側會出現例如溫度等資訊。反之，如果駕駛9將視線移向右邊(例如：駕駛9將頭偏向左側，視線由左往右看)，此時，如第19C圖所示，數位儀表板A的右側會出現例如油箱錶等資訊。

請參考第18A圖及第18B圖，第18A圖及第18B圖是本發明的一種利用顯示系統3顯示畫面的一顯示方法的流程示意圖。顯示方法隨著觀看者的視線呈現不同顯示畫面的過程包括以下步驟：

步驟S200：影像擷取模組31擷取觀看者在的第一位置1000時的一第一臉部影像5。

步驟S210：處理單元33根據第一臉部影像5定義一第一特徵資訊50；其中第一特徵資訊50包含一第一左眼位置501及一第一右眼位置502。

步驟S220：處理單元33根據第一左眼位置501及第一右眼位置502，計算第一左眼位置501至物件4的一第一左眼向量401以及第一右眼位置502至物件4的一第一右眼向量402。

步驟S230：處理單元33根據第一左眼向量401計算一第一左眼視像41，且根據第一右眼向量402計算一第一右眼視像42，其中第一左眼視像41與第一右眼視像42具有一第一重疊區43；第一左眼視像41包含物件4的第一左側圖像資訊，第一右眼視像42包含物件4的第一右側圖像資訊。

步驟S240：處理單元33將第一左眼視像41以及第一右眼視像42經過影像融合處理得到一第一融合影像7。

步驟S250：顯示裝置32在觀看者位於第一位置1000時顯示第一融合影像7。

步驟S260：影像擷取模組31擷取觀看者在第二位置2000時的一第二臉部影像6。

步驟S270：處理單元33根據第二臉部影像6定義一第二特徵資訊60；其中第二特徵資訊60包含一第二左眼位置601及一第二右眼位置602。

步驟S280：處理單元33根據第二左眼位置601及第二右眼位置602計算第二左眼位置601至物件4的一第二左眼向量405，以及第二右眼位置602至物件4的一第二右眼向量406。

步驟S290：處理單元33根據第二左眼向量405計算一第二左眼視像45，以及根據第一右眼向量402計算一第二右眼視像46，其中第二左眼視像45與第二右眼視像46具有一第二重疊區47；第二左眼視像45包含物件4的第二左側圖像資訊，第二右眼視像46包含物件4的第二右側圖像資訊。

步驟S300：處理單元33將第二左眼視像45與第二右眼視像46經過影像融合處理以得到一第二融合影像8。

步驟S310：顯示裝置32在觀看者位於第二位置2000時顯示第二融合影像8。

上述流程圖以物件4舉例說明本發明的顯示系統3根據觀看者的位置呈現對應的顯示畫面。但如前述，本發明亦可以提供多種顯示資料選擇性地根據觀看者的位置顯示對應的內容。若是多種顯示資料的情況，本發明的座標系統中心可以設置在虛擬空間49的中間點位置，如此便可分別計算觀察者在第一位置1000以及第二位置2000的左右眼向量。

第13圖至15圖以及第17圖為本發明第三實施例的顯示系統3以及顯示方法。第13圖是本發明另一實施方式的顯示系統3的示意圖。第14圖是本發明另一實施方式的透鏡模組的示意圖。第15圖是本發明另一實施方式透鏡模組投射交織的融合影像的示意圖。與前述實施例不同的是本實施例另外將透鏡模組34設置於顯示裝置32上。如第13圖所示，透過透鏡模組34，可以將融合後的影像以裸眼立體的影像方式呈現給觀看者。如第14圖所示，透鏡模組34可包含複數個透鏡條345。另外，本發明的透鏡模組34以可用具有同等功效的薄膜(thin film)取代。

請參考第20圖。第20圖是本發明實施方示透鏡模組34投射交織的融合影像至N個子視域S的示意圖。假設人眼的視域FOV可以等量地切分成數個子視域(segment)，在本實施例中例如為八個子視域S。亦即，人眼的視域FOV是由這八個子視域S組成，這些子視域S依序給1至8的編號。延用本發明第一實施例作為範例並參照第20圖。為了呈現裸眼立體影像，處理單元將融合影像7切割為N個視條像481，也依序給1至8的重複連續編號；N為自然整數，且在本實施例中，N為整數8。在本實施例中，假設觀看者的左眼91的視線落在編號4的子視域S，透過透鏡模組34，觀看者的左眼91可以看到所有編號4的視條像481。同樣地，假設觀看者的右眼92的視線落在編號6的子視域S，透過透鏡模組34，觀看者的右眼92可以看到所有編號6的視條像481。因為左右眼視像差的關係，左眼91看到編號4的視條像481會和右眼92看到編號6的視條像481交織(interlace)而形成3D立體的效果。

這樣的裸眼式立體成像效果同樣可以應用在觀察者變換視線位置的情況下。舉例來說，當觀察者在第二位置2000時，處理單元33產生第二融合影像8。處理單元33進一步將第二融合影像8切割成M個視條像482，每個視條像482也依序給1至8的編號。假設此時觀看者的左眼91的視線落在編號3的子視域S，透過透鏡模組34，觀看者的左眼91可以看到所有編號3的視條像482。同樣地，假設觀看者的右眼92的視線落在編號5的子視域S，透過透鏡模組34，觀看者的右眼92可以看到所有編號5的視條像482。因為左右眼視像差的關係，左眼91看到編號3的視條像482會和右眼92看到編號5的視條像482交織(interlace)而形成3D立體的效果。

對觀看者而言，當從第一個位置1000移到第二個位置2000時，顯示裝置32所呈現的畫面會隨著視線位置移動而變化。因此在視覺效果上觀察者會覺得更貼近真實世界的視覺體驗。

第17圖是本發明第三實施例的顯示系統所應用的顯示方法流程示意圖。延用第一實施例的標號，本實施例的顯示系統3至少包含有一影像擷取模組31、一顯示裝置32、一處理單元33以及一透鏡模組34。其中透鏡模組34設置於顯示裝置32與觀察者間，且透鏡模組包含複數個透鏡條345。本實施例的顯示方法包括以下步驟：

步驟S400：影像擷取模組31擷取一臉部影像5。

步驟S410：處理單元33根據臉部影像5計算一臉部特徵資訊50；其中臉部特徵資訊50包含一左眼位置501及一右眼位置502。

步驟S420：處理單元33根據左眼位置501及右眼位置502，計算左眼位置501至物件4的一左眼向量401以及右眼位置502至物件4的一右眼向量402。

步驟S430：處理單元33根據左眼向量401計算一左眼視像41以及根據右眼向量402計算一右眼視像42，其中左眼視像41包含物件4的至少一部分的左側圖像資訊，右眼視像42包含物件4的至少一部分的右側圖像資訊，左眼視像41與右眼視像42具有一重疊區43。

步驟S440：處理單元33將左眼視像41與右眼視像42經過影像融合處理得到一融合影像7。

步驟S450：處理單元33將融合影像7切割成複數個視條像481，每個視條像481依序給1到X的編號；其中X為定義視域FOV中子視域S的數目，在一實施例中，X等於8。

步驟S460：透過各透鏡條345將對應相同編號的視條像481折射至觀看者的左眼91以及右眼。

除上述的臉部特徵資料計算，或是影像融合處理外，本發明的影像擷取模組31也可包含一處理器來對影像做前置處理，例如HDR、景深處理等，或是將原始影像資料傳至處理單元33來推算出角度、距離、景深等參數，以進行圖像渲染。

本發明顯示系統以及方法可以隨著觀看者的視線位置顯示對應的影像。對觀看者而言，這樣的視覺效果更為貼近現實生活中觀看任何物體的體驗。此外，利用隨視線變化改變顯示內容的特性，本發明的顯示系統以及顯示方法可以在有限的顯示裝置範圍中顯示出選擇性得顯示更多的資料或圖像。實質上以及視覺上都可以達到擴張視域的效果。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

1000‧‧‧第一位置

2000‧‧‧第二位置

6000‧‧‧智慧汽車

1‧‧‧底盤

2‧‧‧車架

20‧‧‧座艙

3‧‧‧顯示系統

31‧‧‧影像擷取模組

32‧‧‧顯示裝置

33‧‧‧處理單元

34‧‧‧透鏡模組

345‧‧‧複數個透鏡條

4‧‧‧物件

401‧‧‧(第一)左眼向量

402‧‧‧(第一)右眼向量

405‧‧‧第二左眼向量

406‧‧‧第二右眼向量

41‧‧‧(第一)左眼視像

42‧‧‧(第一)右眼視像

43‧‧‧(第一)重疊區

45‧‧‧第二左眼視像

46‧‧‧第二右眼視像

47‧‧‧第二重疊區

481, 482‧‧‧視條像

49‧‧‧虛擬空間

5‧‧‧(第一)臉部影像

50‧‧‧臉部特徵資訊

500‧‧‧頭部位置

501‧‧‧(第一)左眼位置

502‧‧‧(第一)右眼位置

51‧‧‧(第一)臉部模型

6‧‧‧第二臉部影像

60‧‧‧第二臉部特徵資訊

600‧‧‧第二頭部位置

601‧‧‧第二左眼位置

602‧‧‧第二右眼位置

61‧‧‧第二臉部模型

7‧‧‧(第一)融合影像

8‧‧‧第二融合影像

9‧‧‧頭部

91‧‧‧左眼

92‧‧‧右眼

FOV‧‧‧視域

S‧‧‧子視域

LFOV‧‧‧左眼視域

RFOV‧‧‧右眼視域

P‧‧‧位置向量

E1‧‧‧左眼位置向量

E2‧‧‧右眼位置向量

第1圖是應用本發明顯示系統於一智慧汽車的示意圖。第2圖是本發明顯示系統的功能方塊示意圖。第3圖是本發明實施方式觀看者與顯示系統的示意圖。第4圖是本發明實施方式觀看者的臉部影像示意圖。第5圖是本發明實施方式觀看者的臉部資料特徵示意圖。第6圖是本發明實施方式產生左眼向量與右眼向量的示意圖。第7圖是本發明第實施方式產生左眼視像及右眼視像的示意圖。第8圖是本發明實施方式將左側圖像資訊、右側圖像資訊融合為融合影像的示意圖。第9圖是本發明第實施方式顯示系統隨觀看者視線改變顯示內容的示意圖。第10圖是本發明實施方式產生第二左眼向量與第二右眼向量的過程示意圖。第11圖是本發明實施方式產生第二左眼視像及第二右眼視像的示意圖。第12圖是本發明實施方式將第二左側圖像資訊以及第二右側圖像資訊融合為第二融合影像的示意圖。第13圖是本發明另一實施方式的顯示系統的示意圖。第14圖是本發明另一實施方式的透鏡模組的示意圖。第15圖是本發明另一實施方式透鏡模組投射交織的融合影像的示意圖。第16圖是本發明實施方式的一顯示方法流程示意圖。第17圖是本發明實施方式的另一顯示方法流程示意圖。第18A圖及第18B圖是本發明實施方式又另一顯示方法流程示意圖。第19A圖是本發明實施方示觀看者在顯示裝正前方所看到的顯示畫面的示意圖。第19B圖示本發明實施方示觀看者由第19A圖的觀看位置移往左方觀看顯示裝置時於顯示裝置上所看到的顯示畫面的示意圖。第19C圖是本發明實施方示觀看者由第19A圖的觀看位置移往右方觀看顯示裝置時於顯示裝置上所看到的顯示畫面的示意圖。第20圖是本發明實施方示透鏡模組投射交織的融合影像至N個子視域的示意圖。

Claims

一種立體成像顯示系統，包含：一影像擷取模組，用以擷取一觀看者的一臉部影像；一處理單元，與該影像擷取模組連接，該處理單元根據該觀看者的該臉部影像計算該觀看者的一左眼位置以及一右眼位置，該處理單元根據該左眼位置計算一左眼向量並根據該右眼位置計算一右眼向量，該處理單元根據該左眼向量以及該右眼向量計算得到一左眼視像以及一右眼視像，該處理單元對該左眼視像以及該右眼視像進行影像融合處理得到一融合影像；以及一顯示裝置，與該處理單元連接並設置有一透鏡模組，該融合影像透過該透鏡模組分別折射至該觀看者的一左眼以及一右眼。
如申請專利範圍第1項的立體成像顯示系統，其中該觀看者的一視域包含N個子視域，該透鏡模組包含複數個透鏡條，該處理單元進一步將該融合影像切分成複數個視條像且依序由1到N連續重複編號，其中該處理單元根據該左眼向量判斷該觀看者的左眼落在一第一編號的子視域且根據該右眼向量判斷該觀看者的右眼落在一第二編號的子視域，且該處理單元使得所有編號為該第一編號的視條像透過該第一編號的透鏡條折射至該觀看者的左眼並使得所有編號為該第二編號的視條像透過該第二編號的透鏡條折射至該觀看者的右眼。
如申請專利範圍第1項的立體成像顯示系統，其中折射至左眼的該融合影像部分以及折射至右眼的該融合影像部分交織(interlace)使得該觀看者看到立體成像的該融合影像。
如申請專利範圍第1項的立體成像顯示系統，其中該顯示系統建立一座標系統用以顯示該融合影像，該處理單元根據該影像擷取模組以及該座標系統的一原點計算一位置向量，該處理單元根據該觀看者的位置、該觀看者的該左眼位置以及該右眼位置計算一左眼位置向量與一右眼位置向量，該處理單元根據該位置向量以及該左眼位置向量計算該左眼向量，且該處理單元根據該位置向量以及該右眼位置向量計算該右眼向量。
如申請專利範圍第4項的立體成像顯示系統，其中該座標系統的原點可為一顯示物件，或者一視覺虛擬空間的中心點。
如申請專利範圍第1項的立體成像顯示系統，其中該處理單元根據該左眼向量以及該觀看者的一左眼視域產生該左眼視像，且該處理單元根據該右眼向量以及該觀看者的一右眼視域產生該右眼視像。
如申請專利範圍第1項的立體成像顯示系統，其中該左眼視像包含一左側圖像資訊，且該右眼視像包含一右側圖像資訊，該融合影像包含該左側圖像資料以及該右側圖像資料。
一種立體成像顯示系統，包含：一影像擷取模組，用以擷取一觀看者位於一第一位置的一第一臉部影像，以及擷取該觀看者於一第二位置的一第二臉部影像；一處理單元，與該影像擷取模組連接，該處理單元用以進行以下步驟：根據該觀看者的該第一臉部影像計算該觀看者的一第一左眼位置以及一第一右眼位置；根據該第一左眼位置計算一第一左眼向量，且根據該第一右眼位置計算一第一右眼向量；根據該第一左眼向量以及該第一右眼向量計算得到一第一左眼視像以及一第一右眼視像；對該第一左眼視像以及該第一右眼視像進行影像融合處理得到一第一融合影像；根據該觀看者的該第二臉部影像計算該觀看者的一第二左眼位置以及一第二右眼位置；根據該第二左眼位置計算一第二左眼向量並根據該第二右眼位置計算一第二右眼向量；根據該第二左眼向量以及該第二右眼向量計算得到一第二左眼視像以及一第二右眼視像；以及對該第二左眼視像以及該第二右眼視像進行影像融合處理得到一第二融合影像；以及一顯示裝置，與該處理單元連接並設置有一透鏡模組，其中當該觀看者於該第一位置時，該第一融合影像透過該透鏡模組折射至該觀看者的一左眼與一右眼，其中當該觀看者位於該第二位置時，該第二融合影像透過該透鏡模組折射至該觀看者的該左眼與該右眼。
如申請專利範圍第8項的立體成像顯示系統，其中該透鏡模組包含複數個透鏡條，該處理單元進一步將該融合影像切分成複數個視條像且依序由1到N連續重複編號，其中當觀看者位於該第一位置時，該處理單元根據該第一左眼向量判斷該觀看者的左眼落在一第一編號的子視域並根據該第一右眼向量判斷該觀看者的右眼落在一第二編號的子視域，該處理單元使得所有編號為該第一編號的視條像透過該第一編號的透鏡條折射至該觀察者的左眼，並使得所有編號為該第二編號的視條像透過該第二編號的透鏡條折射至該觀察者的右眼，當觀看者位於該第二位置時，該處理單元根據該第二左眼向量判斷該觀看者的左眼落在一第三編號的子視域並根據該第二右眼向量判斷該觀看者的右眼落在一第四編號的子視域，且該處理單元使得所有編號為該第三編號的視條像透過該第三編號的透鏡條折射至該觀察者的左眼，並使得所有編號為該第四編號的視條像透過該第四編號的透鏡條折射至該觀察者的右眼。
如申請專利第8項的立體成像顯示系統，其中折射至左眼的該第一融合影像部分以及折射至右眼的該第一融合影像部分交織使得該觀看者看到立體成像的該第一融合影像，且折射至左眼的該第二融合影像部分以及折射至右眼的該第二融合影像部分交織使得該觀看者看到立體成像的該第二融合影像。
如申請專利範圍第8項的立體成像顯示系統，其中該顯示系統產生一視覺虛擬空間並建立一座標系統用以顯示該第一融合影像以及該第二融合影像，該處理單元根據該影像擷取模組以及該座標系統的一原點計算一位置向量，該處理單元根據該第一位置、該第一左眼位置以及該第一右眼位置計算一第一左眼位置向量與一第一右眼位置向量，該處理單元根據該位置向量以及該第一左眼位置向量計算該第一左眼向量，該處理單元根據該位置向量以及該第一右眼位置向量計算該第一右眼向量，該處理單元根據該第二位置、該第二左眼位置以及該第二右眼位置計算一第二左眼位置向量與一第二右眼位置向量，該處理單元根據該位置向量以及該第二左眼位置向量計算該第二左眼向量，且該處理單元根據該位置向量以及該第二右眼位置向量計算該第二右眼向量。
如申請專利範圍第11項的立體成像顯示系統，其中該座標系統的原點可為一顯示物件，或者一視覺虛擬空間的中心點。
如申請專利範圍第8項的立體成像顯示系統，其中該處理單元根據該第一左眼向量以及該觀看者的一視域產生該第一左眼視像，該處理單元根據該第一右眼向量以其該觀看者的該視域產生該第一右眼視像，該處理單元根據該第二左眼向量以及該觀看者的該視域產生該第二左眼視像，且該處理單元根據該第二右眼向量以該觀看者的該視域產生該第二右眼視像。
如申請專利範圍第8項的立體成像顯示系統，其中該第一左眼視像包含一第一左側圖像資訊，該第一右眼視像包含一第一右側圖像資訊，該第一融合影像包含該第一左側圖像資料以及該第一右側圖像資料，該第二左眼視像包含一第二左側圖像資訊，且該第二右眼視像包含一第二右側圖像資訊，且該第二融合影像包含該第二左側圖像資料以及該第二右側圖像資料。
一種顯示立體影像的顯示方法，包含：擷取一觀看者位於一第一視線位置時的一第一臉部影像；根據該第一臉部影像計算該觀看者的一第一左眼位置及一第一右眼位置；根據該觀看者的該第一左眼位置及該第一右眼位置，計算一第一左眼向量以及一第一右眼向量；根據該第一左眼向量計算一第一左眼視像；根據該第一右眼向量計算一第一右眼視像；將該第一左眼視像與該第一右眼視像進行影像融合處理以得到一第一融合影像；以及當該觀看者位於該第一視線位置時透過一透鏡模組將該第一融合影像折射至該觀看者的左眼以及右眼。
如申請專利第15項的顯示方法，其中更包含將該觀看者的一視域沿該第一左眼向量延伸形成該第一左眼視像，並將該觀看者的視域沿該第一右眼向量延伸形成該第一右眼視像，該第一左眼視像包含一第一左側圖像資訊，該第一右眼視像包含一第一右側圖像資訊，且該第一融合影像包含該第一左側圖像資料以及該第一右側圖像資料。
如申請專利範圍第15項的顯示方法，另包含：將該觀看者的一視域定義成N個子視域，每個子視域依序從1到N編號；將該第一融合影像切割成複數個視條像，每個視條像依序從1到N連續重複編號；判斷該觀看者的左眼落在一第一編號的子視域，以及判斷該觀看者的右眼落在一第二編號的子視域；以及將所有編號為該第一編號的視條像經過一透鏡模組折射到該觀看者的左眼，且將所有編號為該第二編號的視條像經過該透鏡模組折射到該觀看者的右眼，其中該第一編號的視條像以及該第二編號的視條像交織使得該觀看者看到立體成像的該第一融合影像。
如申請專利範圍第15項的顯示方法，另包含擷取該觀看者位於一第二視線位置時的一第二臉部影像；根據該第二臉部影像計算該觀看者的一第二左眼位置及一第二右眼位置；根據該觀看者的該第二左眼位置及該第二右眼位置，計算一第二左眼向量以及一第二右眼向量；根據該第二左眼向量計算一第二左眼視像且根據該第二右眼向量計算一第二右眼視像；將該第二左眼視像與該第二右眼視像進行影像融合處理以得到一第二融合影像；以及當該觀看者位於該第二視線位置時將該第二融合影像透過一透鏡模組折射至該觀看者的左眼以及右眼。
如申請專利範圍第17項的顯示方法，另包含：將該觀看者的該視域定義成N個子視域，每個子視域依序從1到N編號；將該第二融合影像切割成複數個視條像，每個視條像依序從1到N連續重複編號；判斷該觀看者的左眼落在一第三編號的子視域，以及判斷該觀看者的右眼落在一第四編號的子視域；以及將所有編號為該第三編號的視條像經過一透鏡模組折射到該觀看者的左眼，且將所有編號為該第四編號的視條像經過該透鏡模組折射到該觀看者的右眼，其中該第三編號的視條像以及該第四編號的視條像交織使得該觀看者看到立體成像的該第二融合影像。
如申請專利範圍第17項的顯示方法，其中更包含將該觀看者的視域沿該第二左眼向量延伸形成該第二左眼視像，並將該觀看者的視域沿該第二右眼向量延伸形成該第二右眼視像，其中該第二左眼視像包含一第二左側圖像資訊，該第二右眼視像包含一第二右側圖像資訊，且該第二融合影像包含該第二左側圖像資料以及該第二右側圖像資料。