TWI771969B - 適應眼睛位置的立體影像數據的產生方法與顯示系統 - Google Patents
適應眼睛位置的立體影像數據的產生方法與顯示系統 Download PDFInfo
- Publication number
- TWI771969B TWI771969B TW110111884A TW110111884A TWI771969B TW I771969 B TWI771969 B TW I771969B TW 110111884 A TW110111884 A TW 110111884A TW 110111884 A TW110111884 A TW 110111884A TW I771969 B TWI771969 B TW I771969B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- stereoscopic image
- optical element
- unit
- element module
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000009877 rendering Methods 0.000 title abstract 2
- 230000000704 physical effect Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 36
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
Abstract
說明書提出一種適應眼睛位置的立體影像數據的產生方法與顯示系統,目的是產生呈現在立體空間中的立體影像,在方法中,先取得描述立體影像的三維空間資訊的立體影像數據,並偵測出使用者眼睛的位置,即可根據眼睛位置與多光學元件模組中每個透鏡單元之間的光線追跡資訊形成一可視範圍,對應每個透鏡單元的可視範圍可能涵蓋到立體影像的部份,經配合顯示面板與多光學元件模組的物理特性演算出用於顯示在顯示面板上的單元影像,多個單元影像形成記錄適應眼睛位置的立體影像數據的一集成影像,集成影像即用於重現所述的立體影像。
Description
說明書提出一種立體影像的顯示技術,特別是指可根據眼睛位置調整立體影像數據的一種適應眼睛位置的立體影像數據的產生方法與顯示系統。
習知技術顯示立體影像的方法,多數是應用了雙眼看到同一個物體會產生視差的原理,因此設計出讓雙眼能夠分別看到具有差異的兩個影像的立體圖案,或是循序播放兩種不同影像的動態影像,常見是通過特殊眼鏡觀看,如紅藍眼鏡、偏光眼鏡或快門眼鏡,如此因為雙眼視差而在腦中融合成具有深度的立體視覺效果。
另有方法是提供一種立體顯示裝置,通過顯示裝置中的光學元件,在不用特殊眼鏡的情況下,可使得觀賞者能夠在特定的觀看角度讓雙眼分別接收到具有影像差異的影像,也能產生具有深度的立體視覺效果。
而先前技術提供可觀賞立體影像的技術並未參考使用者觀看位置,甚至會要求使用者觀賞位置,也沒有提供任何解決方式。
為了改善先前原本不考慮眼睛位置的立體影像顯示方法,揭露書公開一種適應眼睛位置的立體影像數據的產生方法與顯示系統。
根據實施例,顯示系統包括一多光學元件模組,由多個透鏡單元組成,用以呈現一立體影像;顯示系統還包括一顯示面板,用以顯示一集成影像,此集成影像由多個單元影像組成,顯示後可經多光學元件模組呈現出立體影像;顯示系統設有一顯示驅動單元,用以驅動顯示單元顯示集成影像;以及一影像處理單元,其中執行適應眼睛位置的立體影像數據的產生方法以產生所述集成影像,其中,經處理描述立體影像的三維空間資訊的立體影像數據形成一應眼睛位置的集成影像。
形成集成影像的具體方式是先取得描述立體影像的立體影像數據,並通過偵測得到使用者眼睛的位置,以及取得顯示系統中的顯示面板與多光學元件模組的物理特性。接著,可根據眼睛位置與多光學元件模組中每個透鏡單元之間的光線追跡資訊形成一可視範圍,於是,可以根據對應各透鏡單元的可視範圍所涵蓋到立體影像的部份以及顯示面板與多光學元件模組的物理特性,對照顯示面板的顯示像素位置,記錄單元影像,也就產生對應多個透鏡單元的多個單元影像,該多個單元影像形成記錄適應眼睛位置的立體影像數據的該集成影像。
優選地,立體影像數據還記載了描述立體影像的色彩資訊,三維空間資訊包括於一立體空間中顯示每個像素的座標值與色度值。而所述顯示面板與多光學元件模組的物理特性包括多光學元件模組中每個透鏡單元的座標、尺寸與折射率,以及各透鏡單元與顯示面板的空間關係。
進一步地,其中對應不同透鏡單元的單元影像因為光線追跡的不同而有位置與大小差異,所形成的集成影像通過顯示面板顯示並經多光學元件模組投射後重現適應眼睛位置的立體影像。
進一步地,當立體影像數據為一動態立體影像,即重複適應眼睛位置的立體影像數據的產生方法產生連續多張適應眼睛位置的集成影像,用以通過多光學元件模組重現動態立體影像。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與圖式,然而所提供的圖式僅用於提供參考與說明,並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不悖離本發明的構思下進行各種修改與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。
應當可以理解的是,雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號,但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件,或者一信號與另一信號。另外,本文中所使用的術語“或”,應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
揭露書公開一種適應眼睛位置的立體影像數據的產生方法與顯示系統,所揭示的方法適用於一設有多光學元件的顯示裝置,並用於顯示立體影像的用途上,顯示裝置的實施例可參考圖1所示的實施例示意圖。
此圖顯示為立體影像顯示系統中的顯示裝置結構示意圖,其中立體顯示裝置可為具有背光模組(未顯示於此圖中)的液晶顯示面板(LCD),亦不排除其他具有背光模組的顯示器形式,或是可為具有自發光特性的有機發光二極體(OLED)。顯示面板1顯示的顯示影像11為通過如圖6顯示的方法流程所產生的一種集成影像(integral image),集成影像是由多個單元影像(elemental image)組成的一個平面影像,單元影像即為對應圖中所示實施例所示由多個透鏡組組成的多光學元件模組2的各個透鏡組的影像,其中顯示影像11上的每個單元影像可為一對一、一對多、多對一等方式對應到每個透鏡組位置的影像。
在多光學元件模組2中,設有基部21與透鏡部22,透鏡部22上的各個光學元件可為一透鏡組,透鏡組可由一或多個凸透鏡與凹透鏡組成,多光學元件形成一透鏡矩陣。系統即通過多光學元件模組2呈現出立體影像,然而,在此技術概念下,觀看位置5所在位置與相對於顯示裝置的角度將影響到所述集成影像與單元影像的形成。圖中顯示裝置的影像處理單元12除了執行一般影像處理程序外,亦可執行所述的形成集成影像的方法,可以根據觀看位置5的觀看位置、立體影像顯示的位置,以及多光學元件模組2中各透鏡組的物理特性,以及各元件彼此之間的空間關係調整參考影像、演算單元影像,以及形成集成影像。根據適應眼睛位置的立體影像顯示實施例,若使用者改變了觀看位置5,可以適應性地提供使用者在其觀看位置5適當的觀看內容。
圖中所示的顯示裝置可以為手機、平板、電腦等具有平面螢幕的電子裝置,顯示面板1設於下層,其負責顯示尚未經過光線重現的平面圖像,主要為顯示集成影像的顯示元件;多光學元件模組2設於較上層,具有調控光場的功效,可以調控立體影像的光線角度,讓原本尚未重組的平面影像進行重新分配和組合。在此實施例中,集成影像通過多光學元件模組2實現光線重新分配和組合,進而顯示重組的立體影像。
多光學元件模組2由多個以陣列形式排列的透鏡組組成,組成透鏡部22,其物理特性如材質與透鏡曲率造成的折射率與穿透性,加上透鏡矩陣的透鏡組數量與排列方式,配合顯示面板1的設置,能決定立體影像的高度、可視角度範圍及清晰度等三維影像內容。
根據各種實施態樣,各透鏡組可如單一透鏡(single lens)、透鏡陣列(lens array)、雙凸透鏡(lenticular lens)、菲涅耳透鏡(Fresnel lens),成像時可以配合針孔(pin hole)、針孔陣列(pin hole array)、光障壁(barrier),以及特定點光源(point light source)。其中顯示立體影像的顯示裝置可以採用具備一種透鏡組的顯示器或是由兩種以上的透鏡組的顯示器陣列,通過顯示面板將影像顯示出來,經透鏡映射在預設位置上。
圖2以另一示意圖描述立體影像顯示系統中顯示裝置實施例,其中顯示由一立體顯示裝置中的顯示面板1顯示以單元影像組成的集成影像,經由多光學元件模組2重現立體影像。
如圖顯示的實施例,同樣見於圖1,使用者從其觀看位置5看到「3D」的浮空立體影像,而此立體影像是由顯示面板1顯示出顯示影像11,這是一個由多個單元影像形成的集成影像,每個單元影像是對應到一個多光學元件模組2中的單一光學元件,也就是一個透鏡組。
由於透鏡部22上的每個透鏡組設於不同的位置,當多光學元件模組2欲投射出一個浮空的立體影像時,而且是在某個觀看位置5要看到的立體影像,顯然每個位置的透鏡組所投射出去的影像要投向設定好的空間位置上,因此每個位置的透鏡組應要投射不一樣的影像,也就涉及對應每個光學元件的單元影像彼此將具有一個差異。
舉例來說,要投射一個浮空立體影像時,位於投射的立體影像左方的光學元件應該要投射出偏重立體影像左方的某個投射角度的單元影像;位於立體影像右方的光學元件應要投射較偏重立體影像右方的某個投射角度的單元影像;位於立體影像下方的光學元件應要投射較偏重立體影像下方而向上投射的單元影像,並以實像(real image)投射到人眼。更者,所述浮空立體影像表示與顯示平面相距一個距離,顯示效果如同浮在空中一般,但另有實施例,並不排除有下沉在顯示平面中的效果。
以上實施例所描述的立體影像顯示系統可以電路系統實現,實施例可參考圖3所示的電路方塊圖。
立體影像顯示系統可以硬體並搭配軟體實現適應眼睛位置的立體影像數據的產生方法,其中硬體的部分如一個顯示裝置,其中包括如圖中顯示相互電性連接的電路單元,主要元件包括一多光學元件模組301,由多個單一光學元件組成,用以呈現一立體影像,可如圖1或圖2實施例所述,每個光學元件為一透鏡組,透鏡組則可由一或多個凸透鏡與凹透鏡組成,此多光學元件即形成一透鏡矩陣。顯示系統包括一顯示單元303,包括一個顯示面板,用以顯示一集成影像,集成影像可通過多光學元件模組301投射後,可呈現出立體影像。
顯示系統包括一顯示驅動單元305,此可為顯示面板的驅動電路,能夠產生影像控制訊號,以驅動顯示單元303顯示集成影像。顯示系統包括一影像處理單元307,實施例可為一種影像處理積體電路,如一種數位訊號處理器(ISP)或是特定軟體實現的模組,用以產生立體影像,連接儲存經輸入介面單元309接收的立體影像數據的一記憶單元311,記憶單元311如系統的記憶體,用以暫存影像數據、系統運作指令以及演算指令,能夠提供運算用的指令集與相關影像數據,可作為緩衝器,用以暫存系統運作時產生的檔案。
影像處理單元307還電性連接系統用以偵測使用者眼睛位置的眼睛偵測單元313,眼睛偵測單元313可為設置於顯示單元303與多光學元件模組301附近的電路模組或獨立裝置,通過軟體(影像處理)與硬體(攝影機)手段取得使用者的人臉影像後根據眼睛特徵偵測出眼睛位置,眼睛位置可指使用者的一或兩眼位置,可以一組座標描述,或是通過座標轉換為與立體顯示裝置相同座標系的座標。當得出眼睛位置後,提供影像處理單元307自記憶單元311取得適應眼睛位置的立體影像的相關立體影像數據。另一方面,適應眼睛位置的立體影像顯示系統在記錄立體空間的影像數據時,通過軟體方法或是通過眼睛偵測單元313先得到使用者眼睛位置,再根據眼睛位置、所要顯示的立體影像以及多光學元件模組301中各透鏡單元等資訊演算出對應各透鏡單元的單元影像,再儲存至記憶單元311中。
所述立體影像顯示系統中的影像處理單元307、輸入介面單元309、記憶單元311與眼睛偵測單元313實現產生適應眼睛位置的立體影像數據的演算電路300,演算電路300通過輸入介面單元309連接外部立體影像來源30,當影像處理單元307運行適應眼睛位置的立體影像數據的產生方法時,先通過輸入介面單元309接收一描述立體影像的三維空間資訊的立體影像數據。所述立體影像來源30可以為通過特定軟硬體所繪製完成的立體圖資,其中記載立體影像的立體座標、色度等資訊,可包括立體影像的色彩資訊以及三維空間資訊,另有實施例可為二維平面影像以及一張深度圖(depth map)。
接著根據立體影像數據建立一空間相對關係,實際上可以一參考影像反映此空間相對關係,而此參考影像可以反映出最後顯示的立體影像,此參考影像為使用者設定完成,用以設定欲呈現得到的立體影像,接著,系統根據眼睛位置、參考影像與多光學元件模組301有關的物理資訊演算對應各光學元件的單元影像,並對應多光學元件的多個單元影像形成提供顯示單元303顯示的集成影像,集成影像經顯示驅動單元305驅動顯示後,通過多光學元件模組301呈現立體影像。
所述與多光學元件模組有關的物理資訊主要涉及各光學元件的物理特性,光學元件如形成透鏡陣列的各透鏡單元,相關物理特性如各透鏡單元光學特性(如折射率)、排列位置以及透鏡單元相鄰間距等,更至少包括一投射立體影像的空間位置與各光學元件之間的空間關係,例如立體影像距離每個光學元件(如透鏡組)的距離與相對角度;以及各光學元件與顯示單元303中一顯示面板的空間關係,例如各光學元件與顯示面板之間距。
以上所述的空間關係,可將系統置於同一空間座標系中,以立體影像的空間座標與各光學元件的相對座標計算得出立體影像距離每個光學元件的距離與相對角度,各光學元件之間的相對位置也因此可以得出,各光學元件與顯示面板之間距也能得到。空間關係亦可能包括多光學元件模組上的每一個光學元件的相對位置,以及相對顯示面板的距離和像素大小的搭配。之後,可根據所述的各樣空間關係在適應眼睛位置的立體影像數據的產生方法中輸入要顯示的立體影像數據,包括根據使用者觀看位置設定立體影像顯示的斜向角度,再根據眼睛位置形成光線追跡(ray tracing),經演算形成單元影像,經處理後可形成適應眼睛位置的集成影像。
圖4顯示適應眼睛位置的立體影像數據的產生方法中根據眼睛位置以光線追跡方式形成單元影像的實施例圖,其中形成單元影像與集成影像的描述可同時參考圖6所示的實施例流程圖。
此圖例示意顯示使用者(眼睛42)於一立體影像顯示裝置上方觀看一個立體影像410,此立體影像410通過顯示裝置中的多光學元件模組中陣列形式的透鏡組將顯示面板40上顯示的影像投射在立體空間中,呈現出一漂浮的立體影像410(此例顯示立體字樣「3D」)。其中的技術是先決定一個要呈現出來的立體影像,例如自一立體影像來源取得立體影像數據(步驟S601,圖6),建立一對應的參考影像(reference image),也就是圖4示意圖中的立體影像410(步驟S603,圖6)。參考影像的立體影像資訊可包括描述立體影像410的色彩資訊以及三維空間資訊,空間中的每一個影像像素包括一組座標值(x, y, z)與色度值(chromatic value),可以是一平面影像資料與其深度圖。之後,可設定一個眼睛位置,或是通過偵測眼睛位置的技術取得真實使用者的眼睛位置,並取得眼睛位置與多光學元件模組之間的各種物理資訊(步驟S605)。其中,系統取得與多光學元件有關的物理資訊,包括光學元件(如透鏡組)尺寸與特性,包括單一透鏡組、多透鏡矩陣的設置座標、尺寸、折射率等,以及光學元件投射的空間位置、各光學元件與顯示面板的空間關係(如距離)、投射位置與各光學元件之間的空間關係等。
在此一提的是,重現立體影像時,可以平面座標值配合深度圖所記載的平面影像中每個像素的深度值(z值),使得重現影像時描述立體影像的座標值(x, y, z),並加上色度值,以顯示出影像中每個部分的正確空間位置與顏色,產生立體影像。之後,系統根據接收的立體影像數據,以及使用者眼睛位置、立體影像投射位置,建立所述的參考影像。參考影像用以反映出顯示影像的立體座標值、色度值。根據實施例之一,輸入的原始立體影像經一座標轉換成為參考影像,其中將根據一座標轉換演算法演算出一組轉換參數。
當取得眼睛位置時,建立眼睛位置與各透鏡單元之間的光線追跡資訊。如圖所示,為了建立眼睛42、每個透鏡單元(411、412)與對應的單元影像(421、422)之間的光線追跡資訊,根據一實施例,以眼睛42的邊緣位置、多光學元件模組中的每個透鏡單元的邊緣位置形成一個可視範圍(Region of Visibility,RoV),每個可視範圍可以涵蓋到的立體影像410的一部分,以圖4為例,眼睛42與第一透鏡單元411之間光線追跡的結果形成第一可視範圍421,眼睛42與第二透鏡單元412之間光線追跡的結果形成第二可視範圍422,以此類推,眼睛42可以與多光學元件模組中的每個透鏡單元形成多個可視範圍,每個可視範圍都涵蓋了立體影像410的一部分,也就對應演算出內容與大小不同的多個單元影像(401、402)。
此例中,根據所得出的第一可視範圍421與第二可視範圍422,並分別考量對應的第一透鏡單元411與第二透鏡單元412的光學特性,如透鏡厚度、面積、表面曲率、折射率等透鏡規格,加上與顯示面板的距離,可以演算出對應的第一單元影像401與第二單元影像402,最終根據多個光線追跡資訊、多個透鏡單元資訊與參考影像記錄立體空間的影像資訊,其中記錄的是顯示面板的顯示像素位置對照立體空間中每個可視範圍所涵蓋立體影像410的影像資訊(步驟S607),具體地說,通過記憶體記錄立體影像410在立體空間的像素資訊(三維座標與色度值)通過多光學元件模組投射在顯示面板的每個像素值。
在一實施例中,立體影像數據的產生方法根據原始立體影像資訊與參考影像之間建立一座標轉換函式,演算法可根據硬體的特性,如各光學元件各透鏡單元與顯示面板的物理資訊,加上座標轉換函式,將參考影像演算為對應各光學元件(如各透鏡)的單元影像,對應各透鏡單元的單元影像會因為光線追跡的不同而有位置與大小差異(步驟S609)。顯示面板上即可形成對應多光學元件模組中的多個透鏡單元的多個單元影像,這些單元影像形成記錄適應眼睛位置的立體影像410的集成影像(步驟S611),之後也就可以根據眼睛42位置重現適應眼睛位置的立體影像410。
圖4中也相應顯示出不同位置的透鏡單元對應到不同位置、大小與內容的單元影像,並且,當改變眼睛42的位置,通過圖6描述的適應眼睛位置的立體影像數據的產生方法,因為光線追跡的結果改變,演算得出的單元影像與最終的集成影像也會不同。圖5A與圖5B接著顯示所述方法中以光線追跡方式形成單元影像的另一實施例圖。
圖5A與圖5B示意顯示一個座標圖,其中以立體影像顯示系統為基礎顯示座標中X或Y軸與Z軸方向的各向元件,原點(0)附近有多光學元件模組的其中之一透鏡單元50,可為立體影像顯示系統中多光學元件模組的單一透鏡或如圖1或圖2顯示的立體影像顯示裝置中透鏡組,並以此為代表描述與眼睛52邊緣形成的光跡。在此一提的是,眼睛52可以表示使用者的一眼或兩眼,針對兩眼可以分別演算兩組集成影像。
在圖5A中,顯示利用光線追跡的原理,根據眼睛52的位置以及每個透鏡單元(此例以透鏡單元50為例)的位置,決定每個透鏡(邊緣)相對於眼睛52(邊緣)位置形成的可視範圍(ROV),也就是圖中第一光線501與第二光線502之間形成的可視範圍,再根據透鏡單元50的物理特性(如折射率、透鏡厚度等),此時,可引入立體影像數據(並未在此圖顯示,例如是浮空於顯示面板之上的立體影像,並以立體座標系描述),根據得到的可視範圍與立體影像數據決定每個可視範圍所涵蓋的立體影像的部份,並考量眼睛位置、顯示面板與各透鏡單元的空間關係,決定每個單元影像的顯示位置與顯示範圍,即如圖中表示顯示面板位置的虛線處(Z軸座標0的位置)形成對應此透鏡單元50的單元影像500。圖5B進一步顯示透鏡單元50到眼睛52之間的第一光線501與第二光線502形成的可視範圍的座標圖例。同理地,根據光線追跡原理,還可根據眼睛52與其他多光學元件模組其他透鏡單元建立個別的可視範圍,根據參考影像被個別可視範圍所涵蓋的立體座標範圍與對應像素的色度值,據此產生對應個別的單元影像。
在此一提的是,在產生參考影像時,將涉及對應每個光學元件(包括一對一、一對多或多對一的方式)顯示面板位置,在一般情況不一定要參考使用者觀看位置。但是,由於使用者可能以斜向觀看立體影像,因此,通過揭露書提出的適應眼睛位置的立體影像數據的產生方法,針對包括有陣列設置的透鏡組的多光學元件模組而言,所計算的各單元影像將根據眼睛位置產生變化,並可考量光線傳出並透過多光學元件時重新匯聚成立體影像,甚至是浮空或下沉於顯示裝置以上、以下或前後的立體影像的各種物理資訊,演算法上再配合不同角度的顯示設定參考影像,導致最後產生的單元影像與集成影像也有差異。
接著,如圖7所示的顯示立體影像的實施例流程圖,成像於顯示裝置上,立體影像與顯示裝置的相對位置並非限制,其中發明概念更可以應用在兩組(或以上)顯示裝置顯示同一個或多個立體影像的實施方式。
如前述實施例,如步驟S701顯示先根據人臉與眼睛特徵而偵測出眼睛位置,確認所要顯示的立體影像後,再如步驟S703,可於顯示系統中的記憶體中取得記錄了對應各透鏡單元的單元影像的集成影像。之後,如步驟S705,輸入集成影像至顯示系統中的顯示驅動單元,這是一個驅動顯示單元顯示畫面的驅動電路,驅動顯示單元顯示畫面,集成影像將顯示出來,通過多光學元件模組,如步驟S707,分別在各光學元件上投射出對應的單元影像,在多光學元件模組上的某個空間位置投射出適應眼睛位置的立體影像。
在此成像的過程中,立體影像可以顯示於顯示裝置中多光學元件形成的一顯示平面之上、之下,或前後方,若立體影像數據關於一動態立體影像,即須於事先在記憶體中建立連續多張反映空間相對關係的參考影像與演算得出的適應眼睛位置的單元影像,再輸出多張集成影像,以及再以圖7描述的流程通過多光學元件模組重現動態立體影像。
綜上所述,以上實施例所描述的適應眼睛位置的立體影像數據的產生方法與顯示系統,不同於習知技術不考慮眼睛位置的立體影像顯示方法,揭露書提出的系統提供偵測使用者眼睛位置的光線追跡手段,以及可以根據使用者眼睛位置修正單元影像的影像處理手段,其中方法可根據偵測得到的使用者觀看位置而提供適應眼睛位置的立體影像數據,解決因為使用者觀看位置不佳而導致觀看到不良的立體影像的問題。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
1:顯示面板
11:顯示影像
12:影像處理單元
2:多光學元件模組
21:基部
22:透鏡部
5:觀看位置
301:多光學元件模組
303:顯示單元
305:顯示驅動單元
307:影像處理單元
309:輸入介面單元
311:記憶單元
30:立體影像來源
313:眼睛偵測單元
300:演算電路
42:眼睛
40:顯示面板
411:第一透鏡單元
412:第二透鏡單元
401:第一單元影像
402:第二單元影像
410:立體影像
421:第一可視範圍
422:第二可視範圍
50:透鏡單元
501:第一光線
502:第二光線
500:單元影像
52:眼睛
步驟S601~S611:集成影像產生流程
步驟S701~S707:立體影像產生流程
圖1顯示立體影像顯示系統中顯示裝置實施例示意圖之一;
圖2顯示立體影像顯示系統中顯示裝置實施例示意圖之二;
圖3顯示立體影像顯示系統之電路實施例方塊圖;
圖4顯示適應眼睛位置的立體影像數據的產生方法中根據眼睛位置以光線追跡方式形成單元影像的實施例圖之一;
圖5A與圖5B顯示適應眼睛位置的立體影像數據的產生方法中以光線追跡方式形成單元影像的實施例圖之二;
圖6顯示適應眼睛位置的立體影像數據的產生方法中形成集成影像的實施例流程圖;以及
圖7顯示適應眼睛位置的立體影像數據的產生方法的實施例流程圖。
42:眼睛
40:顯示面板
411:第一透鏡單元
412:第二透鏡單元
401:第一單元影像
402:第二單元影像
410:立體影像
421:第一可視範圍
422:第二可視範圍
Claims (10)
- 一種適應眼睛位置的立體影像數據的產生方法,包括:取得一立體影像數據,其中記載描述一立體影像的三維空間資訊;取得一使用者眼睛的位置,以及一顯示系統中的一顯示面板與一多光學元件模組的物理特性;根據該眼睛位置與該多光學元件模組中每個透鏡單元之間的光線追跡資訊形成一可視範圍;以及根據對應各透鏡單元的該可視範圍所涵蓋到該立體影像的部份以及該顯示面板與該多光學元件模組的物理特性,演算出顯示於該顯示面板上的一單元影像,以形成對應該多光學元件模組中的多個透鏡單元的多個單元影像,該多個單元影像形成記錄適應眼睛位置的立體影像數據的一集成影像;其中,對應不同透鏡單元的各單元影像根據所述光線追跡的不同而有位置差異,所形成的該集成影像通過該顯示面板顯示並經該多光學元件模組投射後重現適應眼睛位置的該立體影像。
- 如請求項1所述的適應眼睛位置的立體影像數據的產生方法,其中該立體影像數據還記載了描述該立體影像的色彩資訊,該三維空間資訊包括於一立體空間中顯示每個像素的座標值與色度值。
- 如請求項1所述的適應眼睛位置的立體影像數據的產生方法,其中該顯示面板與該多光學元件模組的物理特性包括該多光學元件模組中每個透鏡單元的座標與透鏡規格,以及各透鏡單元與該顯示面板的空間關係。
- 如請求項1所述的適應眼睛位置的立體影像數據的產生方法, 其中,當該立體影像數據為一動態立體影像,即重複該適應眼睛位置的立體影像數據的產生方法產生連續多張適應該眼睛位置的集成影像,用以通過該多光學元件模組重現該動態立體影像。
- 如請求項1至4中任一項所述的適應眼睛位置的立體影像數據的產生方法,其中,於取得描述該立體影像的該立體影像數據時,根據該立體影像數據建立一空間相對關係,並建立一參考影像以反映該空間相對關係,該參考影像為使用者設定完成,用以反映最終通過該顯示系統顯示的該立體影像。
- 一種顯示系統,包括:一多光學元件模組,由多個透鏡單元組成,用以呈現一立體影像;一顯示面板,用以顯示一集成影像,該集成影像由多個單元影像組成,通過該多光學元件模組呈現該立體影像;一顯示驅動單元,用以驅動該顯示單元顯示該集成影像;以及一影像處理單元,經處理描述該立體影像的三維空間資訊的一立體影像數據形成一適應眼睛位置的該集成影像,其中形成該集成影像的方法包括:取得一使用者眼睛的位置,以及該顯示面板與該多光學元件模組的物理特性;根據該眼睛位置與該多光學元件模組中每個透鏡單元之間的光線追跡資訊形成一可視範圍;以及根據對應各透鏡單元的該可視範圍所涵蓋到該立體影像的部份以及該顯示面板與該多光學元件模組的物理特性,演算出顯示於該顯示面板上的一單元影像,以形成對應該多光學元件模組中的多個透鏡單元的多個單 元影像,該多個單元影像形成記錄適應眼睛位置的立體影像數據的該集成影像;其中,對應不同透鏡單元的各單元影像因為光線追跡的不同而有位置與大小差異,所形成的該集成影像通過該顯示面板顯示並經該多光學元件模組投射後重現適應眼睛位置的該立體影像。
- 如請求項6所述的顯示系統,其中該立體影像數據還記載了描述該立體影像的色彩資訊,該三維空間資訊包括於一立體空間中顯示每個像素的座標值與色度值。
- 如請求項6所述的顯示系統,其中該顯示面板與該多光學元件模組的物理特性包括該多光學元件模組中每個透鏡單元的座標與透鏡規格,以及各透鏡單元與該顯示面板的空間關係。
- 如請求項6所述的顯示系統,其中,當該立體影像數據為一動態立體影像,即重複該適應眼睛位置的立體影像數據的產生方法產生連續多張適應該眼睛位置的集成影像,用以通過該多光學元件模組重現該動態立體影像。
- 如請求項6至9中任一項所述的顯示系統,其中,於取得描述該立體影像的該立體影像數據時,根據該立體影像數據建立一空間相對關係,並建立一參考影像以反映該空間相對關係,該參考影像為使用者設定完成,用以反映最終通過該顯示系統顯示的該立體影像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110111884A TWI771969B (zh) | 2021-03-31 | 2021-03-31 | 適應眼睛位置的立體影像數據的產生方法與顯示系統 |
US17/370,023 US20220317465A1 (en) | 2021-03-31 | 2021-07-08 | Method for rendering data of three-dimensional image adapted to eye position and display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110111884A TWI771969B (zh) | 2021-03-31 | 2021-03-31 | 適應眼睛位置的立體影像數據的產生方法與顯示系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI771969B true TWI771969B (zh) | 2022-07-21 |
TW202241125A TW202241125A (zh) | 2022-10-16 |
Family
ID=83439652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110111884A TWI771969B (zh) | 2021-03-31 | 2021-03-31 | 適應眼睛位置的立體影像數據的產生方法與顯示系統 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220317465A1 (zh) |
TW (1) | TWI771969B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080150936A1 (en) * | 2004-02-21 | 2008-06-26 | Koninklijke Philips Electronics, N.V. | Image Quality In A 3D Image Display Device |
US20110063289A1 (en) * | 2008-05-08 | 2011-03-17 | Seereal Technologies S.A. | Device for displaying stereoscopic images |
US20210021804A1 (en) * | 2016-08-10 | 2021-01-21 | Cheray Co. Ltd. | Method for displaying stereoscopic image and stereoscopic image display apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI634350B (zh) * | 2016-08-10 | 2018-09-01 | 群睿股份有限公司 | 影像顯示方法 |
TWI665905B (zh) * | 2017-10-27 | 2019-07-11 | 群睿股份有限公司 | 立體影像產生方法、成像方法與系統 |
-
2021
- 2021-03-31 TW TW110111884A patent/TWI771969B/zh active
- 2021-07-08 US US17/370,023 patent/US20220317465A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080150936A1 (en) * | 2004-02-21 | 2008-06-26 | Koninklijke Philips Electronics, N.V. | Image Quality In A 3D Image Display Device |
US20110063289A1 (en) * | 2008-05-08 | 2011-03-17 | Seereal Technologies S.A. | Device for displaying stereoscopic images |
US20210021804A1 (en) * | 2016-08-10 | 2021-01-21 | Cheray Co. Ltd. | Method for displaying stereoscopic image and stereoscopic image display apparatus |
Also Published As
Publication number | Publication date |
---|---|
TW202241125A (zh) | 2022-10-16 |
US20220317465A1 (en) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10502967B2 (en) | Method for rendering three-dimensional image, imaging method and system | |
US11961431B2 (en) | Display processing circuitry | |
KR100898287B1 (ko) | 입체 영상 표시 장치 | |
US9848184B2 (en) | Stereoscopic display system using light field type data | |
US20110310097A1 (en) | Image processing apparatus, image processing method, recording method, and recording medium | |
US9467685B2 (en) | Enhancing the coupled zone of a stereoscopic display | |
US20060171028A1 (en) | Device and method for display capable of stereoscopic vision | |
CN109782452B (zh) | 立体影像产生方法、成像方法与系统 | |
CN105374325A (zh) | 可弯曲立体3d显示装置 | |
CN111095348A (zh) | 基于摄像头的透明显示器 | |
TW201931311A (zh) | 立體影像調整方法與顯示裝置 | |
CN116990983B (zh) | 一种基于视点形态记录的立体显示装置 | |
CN113272710A (zh) | 通过分色扩展视场 | |
Park et al. | 48.2: Light field rendering of multi‐view contents for high density light field 3D display | |
TWI771969B (zh) | 適應眼睛位置的立體影像數據的產生方法與顯示系統 | |
CN115220240B (zh) | 适应眼睛位置的立体影像数据的产生方法与显示系统 | |
US8767053B2 (en) | Method and apparatus for viewing stereoscopic video material simultaneously with multiple participants | |
US11172190B2 (en) | Stereo weaving for head-tracked autostereoscopic displays | |
KR101567002B1 (ko) | 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템 | |
TWI842191B (zh) | 支援多個視圖的顯示器以及用於該顯示器的方法 | |
Thatte et al. | Real-World Virtual Reality With Head-Motion Parallax | |
US20200404249A1 (en) | Method and apparatus for correcting lenticular distortion | |
JP2024029955A (ja) | 表示システム、表示方法、処理装置およびプログラム | |
KR20230087795A (ko) | 3d/2d 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법 | |
CN117615117A (zh) | 头戴设备的三维显示方法和头戴设备 |