TWI629507B - 頭戴式顯示裝置以及適應性遮罩方法 - Google Patents
頭戴式顯示裝置以及適應性遮罩方法 Download PDFInfo
- Publication number
- TWI629507B TWI629507B TW106119222A TW106119222A TWI629507B TW I629507 B TWI629507 B TW I629507B TW 106119222 A TW106119222 A TW 106119222A TW 106119222 A TW106119222 A TW 106119222A TW I629507 B TWI629507 B TW I629507B
- Authority
- TW
- Taiwan
- Prior art keywords
- content
- light
- display
- image
- light source
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000003044 adaptive effect Effects 0.000 title claims description 19
- 230000000873 masking effect Effects 0.000 title claims description 17
- 230000003287 optical effect Effects 0.000 claims description 35
- 230000000694 effects Effects 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000009736 wetting Methods 0.000 claims description 3
- 241000220225 Malus Species 0.000 description 32
- 238000010586 diagram Methods 0.000 description 20
- 230000003190 augmentative effect Effects 0.000 description 12
- 239000003086 colorant Substances 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000035515 penetration Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 241000287531 Psittacidae Species 0.000 description 2
- 235000021016 apples Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002209 hydrophobic effect Effects 0.000 description 1
- 230000005661 hydrophobic surface Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
一種頭戴式顯示裝置，其具有顯示系統以及光調變器。顯示系統選擇性地顯示或不顯示第一內容，其中第一內容之顯示係於視覺上疊加於周遭環境之場景之上。光調變器設置於顯示系統與周遭環境之間，且包括由多個像素所組成之陣列，像素之第一部份被設置以調變光線以顯示第二內容，而像素之其他部份被設置為實質透光。
Description
本申請係有關於虛擬實境裝置或擴增實境裝置，特別係有關於一種運用了光調變器之頭戴式顯示裝置，其中光調變器係設置於顯示系統與周遭環境之間，特別用以針對光線進行適應性的遮罩以增進影像特性。
近年來，虛擬實境裝置或擴增實境裝置已被運用在諸多領域中且其應用價值已受到相當之肯定，這些領域橫跨了科學視算(scientific visualization)、醫學、軍事訓練、工程設計及原型設計(prototyping)、遙控操作(tele-manipulation)及遙現(tele-presence)、以及個人娛樂系統。
擴增實境一般係指將擴增的內容(例如：二維(two-dimensional，3D)或三維(three-dimensional，3D)內容、文字、以及虛擬物件等)疊加到周遭真實世界的畫面。換句話說，擴增實境裝置所顯示的是被擴增的視圖，也就是真實世界的畫面再加上虛擬的二維或三維內容。
相較之下，虛擬實境一般係指呈現一個完全虛擬的二維或三維環境以取代周遭的真實世界。目前已有許多基於手機的虛擬實境裝置以頭戴式顯示器的方式實作，將手機螢幕
固定在使用者的視線方向、頭戴式顯示器的透鏡後方，使得使用者在其視域僅能看見手機螢幕所顯示的虛擬畫面，藉此提供廣角的視覺呈現效果。
本申請之一實施例提供了一種頭戴式顯示裝置，包括一顯示系統以及一光調變器。上述顯示系統選擇性地顯示或不顯示一第一內容，其中上述第一內容之顯示係於視覺上疊加於一周遭環境之一場景之上。上述光調變器設置於上述顯示系統與上述周遭環境之間，且包括由複數像素所組成之一陣列，其中上述像素之第一部份係用以調變光線以顯示一第二內容，而上述像素之其他部份係被設置為實質透光。
本申請之另一實施例提供了一種適應性遮罩方法，適用於一頭戴式顯示裝置，上述頭戴式顯示裝置包括一顯示系統以及設置於上述顯示系統與一周遭環境之間之一光調變器，上述光調變器包括由複數像素所組成之一陣列。上述適應性遮罩方法包括以下步驟：設定上述顯示系統選擇性地顯示或不顯示一第一內容，其中上述第一內容之顯示係於視覺上疊加於一周遭環境之一場景之上；設定上述像素之第一部份對光線進行調變以顯示一第二內容；以及設定上述像素之其他部份為實質透光。
關於本申請其他附加的特徵與優點，此領域之熟習技術人士，在不脫離本申請之精神和範圍內，當可根據本案實施方法中所揭露之頭戴式顯示裝置以及適應性遮罩方法做些許的更動與潤飾而得到。
100‧‧‧頭戴式顯示裝置
10‧‧‧顯示系統
20‧‧‧光調變器
30‧‧‧影像擷取系統
40‧‧‧控制器
50‧‧‧儲存裝置
60‧‧‧電源供應器
101‧‧‧主構架
102‧‧‧前方下部
104‧‧‧前方中央部
105‧‧‧前方下部
106‧‧‧托架部分
107‧‧‧前方上部
第1圖係根據本申請一實施例所述之頭戴式顯示裝置之示意圖。
第2圖係顯示頭戴式顯示裝置100之組成外觀之示意圖。
第3圖係根據本申請一實施例所述之頭戴式顯示裝置100在周遭環境之應用示意圖。
第4A圖係由顯示系統10所顯示之一虛擬內容之範例圖。
第4B圖係由光調變器20所提供之一虛擬內容之範例圖。
第4C圖係顯示透過顯示系統10與光調變器20所呈現之擴增實境之範例圖。
第5A~5C圖根據本申請之不同實施例所述強化擴增實境之虛擬物件之示意圖。
第6A圖根據本申請一實施例所述倚重光調變器20之協助提供清晰可見之虛擬內容之示意圖。
第6B圖根據本申請一實施例所述單獨由光調變器20提供清晰可見之虛擬內容之示意圖。
第6C圖根據本申請一實施例所述由顯示系統10與光調變器20協同提供清晰可見之虛擬內容之示意圖。
第7圖根據本申請一實施例所述在擴增實境中提供深度融合式虛擬內容之示意圖。
第8圖根據本申請一實施例所述在擴增實境中提供立體虛擬內容之示意圖。
本章節所敘述的是實施本申請之最佳方式，目的在於說明本申請之精神而非用以限定本申請之保護範圍，應理解下列實施例可經由軟體、硬體、韌體、或上述任意組合來實現。
第1圖係根據本申請一實施例所述之頭戴式顯示裝置之示意圖。頭戴式顯示裝置100包括顯示系統10、光調變器20、影像擷取系統30、控制器40、儲存裝置50、以及電源供應器60。
顯示系統10主要負責顯示虛擬內容。在一實施例，顯示系統10可包括光學引擎與透視光學元件(see-through optics)，其中光學引擎可將虛擬內容投影到透視光學元件上進行顯示。光學引擎可包括一或多個投影機，例如：奈米投影機、微型投影機(pico/micro/femto-projector)、雷射投影機、全像(holographic)投影機等。透視光學元件亦可稱為光學組件，其可包括一反射鏡以及至少一透鏡(例如可包括一光波導透鏡以及附著於該光波導透鏡之一透明校正透鏡)。無論光學引擎是開啟或關閉，穿戴者都能透過透視光學元件中的透鏡清楚地觀看到周遭環境的場景。
光調變器20係設置於顯示系統10與周遭環境之間，其主要負責對從周遭環境射向顯示系統10的光線進行適應性的遮罩、過濾、或調變。光調變器20包括由複數像素所組成之一陣列，其中每個像素的尺寸皆小於光的波長，且每個像素皆具有一介電常數(permittivity)，藉由施加於上述一像素之一電子訊號而能控制該像素之介電常數，所有像素之介電常數
可被設置呈現一模式以產生繞射效應，從而實現光線的調變。特別是，像素的一部份可用以調變光線以顯示虛擬內容，而像素的其他部份則可被設置為實質透光。
在一實施例，光調變器20的每個像素皆可被設置為一顏色過濾器，僅允許外在光線中特定一或多個組成色的部分得以穿透，而實現虛擬內容的顯示。
光調變器20可為電濕潤顯示器(Electro-Wetting Display，EWD)、液晶顯示器(Liquid-Crystal Display，LCD)、或有機發光二極體顯示器(Organic Light-Emitting Diode，OLED)。
以電濕潤顯示器為例，其原理係使用電壓去改變位於固體表面上的液體的表面張力而實現電濕潤的操作。藉由電壓的使用，能夠改變疏水表面的濕潤特性，使其具有疏水性或可濕潤性。所述液體表面張力的改變係藉由著色油墨的電性收縮而能夠提供簡易的光學開關的效果。在一實施例，著色油墨可以是基於四分色(CMYK)模式或三原色(RGB)模式，其中四分色模式為減色混合系統，其使用的組成色包括：青色(cyan)、洋紅色(magenta)、以及黃色；三原色模式為加色混合系統，其使用的組成色包括：紅色、綠色、以及藍色。當未施加電壓至一像素時，著色油墨會在該像素上呈現為連續的油膜，讓使用者能夠看見色彩；反之，當施加電壓至特定像素時，著色油墨會被移位，使得該像素為透明。因此，當不同的像素各自被獨立操作時，就能顯示出相片或影片般的內容。舉例來說，每個像素可進一步包括三個子像素，每個子像素上覆
蓋有四分色模式或三原色模式之一個別組成色的油墨，當光線射至一像素並穿透其上的油墨時，就會產生特定組成色的光，而透過精密地控制通過每個子像素的光量，即可改變每個組成光的產生比例，從而實現顯示各種色彩的效果。
需注意的是，不同於顯示系統10係仰賴其中的投影機作為其光源，光調變器20的光源為環境光，因此，在顯示影像時，光調變器20所需耗用的電力將遠低於顯示系統10。
影像擷取系統30主要負責擷取周遭環境的影像，而後可由控制器40根據該影像決定周遭環境的相關資訊，包括：周遭環境中物件的位置、顏色、以及/或尺寸。影像擷取系統30可包括至少一景深鏡頭以及一或多個環境感測鏡頭，其中景深鏡頭可為灰階鏡頭、三原色鏡頭、或四分色鏡頭，支援深度偵測、位置追蹤、以及三維對應等功能，而環境感測鏡頭可為灰階鏡頭、三原色鏡頭、或四分色鏡頭，支援物件偵測之功能。
控制器40可為通用處理器、微處理器(Micro Control Unit，MCU)、應用處理器(Application Processor，AP)、數位訊號處理器(Digital Signal Processor，DSP)、圖形處理器(Graphics Processing Unit，GPU)、或全像處理器(Holographic Processing Unit，HPU)、或上述處理器之任意組合，其可包括各式電路邏輯，用以：提供數據與影像之處理及運算之功能、傳送幀(frame)資料(如：代表文字訊息、圖形、或影像之資料)至顯示系統10、傳送控制信號至光調變器20、從影像擷取系統30接收周遭環境的影像、以及從儲存裝
置50讀取或儲存數據。
特別是，控制器40係用以協調顯示系統10、光調變器20、影像擷取系統30、以及儲存裝置50之運作，以執行本申請的適應性遮罩方法。
該領域之熟習技藝人士當可理解，控制器40中的電路邏輯通常可包括多個電晶體，用以控制該電路邏輯之運作以提供所需之功能及作業。更進一步的，電晶體的特定結構及其之間的連結關係通常是由編譯器所決定，例如：暫存器轉移語言(Register Transfer Language，RTL)編譯器可由處理器所運作，將類似組合語言碼的指令檔(script)編譯成適用於設計或製造該電路邏輯所需之形式。
儲存裝置50為非暫態(non-transitory)之電腦可讀取儲存媒體，包括：記憶體(如：快閃記憶體、非揮發性隨機存取記憶體(Non-volatile Random Access Memory，NVRAM))、或磁性儲存裝置(如：硬碟、磁帶)、或光碟、或上述媒體之任意組合，其主要用以儲存：幀資料、電腦可讀取及執行之指令或程式碼(包括：應用/通訊協定之程式碼)、以及/或本申請之適應性遮罩方法的程式碼。
電源供應器60為一可攜式/可替換的充電電池，其主要負責提供電力予顯示系統10、光調變器20、影像擷取系統30、控制器40、以及儲存裝置50，且使得頭戴式顯示裝置100具備可攜性。
當可理解的是，第1圖所示之元件僅用以提供一說明之範例，並非用以限制本申請之保護範圍。在另一實施例，
頭戴式顯示裝置100還可包括其他元件，例如：一或多個按鈕、麥克風、喇叭、環境光源感測器、無線通訊裝置、以及/或全球定位系統(Global Positioning System，GPS)等。按鈕、麥克風、以及喇叭可用以提供人機操作介面(Man-Machine Interface，MMI)。環境光源感測器可用以偵測周遭環境之光源條件。無線通訊裝置可包括藍芽或無線保真(Wireless Fidelity，WiFi)技術之晶片，用以提供與其他通訊裝置(如：智慧型手機或平板電腦)之間進行短距無線通訊之功能。全球定位系統可提供頭戴式顯示裝置100之位置資訊，以用於行動定位服務/應用。
第2圖係顯示頭戴式顯示裝置100之組成外觀之示意圖。在此實施例，頭戴式顯示裝置100係實作為一虛擬/擴增實境之眼鏡或頭戴組。
如第2圖所示，顯示系統10係布置於眼鏡/頭戴組之主構架101其中的前方下部102，影像可投影在顯示系統10的透鏡部件。影像擷取系統30係布置於眼鏡/頭戴組之主構架101其中的前方中央部104。光調變器20係布置於另一前方下部105，其位於前方下部102之前且與前方下部102相隔一距離。頭戴式顯示裝置100的其餘元件，諸如：控制器40、儲存裝置50、以及電源供應器60可嵌入在主構架101的托架部分106、前方上部107、或其餘未被使用的部分。
第3圖係根據本申請一實施例所述之頭戴式顯示裝置100在周遭環境之應用示意圖。在一實施例，頭戴式顯示裝置100可由一使用者所穿戴，該使用者透過頭戴式顯示裝置
100可透視到周遭環境，其中周遭環境係由太陽光作為其環境光源，且使用者對周遭環境中的物件(如：樹木)的觀看是基於太陽光照射到物件之後的折射，折射之光線從物件反向沿著使用者的視線依序抵達光調變器20、顯示系統10，然後抵達使用者的眼睛。
影像擷取系統30擷取周遭環境(包括：樹木)的影像，然後將影像傳送至控制器40進行分析以了解周遭環境中的詳細布置。
控制器40分析影像擷取系統30所擷取之影像以決定周遭環境之場景之物件資訊，具體來說，物件資訊包括了周遭環境中物件的尺寸、顏色、以及/或三維位置。接著，控制器40將一虛擬物件之資訊傳送至顯示系統10以及光調變器20，其中該虛擬物件的顯示位置係根據周遭環境中的樹的位置、以及/或環境光之亮度來決定。
在收到虛擬物件之資訊時，顯示系統10可直接顯示該虛擬物件，而光調變器20可針對從周遭環境射向顯示系統10的光線進行調變，以提升虛擬物件的顯示效果。
第4A圖係由顯示系統10所顯示之一虛擬內容之範例圖。如第4A圖所示，虛擬內容為一文字方塊，其背景色為一特定淡色(如：淡藍色)，且其位置在顯示畫面的偏右邊，預期將重疊到周遭環境中的樹的一小部分。
第4B圖係由光調變器20所提供之一虛擬內容之範例圖。如第4B圖所示，虛擬內容為一方塊，其位置、大小、以及背景色都相同於第4A圖所示之文字方塊。
由於光調變器20在該方塊部分僅容許同色光(如：淡藍色)穿透到顯示系統10所顯示的虛擬內容，因此，對使用者的觀看而言，虛擬內容的亮度以及/或對比將獲得提升。
第4C圖係顯示透過顯示系統10與光調變器20所呈現之擴增實境之範例圖。如第4C圖所示，虛擬方塊的背景色被增強(例如：從淡藍色變成藍色)，使得顯示系統10所顯示之虛擬內容能夠在環境光源過亮時依舊清晰可見。
第5A~5C圖根據本申請之不同實施例所述強化擴增實境之虛擬物件之示意圖。其中第5A圖所示之實施例係藉由設定光調變器20將射向虛擬物件的光線完全遮蔽而達到強化虛擬物件的成像之效果。
如第5A圖所示，顯示系統10顯示一蘋果之影像在顯示畫面中係位於樹的右邊，且蘋果之影像係於視覺上疊加於周遭環境之場景之上。同時，光調變器20藉由將對應到蘋果位置的像素設定為完全不透光，其餘像素設定為實質透光，從而得以在相同位置提供完全相同或近乎相同的蘋果之影像。
如此一來，虛擬內容(即：蘋果)之影像將獲得亮度以及/或對比的提升。尤其是當環境光源的亮度太強的時候，顯示系統10無需增加其投影功率即可保持虛擬內容之影像清晰可見。
第5B圖所示之實施例係藉由設定光調變器20將射向虛擬物件的光線過濾掉部分組成光而達到強化虛擬物件的成像之效果。類似於第5A圖之實施例，顯示系統10顯示一蘋果
之影像，而光調變器20也在對應位置提供完全相同或近乎相同的蘋果之影像。
在此實施例，假設蘋果的顏色為紅色，則光調變器20中對應到蘋果位置的像素可被設定為紅光過濾器，僅容許紅色光的穿透，而其餘像素則被設定為實質透光。
同樣地，在此實施例，虛擬內容(即：蘋果)之影像可獲得亮度以及/或對比的提升。尤其是當環境光源的亮度太強的時候，顯示系統10無需增加其投影功率即可保持虛擬內容之影像清晰可見。
或者，光調變器20中對應到蘋果位置的像素可被設定為僅容許光線中其他組成色(如：深紅色)的穿透，以進一步強化蘋果之影像。在另一實施例，針對虛擬內容之影像強化還可以是改變虛擬內容的顏色呈現、或改變周遭環境中真實物件的顏色呈現。舉例來說，光調變器20中對應到蘋果或樹木位置的像素可被設定為藍光過濾器，僅容許藍色光的穿透，而藍光能讓原本紅色的蘋果看起來變為紫色、或讓原本綠色的樹看起來變為青色。
第5C圖所示之實施例亦是藉由設定光調變器20將射向虛擬物件的光線過濾掉部分組成光而達到強化虛擬物件的成像之效果。類似於第5A圖之實施例，顯示系統10顯示一蘋果之影像，而光調變器20也在對應位置提供完全相同或近乎相同的蘋果之影像。
在此實施例，假設蘋果的葉柄為棕色、葉子為綠色、果實為紅色，則光調變器20中對應到葉柄位置的像素可被
設定為棕光過濾器，僅容許光線中棕色的部份穿透，對應到葉子位置的像素可被設定為綠光過濾器，僅容許光線中綠色的部分穿透，對應到果實位置的像素可被設定為紅光過濾器，僅容許光線中紅色部分的穿透。也就是說，光調變器20可因應要顯示的虛擬內容的細節而提供具適應性及精密性的光調變作業。
同樣地，在此實施例，虛擬內容之影像獲得了亮度以及/或對比的提升。尤其是當環境光源的亮度太強的時候，顯示系統10無需增加其投影功率即可保持虛擬內容之影像清晰可見。
或者，當光調變器20搭配亮度夠強的環境光源時，其所提供的虛擬內容之影像在亮度以及/或對比上的表現將具備一定的品質，因此，可選擇性地將顯示系統10的投影功率調低、或甚至將顯示系統10關閉。也就是說，頭戴式顯示裝置100可透過影像擷取系統30或環境光源感測器來偵測環境光的亮度，並據以調整顯示系統10的投影功率。
第6A圖根據本申請一實施例所述倚重光調變器20之協助提供清晰可見之虛擬內容之示意圖。在此實施例，假設環境光的亮度夠高，足以使光調變器20藉由光調變之操作而提供清晰可見之一蘋果影像。
明確來說，光調變器20中對應到蘋果位置的像素可被設定為單色光過濾器，僅容許光線中特定單色(如：紅色)部分穿透，而其餘像素則被設定為實質透光。
另一方面，顯示系統10可使用低功率投影出相同的蘋果影像。也就是說，控制器40可根據周遭環境的光源條件
調整顯示系統10以及光調變器20所使用的電力位準。
如此一來，顯示系統10便可調降其投影功率，但仍保持虛擬內容之影像清晰可見。
第6B圖根據本申請一實施例所述單獨由光調變器20提供清晰可見之虛擬內容之示意圖。類似於第6A圖之實施例，環境光的亮度夠高，足以使光調變器20藉由光調變之操作而提供清晰可見之蘋果影像。
然而，在此實施例，顯示系統10被設定為關閉其顯示功能(意即：無需投影任何影像)，而僅由光調變器20來提供蘋果影像。也就是說，控制器40可根據周遭環境的光源條件調整顯示系統10以及光調變器20所使用的電力位準，包括是否關閉顯示系統10之顯示功能。
如此一來，顯示系統10便可大幅節省其電力消耗，但依然可提供清晰可見之虛擬內容。
第6C圖根據本申請一實施例所述由顯示系統10與光調變器20協同提供清晰可見之虛擬內容之示意圖。如第6C圖所示，周遭環境的場景中存在一樹木。
頭戴式顯示裝置100可透過影像擷取系統30擷取周遭環境中樹木的影像，接著，由顯示系統10或光調變器20在相同的位置提供一樣的樹木影像、或者可由顯示系統10與光調變器20同時在相同的位置提供一樣的樹木影像，使得顯示系統10以及/或光調變器20所提供得影像於視覺上疊加於周遭環境中的樹木的影像。
如此一來，對使用者的觀看而言，真實物件的影
像的亮度以及/或對比將獲得提升。或者，在其他實施例，顯示系統10以及/或光調變器20可提供不同顏色的影像，使得影像在經過疊加而混色之後，改變了使用者最終所感知到的影像顏色。
第7圖根據本申請一實施例所述在擴增實境中提供深度融合式(depth-fused)虛擬內容之示意圖。在此實施例，顯示系統10顯示一蘋果影像，同時，光調變器20藉由將對應位置的像素設定為僅容許與蘋果相同色的光通過，其餘像素設定為實質透光，從而得以在對應位置提供完全相同或近乎相同的蘋果影像。
如第7圖所示，顯示系統10與光調變器20被設置在相互平行、但垂直於使用者的視線的位置，且顯示系統10與光調變器20之間存在一間隔。基於顯示系統10與光調變器20的上述布置，顯示系統10與光調變器20所提供的蘋果影像可藉由調整各自輸出的影像亮度而產生具深度融合之視覺效果。
舉例來說，當光調變器20所提供的蘋果影像的亮度高於顯示系統10所提供的蘋果影像的亮度時，使用者所感知到的蘋果影像會比較遠離使用者(意即：深度加深)。
反之，當光調變器20所提供的蘋果影像的亮度低於顯示系統10所提供的蘋果影像的亮度時，使用者所感知到的蘋果影像會比較靠近使用者(意即：深度變淺)。
第8圖根據本申請一實施例所述在擴增實境中提供立體虛擬內容之示意圖。在此實施例，顯示系統10顯示一隻鸚鵡的光場影像，同時，光調變器20藉由將對應位置的像素設
定為僅容許與光場影像相同色的光通過，其餘像素設定為實質透光，從而得以在對應位置提供完全相同或近乎相同的光場影像。光場影像可以是由M乘N(如：8乘15)個子畫面所構成的網格(grid)，其中每個子畫面中的鸚鵡影像係於相同場景下以不同之角度與照度所擷取到的。
如第8圖所示，顯示系統10與光調變器20被設置在相互平行、但垂直於使用者的視線的位置，且顯示系統10與光調變器20之間存在一間隔。特別是，顯示系統10與光調變器20的布置位置極靠近使用者的眼睛。基於顯示系統10與光調變器20的上述布置，且相同的光場影像分別由顯示系統10與光調變器20所提供，使得光場影像以多層式呈現而產生三維視覺效果。
根據前述實施例，當可理解的是，本申請之適應性遮罩方法可透過光調變器之運用有效提升影像之顯示效果，明確來說，是藉由在顯示系統與周遭環境之間設置光調變器來提供多種視覺效果，包括：強化虛擬/實體物件影像的亮度以及/或對比、或改變虛擬/實體物件影像的顏色、亮度以及/或對比、或提供深度融合或三維之視覺效果。如此一來，便可有效降低顯示系統的投影功率，但整體而言依然能提供清晰可見之虛擬內容。
本申請雖以各種實施例揭露如上，然而其僅為範例參考而非用以限定本申請的範圍，任何熟習此項技藝者，在不脫離本申請之精神和範圍內，當可做些許的更動與潤飾。因此上述實施例並非用以限定本申請之範圍，本申請之保護範圍
當視後附之申請專利範圍所界定者為準。
於申請專利範圍中所使用的「第一」、「第二」等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
Claims (20)
- 一種頭戴式顯示裝置，包括：一顯示系統，用以選擇性地顯示或不顯示一第一內容，其中上述第一內容之顯示係於視覺上疊加於一周遭環境之一場景之上；以及一光調變器，設置於上述顯示系統與上述周遭環境之間，且包括由複數像素所組成之一陣列，其中上述像素之一第一部份係用以調變光線以顯示一第二內容，而上述像素之其他部份係被設置為實質透光；其中上述第一內容與上述第二內容皆包括一樣之一影像，上述第一部分之像素係用以調變從上述周遭環境射向上述第一內容之光線，使得上述第二內容之顯示係於視覺上疊加至上述第一內容，從而提升以下至少一者：上述影像之亮度、以及上述影像之對比。
- 如申請專利範圍第1項所述之頭戴式顯示裝置，其中上述第一內容與上述第二內容係以不同的亮度顯示以調整上述影像之呈現深度。
- 如申請專利範圍第1項所述之頭戴式顯示裝置，其中上述影像為一光場(light-field)影像，而上述第二內容之顯示係於視覺上疊加至上述第一內容，從而產生一三維(three-dimensional，3D)視覺效果。
- 如申請專利範圍第1項所述之頭戴式顯示裝置，其中上述第一部分之像素係用以調變來自上述場景中之一物件之光線，以提升以下至少一者：上述物件之顯示亮度、以及上 述物件之顯示對比。
- 如申請專利範圍第1項所述之頭戴式顯示裝置，更包括：一影像擷取系統，用以擷取上述場景之一影像；以及一控制器，用以根據上述影像決定上述場景中之一物件之資訊，其中上述物件之資訊包括以下至少一者：上述物件之尺寸、上述物件之顏色、以及上述物件之三維位置；其中上述第一內容之顯示係根據上述物件之資訊而執行，上述光線調變係根據上述物件之資訊而執行。
- 如申請專利範圍第1項所述之頭戴式顯示裝置，更包括：一環境光源感測器，用以偵測上述周遭環境之一光源條件；以及一控制器，用以根據上述光源條件調整以下至少一者：上述顯示系統顯示上述第一內容時所使用之一第一電力位準、上述光調變器調變光線時所使用之一第二電力位準。
- 如申請專利範圍第6項所述之頭戴式顯示裝置，其中關於上述第一電力位準與上述第二電力位準之調整包括：在上述光源條件指示一光源亮度高於一預定門檻時，將上述第二電力位準調高並將上述第一電力位準調低；以及在上述光源條件指示上述光源亮度低於上述預定門檻時，將上述第一電力位準調高並將上述第二電力位準調低。
- 如申請專利範圍第1項所述之頭戴式顯示裝置，其中上述光調變器為一電濕潤顯示器(Electro-Wetting Display，EWD)、一液晶顯示器(Liquid-Crystal Display，LCD)、或一有機發光二極體顯示器(Organic Light-Emitting Diode， OLED)。
- 如申請專利範圍第1項所述之頭戴式顯示裝置，其中上述像素之每一者皆具有一介電常數(permittivity)，藉由施加於上述一像素之一電子訊號而控制該像素之介電常數，上述像素之所有介電常數之一模式產生繞射效應以實現上述光線調變。
- 如申請專利範圍第1項所述之頭戴式顯示裝置，其中上述顯示系統包括一光學組件以及一投影器，上述投影器係用以將上述第一內容導引至上述光學組件以進行顯示。
- 一種適應性遮罩方法，適用於一頭戴式顯示裝置，上述頭戴式顯示裝置包括一顯示系統以及設置於上述顯示系統與一周遭環境之間之一光調變器，上述光調變器包括由複數像素所組成之一陣列，上述適應性遮罩方法包括：設定上述顯示系統選擇性地顯示或不顯示一第一內容，其中上述第一內容之顯示係於視覺上疊加於一周遭環境之一場景之上；設定上述像素之一第一部份對光線進行調變以顯示一第二內容；以及設定上述像素之其他部份為實質透光；其中上述第一內容與上述第二內容皆包括一樣之一影像，上述第一部份之像素係用以調變從上述周遭環境射向上述第一內容之光線，使得上述第二內容之顯示係於視覺上疊加至上述第一內容，從而提升以下至少一者：上述影像之亮度、以及上述影像之對比。
- 如申請專利範圍第11項所述之適應性遮罩方法，其中上述第一內容與上述第二內容係以不同的亮度顯示以調整上述影像之呈現深度。
- 如申請專利範圍第11項所述之適應性遮罩方法，其中上述影像為一光場影像，而上述第二內容之顯示係於視覺上疊加至上述第一內容，從而產生一三維視覺效果。
- 如申請專利範圍第11項所述之適應性遮罩方法，其中上述第一部份之像素係用以調變來自上述場景中之一物件之光線，以提升以下至少一者：上述物件之顯示亮度、以及上述物件之顯示對比。
- 如申請專利範圍第11項所述之適應性遮罩方法，更包括：透過一影像擷取系統擷取上述場景之一影像；以及根據上述影像決定上述場景中之一物件之一物件之資訊，其中上述物件之資訊包括以下至少一者：上述物件之尺寸、上述物件之顏色、以及上述物件之三維位置；其中上述第一內容之顯示係根據上述物件之資訊而執行，上述光線調變係根據上述物件之資訊而執行。
- 如申請專利範圍第11項所述之適應性遮罩方法，更包括：透過一環境光源感測器偵測上述周遭環境之一光源條件；以及根據上述光源條件調整以下至少一者：上述顯示系統顯示上述第一內容時所使用之一第一電力位準、上述光調變器調變光線時所使用之一第二電力位準。
- 如申請專利範圍第16項所述之適應性遮罩方法，其中關於 上述第一電力位準與上述第二電力位準之調整包括：在上述光源條件指示一光源亮度高於一預定門檻時，將上述第二電力位準調高並將上述第一電力位準調低；以及在上述光源條件指示上述光源亮度低於上述預定門檻時，將上述第一電力位準調高並將上述第二電力位準調低。
- 如申請專利範圍第11項所述之適應性遮罩方法，其中上述光調變器為一電濕潤顯示器、一液晶顯示器、或一有機發光二極體顯示器。
- 如申請專利範圍第11項所述之適應性遮罩方法，其中上述像素之每一者皆具有一介電常數，藉由施加於上述一像素之一電子訊號而控制該像素之介電常數，上述像素之所有介電常數之一模式產生繞射效應以實現上述光線調變。
- 如申請專利範圍第11項所述之適應性遮罩方法，其中上述顯示系統包括一光學組件以及一投影器，上述投影器係用以將上述第一內容導引至上述光學組件以進行顯示。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/592,496 US10771773B2 (en) | 2017-05-11 | 2017-05-11 | Head-mounted display devices and adaptive masking methods thereof |
| US15/592,496 | 2017-05-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI629507B true TWI629507B (zh) | 2018-07-11 |
| TW201901236A TW201901236A (zh) | 2019-01-01 |
Family
ID=63640650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106119222A TWI629507B (zh) | 2017-05-11 | 2017-06-09 | 頭戴式顯示裝置以及適應性遮罩方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10771773B2 (zh) |
| CN (1) | CN108873330A (zh) |
| TW (1) | TWI629507B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11514875B1 (en) | 2021-07-07 | 2022-11-29 | Htc Corporation | Method for mitigating dizziness, electronic device, and computer readable medium |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11311188B2 (en) * | 2017-07-13 | 2022-04-26 | Micro Medical Devices, Inc. | Visual and mental testing using virtual reality hardware |
| US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
| CN111489448A (zh) * | 2019-01-24 | 2020-08-04 | 宏达国际电子股份有限公司 | 检测真实世界光源的方法、混合实境系统及记录介质 |
| US11361735B1 (en) * | 2020-04-15 | 2022-06-14 | Apple Inc. | Head-mountable device with output for distinguishing virtual and physical objects |
| CN111399230A (zh) * | 2020-05-12 | 2020-07-10 | 潍坊歌尔电子有限公司 | 一种显示系统及头戴显示设备 |
| CN111580280B (zh) * | 2020-06-16 | 2022-10-28 | 京东方科技集团股份有限公司 | 透视头戴显示器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103383491A (zh) * | 2013-07-03 | 2013-11-06 | 成都理想境界科技有限公司 | 一种视透率可调的头戴显示装置 |
| TW201447375A (zh) * | 2013-06-13 | 2014-12-16 | Hsiu-Chi Yeh | 擴增實境之頭戴式電子裝置及方法 |
| WO2016011367A2 (en) * | 2014-07-18 | 2016-01-21 | Vuzix Corporation | Near-eye display with self-emitting microdisplay engine |
| CN205608290U (zh) * | 2016-02-01 | 2016-09-28 | 深圳超多维光电子有限公司 | 头戴式显示设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004029750A (ja) * | 2002-05-09 | 2004-01-29 | Pioneer Electronic Corp | 立体表示装置及び方法 |
| US8659510B2 (en) * | 2008-12-16 | 2014-02-25 | Hewlett-Packard Development Company, L.P. | Spatial light modulator |
| CN101661163A (zh) | 2009-09-27 | 2010-03-03 | 合肥工业大学 | 增强现实系统的立体头盔显示器 |
| WO2011106797A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| US9223138B2 (en) | 2011-12-23 | 2015-12-29 | Microsoft Technology Licensing, Llc | Pixel opacity for augmented reality |
| US9297996B2 (en) * | 2012-02-15 | 2016-03-29 | Microsoft Technology Licensing, Llc | Laser illumination scanning |
| TWI528785B (zh) * | 2013-02-08 | 2016-04-01 | 瑞昱半導體股份有限公司 | 立體影像的調整裝置及其方法 |
| CN105765444A (zh) * | 2013-10-15 | 2016-07-13 | 增强现实眼镜公司 | 用于可重构投影的增强现实器具/虚拟现实器具的系统和方法 |
| US9766459B2 (en) * | 2014-04-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Display devices with dimming panels |
| WO2016105521A1 (en) * | 2014-12-23 | 2016-06-30 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
| US10241332B2 (en) * | 2015-10-08 | 2019-03-26 | Microsoft Technology Licensing, Llc | Reducing stray light transmission in near eye display using resonant grating filter |
| CN106125324B (zh) | 2016-06-24 | 2019-05-31 | 北京国承万通信息科技有限公司 | 光场编辑装置、系统及方法以及光场显示系统及方法 |
-
2017
- 2017-05-11 US US15/592,496 patent/US10771773B2/en active Active
- 2017-06-09 TW TW106119222A patent/TWI629507B/zh active
- 2017-06-09 CN CN201710431567.8A patent/CN108873330A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201447375A (zh) * | 2013-06-13 | 2014-12-16 | Hsiu-Chi Yeh | 擴增實境之頭戴式電子裝置及方法 |
| CN103383491A (zh) * | 2013-07-03 | 2013-11-06 | 成都理想境界科技有限公司 | 一种视透率可调的头戴显示装置 |
| WO2016011367A2 (en) * | 2014-07-18 | 2016-01-21 | Vuzix Corporation | Near-eye display with self-emitting microdisplay engine |
| CN205608290U (zh) * | 2016-02-01 | 2016-09-28 | 深圳超多维光电子有限公司 | 头戴式显示设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11514875B1 (en) | 2021-07-07 | 2022-11-29 | Htc Corporation | Method for mitigating dizziness, electronic device, and computer readable medium |
| TWI791267B (zh) * | 2021-07-07 | 2023-02-01 | 宏達國際電子股份有限公司 | 減緩暈眩方法、電子裝置及電腦可讀儲存媒體 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10771773B2 (en) | 2020-09-08 |
| CN108873330A (zh) | 2018-11-23 |
| TW201901236A (zh) | 2019-01-01 |
| US20180332268A1 (en) | 2018-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI629507B (zh) | 頭戴式顯示裝置以及適應性遮罩方法 | |
| US9311751B2 (en) | Display of shadows via see-through display | |
| US20170090194A1 (en) | System And Method For Subtractive Augmented Reality And Display Contrast Enhancement | |
| US10939034B2 (en) | Imaging system and method for producing images via gaze-based control | |
| US9375639B2 (en) | Image display system and head-mounted display device | |
| JP2021002394A (ja) | 仮想画像生成システムにおけるテキストをより効率的に表示するための技法 | |
| US20130293531A1 (en) | User perception of visual effects | |
| US11699259B2 (en) | Stylized image painting | |
| US11589024B2 (en) | Multi-dimensional rendering | |
| JP2016142887A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
| CN113330506A (zh) | 用于在亮度受控环境中进行局部调光的装置、系统和方法 | |
| TW201917447A (zh) | 頭戴式顯示裝置以及色差強化方法 | |
| CN111095348A (zh) | 基于摄像头的透明显示器 | |
| US11715405B1 (en) | Chroma modification based on ambient light characteristics | |
| US20200292825A1 (en) | Attention direction on optical passthrough displays | |
| KR101665363B1 (ko) | 가상현실, 증강현실 및 홀로그램을 혼합한 인터랙티브 콘텐츠 시스템 | |
| US11736668B2 (en) | Artistic effects for images and videos | |
| JP7145944B2 (ja) | 視覚キューを提供する手段を用いる表示装置および表示方法 | |
| US11768376B1 (en) | Head-mounted display system with display and adjustable optical components | |
| WO2024064118A1 (en) | Stereoscopic floating window metadata | |
| JP2019114236A (ja) | 表示システム、電子機器、及び、表示方法 |