TWI838640B - 改善雙眼視覺的系統與方法 - Google Patents
改善雙眼視覺的系統與方法 Download PDFInfo
- Publication number
- TWI838640B TWI838640B TW110132945A TW110132945A TWI838640B TW I838640 B TWI838640 B TW I838640B TW 110132945 A TW110132945 A TW 110132945A TW 110132945 A TW110132945 A TW 110132945A TW I838640 B TWI838640 B TW I838640B
- Authority
- TW
- Taiwan
- Prior art keywords
- viewer
- eye
- virtual object
- image
- normal
- Prior art date
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title abstract description 19
- 210000001747 pupil Anatomy 0.000 claims abstract description 47
- 210000001525 retina Anatomy 0.000 claims description 36
- 238000005259 measurement Methods 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 4
- 238000004880 explosion Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000008685 targeting Effects 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 230000004256 retinal image Effects 0.000 description 23
- 208000004350 Strabismus Diseases 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 201000009487 Amblyopia Diseases 0.000 description 8
- 230000004424 eye movement Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 6
- 201000005538 Exotropia Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000000857 visual cortex Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000003164 Diplopia Diseases 0.000 description 2
- 208000001692 Esotropia Diseases 0.000 description 2
- 208000019749 Eye movement disease Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 208000029444 double vision Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 201000006316 hypertropia Diseases 0.000 description 2
- 201000006309 hypotropia Diseases 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 208000028780 ocular motility disease Diseases 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010005186 Blindness unilateral Diseases 0.000 description 1
- 206010013954 Dysphoria Diseases 0.000 description 1
- 101001116668 Homo sapiens Prefoldin subunit 3 Proteins 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 102100024884 Prefoldin subunit 3 Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 101150049278 US20 gene Proteins 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004392 development of vision Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 210000005195 occipital scalp Anatomy 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Abstract
本發明揭露一系統及方法,該系統及方法產生在兩個不同深度間移動的虛擬影像,以刺激並補強/治療該觀看者衰弱/異常的眼睛,最終根據該觀看者眼睛的資訊改善或修復其雙眼視力。該改善雙眼視力的系統包含一眼動追蹤模組及一虛擬影像模組。該眼動追蹤模組至少用於追蹤一觀看者雙眼瞳孔的位置。
Description
本發明涉及改善雙眼視力的系統及方法,特別是,該系統及方法根據該觀看者眼睛資訊顯示從一第一位置移動到一第二位置的一虛擬影像,以改善該觀看者弱眼的視力。
弱視和斜視是兩種最常見的眼部疾病。弱視是指其中一眼的視力明顯比另外一眼衰弱。弱視通常是由病人早期的視力發育異常所引起,它是導致兒童及年輕人單眼的視力衰弱的主因。斜視與病人的雙眼錯位有關,對於斜視的病人,其中一隻眼睛可能相對於另外一眼會轉向不同的方向。大多數斜視是因為眼睛移動的神經肌肉控制異常所引起的。有很多方法用來診斷及治療弱視與斜視。以弱視而言,通常會使用眼鏡、隱形眼鏡或遮蓋療法來矯正視力較弱的眼睛。在其他情況下,頻率對比或色彩對比刺激的物體會用來改善弱眼的視力。事實證明,數種刺激的結合效果更好。對於斜視,通常使用眼球運動來改善眼球肌肉的相關性,從而矯正兩眼之間的錯位。近年來,使用醫療設備來治療近視及弱視有一些進展。然而,這些傳統的設備無法提供訓練雙眼在不同深度下聚焦的方法。故需要更好的系統及方法以改善雙眼視力。
本發明涉及一種改善一觀看者雙眼視力的系統及方法,該觀看者的一眼比另一眼異常或衰弱。該系統及方法透過產生一視覺刺激(例如一虛擬影像)來刺激人眼的視神經並增加眼球運動,進而治療斜視、弱視、輻輳障礙及其他眼球運動障礙等眼睛疾病。該正常眼睛被稱為一第一眼,有可能為該觀看者的正常眼或弱眼。該衰弱或異常眼(統稱為弱眼)被稱為一第二眼,有可能為該觀看者的弱眼或正常眼(該正常眼的剩餘另一眼)。本發明說明一系統及方法,該系統及方法根據該觀看者的眼睛資訊產生在兩個不同深度間移動的虛擬影像,以刺激並補強/治療該觀看者的弱眼,最終改善或修復其雙眼視力。
一改善雙眼視力的系統包括一眼動追蹤模組及一虛擬影像模組。該眼動模組用於追蹤該觀看者的雙眼並提供相關資訊,例如該觀看者每一眼的瞳孔位置、瞳孔大小、視角及輻輳角度。這些眼睛資訊可以用於確定該觀看者瞳孔的位置,甚至觀看者的凝視位置及凝視深度。
該虛擬影像模組根據該觀看者雙眼瞳孔的位置,向一觀看者的第一眼投射數條正常光訊號以形成一正常影像;向一觀看者的第二眼投射數條調整光信號以形成一經調整的影像,藉此顯示一第一虛擬物體。該第一虛擬物體顯示在一第一目標位置及一第一目標深度。該觀看者第一眼看到該第一虛擬物體的該正常影像;該觀看者的第二眼看到該第一虛擬物體的該經調整的影像。該第一目標深度與投射到該觀看者眼中的該第一位置正常光訊號與該第一位置經調整的光訊號之間的該第一角度有關。
此外,為了使該觀看者的第一眼可以看到該正常影像並讓該觀看者的第二眼可以看到經調整的影像,該虛擬影像模組需要根據該眼動追蹤模組所提供的該觀看者的瞳孔位置來調整該數條正常光信號及該相對的數條經調整的光訊號的方向及位置,使其可以分別投射到該觀看者的第一眼及第二眼中。
該虛擬影像模組顯示該第一虛擬物體,該影像從該第一目標位置及該第一目標深度移動到該第二目標位置及該第二目標深度。該第一目標深度跟該第二目標深度不同。該第二目標深度與該第二位置正常光訊號及該相對第二位置調整光信號之間的一第二角度有關。當該第一虛擬物體移動時,該觀看者的眼睛會跟著移動。因此,該第一虛擬物體在兩個視深平面之間的移動會增加弱眼的運動,並為該弱眼提供更多刺激。因此,該弱眼的視力會改善並最終重新建立雙眼視覺。
當該虛擬影像模組顯示該第一虛擬物體從該第一目標位置及該第一目標深度移動到該第二目標位置及該第二目標深度時,該投影到該觀看者第二眼的經調整的光訊號在光的方向上會比該投影到該觀看者第一眼的正常光訊號改變更多。因此,該弱眼必須比該正常眼移動(運動)更多以追蹤該第一虛擬物體的移動。或者,當該虛擬影像模組顯示該第一虛擬物體從該第一目標位置及該第一目標深度移動到該第二目標位置及該第二目標深度時,該投影到該觀看者第一眼的正常光信號完全不改變其光的方向。在該情況下,該觀看者的第一眼完全不需要移動,而該觀看者的第二眼必須移動以追蹤該第一虛擬物體的移動。
為了改善該觀看者弱眼的視力,該虛擬影像模組可以將給該觀看者第一眼的該正常影像的對比度及空間頻率與給觀看者第二眼的該經調整的影像的對比度及空間頻率區分開來。具體而言,該虛擬影像模組可以用來產生相較於該相對正常影像擁有更高對比度或是更低空間頻率的該經調整的影像。
該虛擬影像模組可以根據該觀看者的其中一眼或是雙眼的視覺誘發電位(VEP)顯示該第一虛擬物體,包括選擇適當的對比度、空間頻率及該第一虛擬物體的移動方向及速度。該改善雙眼視力的系統可以更包括一視覺誘發電位量測模組以量測該觀看者眼睛的視覺誘發電位(VEP)。
當該觀看者能夠練習凝視,該虛擬影像模組可以將該第一虛擬物體顯示在由該眼動追蹤模組所提供的該觀看者的凝視位置及凝視深度。當該觀看者將其凝視點從一第一凝視位置及一第一凝視深度移動至一第二凝視位置及一第二凝視深度,該虛擬影像模組會根據該觀看者的凝視點移動該第一虛擬物體。該虛擬影像模組可以在一預設的位置及深度顯示一第二虛擬物體。當該觀看者在預設時間內移動其凝視點,使該第一虛擬物體移動至該第二虛擬物體的預設空間範圍中時,該第二虛擬物體會改變並與該第一虛擬物體互動。
本發明的其他特徵及優點將在後面描述,一部份可以從說明或是本發明的實例中得知。本發明的目標及其他優點將由書面說明、請求項、以及附圖所特別指出的結構及方法實現。可以這樣理解,上述一般的說明和下面詳細的說明都是示例性的和說明性的,其旨在對所要求保護的發明提供進一步的解釋。
本文中所使用的詞彙係用來描述本發明特定具體實施例中的細節,所有的詞彙應以最大的範疇做合理解讀。某些詞彙將在以下特別強調;任何限制性用語將由具體實施例定義。
本發明涉及改善一隻眼睛異常或較另一眼衰弱的一觀看者的雙眼視力的系統及方法。有些人天生、因病或意外,有一隻眼睛異常或較另一隻眼睛衰弱,例如斜視(懶惰眼)、弱視、輻輳障礙、外斜視、下斜視、上斜視、內斜視及其他眼睛運動障礙的症狀。正常的眼睛被稱為一第一眼50,它可以是該觀看者的正常眼或弱眼。較衰弱或異常的眼睛(統稱為弱眼)被稱為一第二眼60,它可以是該觀看者的弱眼或是正常眼(除該正常眼之外的其餘眼睛)。本發明揭露系統及方法,該系統及方法產生在兩個不同深度間移動的虛擬影像,以刺激並補強/治療該觀看者弱視/異常的眼睛,最終根據該觀看者眼睛的資訊改善或修復其雙眼視力。
如圖1所示,改善雙眼視力的一系統,其中包含一眼動追蹤模組110及一虛擬影像模組120。該眼動追蹤模組110用來追蹤一觀看者的雙眼並提供相關眼睛資訊,例如該觀看者每一眼的眼睛運動、瞳孔位置、瞳孔大小、視角及輻輳角度。該眼動追蹤模組可以包含一第一相機112以追蹤該第一眼及一第二相機114以追蹤該第二眼。該虛擬影像模組120根據該觀看者雙眼瞳孔的位置,向一觀看者的第一眼投射數條正常光訊號以形成一正常影像;向一觀看者的第二眼投射數條調整光信號以形成一經調整的影像,藉此顯示一第一虛擬物體。該第一虛擬物體包括一正常光訊號產生器10、一正常合光元件20、一經調整的光訊號產生器30及一調整合光元件40。該正常光訊號產生器10產生數條正常光訊號,透過該正常合光元件20投射到該觀看者第一眼中以形成一正常影像。該經調整的光訊號產生器30產生數條經調整的光訊號,透過該調整合光元件40投射到該觀看者第二眼中以形成一經調整的影像。該虛擬影像模組120可以更包括一控制元件125,該元件可以處理並儲存資料。
該系統100可以更包括一VEP量測模組130、一使用者介面140、一真實物體量測模組150及一回饋模組160。該VEP量測模組130量測該觀看者眼睛的VEP,VEP是視覺刺激下在視覺皮層產生的電訊號。該虛擬影像模組120可以根據該觀看者的其中一眼或雙眼的VEP,以一種方式顯示該第一虛擬物體。一使用者介面140可以讓該觀看者或訓練員控制該系統100的各種功能。該使用者介面140可藉由踏板、鍵盤、滑鼠、旋鈕、開關、手寫筆、按鈕、棍子、觸控螢幕等形式,透過聲音、手勢、手指/腳的運動等方式操作。該真實物體量測模組150測量一真實物體的位置及深度,它與該第一虛擬物體有關。該回饋模組160在特定情況下向該觀看者提供反饋,例如聲音及震動。一外部伺服器170,不為該系統100的一部份,但可以提供額外的計算效能以達到更複雜的計算。這些模組的每一個及該外部伺服器可以透過有線或無線的方式彼此通信。無線的方式可以包含WiFi、藍芽、近場通訊(NFC)、網路、電信、無線電波(RF)等等。
如圖2所示,該系統100更包括一可以戴在該觀看者頭上的一支撐結構。該正常光訊號產生器10、該經調整的光訊號產生器30、該正常合光元件20及該調整合光元件40皆由該支撐結構乘載。在一實施例中,該系統為一頭戴式裝置,例如一虛擬實境(VR)護目鏡或一副擴增實境(AR)/混合實境(MR)眼鏡。在該情況下,該支撐結構可以為一副帶有或是沒有鏡片的鏡框。該鏡片可以是用來矯正近視、遠視等處方鏡片。此外,該第一相機112及該第二相機114由該支撐結構乘載並追蹤該觀看者的雙眼。該真實物體量測模組150亦可以由該支撐結構乘載並量測一真實物體的距離及深度。
該眼動追蹤模組110至少用於追蹤一觀看者兩個瞳孔的位置。此外,該眼動追蹤模組可以用於提供更多關於該觀看者眼睛的資訊,包括但不限於該觀看者每一眼的眼睛運動、瞳孔大小、視角及輻輳角度。這些眼睛資訊不只可以用來決定投射虛擬影像的光訊號的方向及位置,更可以用來決定該觀看者的凝視位置及凝視深度。該眼動追蹤模組可更包括一第一相機112以追蹤該第一眼50及一第二相機114以追蹤該第二眼60。
除了傳統眼動追蹤相機,該第一相機112及該第二相機114可以由超小型微機電系統(MEMS)技術製造。該第一相機112及該第二相機114可以使用紅外光發射器及感測器來檢測及獲得各種眼睛資訊。該眼動追蹤模組110可以更包括積體慣性測量單元(IMU)、一使用加速計、陀螺儀或磁力計的組合來測量並反映一身體的比力、角速度或身體的面向的電子設備。
如圖3所示,該虛擬影像模組120根據一觀看者的兩個瞳孔52,62的位置投射數條正常光訊號至該觀看者的第一眼50以形成一正常影像122,並投射相對應數條經調整的光訊號至該觀看者的第二眼60以形成一經調整的影像124,以顯示一第一虛擬物體70,例如一網球。該第一虛擬物體70顯示在一第一目標位置及一第一目標深度(統稱為第一目標地點或是T1)。該虛擬影像模組120包括一正常光訊號產生器10以產生數條正常光訊號,如NLS_1、NLS_2、NLS_3,分別為12,14,16;一正常合光元件20將該數條正常光訊號重定向至一觀看者的正常視網膜54上;一經調整的光訊號產生器30以產生數條經調整的光訊號,如ALS_1、ALS_2、ALS_3,分別為32,34,36;及一調整合光元件將該數條經調整的光訊號重定向至該觀看者的調整視網膜上64上。該觀看者有一正常眼50,包含一正常瞳孔52及一正常視網膜54;以及一弱眼60,包含一調整瞳孔62及一調整視網膜64。人類瞳孔的直徑一般在2釐米至8釐米之間,其中部分取決於環境的光量。成年人正常瞳孔大小在明亮環境下約為2至4釐米,在陰暗環境下約為4至8釐米。該數條正常光訊號會由該正常合光元件20重定向,穿過該正常瞳孔52並最終由該正常視網膜54所接收。該正常光信號NLS_1是指在一特定水平面上,該觀看者的正常眼可以看到的最右邊光訊號。該正常光信號NLS_2是指在一特定水平面上,該觀看者的正常眼可以看到的最左邊光訊號。在接收到該重定向正常光訊號後,該觀看者在重定向後的正常光訊號NLS_1及NLS_2的延伸部分所包含的區域A中,感知到位在第一目標地點T1的該第一虛擬物體70的數個正常像素(形成正常影像)。該區域A被稱為正常眼50的視野。同樣的,該數條經調整的光訊號會由該調整合光元件40重定向,穿過該調整瞳孔62並最終由該調整視網膜64所接收。該調整光信號ALS_1是指在一特定水平面上,該觀看者的弱眼可以看到的最右邊光訊號。該調整光信號ALS_2是指在一特定水平面上,該觀看者的弱眼可以看到的最左邊光訊號。在接收到該重定向經調整的光訊號後,該觀看者在重定向後的經調整的光訊號ALS_1及ALS_2的延伸部分所包含的區域B中,感知到該第一虛擬物體70的數個調整像素(形成經調整的影像)。該區域B被稱弱眼60的視野。當兩邊的數個正常像素及數個調整像素在區域A及區域B的重疊部分區域C中顯示時,至少一顯示一正常像素的正常光訊號以及相對應顯示一調整像素的經調整的光訊號會融合,並在區域C的一特定深度顯示一虛擬雙眼像素。該第一目標深度D1與投射到觀看者視網膜的重定向正常光訊號16’及重定向經調整的光訊號36’之間的角度Ɵ1有關,該角度也被稱為輻輳角。
如上所述,該觀看者第一眼50感知到該第一虛擬物體70的該正常影像122,該觀看者第二眼60感知到該第一虛擬物體70的該經調整的影像124。對於有適當影像融合功能的觀看者,因為他的大腦會將該正常影像122及該經調整的影像124融合為一雙眼虛擬影像,所以會在該第一目標位置及該第一目標深度感知到一單一第一虛擬物體。然而,若一觀看者有一弱眼,他則沒有適當的影像融合功能。在這種情況下,該觀看者的第一眼50及第二眼60會分別在第一正常影像位置及深度與第一經調整的影像位置及深度感知到該正常影像122及該經調整的影像124。該第一正常影像位置及深度跟該第一經調整的影像位置及深度會接近但不一樣。此外,該第一正常影像及該第一經調整的影像的位置及深度跟該第一目標位置及該第一目標深度接近。同樣的,該第一目標深度D1與投射到觀看者眼睛的該第一位置正常光訊號(第三正常光訊號)16’及相對應的該第一位置經調整的光訊號(第三經調整的光訊號)36’之間的角度Ɵ1有關。
此外,為了讓該觀看者的第一眼50感知到該正常影像且讓該觀看者的第二眼60感知到該經調整的影像,該虛擬影像模組120需要根據該眼動追蹤模組110所提供該觀看者瞳孔的位置,調整數個正常光訊號及相對應的數個經調整的光訊號的方向及位置,使之分別投射到該觀看者的第一眼50及第二眼60。
該虛擬影像模組120顯示的該第一虛擬物體70從該第一目標地點T1移動到該第二目標位置及該第二目標深度(統稱為第二目標地點或T2)。該第一目標深度D1跟該第二目標深度D2不一樣。該第二目標深度D2與該第二位置正常光訊號(第三正常光訊號)16’及相對應的該第二位置經調整的光訊號(第四經調整的光訊號)38’之間的角度Ɵ2有關。從該眼動追蹤模組得到資訊,包括該觀看者兩個瞳孔的位置與追蹤能力(尤其是弱眼),為選擇該第二位置及該第二深度的因素之一。該觀看者眼睛的追蹤能力可以透過瞳孔追蹤該第一虛擬物體移動的速度來評估。該觀看者眼睛的追蹤能力越強,該第二目標地點就會離第一目標地點越遠。當該虛擬影像模組120在該第一目標位置顯示該第一虛擬物體70後,在視覺暫留時間內(例如1/18秒)在該第二目標地點顯示該第一虛擬物體70,該觀看者眼睛會感知到該第一虛擬物體70從一第一目標地點T1移動到一第二目標地點T2並隨之移動。該第一虛擬物體70在兩個虛擬深度平面移動會增加該弱眼的運動,包括連續型視線追蹤及眼睛輻輳運動,以及提供該弱眼更多刺激。結果,該弱眼的視力會得到改善,最終重新建立雙眼視力(包括影像融合功能)。
如圖4所示之一實施例,當該虛擬影像模組120顯示該第一虛擬物體70從該第一目標地點T1移動至該第二目標地點T2時,投射到該觀看者第二眼60的該經調整的光訊號會比投射到該觀看者第一眼50的該正常光訊號改變更多光線方向。也就是說,Ɵ4比Ɵ3大。所以該弱眼需要比該正常眼移動(運動)更多來追蹤該第一虛擬物體70的移動。在斜視的情況下,該弱眼運動比該正常眼運動的越多,兩眼間的視力差距縮小的越快,甚至會消失。如圖5A至5C所示之另一實施例,當該虛擬影像模組120顯示該第一虛擬物體70從該第一目標地點T1移動至該第二目標地點T2時,投影到該觀看者第一眼50的該正常光訊號不會改變光線方向。在這個情況下,該觀看者的第一眼50完全不需要移動,而該觀看者的第二眼需要移動更多以追蹤該第一虛擬物體的移動。根據上述原因,因為該弱眼被迫做所有運動,所以斜視的情況可能會有更有效的治療。
在該第一虛擬物體70從該第一目標地點T1移動到該第二目標地點T2後,該虛擬影像模組120可進一步顯示該第一虛擬物體70從該第二目標地點T2移動到一第三目標位置及一第三目標深度(統稱第三目標地點或T3)。同樣的,從該第二目標地點T2移動到第三目標地點T3有兩個不同的實施例:(1)投影到該觀看者第二眼60的該經調整的光訊號會比投射到該觀看者第一眼50的該正常光訊號改變更多光線方向;(2)投影到該觀看者第一眼50的正常光訊號並不改變光線路徑,如圖5A至5C所示。同樣的,根據訓練計劃的需求,該虛擬影像模組120可以在數個目標地點間不斷地顯示該第一虛擬物體70,例如T1→T2→T3→T4。
為了避免複雜化,圖4及5A至5C沒有展示瞳孔隨著該第一虛擬物體70移動。圖6A至6B說明了當該第一虛擬物體70從該第一目標地點T1移動到該第二目標地點T2時,該第二眼60實際上從左手邊移動到中間,而該第一眼50則維持在大約相同的位置。
由該眼動追蹤模組110所得到的該觀看者眼睛資訊,例如瞳孔位置、瞳孔大小、視角及輻輳角度,可以讓該虛擬影像模組判斷該第一虛擬物體70移動的方向及速度。舉例來說,當該弱眼60沒辦法跟上該第一虛擬物體70的移動時,該虛擬影像模組120可以將該第一虛擬物體70移回至該觀看者的弱眼還能感知到經調整的影像的上一個位置,並且減緩移動的速度。該虛擬影像模組120也可以使用這些觀看者眼睛資訊來決定該正常光訊號及經調整的光訊號的方向及角度,以確保兩隻眼睛,尤其是該弱眼60接收到光訊號並可以感知到該第一虛擬物體70。圖7A至7D分別說明了下斜視(眼睛向下)、上斜視(眼睛向上)、外斜視(眼睛向外)、內斜視(眼睛向內),這四種情況該弱眼60的瞳孔沒辦法自由轉動與該正常眼50的瞳孔相互配合。以外斜視為例,如圖8所示,該虛擬影像模組120可分別調整該正常光訊號及經調整的光訊號的方向與角度,以讓該弱眼60感知到該經調整的影像。
在一些實施例中,該系統100可以用來矯正外斜視或其他相似情況。該虛擬影像模組120可以顯示該第一虛擬物體70並緩慢的向該觀看者的弱眼60靠近或遠離。該眼動追蹤模組110提供該觀看者的眼睛資訊,例如瞳孔位置、瞳孔大小、視角及輻輳角度,可以讓該虛擬影像模組120根據這些資訊分別向該正常眼投射正常光訊號使其感知該正常影像;向該弱眼投射經調整的光訊號使其感知到該經調整的影像。接著該虛擬影像模組漸漸向適當的方向移動開經調整的影像以達到矯正的目的。由該弱眼所感知到的經調整的影像可會有點模糊且/或該觀看者的雙眼感知到複視(當影像融合失敗,該正常影像與經調整的影像分開)。人類大腦有自動執行雙眼調節的傾向及能力,以獲得一物體的清晰影像。因此,該觀看者可試著稍微轉動其弱眼以重新獲得一清晰影像或是避免複視。當該觀看者成功後,該反饋模組120會提供一反饋給該觀看者。該虛擬影像模組120可以重複的來回移動該經調整的影像,以訓練該弱眼轉動至適當的方向。
為了改善該觀看者弱眼60的視力,該虛擬影像模組120可區分給該觀看者第一眼50的該正常影像122與給該觀看者第二眼60的該經調整的影像124之間的對比度與空間頻率。具體而言,該虛擬影像模組120會產生跟該正常影像124相比擁有更高解析度或更低空間頻率的經調整的影像122。該虛擬影像模組120可部分根據該弱眼的視覺對比敏感度,為經調整的影像122選擇一適當的對比度及空間頻率,使該觀看者的弱眼60接收到更強的刺激並清楚的感知到該經調整的影像124。每隻眼睛都有其視覺對比敏感度,就如圖9所示。該虛擬視覺模組120可調整該正常影像122的對比度且/或空間頻率,使該正常眼50接收少一點刺激並感知到較低對比度與較高空間頻率的該正常影像122。因此,該弱眼60得到更多運動及訓練,為該觀看者的視力有貢獻。如果沒有該系統100改善雙眼視力,該觀看者會避免讓其無法看見清晰影像的弱眼運動,然後該弱眼60會變得更加衰弱,甚至看不見。
對比度是指一個物體(或其影像或在顯示器中的表現)可被區分的亮度或顏色的差異。在現實世界的視覺感知中,對比度是由物體和同一視野內的其他物體的顏色與亮度的差異決定的。透過視覺對比敏感度測試,可以繪製該觀看者眼睛的視覺對比敏感度曲線(也稱為視覺對比敏感度函數),橫軸為角頻率,縱軸為對比度閾值。在這種測試中,向觀看者展示的圖像在縱坐標上有不同的對比度,在橫坐標上有不同的角頻率。不同寬度和對比度的平行條,被稱為正弦波光柵,由觀看者依次觀看並繪製曲線。條的寬度和它們之間的距離代表角頻率,以每一度為一周期來衡量。研究表明,相對於低角頻率或高角頻率,中等大小的角頻率,大約為每度5-7個週期,對大多數人而言有最佳的測試結果。該對比度閾值可以定義為病人可以看見的最小對比度。
如上所述,該虛擬影像模組120可投射較高對比度及/或較低空間頻率的經調整的影像124至該觀看者的弱眼60。以下為一些例子,對高對比度而言,該經調整的影像124會比該正常影像122有更高亮度;該經調整的影像124有各種色彩而該正常影像122為黑白影像(有灰階);該經調整的影像124為綠色而該正常影像122為紅色。對低空間頻率而言,該經調整的影像124為一影像的前景而該正常影像122為同一影像的後景。該虛擬影像模組120將一影像區分為一空間頻率較低部分及一空間頻率較高部分,接著投射該空間頻率較低部分(例如前景)至該弱眼60,並投射該空間頻率較高部分(例如後景)至該正常眼50。在這情況下,該經調整的影像124(空間頻率較低部分)跟該正常影像122(空間頻率較高部分)對於雙眼融合有很重要的關聯,雖然該經調整的影像及該正常影像因為不同模式及空間頻率看起來有些不同,但他們皆來自同一影像。
如圖10所示,當該虛擬影像模組120將該第一虛擬物體70移動到不同目標深度的地點時,該第一虛擬物體70的空間頻率會因為該目標深度而改變。當該相同虛擬物體移動到一個更深的地點,因為它距離該觀看者更遠,該相同虛擬物體的空間頻率就自動上升。於是,當該虛擬物體遠離該觀看者時,該弱眼60在清楚感知該虛擬物體上會有困難。為了讓該觀看者的弱眼能清楚感知到該經調整的影像,該虛擬影像模組可調整該第一虛擬物體(包括該經調整的影像及該正常影像)的空間頻率,讓該第一虛擬物體顯示在一更深的位置時,有較低空間頻率。如圖10所示,當該第一虛擬物體70移動到更深的地方,舉例來說從該第一目標地點T1到該第二目標地點T2,再到該第三目標地點T3,該第一虛擬物體70的空間頻率降低解決了上述問題。
改善雙眼視力的該系統100可進一步包含一VEP量測模組130以量測該觀看者眼睛的視覺誘發電位(VEP)。VEP是視覺刺激下在視覺皮層產生的電訊號。VEP是指從視覺皮層上方的頭皮紀錄的電位,這些電位是通過訊號平均從腦電圖中擷取的。一般情況下,紀錄電極放在頭部後方的枕葉頭皮中線。VEPs用來量化視神經、從眼睛到大腦視覺皮層的視覺迴路以及枕葉皮層的功能完整性。因此,VEP為該虛擬影像模組提供了重要資訊,以調整顯示該第一虛擬物體的方式,包括該第一虛擬物體70的移動速度及方向,以及該經調整的影像124的對比度及空間頻率。
該VEP量測模組130可持續地測量觀看者一隻或兩隻眼睛的VEP,並將這些資訊提供給該虛擬影像模組。測量可以以實時的方式進行,也可以在該觀看者的弱眼有改善後一段時間內做一次。VEP可以反映出該觀看者的弱眼能夠感知到該調整圖像的程度。VEP也可以反映出該觀看者的眼睛,特別是弱眼在一段時間內是否固定。例如,當該觀看者的弱眼不固定並且做一些動作時,弱眼的VEP可能會有波動。然而,當該觀看者的弱眼保持固定時,弱眼的VEP可能會維持大致相同。因此,該虛擬影像模組可以根據該觀看者任一或兩隻眼睛的VEP,顯示該第一虛擬物體,包括選擇適當的對比度及空間頻率,以及該第一虛擬物體的運動方向及速度。
即使該系統不包含該VEP測量模組,該虛擬影像模組120也可以根據該觀看者任一或兩隻眼睛的VEP來顯示該第一虛擬物體70。一分開VEP量測模組可以透過有線或無線的方式傳送該觀看者任一或兩隻眼睛的VEP。無線的方式可以包含WiFi、藍芽、近場通訊(NFC)、網路、電信、無線電波(RF)等等。該觀看者任一或兩隻眼睛的VEP也可以透過系統的使用者介面,例如鍵盤或滑鼠,輸入到系統中。
用於改善雙眼視力的該系統100首先投射帶有適當的對比度及空間頻率的該經調整的影像,讓該觀看者的弱眼得到足夠大的刺激並運動。當該觀看者的弱眼變得更強壯,該虛擬影像模組可以在該觀看者清楚感知到該經調整的影像的前提下,逐漸降低該經調整的影像對比度且/或增加該經調整的影像的空間頻率,直到該經調整的影像跟該正常影像非常接近。同一時間,該第一虛擬物體從該第一地點移動到該第二地點可以訓練該觀看者的弱眼跟隨影像移動並感知到該第一虛擬物體的深度。當該觀看者有辦法練習凝視時,該虛擬影像模組可以將該第一虛擬物體顯示在由該眼動追蹤模組提供的該觀看者的凝視位置及凝視深度(統稱凝視地點)。當該觀看者將其凝視點從一第一凝視位置及一第一凝視深度(統稱第一凝視地點或F1)移動到一第二凝視位置及一第二凝視深度(統稱第二凝視地點或F2),該虛擬影像模組會根據該觀看者的凝視點移動該第一虛擬物體。
透過使用讓該第一虛擬物體跟著該觀看者的凝視點移動這個機制,很多遊戲被設計來訓練該觀看者凝視及影像融合的能力。該虛擬影像模組可以在一預設位置及一預設深度顯示一第二虛擬物體75。當該觀看者移動其凝視點,使該第一虛擬物體在該第二虛擬物體的預設空間範圍內移動,或是在預設時間內疊加在該第二虛擬物體上時,該第二虛擬物體會改變並與該第一虛擬物體互動。如圖11A及11B所示之一第一例,該第一虛擬物體70為一會根據該觀看者的凝視點移動的瞄準游標,而該第二虛擬物體75是一射擊目標,例如一軍艦或一戰鬥機。當該第一虛擬物體70(即瞄準游標)移動並重疊在該第二虛擬物體75(即戰鬥機)上,該第二虛擬物體75會顯示爆炸以提供該觀看者一反饋,讓其得知該第二虛擬物體75被擊中並摧毀。在第二例中,該第一虛擬物體為一保齡球,而該第二虛擬物體為保齡球球瓶堆。當該觀看者移動其凝視點使保齡球跟球瓶堆重疊(擊中)時,該虛擬影像模組會顯示部分球瓶倒下,以提供給該觀看者有關擊中的反饋。
該系統100可以跟現實互動。跟上述的射擊遊戲相似,該觀看者可以在預設時間內,移動其凝視點使該第一虛擬物體(如瞄準游標)在一真實物體(如桌上的茶壺)的預設範圍內移動。接著該虛擬影像模組可以顯示一虛擬物體(如煙火)作為反饋,以向該觀看者說明該真實物品被擊中了。這些反饋情景及訓練遊戲中的其他參數,如預設空間範圍、預設時間、反饋的虛擬物體可以由該觀看者或一訓練員預先設定好。因此,該訓練遊戲可以設定該瞄準游標需要與該真實物體重疊至少三秒鐘。
該系統100可進一步包含一真實物體量測模組150以測量一真實物體的一位置及一深度,例如掛在牆上的時鐘及圖片。該真實物體可以為一移動物體,如遙控飛機或狗。該物體量測模組150與該系統的其他模組相連接,可以連續或定期測量該真實物體相對於該物體量測模組(或該觀察者)的位置及深度,並將相關資訊傳達給該虛擬影像模組以確定是否滿足反饋條件。舉例來說,在接收這些資訊後,該控制模組125可以計算該第一虛擬物體(如一瞄準游標)與該真實物體之間的距離,判斷該第一虛擬物體有沒有重疊在該真實物體上。該真實物體與該真實物體量測模組150(或該觀看者眼睛)之間的距離會隨著時間改變。在一情況下,該真實物體105,如一遙控飛機,可能會在遊戲期間移動。在另一情況下,該系統100可能由一觀察者(如病人)穿戴,而該觀察者可能會在遊戲期間移動他的頭。因此,需要量測並計算該真實物體與該觀看者眼睛之間的距離,以準確地確定是否滿足反饋條件。該真實物體量測模組150可以包含一陀螺儀、室內/室外全球定位系統(GPS)及一距離量測元件(即發射器與感測器)以精準追蹤該真實物體的位置或深度變化。
除了顯示一虛擬物體,例如爆炸的飛機,作為反饋,該系統100可提供其他種類的反饋,例如聲音或震動。因此,該系統100可以更包括一反饋模組160,當反饋條件滿足時產生一反饋。該反饋模組可以為一製造聲音(如爆炸聲)的揚聲器,或是一震動產生器以提供不同種類的震動。反饋的種類可以由該觀察者或該訓練員藉由該使用者介面140設定。
下面將詳細討論該虛擬影像模組120、在特定位置及深度產生虛擬影像70,75的方法、以及依照需求移動該虛擬影像的方法。於2020年11月6日提交的PCT國際申請PCT/US20/59317,標題為”SYSTEM AND METHOD FOR DISPLAYING AN OBJECT WITH DEPTHS”,其全部內容通過引用納入本文。
如圖12所示,該觀看者在該觀看者前方的區域C感知到該網球70的一虛擬影像。在一第一目標地點T1(深度為D1)顯示的網球虛擬物體70的影像由其影像的中點表示,即一第一雙眼像素72;當該虛擬物體70移動到一第二目標地點T2(深度為D2)時,由一第二雙眼像素74表示。該第一重定向正常光訊號16’(該第一位置正常光訊號)與相對應的該第一重定向經調整的光訊號36’(該第一位置經調整的光訊號)之間的該第一角度為Ɵ1。該第一深度D1跟該第一角度Ɵ1有關。特別是,該虛擬物體70的第一虛擬雙眼像素的第一深度可以由該第一重定向正常光訊號及相對的該第一重定向經調整的光訊號光線延伸路徑之間的第一角度Ɵ1所決定。結果,該第一虛擬雙眼像素70的該第一深度D1可以由下列公式算出近似值:
該正常瞳孔52與該調整瞳孔62之間的距離為瞳距(IPD)。相同的,該第二重定向正常光訊號18’(該第二位置正常光訊號)與相對應的該第二重定向經調整的光訊號36’(該第二位置經調整的光訊號)之間的該第二角度為Ɵ2。該第二深度D1跟該第二角度Ɵ2有關。特別是,該虛擬物體70的第二虛擬雙眼像素的第二深度可以透過相同公式,由該第二重定向正常光訊號及相對的該第一重定向經調整的光訊號光線延伸路徑之間的第二角度Ɵ2所決定。因為該第二虛擬雙眼像素74跟該第一虛擬雙眼像素72,在距離該觀看者較遠的地方被感知(深度較大),該第二角度Ɵ2會比該第一角度Ɵ1小。
此外,雖然NLS_2的該重定向正常光訊號16’與ALS_2的該重定向經調整的光訊號72共同在該第一深度D1顯示一第一虛擬雙眼像素72。NLS_2的該重定向正常光訊號16’可能會和相對應的ALS_2的該重定向經調整的光訊號36’有相同或不同的視角。換句話說,雖然該第一角度Ɵ1決定該第一虛擬雙眼像素72的深度,但NLS_2的該重定向正常光訊號16’與相對應的ALS_2的該重定向經調整的光訊號36’可能有視差。因此,紅綠藍(RGB)色光的強度及/或該正常光訊號及該經調整的光訊號的亮度可以大致相同,也可以因為陰影、視角等等的關係而有些許不同,以達到更好的3D效果。
如上所述,該數條正常光訊號是由該正常光訊號產生器產出、由該正常合光元件重定向、接著由該正常視網膜掃描後,在該正常視網膜上形成一正常視網膜影像(正常視網膜影像122)。同樣地,該數條經調整的光訊號是由該經調整的光訊號產生器產出、由該調整合光元件重定向、接著由該調整視網膜掃描後,在該調整視網膜上形成一調整視網膜影像(調整視網膜影像124)。如圖12所示之一實施例,一正常視網膜影像80包含36個正常像素(6x6矩陣)且一調整視網膜影像90也包含36個調整像素(6x6矩陣)。在另一實施例中,一正常視網膜包含921600個正常像素(1280x720矩陣)且一調整視網膜影像也包含921600個調整像素(1280x720矩陣)。該虛擬影像模組120用來產生數個正常光訊號及相對應的數條經調整的光訊號,這些訊號分別在正常視網膜上形成該正常視網膜影像,且在該調整視網膜上形成調整視網膜影像。結果,該觀看者因為影像融合而感知到一具有特定深度的虛擬物體。
參考圖12,來自該正常光訊號產生器10的該第一正常光訊號16被該正常合光元件20接收並反射。該第一重定向正常光訊號16’穿過該正常瞳孔52到達該觀看者的該正常視網膜並顯示該正常像素R43。來自該經調整的光訊號產生器30的該相對應的經調整的光訊號36被該調整合光元件40接收並反射。該第一重定向經調整的光訊號36’穿過該調整瞳孔62到達該觀看者的該調整視網膜並顯示該調整像素L33。作為影像融合的結果,一觀看者感知到一個在數個不同深度間移動的虛擬物體70,其深度是由該數條重定向正常光訊號及相對應的該數條重定向經調整的光訊號之間的角度而決定。一重定向正常光訊號與一相對應經調整的光訊號之間的角度是由該正常像素與該調整像素之間的相對水平距離決定的。因此,一虛擬雙眼像素的深度跟形成該虛擬雙眼像素的該正常像素及相對應的該調整像素之間的水平距離成反比。換句話說,該觀看者感知到的一虛擬雙眼像素越深,形成該虛擬雙眼像素的該正常像素與調整像素之間的水平距離越小。舉例來說,如圖12所示,該觀看者感知到的該第二虛擬雙眼像素74比該第一虛擬雙眼視覺像素72更深(也就是比該觀看者更遠)。因此,在視網膜影像上,該第二正常像素與該第二調整像素之間的水平距離會比該第一正常像素與該第一調整像素之間的水平距離更小。具體來說,形成該第二虛擬雙眼像素的該第二正常像素R41與該第二調整像素L51之間的水平距離為四個像素長。然而,形成該第一虛擬雙眼像素的該第一正常像素R43與該第一調整像素L33之間的水平距離為六個像素長。
如圖13所示之一實施例,說明了來自光訊號產生器的數條正常光訊號及數條經調整的光訊號的光線路徑。該數條正常光訊號由該正常光訊號產生器10產生並向該正常合光元件20投射並形成一正常合光元件影像(RSI)82。該數條正常光訊號由該正常合光元件20重定向並匯聚至一微小正常瞳孔影像(RPI)84穿過該正常瞳孔52,最終到達該正常視網膜54並形成一正常視網膜影像(RRI)86。RSI, RPI, RRI皆由ixj個像素組成。每個正常光訊號RLS(i,j)都會經過相對應的像素,從RSI(i,j)到RPI(i,j)、接著到RRI(x,y)。舉例來說,RLS(5,3)會從RSI(5,3)到RPI(5,3),再到RRI(2,4)。相同地,該數條經調整的光訊號由該經調整的光訊號產生器30產生並向該調整合光元件40投射並形成一調整合光元件影像(LSI)92。該數條經調整的光訊號由該調整合光元件40重定向並匯聚為一微小調整瞳孔影像(LPI)94穿過該調整瞳孔62,最終到達該調整視網膜64並形成一調整視網膜影像(LRI)96。LSI, LPI, LRI皆由 ixj 個像素組成。每個經調整的光訊號ALS(i,j)都會經過相對應的像素,從LSI(i,j)到LPI(i,j)、接著到LRI(x,y)。舉例來說,ALS(3,1)會從LSI(3,1)到LPI(3,1),再到LRI(4,6)。(0,0)像素是每個影像最左上方的像素。視網膜影像中的像素跟合光元件影像中相對應的像素為左右相反且上下顛到的。在該光訊號產生器及合光元件的相對位置都已經安排好的情況下,每個光訊號都有其自己從一光訊號產生器到一視網膜的光線路徑。在正常視網膜上顯示一正常像素的一正常光訊號及相對應的在調整視網膜上顯示一調整像素的一經調整的光訊號會共同形成一帶有特定深度的虛擬雙眼像素,並由一觀看者感知。因此,一在空間中的虛擬雙眼像素可以由一對正常視網膜像素及調整視網膜像素或是一對正常合光元件像素及調整合光元件像素表示。
一觀看者在區域C中感知到一虛擬物體可能包括數個虛擬雙眼像素,但在本發明中僅由一虛擬雙眼像素表示。為了可以精確地描述一虛擬雙眼像素在空間中的位置,每個空間中的位置都會有一個立體座標,例如XYZ座標,其他立體座標系統可以用在其他實施例中。於是,每個虛擬雙眼像素都有一個立體座標:一水平方向、一垂直方向以及一深度方向。水平方向(或X軸方向)是沿著瞳孔間線的方向;垂直方向(或Y軸方向)沿著臉部中線的方向並垂直於水平方向;深度方向(或Z軸方向)是指正平面的法線並與水平方向及垂直方向皆垂直。水平方向座標與垂直方向座標在本發明中被統稱為位置。
圖14說明該正常合光元件影像中的像素、該調整合光元件影像中的像素、以及該虛擬雙眼像素之間的關係。如上所述,該正常合光元件影像中的像素每個都與該正常視網膜影像中的像素(正常像素)相對應。該調整合光元件影像中的像素每個都與該調整視網膜影像中的像素(調整像素)相對應。然而,該視網膜影像中的像素與相對應在合光元件影像中的像素左右相反且上下顛倒。對於一由36個(6x6)正常像素組成的正常視網膜影像與一由36個(6x6)調整像素組成的調整視網膜影像,假設所有光訊號都在該觀看者兩隻眼睛的視野(FOV)內,則在區域C中有216個(6x6x6)虛擬雙眼像素(顯示為一點)。一重定向正常光訊號的光線延伸路徑會與該影像中同一排的所有重定向經調整的光訊號的光線延伸路徑相交。同樣地,一重定向經調整的光訊號的光線延伸路徑會與該影像中同一排的所有重定向正常光訊號的光線延伸路徑相交。因此,一層會有36個(6x6)虛擬雙眼視覺而空間中一共有六層。雖然在圖14中看起來例如平行線,但是相鄰兩條光線延伸路徑相交並形成虛擬雙眼像素代表他們之間有一小角度。在視網膜中大約相同高度的一正常像素及相對應的一調整像素(即在正常視網膜影像與調整視網膜影像的同一行)通常會更早融合。因此,正常像素與在視網膜影像同一行的調整像素配對,並形成虛擬雙眼像素。
如圖15所示,創造了一查詢表以方便識別每一虛擬雙眼像素的正常像素及調整像素對。舉例來說,216個虛擬雙眼像素由36個正常像素及36個調整像素組成,編號從1至216。該第一(1
st)虛擬雙眼像素VBP(1)代表正常像素RRI(1,1)及調整像素LRI(1,1)。該第二(2
nd)虛擬雙眼像素VBP(2)代表正常像素RRI(2,1)及調整像素LRI(1,1)。該第七(7
th)虛擬雙眼像素VBP(7)代表正常像素RRI(1,1)及調整像素LRI(2,1)。該第三十七(37
th)虛擬雙眼像素VBP(37)代表正常像素RRI(1,2)及調整像素LRI(1,2)。該第兩百一十六(216
th)虛擬雙眼像素VBP(216)代表正常像素RRI(6,6)及調整像素LRI(6,6)。因此,為了向該觀看者顯示一虛擬物體在空間中的一特定虛擬雙眼像素,需要確定那一對正常像素及調整像素可以用來產生相對應的正常光訊號及經調整的光訊號。此外,在查詢表中一虛擬雙眼像素的每一行包括一指標,該指標導向儲存該VBP的感知深度(z)及感知位置(x,y)的記憶體位址。額外的訊息也可以儲存在VBP,例如尺寸比例、重疊物品的數量、以及序列深度。尺寸比例為特定VBP與標準VBP相比的相對大小資訊。舉例來說,該虛擬物體顯示在該觀看者面前一公尺處的該標準VBP時,尺寸比例可以設為1。因此,對於在該觀看者前面90公分的該特定VBP,該尺寸比例可以設為1.2。同樣地,對於在該觀看者前面1.5公尺的特定VBP,該尺寸比例可以設為0.8。當該虛擬物體從一第一深度移動到第二深度時,尺寸比例可以用來決定該虛擬物體顯示的尺寸。尺寸比例在本發明中可以為放大率。重疊物品的數量為因重疊而部分或完全被其他物品覆蓋的物品數量。序列深度包含各個重疊影像的深度排序。舉例來說,有三個影像相互重疊。在最前面的該第一影像的序列深度設為1,
而被該第一影像覆蓋的該第二影像的序列深度設為2。重疊影像的數量與序列深度是用來決定當各種重疊物品移動時,該顯示哪個影像及該影像的哪個部分。
該查詢表由下列步驟創造。第一步驟:根據該觀察者IPD獲得一個人虛擬地圖,該虛擬地圖是由該虛擬影像模組在啟動或校正時創建,它指定了區域C的邊界,在該邊界中該觀察者可以因為正常視網膜影像及調整視網膜影像的融合而感知到一帶有深度的虛擬物體。第二步驟:對於Z軸方向上的每個深度(Z軸上的每個點)計算輻輳角度,以確定該正常視網膜影像及該調整視網膜影像上的一對正常像素及調整像素,無論其X座標與Y座標。第三步驟:沿X軸方向移動該對正常像素及調整像素,以確定每對在一特定深度的正常像素及調整像素的X座標及Z座標,無論其Y座標。第四步驟:沿Y軸方向移動該對正常像素及調整像素,以確定每對正常像素及調整像素的Y座標。因此,可以確定該正常視網膜影像及該調整視網膜影像上的每對正常像素及調整像素的三維座標系,如XYZ,以建立該查詢表。此外,第三步驟跟第四步驟可以互換。
該光訊號產生器10及30可以為雷射、發光二極體(LED),包含mini LED及 micro LED、有機發光二極體(OLED)、或超輻射發光二極體(SLD)、矽基液晶(LCoS)、液晶顯示器(LCD),或其任何組合作為其光源。在一實施例中,該光訊號產生器10及30為一雷射掃描投影器(LBS projector),該投影器由一光源(包括一紅光雷射、一綠光雷射及一藍光雷射)、一色彩修飾物(例如雙色合光鏡及偏振合光鏡)、以及一二維可調式反光鏡(例如一二維微機電系統鏡)。該二維可調式反射鏡可以由兩個一維反射鏡取代,例如兩個一維微機電系統(MEMS)鏡。該LBS投影器依序產生並掃描光訊號以在一預設解析度下形成一二維影像,例如每幀1280x720像素。因此,該投影器產生一像素的一光訊號並一次性投射到該合光元件20及40上。為了讓一觀看者的一眼能夠看到該平面影像,該LBS投影器需要在視覺暫留時間內(例如1/18秒)依序產生每個像素的光訊號(例如1280x720個光訊號)。因此,每個光訊號的持續時間約為60.28奈秒。
在另一實施例中,該光訊號產生器10及30可為一數位光處理投影器(DLP projector),該投影器可以一次產生一平面彩色影像。德州儀器的DLP技術為可以用來製造DLP投影器的數個技術之一。該完整平面彩色影像(可能由1280x720個像素所組成)會同時投射至該合光元件20及40上。
該合光元件20,40接收並重定向由該光訊號產生器10,30所產生的數條光訊號。在一實施例中,該合光元件20,40反射該數條光訊號,所以該重定向光訊號與該入射光訊號在同一側。在另一實施例中,該合光元件20,40折射該數條光訊號,所以該重定向光訊號與該入射光訊號在不同側。當該合光元件20,40作為一折射鏡,其反射率變動很大,如20%至80%,部分取決於該光訊號產生器的功率。在該領域有通常知識者知道如何根據該光訊號產生器及該合光元件的特性決定適當的反射率。此外,該合光元件20,40在入射光訊號另一側的環境光下為光學透明的,所以該觀看者可以在同一時間看到該即時影像。根據其應用不同,透明度的變動範圍很大。若是應用在AR/MR,其透明度最好大於50%,例如在一實施例中約為75%。除了重定向該光訊號,該焦點調整單元182,187可以匯聚該數條光訊號,讓其可以通過瞳孔並到達該觀看者雙眼的視網膜。
該合光元件20,40可以由眼鏡或像透鏡一樣的塑膠材料製成,塗上特定材質(例如金屬)讓它部分透明且部分反射。使用一反射合光元件將光訊號導向該觀看者眼睛,而非現有技術中的導波器的一個優點為消除不良的繞射效應,例如重影、色彩置換等等。
上述所提供之實施例的描述是為了使所屬領域具有通常技術者得以製造並使用本發明。對該實施例的各種修改對於所屬領域具有通常技術者是顯而易見的,並且此處確定的基本原理不需要創造性勞動便可以應用於其他實施例。因此,本所要求的主題不僅限於此處展示的實施例,而是要符合與此處公開的原理及新穎特徵一致的最廣範圍。可以預想其他的實施例也在本發明所揭露的精神及範圍內。因此,本發明意旨為涵蓋屬於所附的專利請求項及其等同物的範圍內的修改及變化。
10:正常光訊號產生器
12:正常光訊號
12’:重定向正常光訊號
14:正常光訊號
14’:重定向正常光訊號
16:正常光訊號
16’:重定向正常光訊號
18:正常光訊號
18’:重定向正常光訊號
100:系統
110:眼動追蹤模組
112:第一相機
114:第二相機
120:虛擬影像模組
122:正常影像
124:經調整的影像
125:控制元件
130:VEP量測模組
140:使用者介面
150:真實物體量測模組
155:陀螺儀、室內/室外全球定位系統(GPS)及一距離量測元件
160:反饋模組
170:外部伺服器
20:正常合光元件
30:經調整的光訊號產生器
32:經調整的光訊號
32’:重定向調整光訊號
34:經調整的光訊號
34’:重定向調整光訊號
36:經調整的光訊號
36’:重定向調整光訊號
38:經調整的光訊號
38’:重定向調整光訊號
40:調整合光元件
50:第一眼
52:正常瞳孔
54:正常視網膜
60:第二眼
62:調整瞳孔
64:調整視網膜
70:第一虛擬物體
72:第一雙眼像素
74:第二雙眼像素
75:第二虛擬物體
76:第二雙眼像素
82:正常合光元件影像
84:正常瞳孔影像
86:正常視網膜影像
92:調整合光元件影像
94:調整瞳孔影像
96:調整視網膜影像
ϴ1:第一角度
ϴ2:第二角度
ϴ3:第三角度
ϴ4:第四角度
ϴ5:第五角度
ϴ6:第六角度
D1:第一目標深度
D2:第二目標深度
F1:第一凝視地點
F2:第二凝視地點
F3:第三凝視地點
L1:點
L2:點
L3:點
L4:點
R1:點
R2:點
R3:點
R4:點
T1:第一目標地點
T2:第二目標地點
T3:第三目標地點
VBP1:第一虛擬雙眼像素
VBP7:第七虛擬雙眼像素
VBP216:第二百一十六虛擬雙眼像素
圖1為一方塊圖,說明本發明中帶有各種模組的一系統之一實施例。
圖2為一示意圖,說明本發明中一系統之一實施例,該實施例使用一頭戴式裝置改善雙眼視覺。
圖3為一示意圖,說明本發明中一虛擬影像模組的一實施例。
圖4為一示意圖,說明本發明中在兩個不同深度間移動一虛擬物體的一實施例。
圖5A至5C為示意圖,說明本發明中在數個不同深度間移動一虛擬物體的數個實施例。
圖6A及6B為示意圖,說明本發明中該弱眼隨著一虛擬物體移動的一實施例。
圖7A至7D為示意圖,說明本發明中異常眼的例子。
圖8為一示意圖,說明本發明中根據該觀看者的眼睛資訊調整該光線方向及角度的一實施例。
圖9為一影像,說明本發明中視覺對比敏感度的例子。
圖10為一示意圖,說明本發明中因顯示深度不同而調整一虛擬物體的空間頻率的一實施例。
圖11A及11B為示意圖,說明本發明中根據一觀看者眼睛的凝視點移動一第一虛擬物體,以疊加在一第二虛擬影像上的一實施例。
圖12為一示意圖,說明本發明中一虛擬雙眼像素與相對應的該正常像素及調整像素之間的關係。
圖13為一示意圖,說明本發明中該光線從一光訊號產生器到一合光元件,再到一觀看者的視網膜的路徑。
圖14為一示意圖,說明本發明中由正常光訊號及經調整的光訊號形成的該虛擬雙眼像素。
圖15為一表格,說明本發明中一查詢表的一實施例。
10:正常光訊號產生器
20:正常合光元件
30:經調整的光訊號產生器
40:調整合光元件
110:眼動追蹤模組
112:第一相機
114:第二相機
120:虛擬影像模組
125:控制元件
130:VEP量測模組
140:使用者介面
150:真實物體量測模組
155:陀螺儀、室內/室外全球定位系統(GPS)及一距離量測元件
160:反饋模組
170:外部伺服器
Claims (26)
- 一種改善雙眼視力的系統,該系統包括:一眼動追蹤模組,用於追蹤一觀看者兩個瞳孔的位置;一虛擬影像模組,根據該瞳孔的位置,投射數條正常光訊號至一觀看者的第一眼以形成一正常影像,並投射相對應的數條經調整的光訊號至一觀看者的第二眼以形成一經調整的影像,以顯示一第一虛擬物體;其中該虛擬影像模組將該第一虛擬物體從一第一目標位置及一第一目標深度移動到一第二目標位置及一第二目標深度;以及其中該第一目標深度與該第一目標位置的該正常光訊號及相對應的該第一目標位置的該經調整的光訊號之間的一第一角度有關,該第二目標深度與該第二目標位置的該正常光訊號及相對應的該第二目標位置的該經調整的光訊號之間的一第二角度有關,且該第一目標深度與該第二目標深度不同。
- 如請求項1中所述的該系統,其中當該虛擬影像模組顯示該第一虛擬物體從該第一目標位置及該第一目標深度移動至該第二目標位置及該第二目標深度時,投射至該觀看者第二眼的該經調整的光訊號在光線方向上比投射至該觀看者第一眼的該正常光訊號改變更多。
- 如請求項1中所述的該系統,其中當該虛擬影像模組顯示該第一虛擬物體從該第一目標位置及該第一目標深度移動至該第二目標位置及該第二目標深度時,投射至該觀看者第一眼的該正常光訊號不改變光線方向。
- 如請求項1中所述的該系統,其中當該虛擬影像模組顯示該第一虛擬物體從一第二目標位置及一第二目標深度移動至一第三目標位置及一第三目標深度時,投射至該觀看者第二眼的該經調整的光訊號在光線方向上比投射至該觀看者第一眼的該正常光訊號改變更多。
- 如請求項1中所述的該系統,其中當該第一虛擬物體從該第一目標深度移動到該第二目標深度且該第二目標深度較深時,該第一虛擬物體有一較低空間頻率,該虛擬影像系統調整該第一虛擬物體的一空間頻率。
- 如請求項1中所述的該系統,其中該眼動追蹤裝置提供該觀看者雙眼資訊,包括至少一瞳孔位置、瞳孔大小、視角、輻輳角度、凝視位置及凝視深度。
- 如請求項1中所述的該系統,其中該眼動追蹤裝置包括一用於該第一眼的第一相機以及用於該第二眼的一第二相機。
- 如請求項1中所述的該系統,其中該虛擬影像模組根據該眼動追蹤模組所提供的該觀看者瞳孔位置顯示該第一虛擬物體,使該第一眼感知該正常影像,該第二眼同時感知經調整的影像。
- 如請求項1中所述的該系統,更包括:一視覺誘發電位(VEP)量測模組,用於量測該觀看者眼睛的視覺誘發電位;以及其中該虛擬影像模組根據該視覺誘發電位(VEP)顯示該第一虛擬物體。
- 如請求項9中所述的該系統,其中該虛擬影像模組根據該觀看者VEP或該觀看者瞳孔位置變化移動該第一虛擬物體。
- 如請求項1中所述的該系統,其中該經調整的影像比起相對應的該正常影像有較高對比度或較低空間頻率。
- 如請求項1中所述的該系統,其中該虛擬影像模組根據該觀看者眼睛的視覺誘發電位(VEP)選定一對比度及一空間頻率。
- 如請求項1中所述的該系統,其中該經調整的影像與該正常影像不同,但該經調整的影像與該正常影像的關係必須足以達到雙眼融像。
- 如請求項1中所述的該系統,其中該眼動追蹤模組提供該觀看者眼睛的凝視位置及凝視深度給該虛擬影像模組;其中該第一目標位置及該第一目標深度分別為一第一凝視位置及一第一凝視深度,且該第二目標位置及該第二目標深度分別為一第二凝視位置及一第二凝視深度。
- 如請求項14中所述的該系統,其中該虛擬影像模組在一預設位置及一預設深度顯示一第二虛擬物體,當該第一虛擬物體移動至該第二虛擬物體的預設一空間範圍內時,該第二虛擬物體會改變並與該第一虛擬物體互動。
- 如請求項15中所述的該系統,其中當該第一虛擬物體移動並與第二虛擬物體重疊時,該第二虛擬物體會改變並與該第一虛擬物體互動。
- 如請求項14中所述的該系統,更包括:一真實物體量測模組,用於量測一真實物體的位置及深度。
- 如請求項17中所述的該系統,其中當該第一虛擬物體移動至該真實物體的一特定空間範圍時,會給予該觀看者一個反應。
- 如請求項14中所述的該系統,其中該第一虛擬物體為一瞄準游標,當該第一虛擬物體在一預設時間內與該第二虛擬物體重疊時,該第二虛擬物體會改變並顯示爆炸。
- 如請求項14中所述的該系統,其中該第一虛擬物體為一保齡球,該第二虛擬物體為保齡球球瓶堆,當該第一虛擬物體在一預設時間內與該第二虛擬物體重疊時,球瓶堆會與保齡球互動。
- 如請求項14中所述的該系統,其中該虛擬影像模組針對該觀看者進行校準,以便該觀看者能夠感知到位於該第一凝視位置及該第一凝視深度的該第一虛擬物體。
- 如請求項1中所述的該系統,其中該虛擬影像模組更包括一控制單元,用於處理該正常光訊號及相對應的該經調整的光訊號。
- 如請求項1中所述的該系統,其中該虛擬影像模組更包括:一正常光訊號產生器,為該第一虛擬物體的該正常影像產生數個正常光訊號;一正常合光元件,將該數條正常光訊號重定向至該觀看者第一眼的視網膜;一經調整的光訊號產生器,為該第一虛擬物體的該經調整的影像產生數個經調整的光訊號;一調整合光元件,將該數條經調整的光訊號重定向至該觀看者第二眼的視網膜。
- 如請求項23中所述的該系統,更包括:一支撐結構,可以戴在該觀看者的頭上;其中該眼動追蹤模組由該支撐結構乘載,該正常光訊號產生器及該經調整的光訊號產生器由該支撐結構乘載,該正常合光元件及該調整合光元件由該支撐結構乘載。
- 如請求項1中所述的該系統,更包括:一使用者介面,用於讓一入控制該眼動追蹤模組及該虛擬影像模組。
- 如請求項1中所述的該系統,更包括:一反饋模組,用於當預設情況發生時,提供一反饋給該觀看者。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063074444P | 2020-09-03 | 2020-09-03 | |
US63/074,444 | 2020-09-03 | ||
US202063085172P | 2020-09-30 | 2020-09-30 | |
US202063085161P | 2020-09-30 | 2020-09-30 | |
US63/085,172 | 2020-09-30 | ||
US63/085,161 | 2020-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202216103A TW202216103A (zh) | 2022-05-01 |
TWI838640B true TWI838640B (zh) | 2024-04-11 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200249755A1 (en) | 2017-05-31 | 2020-08-06 | Magic Leap, Inc. | Eye tracking calibration techniques |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200249755A1 (en) | 2017-05-31 | 2020-08-06 | Magic Leap, Inc. | Eye tracking calibration techniques |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10231614B2 (en) | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance | |
CN107783298B (zh) | 显示装置及使用该显示装置进行显示的方法 | |
US11774759B2 (en) | Systems and methods for improving binocular vision | |
CN104603673B (zh) | 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 | |
KR102270055B1 (ko) | 음향-광학 제어 디바이스를 사용하는 광 프로젝터 | |
Kramida | Resolving the vergence-accommodation conflict in head-mounted displays | |
ES2809231T3 (es) | Filtro de opacidad para pantalla transparente montada en la cabeza | |
JP2021518679A (ja) | ディスプレイシステムのための深度ベースの中心窩化レンダリング | |
CN104808340B (zh) | 头戴式显示装置及其控制方法 | |
CN104094197A (zh) | 利用投影仪的注视追踪 | |
CN104094162A (zh) | 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台 | |
JP2008256946A (ja) | 画像表示装置のための酔い防止装置 | |
JP6036291B2 (ja) | 表示装置、表示システム、および、表示装置の制御方法 | |
US20220377312A1 (en) | Autocalibrated near-eye display | |
JP2023500177A (ja) | 奥行きのある物体を表示するシステム及び方法 | |
TWI838640B (zh) | 改善雙眼視覺的系統與方法 | |
US20230049899A1 (en) | System and method for enhancing visual acuity | |
US10962777B1 (en) | Devices and methods for adjusting lens positions based on encoded light patterns | |
TWI819654B (zh) | 改善視網膜損傷患者視力的系統 | |
TWI842461B (zh) | 顯示一個具有景深的物體的系統 | |
TW202332965A (zh) | 顯示一個具有景深的物體的系統 | |
CN116997286A (zh) | 验光测试装置和方法 | |
CN115039012A (zh) | 用于测眼评估的增强和虚拟现实显示系统 |