TWI730217B - 對頭戴式顯示器之傳輸技術 - Google Patents
對頭戴式顯示器之傳輸技術 Download PDFInfo
- Publication number
- TWI730217B TWI730217B TW107101715A TW107101715A TWI730217B TW I730217 B TWI730217 B TW I730217B TW 107101715 A TW107101715 A TW 107101715A TW 107101715 A TW107101715 A TW 107101715A TW I730217 B TWI730217 B TW I730217B
- Authority
- TW
- Taiwan
- Prior art keywords
- hmd
- image
- pixels
- transmitting
- inactive
- Prior art date
Links
- 238000012546 transfer Methods 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims description 52
- 230000005540 biological transmission Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000012937 correction Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 239000000872 buffer Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 241000226585 Antennaria plantaginifolia Species 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 240000000136 Scabiosa atropurpurea Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
一種用於包括HMD與運算裝置之HMD系統的系統及方法。該運算裝置用以渲染用於該HMD的影像,並傳輸該影像至該HMD而不帶該影像之非作用像素。該等非作用像素包括在該影像之一可檢視區域之外的像素。
Description
本發明係有關於一種對頭戴式顯示器之傳輸技術
頭戴式顯示器(HMD)可為穿戴於使用者頭上之顯示裝置。典型的HMD可具有帶透鏡的一或兩個小型顯示器。HMD系統通常可包括為該HMD渲染影像的運算裝置。該運算裝置可透過諸如纜線或無線連接的鏈路耦接至該HMD。該經渲染的影像可通過該鏈路從該運算裝置傳輸至該HMD以供顯示於該HMD上。
於本發明的一個實施例中,揭示一種操作頭戴式顯示器(HMD)系統的方法,包含:透過一運算裝置,渲染用於該HMD之一影像;透過該運算裝置,識別該影像之非作用像素,該等非作用像素包含在該影像之一可檢視區域之外的像素;以及將不帶該等非作用像素之該影像從該運算裝置傳輸至該HMD。
100,200,300,700:HMD系統
102,202,302:HMD
104,204,304:運算裝置
106,306:鏈路
206,212,332,1302:處理器
208,310,330:記憶體
210,316:代碼
213,214:配接器
216:前表面
218:側邊部分或柄腳
220:表面
222:鏡片
224,320,322,400,502:顯示器
226,408,410:箭號
308:控制器
312:渲染代碼
314,902B,904A,906A:影像
318:CPU
324,326:鏡片,光學透鏡
328:時序控制器
402:顯示器螢幕
404:列
406:行
500,600,800,900,1000,1100:圖
504:左眼影像
508:空白位置
602A:並排格式
602B:堆疊圖框格式
604A,604B:左視圖(左眼)影像圖框
606A,606B:右視圖(右眼)影像圖框
608:水平空白
610:垂直空白
702:顯示控制器
704:HMD時序控制器
706:纜線
708,714:顯示器,表示
710,716:影像資料
712,718:行偏移
802:物件
804:顯示
806:針墊失真
808:桶形失真
902A:初始影像
904B:第一影像
906B:第二影像
908:部分
1004,1104:非作用像素
1006,1106:模板網孔邊界
1102:作用像素
1200:方法
1202,1204,1206:區塊
1300:電腦可讀媒體
1304:電腦互連件
1306:識別代碼
1308:傳輸代碼
一些示例會在下列詳述描述中及參照圖式說明,其中:依據示例,圖1係具有一HMD及一相關聯運算裝置之一HMD系統的圖;依據示例,圖2係具有一HMD及一運算裝置之一HMD系統的圖;依據示例,圖3係具有一HMD及一運算裝置之一HMD系統的圖;依據示例,圖4係一HMD系統的圖;依據示例,圖5係HMD系統的圖;圖6係表示從一運算裝置傳輸像素或影像資料至一HMD的圖;依據示例,圖7係一HMD系統之組件的圖,包括一渲染運算裝置之一顯示控制器,以及一HMD時序控制器;依據示例,圖8係給予關於顯示一物件之影像之一HMD的光學失真與光學校正之示例說明的圖;依據示例,圖9係繪示初始影像,以及透過一模板網孔校正之影像的圖;依據示例,圖10係套用於一影像的一模板網孔以供顯示於一HMD上的圖;依據示例,圖11係表示每一模板網孔從一渲染電腦至一HMD之影像資料的作用像素之序列傳輸的
圖;依據示例,圖12係操作具有通訊地耦接至一HMD之一運算裝置的一HMD系統之方法的區塊流程圖;依據示例,圖13係繪示一有形、非暫時性、電腦可讀媒體以促進HMD系統運作的區塊圖。
從一渲染電腦傳輸影像資料到一頭戴式顯示器(HMD)可能使用跨鏈路(如纜線)的顯著頻寬,該鏈路通訊地將該渲染電腦耦接至該HMD。因此,該鏈路可能限制了可從該渲染電腦被傳輸至該HMD的影像資料量。在一些示例中,這樣會降低影像品質及行動一致性等等。此外,功率消耗、熱性能,以及有效性也會不利地受到影響。該傳輸會牽涉到從該渲染電腦到該HMD相對較大的影像資料量。
作為回應,本發明之技術的某些示例係針對從一影像渲染運算裝置傳輸影像資料至諸如通過一纜線、無線連接、或其他鏈路的一HMD。特別是,該技術可減少傳輸之影像資料量或頻寬(如鏈結速率)量,像是藉由不傳輸非作用像素或非作用像素資料。如此,在一些示例中,跨一視訊渲染器(一電腦)與一HMD之間的一資料傳送件(如纜線、無線發送器等)所使用的鏈結速率或頻寬可藉由不傳輸諸如超出該影像可檢視區域的像素之「非
作用像素」而減少。
如下所論,一些選項牽涉到不發送與對HMD使用者之瞳孔間距離(IPD)之調整有關的空白位置(即一段非作用像素資料)。相反地,舉例而言,作用性處理可再排定HMD顯示器上影像的位置(如水平地),使隨期望的IPD而改變。在某些示例中此類處理可由渲染電腦裝置之電腦顯示控制器(如圖形處理單元或GPU)及/或由HMD時序控制器等等執行。進一步,該HMD時序控制器可實體上偏移該顯示器上可檢視影像的起始行。因此,舉例而言,來源(如渲染電腦)可通過該纜線或無線連接僅僅發送該可檢視影像並省略發送空白位置。
如亦於下所論,減少傳輸中使用之頻寬的額外選項可牽涉到不發送非作用像素,其為與該HMD相關聯之一模板網孔的邊界之外的像素。該顯示控制器或圖形控制器(來源)以及該HMD時序控制器(終點)可連同工作以傳輸僅在該模板網孔邊界內的像素。但其他選項可包括合併前述的選項。額外的變化亦可適用。
圖1係具有HMD 102及相關聯運算裝置104的HMD系統100。HMD 102可為穿戴於頭上或作為頭盔之一部分的顯示裝置,該HMD在一隻眼睛(單眼HMD)或各眼睛(雙眼HMD)前具有鏡片。通常地,HMD 102可具有嵌入眼鏡、護目鏡或頭盔及等等的一或多個顯示器及透鏡。HMD系統100可包括遊戲、航空、工程、醫學、虛擬實境(VR)上等等的應用。HMD系統100可提供從運算
裝置104到立體HMD 102的立體(3D)影像傳輸。
HMD系統100可包括運算裝置104以渲染用於HMD 102之影像,及其他處理。在某些示例中,運算裝置104可被標記為HMD系統100中之渲染電腦。在操作時,運算裝置104可傳輸經渲染之影像至HMD 102,如圖式之元件符號106所示。到HMD 102之運算裝置104的此鏈路或耦接106可為有線(如纜線)或無線(如Wi-Fi)。HMD 102可顯示要由穿戴或以其他方式使用HMD 102之一使用者所檢視的影像。
如下所論,運算裝置104可識別渲染影像之非作用像素。進一步,運算裝置104可在無非作用像素的情況下將影像傳輸至HMD 102並因此節省了跨鏈路106的頻寬。在一些示例中,運算裝置104與HMD 102兩者可涉及作用性處理以說明在無非作用像素的情況下HMD 102之顯示器上影像的定位。
圖2係具有HMD 202及運算裝置204的HMD系統200。在操作中,HMD 202可透過鏈路106與運算裝置204耦接。鏈路106可為有線或無線的。運算裝置206可為渲染影像並通過鏈路106傳輸影像資料到HMD 202以供HMD 202顯示的渲染運算裝置。
運算裝置204可包括多個諸如顯示控制器或圖形處理單元(GPU)、中央處理單元(CPU),等等的硬體處理器206。運算裝置204可包括儲存由該等一或多個處理器206執行的代碼210(如指令、邏輯等)的記憶體208。
當代碼210被執行時可引導運算裝置204實行本文所述之技術,諸如識別影像之非作用像素並傳輸無非作用像素資料之影像到HMD 202。HMD 202亦可包括諸如HMD時序控制器或其他處理器的處理器212。運算裝置204可包括配接器213以促進運算裝置204至可具有配對配接器214之HMD 202的耦接。配接器213及214可適應有線或無線連接。
運算裝置204中的記憶體208可包括非依電性記憶體、依電性記憶體,及其他類型的記憶體。非依電性記憶體可為硬式驅動器、唯讀記憶體或ROM等。依電性記憶體可為隨機存取記憶體或RAM、快取等。此外,運算裝置204可包括為所述技術定制之特殊應用積體電路(ASIC)。
繪示之HMD 202具有一般眼鏡的形狀以貼附於使用者的頭部。然而,要強調的是HMD 202可為其他的形狀,諸如頭盔、護目鏡或其他結構,以置HMD 202鄰近於使用者眼睛。在圖例之中,HMD 202具有一前表面216。進一步地,HMD 202具有側邊部分或柄腳218以沿使用者頭部之兩側延伸並與使用者的耳朵銜接以促進將HMD 202固定至使用者頭部。表面220係面對使用者的眼睛並包括、嵌有或包含鏡片222(如透鏡等)與顯示器224。顯示器224的顯示單元可包括陰極射線管(CRT)、液晶顯示器(LCD)、液晶覆矽(LCos)、有機發光二極體(OLED),等等。再者,使用者的眼睛可面對表面220與
顯示器224,如箭號226所示。
在操作時,運算裝置204可針對HMD 202渲染一影像已在顯示器224上顯示該影像。運算裝置204透過已執行之代碼106可識別渲染影像之非作用像素。此外,運算裝置104可在無該非作用像素情況下將該影像傳輸至HMD 102並因此節省跨鏈路106之頻寬。在一些示例中,透過處理器212之運算裝置204與HMD 102都可實行作用性運算以促進在無非作用像素的情況下在顯示器224上該影像之定位。
這些技術可藉由降低非作用像素(如在影像可檢視區域外的像素)的傳輸來減少跨一影像渲染器(一電腦)與一HMD間的一資料傳送件(如一纜線或無線發送器)所使用的鏈結速率(頻寬)。在一些示例中,效益可以下列項目實現:(1)採用可針對IPD調整對定位作調整之軟體的HMD,及/或(2)依賴於主機或渲染電腦以校正光學失真或捨棄可檢視區域外的像素之HMD,以及其他實行例。
圖3係包括HMD 302及運算裝置304之HMD系統300。在操作中,HMD 202可透過鏈路306與該運算裝置耦接。鏈路306可為諸如纜線或其他有線元件的有線連接。在其他示例中,鏈路306可為諸如透過Wi-Fi之一無線連接。鏈路306可促進運算裝置304與HMD 302之通訊耦接,像是在將影像資料從運算裝置304到HMD 302以供在HMD 302顯示影像資料的傳輸中。此外,在一些示
例中,運算裝置304可通過鏈路306提供電力至HMD 302。
在圖例之中,運算裝置304具有諸如一顯示控制器或GPU之一控制器308,或相似控制器。在一些示例中,控制器308可包括多於一個GPU。進一步地,運算裝置304通常具有一或多個額外的硬體處理器,像是CPU 318。CPU 318可包括多個處理器且每個處理器可有多於一個核心。運算裝置控制器308(及CPU 318)透過儲存於記憶體310中的渲染代碼312可渲染影像或影像資料以供顯示於HMD 302上。記憶體310可在傳輸影像314到HMD 302之前儲存經渲染影像314。此外,記憶體310可儲存由控制器308或CPU 318執行的代碼316以實行本文所述之技術,像是關於識別非作用像素以及在無非作用像素的情況下傳輸影像314至HMD 302。運算裝置204中的記憶體208可包括非依電性記憶體、依電性記憶體,及其他類型的記憶體。
HMD 302可包括一右眼顯示器320與一左眼顯示器322。在其他示例中,HMD 302可包括一單一顯示器。進一步地,該HMD可包括對應於各自之顯示器320與322的右眼鏡片324與左眼鏡片326。鏡片324及326可包括透鏡、鏡子及其他鏡片。此外,HMD 302可包括處理器或諸如圖例中之HMD時序控制器328的控制器。HMD 302可包括記憶體330且,在一些示例中,可具有一或多個額外處理器332。在操作中,運算裝置304之顯示
控制器308可導向HMD時序控制器328或與其相通訊。
圖4係諸如圖3之顯示器320或顯示器322的HMD顯示器400之示例。顯示器400具有顯示器螢幕402。顯示器400可為CRT、LCE、OLED及等等。如以下所論,顯示器400可被特徵為具有從Y0、Y1、Y2...YN的列404以及從X0、X1、X2...XN的行406。在一示例中,顯示器400具有1200條行406以及1080條列404。在源自諸如圖3之運算裝置304的一渲染運算裝置之影像資料的傳輸中,序列化資料可按列(箭號408)與行(箭號410)傳輸。
關於圖3及圖4,繪示了一些HMD 302之元件以及相關聯的運算裝置304。顯示器320、322、400可針對左與右眼而分開,或為附接至左與右目鏡的一普通實體顯示器總成,及等等。在兩種狀況下,該等目鏡可採用光學透鏡324、326以將顯示器320、322、400聚焦於眼睛並放大給予使用者的視野。
在操作中,運算裝置304可渲染左及右影像,不管事靜態圖像、視訊、或三維(3D)渲染等等。結果的影像314(例如立體左及右眼影像)可儲存於記憶體310中。為了傳輸,顯示控制器308可序列化影像314的資料至諸如HMD顯示器320或322的外部立體顯示器。用於從電腦304及HMD 302的像素資料之傳送件或鏈路306通常可為一纜線(例如高解析多媒體介面或HDMI、DisplayPort或DP等)或一無線連接。從電腦304到HMD
302的示例使用者距離之範圍可從2公尺到5公尺,或其他範圍。
在HMD 302處,經序列化像素資料可由HMD 302中之時序控制器328接收,其中在一些示例中的該經序列化資料可接著按列與行傳輸至HMD 302之顯示器320、322、400(例如矩形顯示器)。在某些示例中,一「垂直同步」在列Y0及行X0啟始該圖形資料之傳輸,致使資料在行X1、X2、X3...序列地傳輸直到最終行Xn。此外,一「水平同步」命令可重置該行至X0,增加列至Y1,並劃下第二條線。此序列傳輸可在例如每眼1200行及1080列繼續,直到影像在Xn/Yn完成。其他數量的行與列是適用的。電腦304可大幅連續地以例如每秒90或120圖框(fps)從主機電腦304更新影像。亦可適應其他的圖框速率或FPS值。顯示器320、322、400可轉換資料信號為可見光。顯示器320、322、400類型的示例包括針對每個像素採用薄膜電晶體(TFT)驅動的LCD或OLED,以及其他類型的顯示器。在一些實例中,每個像素的亮度可作為一電壓儲存在每個像素之TFT的閘極,以及可為依電性儲存。
鏈路306(例如纜線)上的頻寬可為像素數、色彩深度,以及圖框速率的乘積。對於一些HMD示例,此資料頻寬大約至少為每秒20個十億位元。維持此頻寬於「房間規模」(例如5公尺)的距離通常使用可能會對該HMD之熱效能、連接的成本有不利影響的顯著電力,或
由於壓縮或降低圖框速率而導致對影像品質的妥協。對於使用軟體IPD的HMD、或在電腦上執行HMD光學校正的系統及其他實例,效率可能會被受到影響。軟體IPD及光學校正兩者一般導致非作用像素(例如在感興趣的影像之外的像素)通過纜線或無線介面被傳輸。
確實,非作用像素可能為在軟體中調整HMD IPD的後果。為進一步的說明,立體顯示器通常為各隻眼睛渲染單獨的影像。電腦圖像控制器可從每隻眼睛的觀點渲染場景。實體上眼睛的間隔可稱為IPD,其通常對成人來說範圍可例如從52公厘(mm)到78mm,或其他範圍。準確渲染此水平偏移可對HMD有利於讓使用者感到自然。
為調節使用者的自然IPD,HMD可採用機械調整(例如像是由雙筒望眼鏡所使用之顯示器位置的實體調整)或是採用軟體調整。軟體調整IPD通常使用一種實體顯示器的機械式靜態位置。為調節使用者的IPD,可修改HMD顯示器上之作用影像的位置。換句話說,所顯示影像的一子集合可視窗化於固定實體顯示器上。在軟體可調整IPD中,電腦渲染器可水平地定位左眼影像及右眼影像於各自的實體顯示器上,並調整此位置使其為使用者IPD的函數。在某些示例中,該電腦渲染器可導引HMD之時序控制器將影像定位在顯示器上。
圖5係HMD顯示器502的圖500,且其中作為空白位置的非作用像素資料可被發送至HMD 502。顯
示器502繪示著針對一窄IPD及一寬IPD影像可如所示分別地透過軟體調整位置。對於窄IPD,HMD右眼顯示器上的右眼影像502係定位相鄰於HMD左眼顯示器上的左眼影像504。對於該窄IPD,軟體實行空白位置508(非作用像素資料)如所繪示,係在顯示器的遠端。相反的,對於寬IPD,HMD右眼顯示器上的右眼影像502係定位於遠離於HMD左眼顯示器上的左眼影像504。對於該寬IPD,軟體實行空白位置508(非作用像素資料)如顯示,在影像之間的顯示器上。要注意的是對於一個中間IPD(未顯示),空白位置508可共享在顯示器之遠端且亦在影像之間。
在圖例之中,各顯示器係高1000像素及長2500像素。在水平方向上,空白位置508各係長500像素。可檢視影像在水平方向上各係長2000像素。因此,在此示例中,空白位置508(非作用像素)佔影像資料的20%,且可檢視影像佔影像資料的80%。因而從一渲染運算裝置傳輸空白位置508到該HMD可能會由於傳輸非作用像素(例如影像資料的15%、20%、25%等)而消耗跨鏈路的額外頻寬。使用本文其他之示例可減少或避免此情況。另一方面,一些示例可容許傳輸這些非作用像素,但是卻例如,減少傳輸在模板網孔之邊界外的非作用像素,如下所述。除此之外,減少或避免傳輸空白位置508及模板網孔之邊界外兩者的非作用像素可組合實行。
圖6係表示從一運算裝置傳輸包括空白位置
之像素或影像資料至一HMD的圖。視訊資料的實體傳送件(例如,跨HDMI、DP等)介面可經實行。所繪示者係一並排圖框傳輸之一第一表示602A,以及係一堆疊圖框傳輸之一第二表示602B。確實,用於傳輸的格式可為「並排」或「堆疊」的組態,及其他格式。並排格式可常見地被採用602A,例如,配合作為使用於雙眼的一單片玻璃之實體顯示器。相反地,堆疊圖框格式602B,舉例來說,可在各眼檢視一個別透鏡與實體顯示器時採用。可適用其他配置及組態。
對於並排格式602A,傳輸左視圖(左眼)影像圖框604A及右視圖(右眼)影像圖框606A。對於堆疊圖框格式602B,作為堆疊傳輸左視圖(左眼)影像圖框604B及右視圖(右眼)影像圖框606B。在各格式中,會傳輸一水平空白608及一垂直空白610。
因此,不管何種格式,實務上可能為一「視窗化」影像留有一個大「門廊」狀的空像素或非作用像素(在感興趣視圖外以黑色描繪)。在在圖例之中,在一2”實體顯示器上之可檢視影像為1000X2000像素。允許+/- 10mm IPD在對任一影像的水平調整上提供約500像素,通過顯示器纜線發送的資料總量增加25%(在僅有4000像素含有可檢視資料時1000像素用於空白水平定位)。此負擔可實體上受限,並在用於傳輸資料的功率上消耗很大且該負擔用以提高跨鏈路或纜線的速度。
相對地,如以下參考圖7之說明,要避免傳
輸與軟體可調整IPD相關的空白位置或非作用像素資料,可實行可檢視影像的偏移,例如透過HMD中之顯示器的時序控制器中,使得該空白位置減少或避免。特別是,該渲染顯示控制器可,例如在發送可檢視資料之前對HMD(例如HMD時序控制器)實行行偏移。作為回應,該HMD中之該時序控制器可將作用區域設置為狹窄或寬廣(或適中等等)。作為替代,HMD將期望的IPD傳到顯示控制器,但例如,控制左與右偏移的偏移量。可適用其他相似的選項。
圖7為HMD系統700的組件,包括渲染運算裝置(如104、204、304)之一顯示控制器702,以及HMD(如102、202、302)之HMD時序控制器704。該運算裝置與其顯示控制器702可透過一纜線706耦接至該HMD。該HMD進一步包括顯示器(未顯示),其包括一左眼顯示器及一右眼顯示器。
操作中之HMD系統700的圖例繪示影像資料710(作用像素)的一表示708與對左眼顯示器的一行偏移712,以及影像資料716的一表示714與對右眼顯示器的一行偏移718。因此,與圖5及圖6對比,此透過該行偏移之影像資料的作用性定位可避免傳輸非作用像素資料或空白位置。行偏移可在實體顯示器上提供對影像的定位,如於圖5中所繪示,但沒有傳輸空白位置像素。行偏移可應用於沿該實體顯示器的水平方向上並取決於諸如窄IPD或寬IPD的期望IPD。在操作中,該渲染運算裝置可針對該
HMD決定一IPD組態。該電腦可發送分別描述左與右眼之IPD偏移712與718的一控制封包至該HMD。
電腦針對每隻眼睛渲染的一影像(例如透過顯示控制器702)在水平或x方向上小於顯示器708、714的實體大小。該渲染電腦從例如,該渲染電腦的一圖框緩衝傳輸用於左眼與右眼的該影像(例如矩形影像)。該HMD(例如透過HMD時序控制器704)根據所期望的IPD將具行偏移712的左眼顯示器上的左眼影像定位至該影像之左及/或右方。同樣地,該HMD根據所期望的IPD將具行偏移712的右眼顯示器上的右眼影像定位至可檢視影像之左及/或右方。
因此,某些示例可有利地減少在例如一VR渲染裝置與該HMD之間的像素傳輸而幾乎沒有犧牲影像品質。針對相同影像使用軟體可調整IPD之到該HMD的纜線傳輸可減少。空白位置之非作用像素資料的一部分或全部不會被傳輸。
總而言之,示例在HMD使用具有更大實體解析度的一顯示器上將可檢視影像水平地定位的軟體可調整視窗化方法時可減少用於諸如一VR HMD的HMD之纜線上使用的頻寬。如所表示,IPD可為使用者眼睛中心之間距離的量測。一個到使用者之實際眼睛間距的正確投影可對VR體驗為有益的。
如所述,用於替換影像的選項可由主機執行,其採用空白定位。空白定位係一種可檢視影像傳輸之
實體時間延遲。如所述,對於空白定位導致之該延遲可以顯示為從渲染來源發送至顯示器的資料。可檢視區域係藉由在該可檢視區域之側面發送一空白期間而置中或定位。該空白期間的傳輸對HMD中所期望的IPD調整量而言比例上效率不高。
相對比,如所述,本文一些示例可替代採用一作用性技術,其水平地於顯示器上重新定位該影像作為期望IPD的函數。在一特定示例中,HMD時序控制器實體偏移可檢視影像之開始行。在組態之後,來源(渲染電腦)可只通過纜線發送可檢視影像,並忽略發送空白定位通過該纜線。可檢視影像之頻寬消耗因此便減少。在某些示例中,這樣可以有利地促成更輕或更長的纜線,或更佳地調節纜線的現有頻寬。除此之外,可減少用於跨纜線之更高調變及壓縮之功率的預算。現在論述將轉向具光學校正(例如,透過一模板網孔)的示例,其可能導致非作用像素,有或沒有軟體可調整IPD。
圖8係給予關於顯示物件802之影像的HMD的光學失真與光學校正之示例說明的圖。對於顯示804物件802之影像的一些HMD,取決於該HMD的特性,該HMD可使該影像遭受光學失真(例如針墊失真806)。在某些示例中,與該HMD相關聯的渲染電腦可針對該光學失真做校正,像是對初始光學失真施加反補償失真。在圖例中,電腦施加桶形失真808以對該HMD失真做校正。
因此,除了IPD調整與關聯空白定位之外的
非作用像素的原因可包括前述諸如關於模板網孔的光學校正。一般,在HMD中(不單那些具軟體調整IPD的),HMD中的鏡片或透鏡可造成顯著的光學失真,通常是針墊失真806。為校正此幾何失真,電腦中的渲染軟體可特別地組配具有HMD之特性(如透鏡特性)以及具有例如影像之桶形失真808的計數器。在某些示例中,此渲染校正可標記「扭曲」並將該影像從矩形轉換為圓形。作為一方型孔(如矩形顯示器)中的圓形物件(如圓形影像),此校正可在矩形影像容器的角落(及其他區域)中產生顯著的空白像素區域。此外,可使用其他降採像素的實行例以加速軟體的執行。例如,自然地被使用者的鼻子遮蔽之視線「隱藏區域」可從左眼與右眼的渲染資料中移除。
「模板網孔」可代表HMD的特性本身,且區別可見之像素與被HMD顯示系統實體遮蔽之像素的邊界。為促進運算效率,圖形渲染軟體可在將結果退卸至圖形顯示器圖框緩衝之前刻意避免渲染不可見的區域。然而,雖然模板網孔外部區域可在軟體中被捨棄以改善渲染軟體本身的效率,但通過纜線的傳輸可能還是不幸地被最佳化或組配以用於傳統、矩形顯示器。在一些示例中,記憶體緩衝的序列化程序本身以一矩形格式開始及結束,致使約有20%的像素被傳輸至HMD而為「非作用」的。
圖9係描繪示例初始影像902A的圖900,以及透過一示例模板網孔校正之影像902B。初始影像902A包括用於HMD左眼顯示器的一第一影像904A以及用於
HMD右眼顯示器的一第二影像906A。如所繪示,影像904A與906A的形狀為方形或矩形。然而,如上所述,該等影像可遭受HMD的光學失真。進一步地,該等影像的部分可能遮蔽住使用者視線,像是鄰近由使用者配戴的HMD之使用者的鼻子,並取決於HMD特性。
因此,該等影像透過模板網孔受到光學校正以得出包括用於HMD左眼顯示器的一第一影像904B以及用於HMD右眼顯示器的一第二影像906B的影像902B。部分908係在該等影像的可檢視區域之外並因此係非作用像素。部分908包括在邊緣周圍的像素,該等邊緣包括在產生自針對HMD失真之光學校正的顯示器之角落中。該等光學校正可為渲染電腦對影像之扭曲或失真(如桶形失真)所強加以校正HMD之初始失真。HMD之初始失真可能係由於HMD的特性。在某些示例中。此渲染校正可標記為「扭曲」。部分908亦包括該等影像之間的像素,該等影像可透過諸如使用者的鼻子以及相關原因被遮蔽,且該等影像可相關於HMD之形狀或結構的物理特性。
圖10係套用於一影像的一模板網孔以供顯示於一HMD上的圖1000。作用像素(可檢視像素)係在該模板網孔之邊界1006的內部,非作用像素1004係位於該模板網孔之邊界1006的外部。因此,在HMD系統的操作中,HMD系統的渲染運算裝置可基於HMD特性的函數產生該模板網孔,或以該HMD特性的函數產生該模板網
孔。所以,在產生該模板網孔時,該渲染算裝置可識別非作用像素。復又,這些非作用像素(如在該模板網孔之邊界外部)可為影像之可檢視區域外部的像素。此外,要減少在渲染運算裝置與HMD之間的跨鏈路或纜線的頻寬消耗,該渲染運算裝置可傳輸不帶該模板網孔之邊界外部的這些非作用像素之影像。
為識別該等非作用像素1104,渲染電腦(例如具有圖形顯示控制器與CPU及記憶體)可接收並儲存相關聯HMD的特性。舉例來說,渲染電腦可接收並儲存與HMD之鏡片(如透鏡)特性有關的資訊或資料。此類鏡片特徵可涉及鏡片或透鏡的大小、尺寸、材料、透射性質等,包括當相關於由HMD鏡片或透鏡造成或產生,或否則強加於影像上的失真(例如針墊失真或其他失真)。除此之外,該渲染電腦亦可接收或產生、以及儲存、校正要被實行以光學地校正HMD強加之光學失真的資料或特徵(如扭曲或桶形失真)。除此之外,由該渲染電腦接收及儲存的該等HMD特亦可包括該HMD之實體尺寸與形狀,其當HMD由使用者配戴時遮蔽了使用者對影像的視覺。一般而言,對於一HMD,當該HMD由一使用者配戴或調位置以檢視在該HMD顯示器上的影像時,例如在該使用者的鼻子或是其附近的影像可能為不可檢視。
渲染電腦可採用這些各樣的HMD特性並渲染電腦實行的特性,包括與鏡片與結構有關的那些,以識別非作用像素。換句換說,基於這些HMD特性及任何校
正特徵,該渲染電腦針對一特定HMD或針對HMD之家族或類型計算或否則判定一或多個模板網孔。該等由該渲染電腦做之計算或判定可包括計算或判定模板網孔的邊界。
圖11係表示每一模板網孔從一渲染電腦至一HMD之影像資料的作用像素之序列傳輸的圖1100。不傳輸非作用像素資料。特別是,不傳輸模板網孔的邊界1106之外的非作用像素1104。傳輸模板網孔的邊界1106之內的作用像素1102。因此,用於影像傳輸的影像資料的量會有利地減少。在某些示例中,該傳輸可牽涉傳輸該影像資料的渲染運算裝置之圖形控制器,以及接收該影像資料以供顯示該影像的HMD之HMD時序控制器。
最初,該渲染運算裝置可識別HMD的特性並以二維(2D)格式建立該模板網孔邊界1106,區別作用像素1102及非作用像素1104。該電腦系統可渲染一圖形框。作為回應,該HMD時序控制器可設定至列Y0,行X0,像是關於一垂直同步與水平同步。該圖形控制器識別該模板網孔邊界1106之開始行(X軸)。該圖形控制器發送一控制封包至識別作用線HMD之開始行的HMD。該HMD初始線緩衝(第一列的行資料)至一已知狀態(例如在那列中之像素至OFF)。該圖形控制器序列地自一圖框緩衝中之列取回作用像素資料並跨鏈路(如纜線)傳輸至該終點(HMD)。資料的量可與該作用線的寬度相關聯。該HMD將開始於「開始行」的序列資料寫入到顯示器之列0內,跨在控制資料封包中傳的作用區域跨越接收到像素的
數量。該圖形控制器執行一「水平同步」信號,將圖形框緩衝中的讀取指標器增量至下一列(Y+1)。該HMD停止寫入到該線。以適合新列的更新之開始行重複該實行直到大多數或所有列(從Y0到Yn)都已傳輸。該HMD繼續寫入顯示器其餘的列。
圖12係操作具有通訊地耦接至一HMD之一運算裝置的一HMD系統之方法1200。該方法涉及在無非作用像素資料的情況下將一影像從運算裝置傳輸至該HMD。在區塊1202,該方法包括發送,透過該運算裝置,用於該HMD之一影像。在區塊1204,該方法包括識別該影像之非作用像素,該等非作用像素包括在該影像之一可檢視區域之外的像素。該等非作用像素可為與針對該HMD之一使用者的IPD之調整相關聯的一空白位置。此外,該等非作用像素為與該HMD相關聯的一模板網孔之一邊界之外的像素。
在區塊1206,該方法包括將不帶非作用像素的影像從該運算裝置傳輸至該HMD。該傳輸可涉及將不帶非作用像素之影像通過一有線連接或無線連接從該運算裝置傳輸至該HMD。以對IPD軟體調整的例子來說,該方法可隨特定IPD變化在該HMD之一顯示器上重新定位該影像,其中傳輸不帶非作用像素之影像包括忽略空白位置。該重新定位可涉及將該影像水平地在該HMD之顯示器上重新定位。因此,該影像的傳輸可為傳輸一可檢視影像,以及其中重新定位包括偏移該顯示器上之該可檢視
影像的一開始行。對於採用模板網孔的例子來說,傳輸不帶非作用像素之影像可包括傳輸在該模板網孔邊界之內且不在該模板網孔邊界之外的像素。邊界之內作用像素資料的傳輸可序列地按每列進行。
如本文所論述,圖13係繪示一有形、非暫時性、電腦可讀媒體1300以促進HMD系統運作的區塊圖。該電腦可讀媒體1300可由一處理器1302通過一電腦互連件1304存取。該有形、非暫時性、電腦可讀媒體1300可包括可執行指令或代碼以引導該處理器1302或渲染電腦系統(及/或HMD)以執行本文所述之技術,像是識別該影像的非作用像素資料,以及將不帶非作用像素資料的該影像資料從該渲染電腦裝置傳輸至該HMD。
本文所論述之各種軟體組件可儲存於該有形、非暫時性、電腦可讀媒體1300上,如圖13表示。例如,當識別代碼1306(可執行代碼/指令)由處理器1302執行時可引導處理器1302識別影像之非作用像素,像是關於IPD調整、包括模板網孔之光學校正等等。此外,傳輸代碼1308可提供對不帶非作用像素之影像的傳輸。在一些示例中,採用序列資料傳輸。應該了解的是沒顯示於圖13中的任何數目的額外軟體組件,取決於應用程式可被包括於該有形、非暫時性、電腦可讀媒體1300內。
在一些示例中,由處理器1302執行的代碼1306以及1308可引導一HMD系統之一運算裝置以針對一頭戴式顯示器(HMD)識別一影像上之非作用像素,該非
作用像素包括在該影像之一可檢視區域之外的像素,並傳輸不帶該非作用像素之影像至該HMD。該等非作用像素包含與該HMD之一使用者之IPD的調整相關聯的一空白位置。該等非作用像素可包括與該HMD相關聯之一模板網孔邊界之外的像素。
總而言之,一示例包括具有一運算裝置的一HMD系統以渲染用於一HMD的一影像並在無該影像之非作用像素的情況下傳輸該影像至該HMD,該等非作用像素包括在該影像之一可檢視區域之外的像素。該HMD系統包括通訊地與該渲染運算裝置耦接的HMD。該等非作用像素可包括與該HMD之一使用者之IPD的調整相關聯的一空白位置,其中該HMD系統用以隨特定IPD變化在該HMD之一顯示器上水平地重新定位該影像,及其中傳輸不帶非作用像素之影像包括忽略空白位置之至少一部分。該等非有像像素可包括與該HMD相關聯之一模板網孔邊界之外的像素,及其中傳輸該影像可包括傳輸該模板網孔邊界之內的像素(例如作用像素)。在一些示例中,該等非作用像素資料係以HMD顯示器之每列序列地傳輸。
雖然本技術可受到各種修改和替代形式的影響,以上所論述之示例已以示例的方式顯示。應該了解的是該技術並不欲受限於本文所揭露的特定示例。事實上,本技術包括落入所附申請專利範圍之真實精神與範疇內的所有替代例、修改以及同等物。
100‧‧‧系統
102‧‧‧HMD
104‧‧‧運算裝置
106‧‧‧鏈路
Claims (13)
- 一種操作頭戴式顯示器(HMD)系統的方法,包含:透過一運算裝置,渲染用於該HMD之一影像;透過該運算裝置,識別該影像之非作用像素,該等非作用像素包含在該影像之一可檢視區域之外側的像素;以及將不帶該等非作用像素之該影像從該運算裝置傳輸至該HMD,其中識別該影像之非作用像素包含判定與該HMD相關聯之一模板網孔,該模板網孔關聯於該HMD之特性,以及其中該等非作用像素包含在該模板網孔的一邊界之外側的像素。
- 如請求項1之方法,其中該等非作用像素包含與用於該HMD之一使用者的瞳孔間距離(IPD)之調整相關聯的一空白位置。
- 如請求項2之方法,其包含依據特定IPD在該HMD之一顯示器上重新定位該影像,其中傳輸不帶該等非作用像素之該影像包含傳輸一可檢視影像及忽略該空白位置,以及其中重新定位包含將該顯示器上之該可檢視影像的一開始行進行偏移。
- 如請求項3之方法,其中傳輸包含通過一有線連接或無線連接將不帶該等非作用像素之該影像從該運算裝置傳輸至該HMD,以及其中重新定位包含於該 HMD之一顯示器上水平地重新定位該影像。
- 如請求項1之方法,其中傳輸不帶該等非作用像素之該影像包含傳輸不帶經識別的該等非作用像素之該影像以及傳輸帶有其他非作用像素之該影像。
- 如請求項1之方法,其中傳輸不帶該等非作用像素之該影像包含傳輸在該模板網孔的該邊界之內側的像素。
- 如請求項1之方法,其中傳輸包含以每列序列地傳輸在該邊界之內側的作用像素資料。
- 一種頭戴式顯示器(HMD)系統,包括:一運算裝置,用以:渲染用於一HMD之一影像,其中該運算裝置包含一圖形處理器以渲染該影像;識別該影像之非作用像素,該等非作用像素包含在該影像之一可檢視區域之外側的像素,其中識別該影像之非作用像素包含判定與該HMD相關聯之一模板網孔,該模板網孔關聯於該HMD之特性,以及其中該等非作用像素包含在該模板網孔的一邊界之外側的像素;以及將該影像在不帶該等非作用像素下透過一鏈路傳輸至該HMD;以及該HMD透過該鏈路通訊地與該運算裝置耦接。
- 如請求項8之HMD系統,其中該運算 裝置包含記憶體以儲存該影像,其中該等非作用像素包含與用於該HMD之一使用者的瞳孔間距離(IPD)之調整相關聯的一空白位置,其中該HMD系統用以依據特定IPD於該HMD之一顯示器上水平地重新定位該影像,以及其中傳輸不帶該等非作用像素之該影像包含忽略該空白位置。
- 如請求項8之HMD系統,其中傳輸該影像包含傳輸該模板網孔的該邊界之內側的像素,其包含以每列序列地傳輸作用像素資料。
- 如請求項8之HMD系統,其中傳輸不帶該等非作用像素之該影像包含傳輸不帶經識別的該等非作用像素之該影像以及傳輸帶該影像的其他非作用像素之該影像,其中該運算裝置包含一中央處理單元(CPU),以及其中該鏈路包含一有線耦接。
- 一種有形、非暫時性、電腦可讀媒體,包含可由一運算裝置執行的代碼,以引導該運算裝置:識別用於一頭戴式顯示器(HMD)的一影像之非作用像素,該等非作用像素包含在該影像之一可檢視區域之外側的像素,其中該等非作用像素包含與該HMD相關聯的一模板網孔的一邊界之外側的像素,該模板網孔關聯於該HMD之特性;以及傳輸不帶該等非作用像素之該影像至該HMD。
- 如請求項12之有形、非暫時性、電腦可讀媒體,其中該等非作用像素包含與用於該HMD之一 使用者的瞳孔間距離(IPD)之調整相關聯的一空白位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2017/027200 WO2018190826A1 (en) | 2017-04-12 | 2017-04-12 | Transfer to head mounted display |
??PCT/US17/27200 | 2017-04-12 | ||
WOPCT/US17/27200 | 2017-04-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201903471A TW201903471A (zh) | 2019-01-16 |
TWI730217B true TWI730217B (zh) | 2021-06-11 |
Family
ID=63792722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107101715A TWI730217B (zh) | 2017-04-12 | 2018-01-17 | 對頭戴式顯示器之傳輸技術 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11150475B2 (zh) |
TW (1) | TWI730217B (zh) |
WO (1) | WO2018190826A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI704376B (zh) * | 2019-07-19 | 2020-09-11 | 宏碁股份有限公司 | 視角校正方法、虛擬實境顯示系統與運算裝置 |
CN111652959B (zh) * | 2020-05-29 | 2022-01-18 | 京东方科技集团股份有限公司 | 图像处理方法、近眼显示设备、计算机设备和存储介质 |
US11543667B2 (en) * | 2021-05-26 | 2023-01-03 | Hewlett-Packard Development Company, L.P. | Head-mounted display generated status message |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8665177B2 (en) * | 2010-02-05 | 2014-03-04 | Kopin Corporation | Touch sensor for controlling eyewear |
US20140361977A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
US9118875B2 (en) * | 2010-08-18 | 2015-08-25 | Brother Kogyo Kabushiki Kaisha | Systems for displaying images on portable display devices and head-mountable displays, methods for controlling such systems, and computer-readable storage media storing instructions for controlling such systems |
TW201634974A (zh) * | 2015-03-26 | 2016-10-01 | Chipone Technology Beijing Co Ltd | 頭戴式顯示系統及影像低頻寬傳輸方法 |
US9606363B2 (en) * | 2014-05-30 | 2017-03-28 | Sony Interactive Entertainment America Llc | Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020030888A1 (en) * | 1996-10-16 | 2002-03-14 | Paul Kleinberger | Systems for three-dimensional viewing and projection |
US20040150745A1 (en) * | 2003-01-20 | 2004-08-05 | Hideki Aiba | Video data transmitting/receiving method |
US7614011B2 (en) | 2004-10-21 | 2009-11-03 | International Business Machines Corporation | Apparatus and method for display power saving |
US8130261B2 (en) | 2006-10-10 | 2012-03-06 | Exelis, Inc. | System and method for dynamically correcting parallax in head borne video systems |
US8860738B2 (en) * | 2008-12-24 | 2014-10-14 | Semiconductor Energy Laboratory Co., Ltd. | Image processing circuit, display device, and electronic device |
JPWO2012029371A1 (ja) * | 2010-08-30 | 2013-10-28 | シャープ株式会社 | 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 |
US8941559B2 (en) * | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
TW201215920A (en) * | 2010-10-12 | 2012-04-16 | Hannstar Display Corp | 3-dimension display device |
US9025252B2 (en) | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
US8860634B2 (en) | 2012-10-11 | 2014-10-14 | Sony Computer Entertainment Europe Limited | Head mountable display |
US9600068B2 (en) | 2013-03-13 | 2017-03-21 | Sony Interactive Entertainment Inc. | Digital inter-pupillary distance adjustment |
US20140375540A1 (en) | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
US9443355B2 (en) | 2013-06-28 | 2016-09-13 | Microsoft Technology Licensing, Llc | Reprojection OLED display for augmented reality experiences |
US9651788B2 (en) * | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US10068311B2 (en) * | 2014-04-05 | 2018-09-04 | Sony Interacive Entertainment LLC | Varying effective resolution by screen location by changing active color sample count within multiple render targets |
US9824498B2 (en) | 2014-12-30 | 2017-11-21 | Sony Interactive Entertainment Inc. | Scanning display system in head-mounted display for virtual reality |
US10297077B1 (en) * | 2016-03-02 | 2019-05-21 | Valve Corporation | Hidden area stencil mesh rendering systems and methods |
US9965899B2 (en) * | 2016-04-28 | 2018-05-08 | Verizon Patent And Licensing Inc. | Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration |
US10424241B2 (en) * | 2016-11-22 | 2019-09-24 | Google Llc | Display panel with concurrent global illumination and next frame buffering |
US11127110B2 (en) * | 2017-03-01 | 2021-09-21 | Arm Limited | Data processing systems |
US10950305B1 (en) * | 2018-11-02 | 2021-03-16 | Facebook Technologies, Llc | Selective pixel output |
US11375178B2 (en) * | 2019-03-04 | 2022-06-28 | Dolby Laboratories Licensing Corporation | Multi-resolution multi-view video rendering |
-
2017
- 2017-04-12 WO PCT/US2017/027200 patent/WO2018190826A1/en active Application Filing
- 2017-04-12 US US16/076,501 patent/US11150475B2/en active Active
-
2018
- 2018-01-17 TW TW107101715A patent/TWI730217B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8665177B2 (en) * | 2010-02-05 | 2014-03-04 | Kopin Corporation | Touch sensor for controlling eyewear |
US9118875B2 (en) * | 2010-08-18 | 2015-08-25 | Brother Kogyo Kabushiki Kaisha | Systems for displaying images on portable display devices and head-mountable displays, methods for controlling such systems, and computer-readable storage media storing instructions for controlling such systems |
US20140361977A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
US9606363B2 (en) * | 2014-05-30 | 2017-03-28 | Sony Interactive Entertainment America Llc | Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content |
TW201634974A (zh) * | 2015-03-26 | 2016-10-01 | Chipone Technology Beijing Co Ltd | 頭戴式顯示系統及影像低頻寬傳輸方法 |
Also Published As
Publication number | Publication date |
---|---|
US11150475B2 (en) | 2021-10-19 |
US20210199964A1 (en) | 2021-07-01 |
TW201903471A (zh) | 2019-01-16 |
WO2018190826A1 (en) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101977251B1 (ko) | 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법 | |
TWI730217B (zh) | 對頭戴式顯示器之傳輸技術 | |
US20120162764A1 (en) | Head-mounted display | |
US11436787B2 (en) | Rendering method, computer product and display apparatus | |
US8743111B2 (en) | Stereoscopic image display and method for driving the same | |
CN109427283B (zh) | 图像产生方法和使用该方法的显示装置 | |
US10848752B2 (en) | Method of operating a light field 3D display device having an RGBG pixel structure, and light field 3D display device | |
CN101153958A (zh) | 新型眼镜式显示器 | |
KR102551131B1 (ko) | 표시 장치 및 표시 장치를 포함하는 헤드 마운트 장치 | |
US10394313B2 (en) | Low latency cross adapter VR presentation | |
US10748493B2 (en) | Display device for driving and compensating low latency virtual reality | |
US10699374B2 (en) | Lens contribution-based virtual reality display rendering | |
US11327319B2 (en) | Head mounted display, image display method, and computer program | |
TW201903566A (zh) | 虛擬實境顯示系統及顯示驅動裝置 | |
CN102256152B (zh) | 一种立体图像处理设备及方法 | |
CN102256160B (zh) | 一种立体图像处理设备及方法 | |
TWI435299B (zh) | 偏光面板系統及立體影像系統 | |
JP4451804B2 (ja) | 3次元表示方法、画像生成装置、および画像表示装置 | |
KR101829466B1 (ko) | 입체영상 표시장치 | |
CN201904879U (zh) | 立体显示信号处理模块、计算机和立体显示装置 | |
CN102402955A (zh) | 液晶显示器的驱动方法及三维伽玛表的产生方法 | |
WO2020237421A1 (zh) | 控制虚拟现实显示设备的方法及其装置 | |
KR102045563B1 (ko) | 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치 | |
TWI413092B (zh) | 液晶顯示器之驅動方法及三維伽瑪表之產生方法 | |
KR102126530B1 (ko) | 3d 변환방법과 이를 이용한 입체영상 표시장치 |