TW202329685A - 具虛擬實境耳機展頻視訊傳輸整合 - Google Patents

Abstract

使用展頻視訊傳輸對視訊流進行編碼，並將視訊流作為類比訊號發送到VR面罩的顯示器，其中與源極驅動器整合的解碼器解碼類比訊號並驅動顯示器。類比訊號以無線方式發送到顯示器，在那裡它被接收，轉換為有線格式，被解碼和顯示。無線SSVT類比訊號在頭戴式裝置處理器處被接收，並被轉發到VR面罩進行接收、轉換、解碼和顯示。無線SSVT類比訊號在處理器處被接收，轉換為有線格式，藉由無線方式發送到顯示器，在接收器接收到該訊號，轉換為有線格式，解碼並顯示。視訊流使用SSVT編碼儲存在頭戴式裝置處理器的持久儲存器中。與顯示器的源極驅動器整合的解碼器直接在顯示面板的玻璃上實現。

Description

具虛擬實境耳機展頻視訊傳輸整合

相關申請案的交叉引用

本申請要求享有2021年9月17日提交的發明名稱為“Spread Spectrum Video Transport and AR/VR Headset Processor”的美國臨時專利申請No. 63/245,650（HYFYP010P），2022年1月13日提交的美國臨時申請No. 63/299,137（案卷號：HYFYP011P），2021年11月16日提交的美國臨時申請No. 63/280,017（案卷號：HYFYP009P2），2022年3月7日提交的美國臨時申請No. 63,317,336（案卷號：HYFYP014P），以及2022年5月26日提交的美國臨時申請No. 63/346,064（案卷號：HYFYP014P2）的優先權，其藉由引用全部併入本文。

本申請還藉由引用併入2018年3月19日提交的美國申請No. 15/925,123（案卷號：HYFYP001），2019年9月17日提交的美國申請No. 16/494,901（案卷號：HYFYP002），2022年8月2日提交的美國申請No. 17/879,499（案卷號：HYFYP003），2022年3月4日提交的美國申請No. 17/686,790（案卷號：HYFYP004AX1），2022年8月15日提交的美國申請No. 17/887,849（案卷號：HYFYP006），2022年6月28日提交的美國申請No. 17/851,821（案卷號：HYFYP007），2022年8月16日提交的美國申請編No. 63/398,460（案卷號：HYFYP008P），2022年8月31日提交的美國申請No. 17/900,570（案卷號：HYFYP009），2022年7月21日提交的美國申請No. 63/391,226（案卷號：HYFYP013P3）。

本發明一般涉及虛擬實境頭戴式裝置。更具體地說，本發明涉及視訊訊號頭戴式裝置內以及到頭戴式裝置和從頭戴式裝置的傳輸。

影像感測器、顯示面板和視訊處理器正在不斷競相實現更大的格式、更大的色彩深度、更高的畫面播放速率和更高的解析度。本地網站視訊傳輸包括性能擴展瓶頸，這些瓶頸抑制輸送量並降低性能，同時消耗更多的成本和功率。消除這些瓶頸可以帶來優勢。

到目前為止，使用數位視訊訊號在VR頭戴式裝置內傳送資料，以及傳送資料到頭戴式裝置和從頭戴式裝置傳送資料。然後需要在顯示器的源極驅動器處使用數位類比轉換將此數位資訊即時轉換到類比像素資訊。使用數位視訊訊號的傳輸需要壓縮，意味著更高的功耗（產生額外的熱量）、更多的EMI發送、更大的延遲，並且難以提供所需的色彩深度、高幀率和高解析度。延遲——執行數位傳輸所需的所有計算所需的時間——在VR系統中是一個特別關鍵的問題，因為任何使用者可察覺的延遲都可能引起噁心，使系統無法使用。此外，源極驅動器處的數位類比轉換需要更多的空間和費用。

需要的是一種使用改進的視訊傳輸技術來解決上述問題的VR頭戴式裝置。

為了實現上述目的，並且根據本發明的目的，揭露了一種使用改進的視訊傳輸技術的虛擬實境（VR）頭戴式裝置。

在一個實施例中，VR頭戴式裝置處理器處的視訊流使用展頻視訊傳輸（SSVT）技術進行編碼，並作為SSVT類比訊號發送到VR面罩的一個或多個顯示器，其中與源極驅動器整合的解碼器解碼SSVT類比訊號並使用原始視訊流驅動顯示器。可以以相同的方式驅動多個顯示器。

在第二實施例中，在頭戴式裝置處理器處對視訊流進行編碼後，將SSVT類比訊號以無線方式發送到面罩的一個或多個顯示器，在顯示器處由無線接收器接收SSVT類比訊號，將其轉換回有線格式，然後解碼並顯示。

在第三實施例中，在頭戴式裝置處理器接收無線SSVT類比訊號，然後將其轉發到VR面罩以進行接收、轉換、解碼和顯示。

在第四實施例中，無線SSVT類比訊號在頭戴式裝置處理器處被接收，轉換回有線格式，以無線方式發送到面罩的一個或多個顯示器，在那裡在無線接收器處被接收，轉換回有線格式，然後解碼並顯示。

在第五實施例中，使用SSVT編碼將視訊流儲存在頭戴式裝置處理器上的持久儲存器中。然後可以從持久儲存器讀取所儲存的類比資料，解碼資料，然後作為原始視訊流從儲存器發送。

在第六實施例中，與VR面罩的顯示器的源極驅動器整合的解碼器直接實現在顯示面板的玻璃上。與源極驅動器整合的解碼器的一部分或全部可以在TFT顯示基板上實現。

本發明將編碼技術應用於未壓縮的視訊樣本；由此產生的無壓縮視訊傳輸能夠實現先進的虛擬實境顯示。優點包括：延遲可以忽略不計（其中一個原因是不需要視訊訊號的壓縮）；低顯示晶片組功耗（熱量更少，電池壽命更長，更輕，更便宜，更堅固的電纜）；更大的視野；更大的色彩深度；高幀率和解析度；提高抗雜訊能力；現成的EMI發射符合性；更長的訊號範圍；更大的視訊輸送量；以及SWaP-C優勢（尺寸、重量、功率和成本）。本發明特別適用於VR頭戴式裝置中使用的諸如LCD和OLED面板的顯示器。低功耗的優勢對於“不繫繩”的VR系統尤為重要，這種系統依靠頭戴式裝置本身的電池供電，而不是依靠頭戴式裝置連接的電纜。關於視訊輸送量優勢，更寬的視野（通常以度表示）提供更沉浸式的體驗，但這種更寬的視野需要更多的視訊資訊；因此，更高的輸送量也能夠實現更大的視野。

可以認識到，用於虛擬實境（VR）面罩的視訊訊號的數位化可以在系統的訊號源處產生（例如，在頭戴式裝置處理器中的GPU處）；然後，數位訊號被傳送到面罩中的顯示器，在那裡數位訊號再次返回類比，載入到顯示器上。或者，系統的視訊內容可以最初是數位的。所以，此數位訊號的唯一目的是資料傳送到面罩的顯示器。因此，我們意識到完全避免數位化或數位訊號，直接將類比資料從視訊源傳送到顯示器更有益。這可以使用SSVT編碼來完成，從而在顯示驅動器中再次解碼精確的類比電壓。類比資料具有高精度，因此不需要高的位元深。這意味著取樣速率至少比數位資料傳送的情況低十倍，留下更高的頻寬用於擴展。

因此，我們不是將數位訊號從視訊源一直傳輸到需要產生類比訊號的位置，而是以比通常使用數位化低得多的取樣速率將類比訊號傳輸到顯示器。這意味著，我們現在不必在數行中發送每秒十億位元，而是在類比訊號的情況下，每秒只需要幾兆樣本，從而減少必須使用的通道的頻寬。此外，使用先前技術的數位傳輸，每個位元將佔用約1.25釐米，而傳輸類比資料將導致可用空間增加10倍，這意味著額外的可用頻寬。更準確地說，本文所描述的SSVT技術對於任何給定的導體（例如電線或電纜）的集合和傳輸時脈速率都能實現10倍以上的視訊輸送量。因此，在其他因素不變的情況下，將數位視訊訊號在源（或其他位置）轉換為SSVT可以實現將十倍以上的視訊資訊傳輸到VR頭戴式裝置或面罩本身。這十倍大的視訊資訊可以分配給頭戴式裝置性能的任何期望的改進：解析度、顏色位深、刷新率、視野等。

此外，數位資料中的位元必須被很好地定義。這意味著數位傳輸對誤差和雜訊相當敏感，並需要能夠非常準確地檢測到高點和低點。然而，使用所提出的類比傳輸，它的靈敏度要低得多。這意味著電纜的品質不需要高。 虛擬實境頭戴式裝置概述

圖1示出了體現本發明的各個方面的虛擬實境（VR）頭戴式裝置10。正如下面更詳細地討論的那樣，頭戴式裝置10可以用作VR頭戴式裝置（使用者在其中查看電腦產生的影像）。因此，頭戴式裝置可以被稱為VR頭戴式裝置或簡單地稱為頭戴式裝置。

如本技術已知，VR頭戴式裝置通常佩戴在使用者的頭部，並且包括覆蓋使用者的眼睛的面罩20和通常與面罩整合或安裝在使用者的頭部背面的處理器60。面罩20具有左顯示器32和右顯示器34，用於向使用者顯示虛擬實境影像或擴增實境影像。一旦左顯示器和右顯示器接收到使用者要看到的影像，可以使用不同的技術將這些影像顯示給使用者。在一種簡單的技術中，左顯示器32和右顯示器34被放置在使用者的眼前。在另一種技術中，通常被稱為抬頭顯示器（HUD）中，顯示器32和34不直接由使用者觀看；相反，它們的影像被投射並反射到使用者眼睛前面的面罩內的玻璃或其他表面。

處理器60包括核心AI/ML模組62（包括用於執行人工智慧或機器學習應用的處理器，以及其他合適的處理器、程式、記憶體等）、GPU 64、SSVT儲存器66和與外部世界相連的任何合適介面，諸如用於與網路、網際網路、其他電腦等進行無線通訊（使用數位或SSVT訊號）的RF存取點72。還可以提供USB埠74與另一台電腦通訊。處理器60可以安裝在使用者的頭上，並經由電線、電纜或無線方式與面罩20通訊。或者，處理器60可以安裝在使用者身體的其他任何地方（諸如在背包中或腰帶上），或者可以遠離使用者（諸如在附近的電腦、車輛、建築物等中），並與面罩20無線通訊。

在操作過程中，頭戴式裝置10藉由使用新型展頻視訊傳輸（SSVT）技術將視訊訊號從處理器傳輸到面罩，以及在處理器和另一台電腦之間無線傳輸視訊訊號，從而提供了許多優點（諸如更少的散熱、更少的功耗、更大的抗干擾性、更少的EMI發射、可忽略的延遲、更好的影像品質等）。

如圖所示，處理器內的SSVT發送器82使用有線或無線連接將SSVT訊號92傳輸到每個顯示器32和34。一種用於輸入數位視訊訊號、將SSVT訊號傳輸到顯示器並將該顯示器的源極驅動器與SSVT訊號的解碼整合的技術在藉由引用併入上述的美國專利申請No.17/900,570（案卷號：HYFYP009）中描述。

VR面罩可以只包括單個顯示器，在這種情況下，SSVT發送器92向該單個顯示器發送單個SSVT訊號92。在多個顯示器（通常是兩個顯示器）的情況下，可以有兩個（或多個）SSVT發送器82，各自接收來自GPU 64（或來自VR橋接器、視訊板、組合SoC/TCON/GPU、視訊分配器等，取決於特定VR頭戴式裝置的實現）的視訊流，並且各自發送SSVT訊號92到每個顯示器32和34。通常，發送到每個SSVT發送器的視訊流將是相同的視訊流，以便在每隻眼睛面前顯示相同的影像，儘管根據實現的不同，發送到每個SSVT發送器的視訊流可能不同。

在僅使用單個SSVT發送器82的替代實施例中，輸入將是單個視訊流，並且來自每個編碼器的輸出（即每個EM訊號）將被分割或複製並傳輸到兩個顯示面板中的每一個。本領域的技術人員將發現，為了向兩個顯示面板發送相同的同步訊號而分割或複製訊號是很簡單的。在此實施例中，每個面板將根據輸入視訊流顯示相同的影像。

如上所述，圖1中所示的任何SSVT訊號都可以被無線發送。例如，經由介面72或74發送的SSVT訊號92、SSVT訊號94，或甚至任何SSVT訊號都可以是無線SSVT訊號。一種用於實現無線SSVT訊號的技術在藉由引用併入上述的美國專利申請No. 63/299,137（案卷號：HYFYP011P）中描述，並在下面進行描述。例如，如果在RF存取點72接收SSVT無線訊號，則可以將其直接和無線地中繼99到每個顯示器32和34，以便顯示其經編碼的視訊訊號，如本文所述。或者，在點72處接收的無線SSVT訊號可以被無線接收器206接收，轉換成如上所述的（P個）有線SSVT EM訊號，然後這些（P個）SSVT EM訊號被輸入到無線發送器202，用於無線傳輸99到顯示器32和34。或者，（P個）有線SSVT EM訊號可以經由有線電纜或光纖電纜99傳遞到兩個顯示器。

此外，處理器60還可以包括SSVT儲存器66，其在使用SSVT表示的技術中儲存視訊或其他資料。藉由參考併入上述的美國專利申請No. 17/887,849（案卷號：HYFYP006）描述了用於實現SSVT儲存器66的技術。

此外，下文所述的具有源極驅動器的整合解碼器可以完全或部分地直接實現在顯示器32或34或32和34的玻璃上，如藉由參考併入上述的美國專利申請No. 63/346064（案卷號：HYFYP014P2）中所描述的。 SSVT發送器整合實施例

以下是描述SSVT發送器82與GPU 64的不同級別整合的各種實施例。這些實施例提供上述所討論的優點。在下面的這些實施例的每個中，SSVT訊號在GPU 64附近的處理器60內產生，然後傳遞到顯示器32、34的源極驅動器以顯示視訊資料。與傳統的數位視訊傳輸技術相比，這些實施例提供更大的覆蓋範圍、更大的抗干擾性和使用更少的功率（取決於整合級別）。

圖2示出了GPU直接顯示平臺實施例800，其中平臺為定制印刷電路板802，包括目前一代（或“傳統”）GPU IC 804以及SSVT發送器IC 82。在本實施例中，SSVT發送器未整合在GPU內。視訊資料從儲存器、相機、網際網路、核心62等808接收，並經過GPU 804處理，然後由SSVT發送器82轉換並編碼成SSVT訊號92。然後，此訊號經由任何合適的EM路徑（實體電線，射頻或光纖電纜）傳輸到顯示器32、34，其中訊號被傳遞到每個源極驅動器812-818，然後解碼並顯示在顯示面板上，如本文所述。顯示器可以包括任何適合頭戴式裝置的顯示器。與傳統技術相比，這種PCB級整合實施例節省了20%的電力。

圖3示出了GPU直接顯示模組上系統（SoM）實施例820，其中SoM 822包括目前一代GPU IC 824以及SSVT發送器IC 82；這些IC可以是已知合格晶片（KGD）。在本實施例中，SSVT發送器未整合在GPU內。視訊資料從儲存器、相機、網際網路、核心62等828接收，經過GPU 824處理，然後由SSVT發送器82轉換並編碼成SSVT訊號92。然後，此訊號經由任何合適的EM路徑（實體電線、射頻或光纖電纜）傳輸到顯示器32、34，其中訊號被傳遞到每個源極驅動器832-838，然後解碼並顯示在顯示面板上，如本文所述。顯示器可以包括任何適合頭戴式裝置的顯示器。與傳統技術相比，這種高級整合實施例節省了50%的電力。

圖4示出了完全整合的GPU直接顯示器實施例840，其中增強的GPU 844包括GPU晶片內完全整合的SSVT發送器82。視訊資料從儲存器、相機、網際網路、核心62等848接收，並經過GPU 844處理，然後由SSVT發送器82轉換並編碼成SSVT訊號92。然後，此訊號藉由任何合適的EM路徑（實體電線、射頻或光纖電纜）傳輸到顯示器32、34，其中訊號被傳遞到每個源極驅動器852-858，然後解碼並顯示在顯示面板上，如本文所述。顯示器可以包括任何適合頭戴式裝置的顯示器。與傳統技術相比，此最高級別的整合實施例節省了60%的電力。此外，GPU具有整合在同一塊矽片中的SSVT發送器。因此，所有的數位傳輸都產生在非常短的距離內，並因此，單個晶片上的高資料速率並不重要。 SSVT發送器

圖5是SSVT發送器82的框圖。如本文所討論的，編碼器142的輸出（EM訊號0到P-1）到諸如電纜、光纖、無線等的傳輸媒介上。分配器440包括組裝庫450、分級庫452、表示庫454和控制器456。編碼器塊460包括一組數位類比轉換器（DAC）462和任意數量P個編碼器142，每個EM路徑一個，用於在傳輸媒介上發送EM訊號。

在操作過程中，包含顏色值和像素相關資訊的時序視訊樣本流在GPU 64處從視訊源接收，並經由SoC和TCON（均未示出）傳遞到SSVT發送器82。從視訊源接收的輸入視訊樣本的數量和內容取決於源處正在運行的顏色空間（並且，樣本可以是黑白的）。無論使用哪種顏色空間，每個視訊樣本代表指定顏色空間中的光。

當在組裝庫450內接收輸入視訊樣本流時，輸入視訊樣本被重複地（1）藉由根據預定的排列將樣本分配給編碼器輸入向量來分配（每個編碼器一個向量），並且（2）藉由使用正交碼對每個輸入向量應用基於SSDS的調變來編碼，以便產生多個複合EM訊號，每個編碼器一個類比訊號。然後，EM訊號經由傳輸媒介傳輸（3），每個路徑一個訊號。

為了解釋的目的，由分配器實現的用於建構四個向量V ₀、V ₁、V ₂和V ₃（假設有四個編碼器，P=4）的一種可能的排列是其中每個向量包含N個顏色資訊樣本的排列。在本示例中，樣本集的暴露顏色資訊分別為“RGB”。將樣本集中的暴露的RGB樣本從左到右分別分配給向量V ₀、V ₁、V ₂和V ₃。換句話說，第一樣本的“R”、“G”和“B”值和下一組樣本的“R”訊號分配給向量V ₀，而下一個（從左到右）“G”、“B”，“R”和“G”值分配給向量V ₁，下一個（從左到右）“B”、“R”、“G”和“B”值分配給向量V ₂，以及下一個（從左到右）“R”、“G”、“R”和“R”值被分配到向量V ₃。一旦第四個向量V ₃被分配了其樣本，上面的過程就會重複，直到四個向量V ₀，V ₁，V ₂和V ₃每個具有N個樣本。在各種實施例中，N個樣本的數量可以有很大差異。

作為示例，考慮N=60的實施例。在這種情況下，V ₀，V ₁，V ₂和V ₃四個向量中包括的N個樣本總數為240（60x4=240）。四個編碼器輸入向量V ₀，V ₁，V ₂和V ₃，當完全建立時，包括80個不同樣本集（240/3=80）的樣本（其中S=3）。換句話說： ● 向量V ₀包括樣本P ₀，N ₀至P ₀，N _N-1； ● 向量V ₁包括樣本P ₁，N ₀至P ₁，N _N-1； ● 向量V ₂包括樣本P ₂、N ₀至P ₂，N _N-1；以及 ● 向量V ₃包括樣本P ₃，N ₀到P ₃，N _N-1。

應當理解的是，上述示例僅僅是說明性的，並且不應被理解為限制性的。樣本數量N可以大於或小於60。另外，應該理解的是，每組樣本的暴露顏色資訊可以是任何顏色資訊（如Y，C，Cr，Cb等），並且不限於RGB。傳輸媒介上的EM路徑的數量也可以有很大差異。相應地，向量V的數量和編碼器的數量也可以從1到任何大於1的數字大範圍變化。還應該理解，用於構造向量的排列方案，無論其數量是多少，都是任意的。可以使用任何排列方案。

分配器440被佈置為依次接收樣本組的流的暴露顏色資訊（例如，RGB）。作為回應，組裝庫450從傳入的樣本組的流的暴露顏色資訊建構向量V ₀、V ₁、V ₂和V ₃。當接收到樣本集時，根據預定排列將它們儲存在組裝庫450中。

分級庫452有助於將四個向量V ₀、V ₁、V ₂和V ₃中的每一個的N個樣本從重計時器使用的第一時鐘頻率（或第一時序域）跨越到用於所產生的類比輸出電位準的編碼和輸出的第二時鐘頻率（或第二域）。以N=60和S=3為示例，四個編碼器輸入向量V ₀、V ₁、V ₂和V ₃中包含恰好代表80組RGB樣本的樣本。

在各種實施例中，第一時鐘頻率可以更快、更慢或與第二時鐘頻率相同。第一時鐘頻率f_pix由視訊源選擇的視訊格式確定。第二時鐘頻率f_ssvt是f_pix，傳輸媒介中EM路徑的數量P，每組輸入/輸出樣本中的樣本數量S，和SSVT變換參數N（輸入/輸出向量位置的數量）和L（每個SSDS代碼的長度）的函數，其中f_ssvt=（f_pix* S *L）/（P*N）。藉由這種佈置，輸入時鐘（pix_clk）以一種速率振盪，SSVT時鐘（ssvt_clk）以另一種速率振盪。這些速率可以相同或不同。編碼器在準備下一個輸入向量時執行編碼。表示庫454將四個編碼器輸入向量V ₀、V ₁、V ₂和V ₃中的每一個的N個樣本呈現給編碼器塊460（例如，向量V ₀包括樣本 _{0 ， 0}到樣本 _{0 ， N-1}）。

控制器456控制組裝庫450、分級庫452和表示庫454的操作和時序。特別是，當建構四個編碼器輸入向量V ₀、V ₁、V ₂和V ₃時，控制器負責定義使用的排列和樣本數量N。控制器456還負責協調由分級庫452執行的從第一時鐘頻率到第二時鐘頻率的跨時鐘域。控制器456進一步負責協調表示庫454何時將每個編碼器輸入向量V ₀、V ₁、V ₂和V ₃的N個樣本呈現給編碼器塊460的時序。

在編碼器塊460內，提供多個數位類比轉換器（DAC）462，每個DAC被佈置為接收集體分配給四個編碼器輸入向量V ₀、V ₁、V ₂和V ₃的P*N樣本（樣本 _{0 ， 0}到樣本 _{P-1 ， N-1}）中的一個。每個DAC 462將其接收的樣本從數位域轉換為具有與其傳入數位值成比例的幅度的差分電壓訊號對。DAC 462的輸出可以在從最大電壓到最小電壓的範圍內。

四個編碼器142分別被提供給四個編碼器輸入向量V ₀、V ₁、V ₂和V ₃。每個編碼器142接收用於其編碼器輸入向量的N個樣本的每個的差分對訊號，使用來自每個樣本對應的代碼的晶片調變N個差分對電壓訊號的每個，累積調變值，然後產生L個差分輸出電位準，如圖14和圖15所示，這些L個電位準產生EM訊號中的一個。由於本示例中有四個編碼器142，因此同時輸出的有EM訊號 ₀到EM訊號 ₃。較佳地，L＞=N＞=2。如前所述，編碼可以是類比的（DAC放在編碼器之前）或數位的（其中L個電位準在傳輸之前由DAC轉換為類比的）。然後，L個類比輸出電位準藉由其EM路徑作為SSVT訊號的一部分傳輸到SSVT接收器，在此情況下，SSVT接收器是源極驅動器586的一部分。有利的是，SSVT訊號是類比訊號，在源極驅動器處不需要DAC。

定序器電路465協調DAC 462和編碼器142的操作的時序。定序器電路465負責控制DAC 462和編碼器142的時鐘。定序器電路465還負責產生兩個時鐘相位訊號，“clk1”和“clk2”，其負責控制編碼器142的操作。 傳輸SSVT訊號到面罩顯示器

圖6示出了將SSVT訊號傳遞到VR面罩20的顯示面板34。未示出頭戴式裝置處理器60的SoC和TCON。整合可能有三種或三種以上的實施例：離散實現，其中SSVT發送器嵌入在混合訊號積體電路中，並且TCON和SoC是離散組件（SSVT發送器插入在傳統TCON和本文所述的新型源極驅動器之間，並將TCON輸出訊號轉換為SSVT訊號）；混合實現，其中SSVT發送器與TCON整合在單個IC中，SoC是離散的；以及完全整合的實現，其中盡可能多的功能整合在定制的混合訊號積體電路中（SSVT發送器與TCON和SoC整合）。

在圖6的本示例中，顯示面板34可以是VR頭戴式裝置內的任何尺寸，並且可以是抬頭顯示器（HUD），其中顯示被投影到面罩的螢幕上，等等。未示出的是左顯示器32，它接收自己的SSVT訊號用於顯示。通常，在多顯示器頭戴式裝置中，每個面板將接收自己的訊號。

在圖6中還示出了SSVT發送器82，其為源極驅動器586產生SSVT訊號592以及為閘極驅動器560產生功率和控制訊號590。包括剛性PCB 582和單獨的柔性PCB 584，每個持有一個源極驅動器586，為顯示面板產生源極電壓。正如下面將更詳細地描述的那樣，訊號608可選地向發送器82提供關於顯示面板的資訊，以協助對SSVT訊號進行編碼。閘極驅動器控制訊號590的產生可由時序控制器（或其他特定硬體）基於來自源極驅動器的同步資訊來執行。通常，由於引腳數的限制，大多數有超過1024列的面板是用源極驅動器晶片的陣列實現的，每個晶片一個源極驅動器。對於列較少的面板，考慮到只需要單個源極驅動器。

通常，SSVT發送器和SSVT接收器由傳輸媒介連接。在各種實施例中，傳輸媒介可以是電纜（諸如HDMI、排線、光纖電纜、金屬電纜、非金屬碳軌柔性電纜），或者可以是無線的。傳輸媒介可以有許多EM路徑，每個編碼器一個路徑。SSVT接收器將包括多個解碼器，與編碼器數量相同。 顯示面板源極驅動器

圖7示出了顯示器源極驅動器586。如圖所示和如本技術中所知，多個源極驅動器級聯；這些多個源極驅動器然後驅動顯示面板。如圖所示，源極驅動器586不需要先前技術源極驅動器中所要求的DAC（在訊號路徑中用於將數位樣本轉換為用於顯示的類比樣本）。每個源極驅動器的SSVT接收器610的輸入是已按本文該在上游進行編碼的類比SSVT訊號592。如圖所示，SSVT訊號592在源極驅動器之間是菊鏈式連結的。在替代實施例中，每個源極驅動器將有其自己的SSVT訊號，並且TCON向每個源極驅動器晶片提供時序資訊。

SSVT接收器610可以有任意數量（P）個解碼器，也可以只有單個解碼器。每個接收器610解碼SSVT訊號（下面將更詳細地描述）並輸出大量重建的類比樣本流612，即類比電壓（樣本流的數量對應於源極驅動器的輸出的數量）。由於這些類比輸出612可能不在顯示面板所需的電壓範圍內，它們可能需要縮放，並且可能被輸入電位準移位器620，該電位準移位器620使用類比轉換將電壓移位到用於驅動顯示面板的電壓範圍內。可以使用本領域已知的任何合適的電位準移位器，諸如鎖存器型或反相器型。電位準移位器也可以稱為放大器。

例如，來自SSVT接收器的電壓範圍可以是0到1V，而來自電位準移位器的電壓範圍可以是-8到+8V（使用反相訊號622通知電位準移位器每隔一訊框翻轉電壓，即，一訊框的電壓範圍將是-8到0V，然後下一訊框的電壓範圍將是0V到+8V）。這樣，SSVT訊號不需要每訊框都翻轉其電壓；SSVT接收器提供正電壓範圍（例如），電位準移位器每隔一訊框翻轉電壓，正如顯示面板所預期的那樣。SSVT接收器還可以實現線反相和點反相。反相訊號告訴電位準移位器要切換哪個電壓。一些顯示面板，諸如OLED，不需要每隔一訊框翻轉電壓，在這種情況下，反相訊號是不需要的，並且電位準移位器也不會每隔一訊框翻轉電壓。諸如LCD這樣的顯示面板確實需要這種電壓翻轉。反相訊號622從SSVT接收器恢復，如下所述。

輸入電位準移位器620的還可以是增益和伽馬值；增益決定應用多少放大，伽馬曲線將光通量與感知亮度相關聯，從而線性化人類對光通量的光學感知。通常，在先前技術源極驅動器中，增益和伽馬是由顯示面板的製造特性確定的設定值。在類比電位準移位器620中，增益和伽馬可以如下方式實現。在一個實施例中，伽馬在系統的數位部分中實現，並且藉由設置輸出級放大在驅動器中實現電位準移位和增益。在伽馬的情況下，藉由實現非線性放大特性，在輸出驅動器中的實現也是可以的。一旦移位，樣本被輸出634，其用於驅動顯示面板的對應列中的源電極，如本領域已知的。

為了正確地對SSVT訊號進行編碼，以便最終在特定的顯示面板上顯示（無論是在頭戴式裝置內部編碼還是在頭戴式裝置外部更遠的上游編碼），GPU（或其他顯示控制器）或執行SSVT編碼的任何實體需要該顯示面板的各種實體特性或屬性。這些實體特性被標記為608，並且包括解析度、棋盤形佈置、背光佈局、色彩設定檔、縱橫比和伽馬曲線。解析度是特定顯示面板的常數；棋盤形佈置是指將面板的平面按規則、預定的方式分割成多個區域的方式，並以像素為單位；背光佈局是指背光面板的解析度和漫射特性；色彩設定檔是所有原色的精確亮度回應，為影像提供準確的顏色；顯示面板的長寬比將具有離散的已知值。

特定顯示面板的這些實體特性可以以多種方式交付給、硬連接到或提供給特定顯示控制器。在如圖6所示的一個示例中，訊號608直接從顯示面板（或從顯示單元內的另一個位置）向SSVT發送器82傳遞這些實體特性的值。或者，嵌入在特定顯示單元內的SSVT發送器82帶有在發送器內硬編碼的這些值。或者，特定的顯示控制器意味著僅與特定類型的顯示面板一起使用，並且其特性值被硬編碼到該顯示控制器中。

顯示面板的輸入還可以是背光訊號604，該背光訊號指示背光的LED，即何時打開和在哪個電位準。換句話說，它通常是影像的低解析度表示，這意味著背光LED點亮顯示器需要是明亮的地方和他們暗淡顯示器需要黯淡的地方。背光訊號是單色訊號，也可以嵌入到SSVT訊號內，例如，它可以是與其他並行視訊訊號R、G和B（例如）一起行進的另一個並行的和獨立的視訊訊號，並且可以是低解析度或高解析度的。

來自SSVT接收器610的輸出是閘極驅動器控制訊號606，其與顯示面板左邊緣上的閘極驅動器560共用時序控制資訊，以便使閘極驅動器與源極驅動器同步。通常，每個SSVT接收器包括時序採集電路，其用於獲取閘極驅動器的相同時序控制資訊，並且源極驅動器柔性箔中的一個或多個（通常是最左和/或最右源極驅動器）將該時序控制資訊傳遞給閘極驅動器。用於閘極驅動器的時序控制資訊嵌入在SSVT訊號內，並使用已建立的展頻技術從該訊號中恢復。

通常，傳統的顯示驅動器使用“COF”（軟板晶片或箔上晶片）IC封裝直接連接到玻璃上；傳統的COG（玻璃晶片）也是可行的。可以用本文描述的新型源極驅動器替換這些驅動器，從而將現有的顯示面板轉換為支援SSVT的面板。這些IC的輸入通常由PCBA連接在一起，提供來自視訊源和時序控制器的輸入訊號。這些可以靠近或遠離顯示面板，通過便宜的電線傳送視訊和控制訊號。 SSVT解碼和與源極驅動器整合的細節

在接收側，每個源極驅動器的解碼器負責將經由傳輸媒介接收的差分EM電位準訊號的流解碼回適合顯示的格式。一旦採用合適的格式，樣本中包含的視訊內容就可以一訊框接一訊框地顯示在視訊顯示器上。因此，從任何視訊源捕獲的視訊可以藉由視訊接收器重新創建。

圖8示出了源極驅動器的SSVT接收器610的更詳細視圖。P表示輸入電磁對的數量，每對攜帶獨立於其他的SSVT訊號，除了它們是已知由發送側的編碼器彼此同步地產生的等時訊號之外。源極驅動器包含P個解碼器780和收集器（塊782和786）。解碼器780在發送側執行其配對編碼器的逆變換，並將其輸入差分EM電位準訊號重建為N個重建樣本的輸出向量（儘管可以使用單端輸入而不是差分輸入）。收集器將解碼器輸出向量樣本（或“重建樣本”）分配到源極驅動器輸入612中的預定位置。源極驅動器輸入612包括與顯示面板中的被驅動列組對應的重建樣本。重計時器功能包括在收集器中。

P個解碼器780（標記為0到P-1）被佈置為分別接收差分EM 訊號 ₀到EM訊號 _P-1，702-704。作為回應，每個解碼器780產生重建樣本的N個差分對（樣本 ₀到樣本 _N-1）。在有四個解碼器780（P=4）的情況下，分別構造四個向量V ₀、V ₁、V ₂和V ₃。樣本的數量N等於用於早期編碼的正交碼的數量，即，有N個正交碼使用，這意味著來自碼簿的N個代碼。

重建庫782分別在每個解碼間隔結束時對四個解碼器輸出向量V ₀、V ₁、V ₂和V ₃中的每個取樣並保存N個重建樣本的每個差分對（樣本 ₀到樣本 _N-1）。然後將這些接收到的差分電壓訊號對分別輸出為四個向量V ₀，V ₁，V ₂和V ₃的每一個的樣本（樣本 _N-1到樣本 ₀）。本質上，每個重建庫從差分對重建單個電壓。分級庫786接收四個解碼器輸出向量V ₀、V ₁、V ₂和V ₃中的每個的所有重建樣本（N _n-1到N ₀），並作為類比輸出緩衝器，如下面將更詳細地描述。一旦樣本被移動到分級庫786，它們被從解碼的SSVT訊號得出的鎖存訊號632觸發。鎖存訊號在源極驅動器之間可以是菊鏈式連結的。一旦樣本從分級庫中釋放出來，它們被發送到電位準移位器620。

SSVT接收器610還包括通道對準器787和分級控制器789，其接收來自每個解碼器780的成框資訊和孔徑資訊。作為回應，分級控制器789協調分級庫786的時序，以確保所有樣本來自SSVT發送器發送電位準訊號的公共時間間隔。因此，傳輸媒介的單個通道不必都具有相同的長度，因為通道對準器787和分級控制器789補償任何時序差異。閘極驅動器控制訊號606向閘極驅動器（或向中間電路）提供時序資訊，中間電路又向閘極驅動器提供正確的時序和控制訊號，並且可以起源於通道對準器787。

請注意，圖8揭露了一種解碼器，該解碼器在分級庫786中緩衝樣本，然後移位電位準（放大）；也可以移位電位準，然後緩衝用於輸出的樣本。 顯示面板源極驅動器陣列

圖9示出了用於實現源極驅動器的陣列的替代實施例。在本實施例中，每個源極驅動器包括單個解碼器（即一個解碼器的SSVT接收器），後面跟著收集器和放大器，而圖7和圖8示出每個源極驅動器可以在源極驅動器的SSVT接收器內具有多個解碼器。可以使用任何一種方法。此陣列適用於高解析度（8K）顯示面板。由於VR顯示面板的解析度的範圍從960x1080到3840x2160，本領域的技術人員將能夠調整所使用的源極驅動器的數量（以及每個源極驅動器的輸出的數量），以適應典型的VR顯示面板。

所示為24 720MHz SSVT訊號652-654，每個訊號是來自SSVT發送器540的雙絞線對，即，每個雙絞線對起源於發送器的編碼器處。每一對輸入到解碼器656-658中的一個，每個解碼器以11.25MHz的頻率輸出64個類比樣本。這些樣本分別輸入到24個收集器662-664中的一個，每個收集器收集15組這些樣本，然後每15個解碼間隔更新一次輸出，如下詳細所示。如上所述，每個收集器由重建庫和分級庫組成（在此圖中沒有明確示出）。然後，這些來自每個收集器的960個類比樣本以750kHz的頻率輸入到放大器666-668之一中進行放大，然後以750kHz（11.25MHz x64/960）的頻率作為放大的類比電位準670輸出到顯示面板的顯示列上。為了清晰起見，沒有示出圖7和圖8中示出的訊號604、606、608、622、632。

如果編碼的SSVT訊號是更高的電壓，並且解碼的訊號導致顯示器所需的取樣電壓，則放大器或電位準移位器可以省略。但是，由於SSVT訊號通常是低電壓的（並且對於大格式顯示需要更高的電壓輸出），放大通常是必要的。不過，在VR頭戴裝置內顯示器的情況下，放大器可能不是必需的，而是可選的。

注意，圖9揭露了一種解碼器，該解碼器在收集器664中緩衝樣本，然後放大；也可以放大，然後收集（緩衝）用於輸出的樣本。可以使用任一實施例。

圖10是圖9中的解碼器656之一的框圖。所示為輸入到解碼器的SSVT訊號652之一。解碼器包括晶片計數器680、通常儲存在RAM中的包含用於編碼和解碼的正交代碼的碼簿682，以及用於64個輸出類比樣本688的每個解碼電路的框圖684。每組64個類比樣本在11.25MHz下每L個週期中的1個輸出“有效”。解碼將在下面更詳細地解釋。

圖11是圖9中收集器的框圖，並示出了圖8中分級庫786的更多細節。基本上，單個收集器執行到分區行緩衝器的串列到平行轉換。所示的每個收集器662-664的輸入是以11.25MHz的頻率來自每個解碼器的一組64個類比樣本690-692（未示出的是重建庫782）。如圖所示，在每個解碼間隔期間，收集器內儲存一組新的傳入的64個重建樣本，每個收集器每15個解碼間隔填充一次。在每15個解碼間隔後，來自每個收集器的960個儲存樣本698被輸出到其相應的放大器666-668，然後傳遞到顯示面板的相應列，如圖所示。

在一個特定實施例中，圖9的每個源極驅動器（例如，解碼器658、收集器664和放大器668）在積體電路內實現，並且每個這樣的積體電路可以安裝在柔性PCB584上，如圖6所示。 SSVT編碼訊號的無線傳輸

如前所述，來自SSVT發送器82的P個EM訊號的傳輸媒介的可能選項之一是無線的。如下文詳細描述，提供了用於發送和接收SSVT編碼的電磁訊號的無線實施例。

參考圖12，示出了傳輸媒介的無線實現的框圖200（由於介質在本實施例中是無線的，因此未示出）。藉由本實施例，在發送側提供無線發送器202和天線204，並且在接收側提供接收器206和天線208。發送器202將由SSVT發送器82產生的SSVT電磁訊號調變到一個或多個載波頻率訊號上。一旦調變，載波頻率訊號然後由天線204廣播。在接收側，天線208接收廣播並向無線接收器206提供調變載波訊號。作為回應，接收器206解調並產生SSVT電磁訊號，然後將其提供給SSVT接收器610。SSVT電磁訊號不提供給SSVT接收器610（其與顯示器的源極驅動器整合），還可以提供給申請號17/686，790（HYFYP004AX1）或17/887，849（HYFYP006）中描述的任何SSVT接收器。一旦解碼，視訊訊號可用來驅動視訊顯示器，如前所述。

參考圖13A，示出了發送器202的示意圖。發送器202包括天線204、一個或多個（P個）調變器210、載頻產生器212、一個或多個（P個）帶通濾波器214、求和節點216和功率放大器218。SSVT發送器82中編碼器142的數量，以及因此EM訊號輸出的數量用（P）表示。在SSVT發送器中只使用一次編碼器142的情況下（即P=1），不需要求和節點216。

在操作期間，由SSVT發送器82產生的一個或多個電磁（EM）訊號（P個）被提供給一個或多個調變器210。作為回應，每個調變器210分別將電磁訊號中的一個調變到（P個）不同的載波頻率訊號上。較佳地，（P個）載波訊號是不同的頻率，但都從相同的基本正弦頻率得出的。藉由執行調變，（P個）電磁訊號基本上分別各自疊加到（P個）載波頻率訊號上。然後，帶通濾波器214分別對每個調變的載波頻率訊號進行濾波。接下來，帶通濾波器輸出在求和節點216處相加，有效地將所有P個電壓波形相加以產生複合訊號。放大器218對天線204的複合訊號進行放大。作為回應，天線204無線廣播複合訊號（即經放大、求和、濾波和調變的載波頻率訊號）。較佳地，放大器和天線都被選擇為能夠處理由複合訊號產生的附加頻寬。

只要SSVT發送器82從視訊樣本流產生（P個）電磁訊號，就持續執行上述調變和廣播操作。因此，表示視訊樣本流的編碼無線訊號被連續廣播。

參照圖13B，示出接收器206的示意圖。接收器206包括天線208、增益控制器220、一個或多個（P個）解調器222、一個或多個（P個）低通濾波器224、鑒別器電路226和壓控頻率源（VCFS）228。

在操作期間，由發送器202廣播的複合訊號被天線208接收。增益控制器220調節接收的複合訊號的增益；增益控制器可以使用自動增益控制器（AGC）或可程式設計增益放大器（PGA）來實現。無論採用哪種方式，經增益調節的複合訊號被提供給每個解調器222。

作為回應，每個解調器222從複合訊號解調並產生（P個）電磁訊號之一。在一個實施例中，每個解調器222是超外差接收器，其使用頻率混合將接收的訊號轉換為可以比原始傳入複合訊號更容易處理的中頻（IF）。可替代地，每個解調器222是直接轉換接收器（DCR），其是被設計為使用由頻率與輸入複合訊號的載波頻率相同或非常接近的本地振盪器驅動的同步檢測來解調輸入複合訊號的無線電接收器。無論所使用的解調器的類型如何，（P個）經解調的訊號的每個分別提供給低通濾波器224之一。每個低通濾波器對其接收的經解調的電磁訊號進行濾波，並將其輸出提供給SSVT接收器610，如前面所述。

鑒別器電路226在每個解調器222的輸出230和VCFS 228之間提供反饋回路。在解調器222用於解調漂移的一個或多個頻率的情況下，鑒別器電路226起作用來調整解調頻率（或多個頻率），使其鎖定在接收的載波頻率上並與接收的載波頻率相同。

上述描述了無線實施例，在該實施例中，任意數量的電磁訊號被調變、濾波然後相加以便由放大器放大並由天線輸出，由於只需要單個放大器和單個天線，因此成本較低。在無線發送器202的可替代實施例中，沒有求和節點216，並且來自SSVT發送器82的（P個）電磁訊號的每個按該被調變和濾波，然後每個訊號使用功率放大器和天線進行放大和輸出。換句話說，將會有（P）個放大器和天線，而不是單個功率放大器和天線。類似地，無線接收器206可以使用如所描述的（P）個天線、（P）個增益控制器和每個訊號的解調器和濾波器來實現。 SSVT訊號，編碼和解碼

如前所述，本發明的各種實施例揭露了使用類比SSVT訊號在VR頭戴式裝置內傳輸視訊資訊或傳輸視訊資訊到頭戴式裝置或從頭戴式裝置傳輸視訊資訊。下面描述的是用於該訊號的編碼和解碼的技術。

為了本揭露的目的，電磁訊號（EM訊號）是表示為其振幅隨時間變化的電磁能量的變數。EM訊號通過EM路徑，諸如電線對（或電纜）、自由空間（或無線）、以及光或波導（光纖）從發送器端傳播到接收器端。EM訊號可以在兩個維度（時間和幅度）中的每一個維度上獨立地表徵為連續或離散。“純類比”訊號是連續時間、連續幅度的EM訊號；“數位”訊號是離散時間、離散幅度的EM訊號；“取樣類比”訊號是離散時間，連續幅度的EM訊號。本發明揭露了一種新的離散時間、連續幅度EM訊號，稱為“展頻視訊傳輸”（SSVT）訊號，該訊號是對現有SSDS-CDMA訊號的改進。SSVT是指使用改進的基於展頻直接序列（SSDS）調變在一個或多個EM路徑上傳輸電磁訊號。

分碼多重存取（CDMA）是一種眾所周知的通道存取協定，通常用於無線電通訊技術，包括蜂巢電話。CDMA是多址存取的示例，其中幾個不同的發送器可以在單個通訊通道上同時發送資訊。在電信應用中，CDMA允許多個使用者共用給定的頻段而不受其他使用者的干擾。CDMA採用展頻直接序列（SSDS）編碼，它依賴於唯一的代碼來編碼每個使用者的資料。藉由使用唯一的代碼，多個使用者的傳輸可以在使用者之間互不干擾的情況下進行組合和發送。在接收側，每個使用者使用相同的唯一碼來解調傳輸，分別恢復每個使用者的資料。

SSVT訊號不同於CDMA。當在編碼器處接收輸入視訊（例如）樣本流時，藉由對多個編碼器輸入向量中的每個應用基於SSDS的調變來對它們進行編碼，以產生SSVT訊號。然後經由傳輸媒介傳輸SSVT訊號。在接收側，藉由應用相應的基於SSDS的解調對傳入的SSVT訊號進行解碼，以重建被編碼的樣本。因此，包含顏色和像素相關資訊的原始時序視訊樣本流從單個視訊源傳遞到單個視訊接收器，這與將資料從多個使用者傳遞到多個接收器的CDMA不同。

圖14示出了簡單的示例，示出了訊號樣本（在本例中為類比值）如何在編碼器中編碼，然後經由電磁路徑發送。所示出為N個類比值902-908的輸入向量，N個類比值902-908表示視訊訊框內各個像素的電壓。這些電壓可以表示黑白影像的亮度或像素中特定顏色值（例如像素的R、G或B顏色值）的亮度，即每個值表示指定顏色空間中感知或測量的光量。雖然在本示例中使用像素電壓，但是該編碼技術可以與表示來自感測器的各種訊號中的任何一種的電壓一起使用，諸如LIDAR值、聲音值、觸覺值、氣溶膠值等，並且類比值可以表示其他樣本，諸如電流等。也可以對數位值的訊號樣本進行編碼，下面將解釋這種數位編碼。此外，即使示出了一個編碼器和一個EM路徑，本發明的實施例與多個編碼器一起很好地工作，每個編碼器經由EM路徑傳輸。

較佳地，啟動訊號樣本電壓通常高於SSVT訊號中的編碼電壓。編碼後，為了效率，電壓的範圍通常從0到1V，儘管不同的範圍是可能的。更低的電壓意味著更少的電力消耗，並可能在未來使用。

這些電壓通常以特定順序從訊框的行中的像素獲取，但可以使用另一種約定來選擇和排序這些像素。無論使用哪種約定來選擇這些像素並對它們進行排序以進行編碼，解碼器將在接收端使用相同的約定，以便以相同的順序解碼這些電壓，然後將它們放在它們所屬的結果訊框中。同樣地，如果訊框是彩色的並且使用RGB，此編碼器中的約定可以是所有R像素電壓先被編碼，然後是G和B電壓，或者約定可以是電壓902-906是該行中的像素的RGB值，接下來的三個電壓908-912表示下一個像素的RGB值，等等。同樣，此編碼器用於排序和編碼電壓的相同約定將被接收端的解碼器使用。只要解碼器使用相同的約定，可以使用任何特定的約定對類比值902-908進行排序（無論是按顏色值，還是按行等）。如圖所示，可以使用碼簿920一次表示任意數量的N個類比值902-908用於編碼，僅受碼簿中條目的數量限制。

如前所述，碼簿920有任意數量的N個代碼932-938；在這個簡單的示例中，碼簿有四個代碼，意味著一次編碼四個類比值902-908。可以使用更多的代碼，諸如127個代碼、255個代碼等，但出於諸如電路複雜性等實際考慮，較佳地使用較少的代碼。如本領域所知，碼簿920包括N個相互正交的代碼，每個代碼的長度為L；在本示例中L=4。通常，每個代碼都是SSDS代碼，但不需要一定是本文所討論的展頻代碼。如圖所示，每個代碼被分為L個時間間隔（也稱為“晶片”），並且每個時間間隔包括該代碼的二進位值。如代碼表示942所示，代碼934可以用傳統的二進位形式“1100”表示，儘管相同的代碼也可以表示為代碼表示944中所示的“1 1 -1 -1”，以便於在調變值時使用，如下所解釋。代碼932和936-938也可以表示為如942或944中的。請注意，每個長度為L的代碼不與不同的計算裝置（諸如電話）、不同的人或不同的發送器相關聯，如在CDMA那樣。

因此，為了經由傳輸媒介34將四個類比值902-908發送到接收器（具有相應的解碼器），使用以下技術。每個類比值將由其對應代碼的表示944中的每個晶片調變；例如，值902，即.3，由代碼932的表示944中的每個晶片按時間順序調變948。調變948可以是乘法運算子。因此，用代碼932調變.3得到系列“.3, .3, .3, .3”。用代碼934調變.7變成“.7, .7, -.7, -.7”；值“0”變為“0, 0, 0, 0”；以及值“1”變成“1, -1, 1, -1”。通常，每個代碼的第一個晶片調變其對應的類比值，然後每個代碼的下一個晶片調變其類比值，儘管一種實現方式也可以在進入下一個類比值之前藉由其代碼的所有晶片來調變特定的類比值。

每個時間間隔，然後在951處對調變的類比值求和（在此圖中垂直感知）以獲得類比輸出電位準952-958；例如，這些時間間隔的調變值的總和導致輸出電位準為2, 0, .6, -1.4。這些類比輸出電位準952-958可以進一步被歸一化或放大以與傳輸線的電壓限制相一致，然後可以以它們產生的時間順序地按該順序經由傳輸媒介34的電磁路徑（例如差分雙絞線）發送。接收器然後按此順序接收這些輸出電位準952-958，然後使用相同的碼簿920，使用與這裡示出的編碼方案相反的方式對它們進行解碼。由此產生的像素電壓902-908然後可以按照所使用的約定顯示在接收端的顯示器的訊框中。因此，類比值902-908被有效地同步編碼，並在L個類比輸出電位準952-958的順序序列中藉由單個電磁路徑發送。如本文所示和描述的，也可以使用多個編碼器和電磁路徑。此外，可以以這種方式編碼的N個樣本的數量取決於碼簿中使用的正交碼的數量。

有利的是，即使使用穩健的SSDS技術（諸如展頻碼）導致頻寬的顯著下降，但使用相互正交的碼，藉由其相應代碼的晶片對每個樣本進行調變、求和以及使用L個輸出電位準平行傳輸N個樣本導致顯著的頻寬增益。與二進位數字被串列編碼然後求和的傳統CDMA技術相比，本發明首先藉由相應的代碼中的每個晶片調變整個樣本（即整個類比或數位值，而不是單個位），然後在代碼的每個時間間隔對這些調變進行求和，以獲得每個特定時間間隔的產生的類比電壓位準，從而利用所產生的波形的振幅。正是這些類比輸出電位準經由傳輸媒介發送，而不是二進位數字的表示。此外，本發明有助於將類比電壓從一個視訊源發送到另一個視訊接收器，即從端點發送到端點，不像CDMA技術允許由不同的人、不同的裝置或不同的源進行多次存取，並發送到多個接收器。此外，樣本值的傳輸不需要壓縮。

圖15示出了這種新型編碼技術適用於是數位值的訊號樣本。在這裡，數位值902’-908’是電壓的數位表示。使用不同的電壓示例，值902’為“1101”，值904’為“0011”，值906’為“0001”，以及值908’為“1000”。每個數位值由每個代碼的表示944，即“1”或“-1”調變（數位相乘），這取決於與要調變的數位值對應的代碼的晶片。僅考慮每個代碼的第一次時間間隔940，並添加最高有效位元（MSB），即符號位元，調變“1101”得到“01101”（MSB“0”表示正值），調變“0011”得到“00011”，調變“0001”得到“00001”，並且調變“1000”得到“01000”。這些調變值在第一個時間間隔上示出。（雖然沒有示出，但使用-1晶片進行調變產生負值，該負值可以用合適的用於負值的二進位表示以二進位表示。）

對第一時間間隔內的這些調變值進行數位求和，得到數位值952’“011001”（同樣，MSB是符號位元）；其他數位值954’-958’在本示例中沒有示出，但以相同的方式計算。考慮此以10為基數的和，可以驗證調變值13，3，1和8的和確實為25。雖然在此示例中沒有示出，但通常額外的MSB將可用於生成的電位準952’-958’，因為總和可能需要超過5位元。例如，如果值902’-908’用4位表示，那麼在有64個代碼的情況下，電位準952’-958’可以使用多達10位表示（加上64位的log2）。或者，如果將32個調變值相加，則會再加5位。輸出電位準所需的位數取決於代碼的數量。

可以先將輸出電位準950’歸一化以調整到DAC的輸入要求，然後依次饋送到DAC 959以將每個數位值轉換為其相應的類比值以經由EM路徑傳輸。DAC 959可以是MAX5857 RF DAC（包括時鐘乘以PLL/VCO和一個14位RF DAC核心，以及複雜的路徑可以被繞過以直接存取RF DAC核心），然後可以是帶通濾波器，然後是可變增益放大器（VGA），沒有示出。在某些情況下，電位準950’中使用的位數大於DAC 959所允許的位數，例如，電位準952’用10位表示，但DAC 959是8位DAC。在這些情況下，適當數量的LSB被丟棄，並且剩餘的MSB由DAC處理，產生的影像在顯示器上的視覺品質沒有損失。

有利的是，整個數位值被調變，然後這些整個調變的數位值被數位相加以產生用於轉換和傳輸的數位輸出電位準。這種技術與CDMA不同，CDMA對數位值的每個二進位數字進行調變，然後將這些調變的位元相加以產生輸出。例如，假設每個數位值有B個位，使用CDMA，總共有B*L個輸出電位準要發送，而使用這種新型的數位（或類比）編碼技術，將總共只有L個輸出電位準要發送，因此具有優勢。

圖16示出了使用圖14的編碼器編碼的類比輸入電位準的解碼。如圖所示，L個輸入電位準950已經由傳輸媒介34的單個電磁路徑接收。如本文該和前面提到的，碼簿920包括N個正交代碼932-938，它們將用於解碼輸入電位準950，以產生N個類比值902-908的輸出向量，即與上面編碼的類比值902-908相同。為了執行解碼，如垂直箭頭所示，每個輸入電位準952-958由對應於輸出向量902-908中特定索引的每個代碼的每個晶片調變961。考慮用第一代碼932調變952-958電位準，這種調變產生一系列調變值“2, 0, .6, -1.4”。藉由第二代碼934對電位準952-958進行調變，產生一系列調變值“2, 0, -.6, 1.4”。由第三代碼936調變產生“2, 0, -.6, -1.4”，以及藉由第四代碼938調變產生“2, 0, .6, 1.4”。

接下來，如水平箭頭所示，對每個調變值系列求和以產生類比值902-908之一。例如，對第一系列求和得到類比值“1.2”（用“4”的比例因數歸一化後變為“.3”）。以類似的方式，將其他三個系列的調變值相加得到類比值“2.8”、“0”和“4”，並且歸一化後得到類比值902-908的輸出向量。每個代碼可以調變輸入電位準，然後可以對該系列求和，或者，所有代碼可以在對每個系列求和之前調變輸入電位準。因此，N個類比值902-908的輸出向量已使用L個輸出電位準平行傳輸。

這些示例中沒有示出解碼數位輸入電位準的示例，但是本領域技術人員在閱讀上述描述中的數位值的編碼後會發現執行這種解碼很簡單。

圖17A、圖17B和圖17C示出編碼器和解碼器可以對類比樣本或數位樣本操作；前面已經描述過各種類比和數位編碼器和解碼器。如上所述，可存在多於一個EM路徑，因此可存在多於一個編碼器/解碼器對以及相應數量的DAC或ADC，視情況而定。

圖17A示出了類比編碼器和相應的類比解碼器的使用。輸入類比編碼器900的是類比樣本970或由位於類比編碼器的DAC 972轉換成類比的數位樣本971。以這種方式，可以對到達類比編碼器的類比或數位樣本進行編碼，以便經由傳輸媒介34上的電磁路徑傳輸。類比解碼器900’對編碼的類比樣本進行解碼，產生用於輸出的類比樣本970。類比樣本970可以按原樣使用，或者可以使用ADC（未示出）轉換為數位樣本。

圖17B示出了數位編碼器和相應的類比解碼器的使用。輸入到數位編碼器901的是數位樣本971或已由位於數位編碼器處的ADC 973轉換成數位的類比樣本970。由於編碼器是數位的，位於編碼器處的DAC 959在經由電磁路徑傳輸之前將編碼的樣本轉換為類比的。以這種方式，可以對到達數位編碼器的類比或數位樣本進行編碼，以便經由傳輸媒介34上的電磁路徑傳輸。類比解碼器900’對編碼的類比樣本進行解碼，以產生用於輸出的類比樣本970。類比樣本970可以按原樣使用，或者可以使用ADC（未示出）轉換為數位樣本。

圖17C示出了使用數位解碼器對經過傳輸媒介34上的電磁路徑到達的編碼的類比訊號進行解碼。可以使用上述類比編碼器或數位編碼器傳輸編碼的類比訊號。位於數位解碼器976處的ADC 974接收經由電磁路徑發送的編碼的類比樣本，並將樣本轉換為數位的。這些編碼的數位樣本然後由數位解碼器976解碼為數位樣本978（對應於在經由電磁路徑傳輸之前最初編碼的樣本的輸入向量的值）。數位樣本978可以按原樣使用，或者可以使用DAC轉換為類比樣本。

圖18示出了從類比編碼器輸出後（或數位編碼並然後由DAC轉換後）藉由電磁路徑發送的SSVT波形602的類比（類似於理想化示波器軌跡）。垂直刻度為電壓，以及水平刻度為100ps示波器測量時間間隔。注意，SSVT訊號602是類比波形而不是數位訊號（即，該訊號不表示二進位數字），並且在本實施例中可以傳輸從約-15V到約+15V的電壓範圍。類比波形的電壓值是（或至少可以是）完全類比的。此外，電壓不限制於某個最大值，儘管高值是不切實際的。

如前所述，類比電壓電位準經由電磁路徑按順序發送，每個電位準是每個時間間隔調變樣本的和，諸如上述類比輸出電位準952-958或上述數位輸出電位準952’-958’（在通過DAC後）。當發送時，這些輸出電位準然後顯示為波形，諸如波形602。特別是，電壓電位準980表示調變樣本在特定時間間隔內的總和（即輸出電位準）。舉一個簡單的示例，順序電壓電位準980-986表示四個輸出電位準的傳輸。在本例中，使用32個代碼，這意味著32個樣本可以平行傳輸；因此，電壓位準980-986（後面跟著許多後續的電壓位準，取決於代碼中的晶片數量，L）形成32個編碼樣本（諸如來自視訊源的像素電壓）的平行傳輸。在此傳輸之後，波形602的下一組L個電壓電位準表示接下來32個樣本的傳輸。通常，波形602表示將類比或數位值編碼到類比輸出電位準，並以離散的時間間隔傳輸這些電位準以形成複合類比波形。

由於諸如衰減、阻抗不匹配引起的反射和撞擊侵入訊號等現象，每個電磁路徑會使通過它傳播的電磁訊號退化，因此在接收端對輸入電位準進行的測量總是相對於在發送端處可用的相應輸出電位準有誤差。因此，如本領域已知，可以執行接收器處輸入電位準的縮放（或發送器處輸出電位準的歸一化或放大）以執行補償。此外，由於過程增益（即由於L的增加，這也增加電彈性），解碼器處的解碼的輸入電位準由使用碼長度的比例因數歸一化，以恢復發送的輸出電位準，如本領域已知的。 SSVT編碼的化學和觸覺樣本

雖然上述描述描述了經由SSVT編碼和傳輸以便在VR面罩的面板上顯示影像的視訊樣本，但本文還引用了也可以經由SSVT編碼和傳遞的化學樣本或觸覺樣本。換句話說，到達SSVT發送器82或產生在頭戴式裝置處理器60接收的SSVT訊號的SSVT發送器的任何樣本值（例如，經由存取點72或74，經由路徑808、828、848等到達）可以表示化學（諸如氣味）或觸覺（諸如觸摸）。舉例來說，圖14中的類比樣本值902被描述為視訊樣本，代表光，但這個特定的樣本值可以代表某種化學或觸覺。按照慣例，在SSVT發送器和SSVT接收器之間（或在視訊源和目標處理器之間），可以預先確定視訊的訊框內的某些樣本位置（例如，訊框的第一行的最後十幾個位置）將保存化學或觸覺樣本值而不是視訊樣本值。

例如，表示與特定樹的氣味相關聯的化學物質的樣本值（例如，值“.1”表示桉樹，值“.2”表示傑佛瑞松等）可以嵌入一訊框或多訊框中，其中該樹的影像出現在VR面罩的顯示器上呈現給使用者的視訊流中。當戴著VR面罩的使用者轉向看那棵樹、接近那棵樹、試圖觸摸那棵樹等時，頭戴式裝置處理器或VR面罩可以利用那些經由SSVT發送的化學樣本值來合成那棵樹當時的氣味。然後，與VR頭戴式裝置相關聯的嗅覺計經由帶有可控流量閥的掩膜將合成的氣味呈現給使用者。IEEE在2022年IEEE虛擬實境和3D使用者介面（VR）會議上發表的“The Smell Engine: a System for Artificial Odor Synthesis in Virtual Environments”中描述了這種傳遞合成氣味的掩膜的一個示例。其他氣味可以包括：淡水、污染水、煙霧、多種氣味等。有利的是，特定氣味的識別與產生這些氣味的物件的SSVT編碼影像一起嵌入，以便於結合使用者在VR面罩上觀看的物件來合成特定氣味。

此外，表示與特定樹相關聯的觸覺（例如，觸摸）的樣本值（例如，值“.6”表示光滑的桉樹樹皮，值“.7”表示粗糙的傑佛瑞松皮等）可以嵌入在一訊框或多訊框中，其中該樹的影像出現在VR面罩的顯示器上呈現給使用者的視訊流中。當使用者戴著VR面罩嘗試觸摸樹木時，頭戴式裝置處理器或VR面罩可以利用這些觸覺樣本值在使用者實際觸摸的表面（例如，觸覺墊、操縱桿、手持控制器等）或在使用者手附近的表面上再現這種感覺。其他可以經由SSVT編碼的特定樣本值發送的觸覺示例包括：熱、冷、風、濕、乾等。有利的是，特定觸覺的識別與產生這些觸覺的物件的SSVT編碼的影像一起嵌入，以便於結合使用者在VR面罩上觀看或觸摸的物件來輕鬆合成特定的觸覺。

10：頭戴式裝置 20：面罩 32：左顯示器 34：右顯示器、顯示面板、傳輸媒介 60：處理器 62：核心AI/ML模組 64：GPU 66：SSVT儲存器 72：RF存取點 74：USB埠 82、540：SSVT發送器 92、592、652-654：SSVT訊號 142：編碼器 200、684：框圖 202：無線發送器 204、208：天線 206：接收器 210：調變器 212：載頻產生器 214：帶通濾波器 216：求和節點 218：功率放大器 220：增益控制器 222：解調器 224：低通濾波器 226：鑒別器電路 228：壓控頻率源（VCFS） 230、634：輸出 440：分配器 450：組裝庫 452、786：分級庫 454：表示庫 456：控制器 460：編碼器塊 462、959、972：數位類比轉換器（DAC） 465：定序器電路 560：閘極驅動器 582：剛性PCB 584：柔性PCB 586、812-818、832-838、852-858：源極驅動器 590、608：訊號 602：SSVT波形、SSVT訊號 604：背光訊號 606：閘極驅動器控制訊號 610：SSVT接收器 612：類比樣本流、類比輸出 620：電位準移位器 622：反相訊號 632：鎖存訊號 656-658、780：解碼器 662-664：收集器 666-668：放大器 670：類比電位準 680：晶片計數器 682、920：碼簿 688：輸出類比樣本 690-692、970：類比樣本 698：儲存樣本 702-704：EM 訊號 782：重建庫 787：通道對準器 789：分級控制器 800：GPU直接顯示平臺實施例 802：定制印刷電路板 804、824：目前一代（或“傳統”）GPU IC 808、828、848：路徑 820：GPU直接顯示模組上系統（SoM）實施例 822：SoM 840：完全整合的GPU直接顯示器實施例 844：增強的GPU 900：類比編碼器 900’：類比解碼器 901：數位編碼器 902-908：類比值 902’-908’：數位值 932、934、936-938：代碼 940：時間間隔 942、944：代碼表示 948、961：調變 950：輸入電位準 950’：輸出電位準 952-958：類比輸出電位準 952’-958’：數位輸出電位準 971、978：數位樣本 973、974：ADC 976：數位解碼器 EM：電磁 SSVT：展頻視訊傳輸 VR：虛擬實境

本發明及其進一步的優點可藉由參考以下結合附圖的描述來最好地理解，其中： 圖1示出了體現本發明的各個方面的虛擬實境（VR）頭戴式裝置。 圖2示出了GPU直接顯示平臺實施例。 圖3示出了GPU直接顯示模組上系統（SoM）實施例。 圖4示出了完全整合的GPU直接顯示實施例。 圖5為SSVT發送器的框圖。 圖6示出了將SSVT訊號傳遞到VR面罩的顯示面板。 圖7示出了顯示器源極驅動器。 圖8示出了源極驅動器的SSVT接收器的更詳細視圖。 圖9示出了用於實現源極驅動器的陣列的替代實施例。 圖10是圖9的解碼器中的一個的框圖。 圖11是圖9的收集器的框圖，並示出了圖8的分級庫的更多細節。 圖12是示出傳輸媒介的無線實現的框圖。 圖13A是示出發送器的示意圖。 圖13B是示出接收器的示意圖。 圖14示出了簡單的示例，示出了訊號樣本（在這種情況下是類比值）如何在編碼器內編碼，然後經由電磁路徑發送。 圖15示出了適用於是數位值的訊號樣本的此新型編碼技術。 圖16示出了使用圖14的編碼器編碼的類比輸入電位準的解碼。 圖17A示出了類比編碼器和相應的類比解碼器的使用。 圖17B示出了數位編碼器和相應的類比解碼器的使用。 圖17C示出了解碼藉由傳輸媒介上的電磁路徑到達的經編碼的類比訊號的數位解碼器的使用。 圖18示出了從類比編碼器輸出之後（或在數位編碼之後然後由DAC轉換之後）經由電磁路徑發送的SSVT波形的類比（類似於理想的示波器軌跡）。

10:頭戴式裝置

20:面罩

32:左顯示器

34:右顯示器

60:處理器

62:核心AI/ML模組

64:GPU

66:SSVT儲存器

72:RF存取點

74:USB埠

82:SSVT發送器

92:SSVT訊號

SSVT:展頻視訊傳輸

VR:虛擬實境

Claims (21)

1. 一種虛擬實境（VR）頭戴式裝置，包括： 一頭戴式裝置處理器，包括一發送器，該發送器被佈置用於接收一視訊樣本流，將該視訊樣本的N組的每個連續編碼為一組L個輸出電位準，並將該L個輸出電位準的組作為一類比波形經由電磁路徑發送，其中L＞=N＞=2；以及 一VR面罩，包括具有至少一個源極驅動器的至少一個顯示器，該源極驅動器包括： 一接收器，被佈置為接收來自該發送器的該類比波形的該L個輸出電位準的組， 一解碼器，被佈置為將該L個輸出電位準的每組解碼為N個類比樣本的一輸出向量， 一緩衝器，被佈置為收集每個來自該解碼器的N個類比樣本的該輸出向量，並將N個類比樣本的該輸出向量並行輸出，每個該類比樣本被輸出到該顯示器的列，其中該視訊樣本流基本上顯示在該顯示器上。
2. 如請求項1所述的VR頭戴式裝置，其中參考N個相互正交的代碼的一預定代碼集執行將每組N個視訊樣本編碼到一組L個輸出電位準，每個代碼的長度為L，每個該代碼用於編碼該N個視訊樣本中的一個，並且其中參考N個相互正交的代碼的該預定代碼集執行該解碼。
3. 如請求項1所述的VR頭戴式裝置，其中該源極驅動器進一步包括： 多個放大器，被佈置為在被輸出到該顯示器之前放大從該緩衝器輸出的該輸出向量的該類比樣本。
4. 如請求項1所述的VR頭戴式裝置，其中該源極驅動器進一步包括： 多個放大器，被佈置為在被輸入到該緩衝器之前放大從該解碼器輸出的該輸出向量的該類比樣本。
5. 如請求項1所述的VR頭戴式裝置，其中該源極驅動器不包括用於將數位像素資料轉換為類比像素資料的數位類比轉換器（DAC）。
6. 如請求項1所述的VR頭戴式裝置，其中該顯示面板包括C個列，其中L個輸出電位準的該組以頻率freq(SSVT)被串列接收，其中N個類比樣本的該輸出向量的每個從該解碼器以頻率freq(sample) = freq(SSVT)/N輸出，並且其中該緩衝器以頻率freq(line) = freq(sample) x N / C並行輸出N個類比樣本的該輸出向量。
7. 如請求項1所述的VR頭戴式裝置，其中L個輸出電位準的該組在該接收器處被串列接收，並且其中該N個類比樣本的每個輸出向量從該解碼器並行輸出。
8. 如請求項1所述的VR頭戴式裝置，其中該發送器還經由第二電磁路徑將L個輸出電位準的該組作為一第二類比波形發送，並且其中該面罩進一步包括具有一第二源極驅動器的一第二顯示器，該第二源極驅動器從該第二類比波形接收L個輸出電位準的該組。
9. 如請求項1所述的VR頭戴式裝置，其中該頭戴式裝置處理器進一步包括一無線發送器，該無線發送器被佈置為在RF電磁路徑上發送該類比波形，並且其中該VR面罩進一步包括佈置為接收該類比波形的無線接收器。
10. 如請求項1所述的VR頭戴式裝置，其中該視訊樣本中的一個具有代表一化學氣味或一觸覺感覺的一值，該VR面罩進一步包括用於基於對應於該視訊樣本中的該一個的該N個類比樣本中的一個的值為一使用者再現該化學氣味或該觸覺感覺的一裝置。
11. 一種虛擬實境（VR）頭戴式裝置，包括： 一頭戴式裝置處理器，包括一無線接收器，該無線接收器被佈置為接收包括表示視訊流的L個輸出電位準的組的一RF類比波形，每一組L個輸出電位準為N個視訊樣本的編碼形式，其中L＞=N＞=2； 一電磁路徑，該L個輸出電位準的組作為類比波形在電磁路徑上從該頭戴式裝置處理器發送；以及 一VR面罩，包括具有至少一個源極驅動器的至少一個顯示器，該源極驅動器包括： 一接收器，被佈置接收來自該頭戴式裝置處理器的該類比波形的該L個輸出電位準的組， 一解碼器，被佈置將每組該L個輸出電位準解碼為N個類比樣本的一輸出向量， 一緩衝器，被佈置收集每個來自該解碼器的N個類比樣本的該輸出向量，並將N個類比樣本的該輸出向量並行輸出，每個該類比樣本被輸出到該顯示器的列，其中該視訊樣本流基本上顯示在該顯示器上。
12. 如請求項11所述的VR頭戴式裝置，其中該電磁路徑是一有線路徑。
13. 如請求項11所述的VR頭戴式裝置，其中該電磁路徑是一無線路徑，該頭戴式裝置處理器進一步包括一無線發送器，該無線發送器被佈置為發送L個輸出電位準的該組到該接收器，並且其中該VR頭戴式裝置進一步包括無線接收器，無線接收器被佈置為接收L個輸出電位準的該組和輸入L個輸出電位準的該組到該接收器。
14. 如請求項11所述的VR頭戴式裝置，其中參考N個相互正交的代碼的預定代碼集執行每組該L個輸出電位準的該解碼，每個代碼的長度為L，每個該代碼用於解碼該N個視訊樣本中的一個。
15. 如請求項11所述的VR頭戴式裝置，其中該源極驅動器進一步包括： 多個放大器，被佈置為在被輸出到該顯示器之前放大從該緩衝器輸出的該輸出向量的該類比樣本。
16. 如請求項11所述的VR頭戴式裝置，其中該源極驅動器進一步包括 多個放大器，佈置為在被輸入到該緩衝器之前放大從該解碼器輸出的該輸出向量的該類比樣本。
17. 如請求項11所述的VR頭戴式裝置，其中該源極驅動器不包括用於將數位像素資料轉換為類比像素資料的一數位類比轉換器（DAC）。
18. 如請求項11所述的VR頭戴式裝置，其中該顯示面板包括C個列，其中L個輸出電位準的該組以頻率（SSVT）被串列接收，其中N個類比樣本的該輸出向量的每個從該解碼器以頻率freq(sample) = freq(SSVT)/N輸出，並且其中該緩衝器以頻率freq(line) = freq(sample) x N / C並行輸出N個類比樣本的該輸出向量。
19. 如請求項11所述的VR頭戴式裝置，其中L個輸出電位準的該組在該接收器處被串列接收，並且N個類比樣本的該每個輸出向量從該解碼器並行輸出。
20. 如請求項11所述的VR頭戴式裝置，進一步包括： 一第二電磁路徑，經由該第二電磁路徑將L輸出電位準的該組作為第二類比波形從該頭戴式裝置處理器發送，其中該VR面罩進一步包括具有一第二源極驅動器的一第二顯示器，該第二源極驅動器從該第二類比波形接收該L個輸出電位準的該組。
21. 如請求項11所述的VR頭戴式裝置，其中該N個視訊樣本中的一個具有代表一化學氣味或一觸覺感覺的一值，該VR面罩進一步包括用於基於對應於該視訊樣本中的該一個的該N個類比樣本中的一個的值為使用者再現該化學氣味或該觸覺感覺的一裝置。

Images