TW202215106A - 包含像素強度的數位及類比控制之人工實境系統 - Google Patents

Abstract

電子顯示裝置包含像素強度之數位及類比控制。一數位像素控制電路及一類比像素控制電路經提供於每一像素內。該數位像素控制電路採用數位PWM技術以控制每一訊框內之子訊框的一數目，在每一訊框期間一驅動電流經供應至該像素內之一發光元件。該類比像素控制電路控制在該訊框期間經供應至該像素內之該發光元件的該驅動電流之位準。在一個實例中，該數位像素控制電路及該類比像素控制電路可一起控制像素強度，其中該類比像素控制電路為了增加色深而提供額外像素內（in-pixel）位元。或者，該數位像素控制電路可控制像素強度且該類比像素控制電路可控制不均勻性補償。

Description

包含像素強度的數位及類比控制之人工實境系統

本發明大體而言係關於人工實境系統（諸如擴增實境、混合實境及/或虛擬實境系統）及用於這些及其他電子系統中之像素強度之控制的系統及方法。

人工實境系統在諸如電腦遊戲、健康及安全、工業及教育之許多領域中的應用正變得愈來愈普遍。作為幾個實例，人工實境系統正併入行動裝置、遊戲控制台、個人電腦、電影院及主題公園中。一般而言，人工實境為在呈現給使用者之前已以某一方式調整的實境形式，其可包含例如虛擬實境、擴增實境、混合實境、混雜實境或其某一組合及/或衍生物。

典型人工實境系統包含用於向使用者顯現及顯示內容之一或多個裝置。作為一個實例，人工實境系統可併入由使用者穿戴且經組態以將人工實境內容輸出至使用者之頭戴式顯示器（head-mounted display；HMD）。人工實境內容可完全包括由系統產生之內容或可包含與所擷取內容（例如，真實世界視訊及/或影像）組合之所產生內容。在操作期間，使用者典型地與人工實境系統互動以選擇內容、啟動應用程式、組態系統且（一般而言）體驗人工實境環境。一些人工實境系統利用具有用於聚集及處理感測器資料及向使用者顯示人工實境內容之複雜功能性的專用積體電路，常常被稱作系統單晶片（System on a Chip；SoC）。

在一個實例中，本發明係關於一種人工實境系統，其包括經組態以輸出人工實境內容之一頭戴式顯示器（head mounted display；HMD），該HMD包含至少一個顯示裝置，該至少一個顯示裝置包括複數個像素，其中該複數個像素中之每一者包括：一發光元件；一數位像素控制電路，其產生控制一訊框中之子訊框的數目的一脈寬調變（pulse width modulation；PWM）輸出信號，在該訊框的期間一驅動電流經提供至該發光元件；及一類比像素控制電路，其控制在該訊框中經提供至該發光元件的該驅動電流之位準。

在另一實例中，本發明係關於一種包括複數個像素之顯示裝置，其中該複數個像素中之每一者包括：一發光元件；一數位像素控制電路，其產生控制一訊框中之子訊框的數目的一脈寬調變（pulse width modulation；PWM）輸出信號，在該訊框的期間一驅動電流經提供至該發光元件；及一類比像素控制電路，其控制在該訊框的期間經提供至該發光元件的該驅動電流之位準。

在另一實例中，本發明係關於一種方法，包括：運用數位像素控制電路產生控制一訊框中之子訊框的數目的一脈寬調變（pulse width modulation；PWM）輸出信號，在該訊框的期間一驅動電流經提供至一顯示裝置之一像素的一發光元件；及運用類比像素控制電路控制在該訊框的期間經提供至該發光元件的該驅動電流之位準。

一或多個實例之細節陳述於隨附圖式及以下描述中。其他特徵將自描述及圖式且自申請專利範圍而顯而易見。

在電子顯示裝置中，顯示器之每一像素內的發光二極體（light emitting diode；LED）之亮度或強度位準可受數位像素驅動機制或類比像素驅動機制控制。在數位脈衝寬度調變（PWM）機制中，每一像素經供應有恆定電流且像素強度藉由基於控制字組之位元值改變像素之發射時間來控制。在類比機制中，每一像素之發射時間係恆定的且像素強度藉由改變用於驅動像素之電流來控制。然而，為了在數位PWM機制中提供強度控制之 n位元，每一像素需要 n個1位元記憶體單元以在每一訊框中儲存像素強度值。與人工實境系統相關聯的極小顯示器大小限制可用於此類記憶體單元之實際區域。舉例而言，人工實境顯示器之尺寸可為約2×2毫米（mm）。因此，像素強度之較少位準可歸因於可裝入每一像素中以儲存強度值的記憶體單元之減小數目而可用於較小顯示器大小。

另外，顯示裝置中之不同LED即使當其被以相同方式驅動時仍可發射不同亮度位準之光。此不均勻性可歸因於製造程序之變化、顯示面板總成之不一致，或各種其他原因。

一般而言，根據本發明中所描述之技術，顯示裝置使用包含每一像素內的數位像素控制電路及類比像素控制電路之混合像素控制電路提供顯示器中之像素之強度的控制。數位像素控制電路採用數位PWM技術以控制訊框期間驅動電流經提供至像素的訊框中之子訊框的數目（換言之，訊框期間像素發射光的每一訊框內之子訊框的數目）。類比像素控制電路控制在訊框期間被供應至像素的驅動電流之位準。在一些實例中，每一像素的灰階強度位準之總數目由二進位 n+ m位元控制字組界定，其中 n位元界定訊框期間驅動電流被供應至如藉由數位像素控制電路所判定之像素的訊框中之子訊框的數目且 m位元界定藉由類比像素控制電路供應至像素的驅動電流之位準。每一像素之強度位準之總數目因此為2 ^n+m。

替代地，在其他實例中， n個位元可由數位像素控制電路使用以用於對像素強度進行數位PWM控制且 m個位元可由類比像素控制電路使用以控制經提供至每一像素中之發光元件的驅動電流以用於不均勻性補償。

在一些實例中，類比像素控制電路包含儲存電容器及電晶體。儲存電容器之輸入端子連接至電晶體之輸出端子。在一些實例中，在訊框之開始處，電容器基於對應於像素之強度位準的 n+ m位元控制字組之 m個位元而充電至預定電壓。在每一訊框期間，儲存於電容器中之電壓判定被供應至像素中之發光元件的驅動電流之位準。在其他實例中，對於每一訊框，電容器基於對應於像素之不均勻性補償值的 m位元控制字組之m個位元而充電至相同預定電壓。儲存於電容器中之電壓判定被供應至像素的驅動電流之位準。

以此方式，混合數位及類比像素驅動架構可提供強度控制之 n+ m位元，同時需要僅僅 n個1位元記憶體單元用於對於每一像素實施數位像素控制電路。同時，可使用單一電容器及單一電晶體實施類比像素控制電路。藉由提供強度控制之 n+ m位元及減少每一像素中所需要的記憶體單元之數目，此實施方案可有利於極小顯示器大小。替代地，藉由數位像素控制電路所提供的 n位元可用於強度控制且藉由類比像素控制電路所提供的 m位元可用於程式化顯示器以用於不均勻性補償。

圖1A為描繪根據本發明中所描述之技術的其中HMD包含像素強度之數位及類比控制的實例多裝置人工實境系統之方塊圖。在圖1A之實例中，人工實境系統10包含HMD 112、周邊裝置136，且可在一些實例中包含一或多個外部感測器90及/或控制台106。

如所展示，HMD 112典型地由使用者110穿戴，且包括用於將人工實境內容122呈現給使用者110之電子顯示器及光學總成。另外，HMD 112包含用於追蹤HMD 112之運動的一或多個感測器（例如，加速計），且可包含用於俘獲周圍實體環境之影像資料之一或多個影像俘獲裝置138（例如，攝影機、線掃描器）。儘管說明為頭戴式顯示器，但AR系統10可替代地或另外包含用於向使用者110呈現人工實境內容122之眼鏡或其他顯示裝置。

在此實例中，控制台106經展示為單個計算裝置，諸如遊戲控制台、工作站、桌上型電腦或膝上型電腦。在其他實例中，控制台106可跨越諸如分佈式計算網路、資料中心或雲端計算系統之複數個計算裝置而分佈。如此實例中所展示，控制台106、HMD 112及感測器90可經由網路104以通信方式耦接，該網路可為有線或無線網路，諸如Wi-Fi、網狀網路或短程無線通信媒體或其組合。儘管HMD 112在此實例中展示為與控制台106通信，例如繫鏈至該控制台或與該控制台無線通信，但在一些實施方案中，HMD 112用作獨立的行動人工實境系統。

一般而言，人工實境系統10使用自真實世界之3D實體環境俘獲的資訊以顯現人工實境內容122，以供向使用者110顯示。在圖1A之實例中，使用者110觀看藉由在HMD 112及/或控制台106上執行之人工實境應用程式建構及顯現之人工實境內容122。在一些實例中，人工實境內容122可包括真實世界影像（例如，手132、周邊裝置136、牆壁121）及虛擬物件（例如，虛擬內容物品124、126及虛擬使用者介面137）的混合物以產生混合實境及/或擴增實境。在一些實例中，虛擬內容物品124、126可映射（例如，釘紮、鎖定、置放）至人工實境內容122內之特定位置。舉例而言，虛擬內容物品之位置可相對於牆壁121或大地中之一者而固定。舉例而言，虛擬內容物品之位置可相對於周邊裝置136或使用者而變化。在一些實例中，人工實境內容122內之虛擬內容物品的特定位置與真實世界實體環境內（例如，在實體物件之表面上）的位置相關聯。

在此實例中，周邊裝置136為具有表面之實體真實世界裝置，在該表面上AR系統10重疊虛擬使用者介面137。周邊裝置136可包括一或多個存在敏感表面，其藉由偵測在存在敏感表面之方位上方觸控或懸停之一或多個物件（例如，手指、尖筆）之存在來偵測使用者輸入。在一些實例中，周邊裝置136可包含輸出顯示器，其可為存在敏感顯示器。在一些實例中，周邊裝置136可為智慧型電話、平板電腦、個人資料助理（personal data assistant；PDA）或其他手持式裝置。在一些實例中，周邊裝置136可為智慧型手錶、智慧型戒指或其他可穿戴式裝置。周邊裝置136亦可為查詢一體機或其他靜止或行動系統之部分。周邊裝置136可或可不包含用於將內容輸出至螢幕之顯示裝置。

在圖1A中所展示之實例人工實境體驗中，虛擬內容物品124、126經映射至牆壁121上之位置。圖1A中之實例亦展示虛擬內容物品124部分地出現在僅在人工實境內容122內之牆壁121上，從而說明此虛擬內容並不存在於真實世界實體環境中。虛擬使用者介面137經映射至周邊裝置136之表面。因此，AR系統10在相對於人工實境環境中之周邊裝置136之位置鎖定的使用者介面位置處顯現虛擬使用者介面137以供在HMD 112處顯示為人工實境內容122之部分。圖1A展示虛擬使用者介面137出現在僅在人工實境內容122內之周邊裝置136上，從而說明此虛擬內容並不存在於真實世界實體環境中。

人工實境系統10可回應於虛擬內容物品之方位之至少一部分處於使用者110之視場130中的判定而顯現一或多個虛擬內容物品。舉例而言，人工實境系統10可僅在周邊裝置136在使用者110之視場130內時才顯現周邊裝置136上之虛擬使用者介面137。

在操作期間，人工實境應用程式藉由追蹤及計算參考座標（典型地為HMD 112之觀看視角）之姿勢資訊來建構人工實境內容122以供向使用者110顯示。使用HMD 112作為參考座標且基於如藉由HMD 112之當前所估計姿勢判定的當前視場130，人工實境應用程式顯現3D人工實境內容，該人工實境內容在一些實例中可至少部分地覆疊於使用者110之真實世界3D實體環境上。在此程序期間，人工實境應用程式使用自HMD 112接收到之感測到的資料，諸如移動資訊及使用者命令，且在一些實例中，使用來自任何外部感測器90，諸如外部攝影機之資料，以俘獲真實世界、實體環境內之3D資訊，諸如使用者110之運動及/或關於使用者110之特徵追蹤資訊。基於感測到之資料，人工實境應用程式判定HMD 112之參考座標之當前姿勢，且根據當前姿勢來顯現人工實境內容122。

人工實境系統10可觸發基於使用者110之當前視場130而產生及顯現虛擬內容物品，該當前視場如可由使用者之即時視線追蹤或其他條件判定。更特定言之，HMD 112之影像俘獲裝置138俘獲影像資料，該等影像資料表示真實世界之實體環境中之在影像俘獲裝置138之視場130內之物件。視場130典型地與HMD 112之觀看視角一致。在一些實例中，人工實境應用程式呈現包括混合實境及/或擴增實境之人工實境內容122。如圖1A中所說明，人工實境應用程式可顯現在沿虛擬物件之視場130內（諸如在人工實境內容122內）之真實世界物件（諸如周邊裝置136、使用者110之手132及/或手臂134之部分）之影像。在其他實例中，人工實境應用程式可在人工實境內容122內顯現在視場130內的周邊裝置136、使用者110之手132及/或手臂134的部分之虛擬表示（例如，將真實世界物件顯現為虛擬物件）。在任一實例中，使用者110能夠在人工實境內容122內觀看其手132、手臂134、周邊裝置136及/或在視場130內之任何其他真實世界物件的部分。在其他實例中，人工實境應用程式可能無法顯現使用者之手132或手臂134之表示。

在操作期間，人工實境系統10在藉由HMD 112之影像俘獲裝置138俘獲之影像資料內執行物件辨識以識別周邊裝置136、使用者110之手132（視需要包含識別個別手指或拇指）及/或手臂134之全部或部分。另外，人工實境系統10經由時間滑動窗口來追蹤周邊裝置136、手132（視需要包含手之特定手指）及/或手臂134之各部分之位置、定向及組態。在一些實例中，周邊裝置136包含用於追蹤周邊裝置136之運動或定向之一或多個感測器（例如，加速計）。

如上文所描述，人工實境系統10之多個裝置可在AR環境中協同工作，其中每一裝置可為一或多個實體裝置內之分離實體電子裝置及/或分離積體電路（例如，系統單晶片（SOC））。在此實例中，周邊裝置136與HMD 112操作性地配對以在AR系統10內聯合地操作從而提供人工實境體驗。舉例而言，周邊裝置136及HMD 112可彼此通信作為共處理裝置。作為一個實例，當使用者在虛擬環境中在對應於覆疊於周邊裝置136上之虛擬使用者介面137之虛擬使用者介面元件中之一者的方位處執行使用者介面手勢時，AR系統10偵測使用者介面且執行經顯現至HMD 112之動作。

在一些實例實施方案中，如本文所描述，周邊裝置136及HMD 112可各自包含經組態以支援人工實境/虛擬實境應用程式之一或多個系統單晶片（SoC）積體電路，諸如作為共應用程式處理器操作之SoC、感測器聚焦器、顯示控制器等。

根據本發明之技術，HMD 112包含像素強度之數位及類比控制。舉例而言，HMD 112可包含一混合像素控制電路，該混合像素控制電路包含在每一像素內之數位像素控制電路及類比像素控制電路。在一些實例中，數位像素控制電路及類比像素控制電路為每一像素提供灰階強度控制之 n+ m位元。替代地， n個位元可藉由數位像素控制電路使用以用於灰階像素強度的數位PWM控制且 m個位元可藉由類比像素控制電路使用以用於控制經提供至像素之驅動電流以用於不均勻性補償。

圖1B為描繪根據本發明中所描述之技術的其中HMD包含像素強度之數位及類比控制的另一實例多裝置人工實境系統之方塊圖。類似於圖1A之人工實境系統10，在一些實例中，圖1B之人工實境系統20可相對於多使用者人工實境環境內之虛擬表面產生及顯現虛擬內容物品。在各種實例中，人工實境系統20亦可回應於藉由使用者偵測到與周邊裝置136之一或多個特定交互而向使用者產生及顯現某些虛擬內容物品及/或圖形使用者介面元件。舉例而言，周邊裝置136可充當供使用者「進行活動（stage）」之舞台裝置或以其他方式與虛擬表面交互。

在圖1B之實例中，人工實境系統20包含外部攝影機102A及102B（統稱為「外部攝影機102」）、HMD 112A至112C（統稱為「HMD 112」）、控制器114A及114B（統稱為「控制器114」）、控制台106及感測器90。如圖1B中所展示，人工實境系統20表示多使用者環境，其中在控制台106及/或HMD 112上執行之人工實境應用程式基於各別使用者之對應參考座標之當前觀看視角向使用者110A至110C（統稱為「使用者110」）中之每一者呈現人工實境內容。亦即，在此實例中，人工實境應用程式藉由追蹤及計算HMD 112中之每一者之參考座標之姿勢資訊來建構人工內容。人工實境系統20使用自攝影機102、HMD 112及控制器114接收之資料來俘獲真實世界環境內之3D資訊，諸如使用者110之運動及/或關於使用者110及物件108之追蹤資訊，以用於計算HMD 112之對應參考座標之更新後姿勢資訊。作為一個實例，人工實境應用程式可基於針對HMD 112C判定之當前觀看視角將具有虛擬物件128A至128B（統稱為「虛擬物件128」）之人工實境內容122顯現為在空間上覆疊於真實世界物件108A至108B（統稱為「真實世界物件108」）上。另外，自HMD 112C之視角，人工實境系統20分別基於使用者110A、110B之所估計位置而呈現虛擬使用者120A、120B。

HMD 112中之每一者在人工實境系統20內並行地操作。在圖1B之實例中，使用者110中之每一者可為人工實境應用程式中之「玩家」或「參與者」，且使用者110中之任一者可為人工實境應用程式中之「觀眾」或「觀察者」。HMD 112C可藉由追蹤使用者110C之手132及/或手臂134且將手132在視場130內之部分顯現為人工實境內容122內之虛擬手132實質上類似於圖1A之HMD 112而操作。HMD 112B可自藉由使用者110B固持之控制器114接收使用者輸入。在一些實例中，控制器114A及/或114B可對應於圖1A之周邊裝置136且以實質上類似於圖1A之周邊裝置136之方式操作。HMD 112A亦可以實質上類似於圖1A之HMD 112之方式操作且接收呈手勢形式之使用者輸入，該等手勢藉由使用者110A之手132A、132B執行於周邊裝置136上或用周邊裝置136執行。HMD 112B可自藉由使用者110B固持之控制器114接收使用者輸入。控制器114可使用短程無線通信之近場通信（諸如藍芽）、使用有線通信鏈路或使用其他類型之通信鏈路來與HMD 112B通信。

以類似於上文關於圖1A所論述的之實例之方式，人工實境系統20之控制台106及/或HMD 112C產生及顯現虛擬表面，該虛擬表面包括虛擬內容物品129（例如，GIF、相片、應用程式、即時串流、視訊、文字、網路瀏覽器、繪圖、動畫、3D模型、資料檔案之表示（包括二維及三維資料集）或任何其他可見媒體），當與虛擬內容物品129相關聯之牆壁121之部分出現在HMD 112C的視場130內時，該虛擬表面可覆疊於向使用者110C顯示之人工實境內容122上。如圖1B中所展示，除了經由HMD 112C之攝影機138俘獲的影像資料之外或替代經由HMD 112C之攝影機138俘獲的影像資料，來自外部攝影機102之輸入資料可用於追蹤及偵測周邊裝置136及/或使用者110之手及手臂（諸如使用者110C之手132）的特定運動、組態、位置及/或位向，包含手之指頭（手指、拇指）之個別者及/或組合之移動。

在一些態樣中，人工實境應用程式可在控制台106上運行，且可利用影像俘獲裝置102A及102B以分析手132B之組態、位置及/或定向，從而識別可由HMD 112A之使用者執行的輸入手勢。類似地，HMD 112C可利用影像俘獲裝置138來分析周邊裝置136及手132C之組態、位置及/或定向以可由HMD 112C之使用者執行的輸入手勢。在一些實例中，周邊裝置136包含用於追蹤周邊裝置136之運動或定向之一或多個感測器（例如，加速計）。人工實境應用程式可回應於此等手勢、運動及位向以類似於上文關於圖1A所描述之方式的方式顯現虛擬內容物品及/或UI元件。

影像俘獲裝置102及138可俘獲可見光譜、紅外光譜或其他光譜中之影像。本文中所描述之用於識別物件、物件姿勢及手勢的影像處理例如可包含處理紅外影像、可見光譜影像等等。

人工實境系統20之裝置可在AR環境中協同工作。舉例而言，周邊裝置136與HMD 112C配對以在AR系統20內聯合地操作。類似地，控制器114與HMD 112B配對以在AR系統20內聯合地操作。周邊裝置136、HMD 112及控制器114可各自包含經組態以能夠實現用於人工實境應用程式之操作環境的一或多個SoC積體電路。

根據本發明之技術，HMD 112A、112B及/或112C中之任一者包含像素強度之數位及類比控制。舉例而言，HMD 112中之任一者可包含一混合像素控制電路，該混合像素控制電路包含在每一像素內之數位像素控制電路及類比像素控制電路。在一些實例中，數位像素控制電路及類比像素控制電路為每一像素提供灰階強度控制之 n+ m位元。替代地， n個位元可藉由數位像素控制電路使用以用於灰階像素強度的數位PWM控制且 m個位元可藉由類比像素控制電路使用以用於控制經提供至像素之驅動電流以用於不均勻性補償。

圖2A為描繪根據本發明中所描述之技術的包含像素強度之數位及類比控制的實例HMD 112及實例周邊裝置之方塊圖。圖2A之HMD 112可為圖1A及圖1B之HMD 112中之任一者之實例。HMD 112可為人工實境系統（諸如圖1A、圖1B之人工實境系統10、20）之部分，或可操作為經組態以實施本文中所描述之技術之獨立之行動人工實境系統。

在此實例中，HMD 112包含前部剛性主體及用以將HMD 112緊固至使用者之帶件。另外，HMD 112包含經組態以將人工實境內容呈現給使用者之內向電子顯示器203。電子顯示器203可為任何合適之顯示器技術，諸如液晶顯示器（liquid crystal display；LCD）、量子點顯示器、點矩陣顯示器、發光二極體（LED）顯示器、有機發光二極體（organic light-emitting diode；OLED）顯示器、陰極射線管（cathode ray tube；CRT）顯示器、電子墨水或單色顯示器、彩色顯示器，或能夠產生視覺輸出之任何其他類型之顯示器。在一些實例中，電子顯示器為用於向使用者之每一眼睛提供單獨影像之戴眼鏡式立體顯示器。在一些實例中，當追蹤HMD 112之位置及定向以用於根據HMD 112及使用者之當前觀看視角來顯現人工實境內容時，將顯示器203相對於HMD 112之前剛體之已知定向及位置用作參考座標，亦稱為本端原點。在其他實例中，HMD 112可呈其他可穿戴的頭戴式顯示器形式，諸如眼鏡或護目鏡。

如圖2A中進一步所展示，在此實例中，HMD 112進一步包含：一或多個運動感測器206，諸如一或多個加速度計（亦被稱作慣性量測單元或「IMU」），該一或多個加速度計輸出指示HMD 112之當前加速度的資料；GPS感測器，其輸出指示HMD 112之方位的資料；雷達或聲納，其輸出指示HMD 112距各種物件之距離的資料；或其他感測器，其提供HMD 112或實體環境內之其他物件之方位或定向的指示。此外，HMD 112可包含整合式影像俘獲裝置138A及138B（統稱為「影像俘獲裝置138」），諸如視訊攝影機、雷射掃描器、都卜勒雷達掃描器、深度掃描器或其類似者，其經組態以輸出表示實體環境之影像資料。更具體而言，影像俘獲裝置138俘獲表示實體環境中之在影像俘獲裝置138之視場130A、130B內之物件（包括周邊裝置136及/或手132）的影像資料，該視場典型地與HMD 112之觀看視角一致。HMD 112包含內部控制單元210，其可包含內部電源及具有一或多個處理器、記憶體及硬體之一或多個印刷電路板，以提供用於執行可程式化操作以處理所感測資料且在顯示器203上呈現人工實境內容之操作環境。

在一個實例中，控制單元210經組態以基於所感測資料（例如，由影像俘獲裝置138及/或102俘獲之影像資料，來自GPS感測器之位置資訊）產生及顯現虛擬表面以供在顯示器203上顯示，該虛擬表面包括與影像俘獲裝置138之視場130A、130B內所含有之位置相關聯的一或多個虛擬內容物品（例如，圖1A之虛擬內容物品124、126）。如參考圖1A至1B所解釋，虛擬內容物品可與虛擬表面內之位置相關聯，該位置可與真實世界環境內的實體表面相關聯，且控制單元210可經組態以回應於與虛擬內容（或因此部分）相關聯之位置在當前視場130A、130B內之判定而顯現虛擬內容物品（或其部分）以供在顯示器203上顯示。在一些實例中，虛擬表面與平面或其他表面（例如，牆壁）上之位置相關聯，且當虛擬表面內所含有之任何虛擬內容物品的部分在視場130A、130B內時，控制單元210將產生及顯現彼等部分。

在一個實例中，控制單元210經組態以基於所感測資料而識別由使用者執行之特定手勢或手勢之組合，且作為回應，執行動作。舉例而言，回應於一個所識別手勢，控制單元210可在相對於周邊裝置136之位置鎖定的使用者介面位置處產生及顯現特定使用者介面以供在電子顯示器203上顯示。舉例而言，控制單元210可產生及顯現包含在周邊裝置136之表面220上或在周邊裝置136附近（例如，在周邊裝置136上方、下方或鄰近於周邊裝置136）之一或多個UI元件（例如，虛擬按鈕）的使用者介面。控制單元210可在由影像俘獲裝置138俘獲之影像資料內進行物件辨識，以識別周邊裝置136及/或使用者之手132、手指、拇指、手臂或另一部分，且追蹤周邊裝置136及/或使用者之所識別部分之移動、位置、組態等，從而識別由使用者執行之預定義手勢。回應於識別預定義手勢，控制單元210採取一些動作，諸如自與使用者介面相關聯之選項集合選擇選項（例如，自UI選單選擇選項），將手勢轉換成輸入（例如，字組），啟動應用程式，操控虛擬內容（例如，移動、旋轉虛擬內容物品），產生及顯現虛擬標記，產生及顯現雷射指標或以其他方式顯示內容及其類似者。舉例而言，控制單元210可回應於偵測到指定為用於顯露使用者介面（例如，將周邊裝置轉動至橫向或水平定向（圖中未示））之「觸發事件」的預定義手勢而動態地產生及呈現使用者介面，諸如選單。在一些實例中，控制單元210基於所感測資料相對於所顯現之使用者介面偵測使用者輸入（例如，對虛擬UI元件執行之輕敲手勢）。在一些實例中，控制單元210回應於來自可執行物件辨識、運動追蹤及手勢偵測或其任何部分之外部裝置（諸如控制台106）之方向而執行此類功能。

作為一實例，控制單元210可利用影像俘獲裝置138A及138B來分析周邊裝置136、手132及/或手臂134之組態、位置、移動及/或定向，以識別可由使用者相對於周邊裝置136執行的使用者介面手勢、選擇手勢、壓印手勢、平移手勢、旋轉手勢、繪製手勢、指向手勢等。控制單元210可顯現UI選單（包含UI元件）及/或虛擬表面（包含任何虛擬內容物品），且使得使用者能夠基於由使用者相對於周邊裝置執行之使用者介面手勢、選擇手勢、壓印手勢、平移手勢、旋轉手勢及繪製手勢的偵測而與UI選單及/或虛擬表面介接，如在下文更詳細地描述。

在一個實例中，周邊裝置136之表面220為存在敏感表面，諸如使用電容、導電、電阻、聲學或其他技術來偵測觸控及/或懸停輸入之表面。在一些實例中，周邊裝置136之表面220為觸控螢幕（例如，電容觸控螢幕、電阻觸控螢幕、表面聲波（surface acoustic wave；SAW）觸控螢幕、紅外線觸控螢幕、光學成像觸控螢幕、聲波脈衝辨識觸控螢幕或任何其他觸控螢幕）。在此類實例中，周邊裝置136可在觸控螢幕220上顯現使用者介面或其他虛擬元件（例如，虛擬標記）且偵測觸控螢幕220上之使用者輸入（例如，觸控或懸停輸入）。在該實例中，周邊裝置136可使用無線通信鏈路（例如，Wi-Fi、諸如藍牙的短程無線通信之近場通信）、使用有線通信鏈路（圖中未示）或使用其他類型之通信鏈路將任何所偵測使用者輸入傳達至HMD 112（及/或圖1A之控制台106）。在一些實例中，周邊裝置可包含用於與虛擬內容互動（例如，以選擇虛擬UI元件、遍歷虛擬UI元件）的一或多個輸入裝置（例如，按鈕、軌跡球、滾輪）。

根據本發明之技術，圖2A之HMD 112包含像素強度之數位及類比控制。舉例而言，HMD 112可包含一混合像素控制電路，該混合像素控制電路包含在每一像素內之數位像素控制電路及類比像素控制電路。在一些實例中，數位像素控制電路及類比像素控制電路為每一像素提供灰階強度控制之 n+ m位元。替代地， n個位元可藉由數位像素控制電路使用以用於灰階像素強度的數位PWM控制且 m個位元可藉由類比像素控制電路使用以用於控制經提供至像素之驅動電流以用於不均勻性補償。

圖2B為描繪根據本發明中所描述之技術的包含像素強度之數位及類比控制的另一實例HMD 112之方塊圖。如圖2B中所展示，HMD 112可呈眼鏡形式。圖2A之HMD 112可為圖1A及圖1B之HMD 112中之任一者之實例。HMD 112可為人工實境系統（諸如圖1A、圖1B之人工實境系統10、20）之部分，或可操作為經組態以實施本文中所描述之技術之獨立之行動人工實境系統。

在此實例中，HMD 112為眼鏡，眼鏡包括：前部框架，其包含橋接件以允許HMD 112擱置於使用者之鼻子上；及鏡腿（或「臂」），其在使用者之耳朵上延伸以將HMD 112緊固至使用者。另外，圖2B之HMD 112包含經組態以將人工實境內容呈現給使用者之內向電子顯示器203A及203B（統稱為「電子顯示器203」）。電子顯示器203可為任何合適之顯示器技術，諸如液晶顯示器（LCD）、量子點顯示器、點矩陣顯示器、發光二極體（LED）顯示器、有機發光二極體（OLED）顯示器、陰極射線管（CRT）顯示器、電子墨水或單色顯示器、彩色顯示器或能夠產生視覺輸出之任何其他類型之顯示器。在圖2B中所展示之實例中，電子顯示器203形成用於將分離影像提供至使用者之每只眼睛的戴眼鏡式立體顯示器。在一些實例中，當追蹤HMD 112之位置及定向以用於根據HMD 112及使用者之當前觀看視角來顯現人工實境內容時，將顯示器203相對於HMD 112之前部框架的已知定向及位置用作參考座標，亦稱為本地原點。

如圖2B中進一步所展示，在此實例中，HMD 112進一步包含：一或多個運動感測器206，諸如一或多個加速計（亦被稱作慣性量測單元或「IMU」），該一或多個加速計輸出指示HMD 112之當前加速度的資料；GPS感測器，其輸出指示HMD 112之方位的資料；雷達或聲納，其輸出指示HMD 112距各種物件之距離的資料；或其他感測器，其提供HMD 112或實體環境內之其他物件之方位或定向的指示。此外，HMD 112可包含整合式影像俘獲裝置138A及138B（統稱為「影像俘獲裝置138」），諸如視訊攝影機、雷射掃描器、都卜勒雷達掃描器、深度掃描器或其類似者，其經組態以輸出表示實體環境之影像資料。HMD 112包含內部控制單元210，其可包含內部電源及具有一或多個處理器、記憶體及硬體之一或多個印刷電路板，以提供用於執行可程式化操作以處理所感測資料且在顯示器203上呈現人工實境內容之操作環境。

根據本發明之技術，圖2B之HMD 112包含像素強度之數位及類比控制。舉例而言，HMD 112可包含一混合像素控制電路，該混合像素控制電路包含在每一像素內之數位像素控制電路及類比像素控制電路。在一些實例中，數位像素控制電路及類比像素控制電路為每一像素提供灰階強度控制之 n+ m位元。替代地， n個位元可藉由數位像素控制電路使用以用於灰階像素強度的數位PWM控制且 m個位元可藉由類比像素控制電路使用以用於控制經提供至像素之驅動電流以用於不均勻性補償。

圖3為展示根據本發明中所描述之技術的圖1A、圖1B之多裝置人工實境系統10、20之控制台106、包含像素強度之數位及類比控制的HMD 112及周邊裝置136的實例實施方案之方塊圖。在圖3之實例中，控制台106基於感測到之資料，諸如自HMD 112及/或外部感測器接收到之運動資料及影像資料，來針對HMD 112執行姿勢追蹤、手勢偵測及使用者介面及虛擬表面產生及顯現。

在此實例中，HMD 112包含一或多個處理器302及記憶體304，在一些實例中，該等處理器302及記憶體304提供用於執行作業系統305之電腦平台，該作業系統305可為例如嵌入式、即時多任務作業系統或其他類型之作業系統。隨後，作業系統305提供用於執行一或多個軟體組件307（包含應用程式引擎340）之多任務操作環境。如關於圖2A及圖2B之實例所論述，處理器302耦接至電子顯示器203、運動感測器206及影像俘獲裝置138。在一些實例中，處理器302及記憶體304可為分離的離散組件。在其他實例中，記憶體304可為與處理器302共置於單一積體電路內之晶片上記憶體。

一般而言，控制台106為計算裝置，該計算裝置處理自攝影機102（圖1B）及/或HMD 112之影像俘獲裝置138（圖1A、圖2A、圖2B）接收到之影像及追蹤資訊以執行用於HMD 112之手勢偵測及使用者介面及/或虛擬內容產生。在一些實例中，控制台106為單一計算裝置，諸如工作站、桌上型電腦、膝上型電腦或遊戲系統。在一些實例中，諸如處理器312及/或記憶體314之控制台106之至少一部分可跨越雲端計算系統、資料中心或跨越網路而分佈，該網路諸如網際網路、另一公用或專用通信網路，例如寬頻、蜂巢式、Wi-Fi及/或用於在計算系統、伺服器及計算裝置之間傳輸資料之其他類型之通信網路。

在圖3之實例中，控制台106包含一或多個處理器312及記憶體314，在一些實例中，該等處理器312及記憶體314提供用於執行作業系統316之電腦平台，該作業系統316可為例如嵌入式、即時多任務作業系統或其他類型之作業系統。隨後，作業系統316提供用於執行一或多個軟體組件317之多任務操作環境。處理器312耦接至一或多個I/O介面315，其提供用於與諸如鍵盤、遊戲控制器、顯示裝置、影像俘獲裝置、HMD、周邊裝置及類似者之外部裝置通信之一或多個I/O介面。另外，一或多個I/O介面315可包括用於與諸如網路104之網路通信的一或多個有線或無線網路介面控制器（network interface controller；NIC）。

控制台106之軟體組件317操作以提供整個人工實境應用程式。在此實例中，軟體組件317包含應用程式引擎320、顯現引擎322、手勢偵測器324、姿勢追蹤器326，及使用者介面引擎。

一般而言，應用程式引擎320包含提供及呈現例如以下各者之人工實境應用程式的功能性：電話會議應用程式、遊戲應用程式、導航應用程式、教學應用程式、訓練或模擬應用程式，及其類似者。應用程式引擎320可包含例如用於在控制台106上實施人工實境應用程式之一或多個套裝軟體、軟體程式庫、硬體驅動程式及/或應用程式介面（Application Program Interface；API）。回應於應用程式引擎320進行的控制，顯現引擎322產生3D人工實境內容以藉由HMD 112之應用程式引擎340向使用者顯示。

應用程式引擎320及顯現引擎322根據如藉由姿勢追蹤器326判定之針對參考座標（典型地HMD 112之觀看視角）之當前姿勢資訊來建構人工內容以供向使用者110顯示。基於當前觀看視角，顯現引擎322建構3D人工實境內容，其在一些情況下可至少部分地覆蓋於使用者110之真實世界3D環境上。在此程序期間，姿勢追蹤器326對自HMD 112接收到之感測到的資料進行操作，資料諸如移動資訊及使用者命令及在一些實例中為來自任何外部感測器90（圖1A、圖1B），諸如外部攝影機之資料，以俘獲真實世界環境內之3D資訊，諸如使用者110之運動及/或關於使用者110之特徵追蹤資訊。基於感測到之資料，姿勢追蹤器326判定HMD 112之參考座標之當前姿勢，且根據當前姿勢來建構人工實境內容以用於經由一或多個I/O介面315傳達至HMD 112，以供向使用者110顯示。

姿勢追蹤器326可判定周邊裝置136之當前姿勢，且根據當前姿勢，觸發與任何所顯現虛擬內容相關聯之某些功能性（例如，將虛擬內容物品置放至虛擬表面上，操縱虛擬內容物品，產生並顯現一或多個虛擬標記，產生並顯現雷射指標）。在一些實例中，姿勢追蹤器326偵測HMD 112是否接近於對應於虛擬表面（例如，虛擬插接板）之實體位置，以觸發虛擬內容之顯現。

使用者介面引擎328經組態以產生虛擬使用者介面以供在人工實境環境中顯現。使用者介面引擎328產生虛擬使用者介面以包含一或多個虛擬使用者介面元件329，諸如虛擬繪製介面、可選選單（例如，下拉式選單）、虛擬按鈕、方向鍵（directional pad）、鍵盤或其他使用者可選使用者介面元件、字符、顯示元件、內容、使用者介面控制件等等。顯現引擎322經組態以基於周邊裝置136之當前姿勢在人工實境環境中在相對於人工實境環境中之周邊裝置136之位置鎖定的使用者介面位置處顯現虛擬使用者介面。使用者介面位置可為存在敏感表面220中之一者的位置，且顯現引擎322可縮放、旋轉及以其他方式使虛擬使用者介面變換以應用投影來匹配存在敏感表面220之姿勢、大小及視角，使得虛擬使用者介面在人工實境環境中呈現為覆疊於存在敏感表面220上。使用者介面引擎328可將虛擬使用者介面產生為部分透明的，從而允許存在敏感表面220被使用者看見。此透明程度可為可組態的。

控制台106可經由通信通道將此虛擬使用者介面及其他人工實境內容輸出至HMD 112以供在HMD 112處顯示。顯現引擎322接收周邊裝置136之姿勢資訊以不斷地更新使用者介面位置及姿勢以匹配周邊裝置136之位置及姿勢，諸如存在敏感表面220中之一者的位置及姿勢。

基於來自影像俘獲裝置138或102、存在敏感表面220或其他感測器裝置中之任一者的所感測資料，手勢偵測器324分析周邊裝置136及/或使用者之物件（例如，手、手臂、手腕、手指、手掌、拇指）之所追蹤運動、組態、位置及/或定向，以識別由使用者110執行之一或多個手勢。更具體而言，手勢偵測器324分析在由HMD 112之影像俘獲裝置138及/或感測器90及外部攝影機102俘獲之影像資料內辨識之物件，以識別周邊裝置136及/或使用者110之手及/或手臂，且追蹤周邊裝置136、手及/或手臂相對於HMD 112之移動以識別由使用者110執行之手勢。在一些實例中，手勢偵測器324可基於所俘獲的圖像資料來追蹤移動，包括周邊裝置136、手、指頭及/或手臂之位置及定向之改變，且將物件之運動向量與手勢庫330中之一或多個條目進行比較以偵測由使用者110執行之手勢或手勢之組合。在一些實例中，手勢偵測器324可接收由周邊裝置之存在敏感表面偵測到之使用者輸入且處理該等使用者輸入以偵測由使用者110相對於周邊裝置136執行之一或多個手勢。

手勢偵測器324及手勢庫330可整體或部分地分佈至周邊裝置136以在周邊裝置136上處理使用者輸入從而偵測手勢。在此類情況下，存在敏感表面220偵測表面之方位處之使用者輸入。執行手勢偵測器324之周邊裝置136可處理使用者輸入來偵測手勢庫330之一或多個手勢。周邊裝置136可將所偵測手勢之指示發送至控制台106及/或HMD 112以使得控制台106及/或HMD 112回應性地執行一或多個動作。周邊裝置136可可替代地或另外將表面之方位處之使用者輸入的指示發送至控制台106，且手勢偵測器324可處理使用者輸入以偵測手勢庫330之一或多個手勢。

手勢庫330中之一些條目可各自將手勢定義為一系列運動或運動模式，諸如周邊裝置136、使用者之手、特定手指、拇指、手腕及/或手臂之相對路徑或空間平移及旋轉。手勢庫330中之一些條目可各自將手勢定義為周邊裝置、使用者之手及/或手臂（或其部分）在特定時間處或在一段時間內之組態、位置及/或定向。手勢庫330中之一些條目可各自將手勢定義為在時間內由周邊裝置136之存在敏感表面220偵測到之一或多個使用者輸入。手勢類型之其他實例係可能的。另外，手勢庫330中之條目中之每一者可針對所定義手勢或一系列手勢指定該手勢或一系列手勢觸發動作所需的條件，諸如與HMD 112之當前視場之空間關係、與當前由使用者觀察到之特定區之空間關係，如可藉由個人之即時視線追蹤、所顯示之人工內容之類型、所執行之應用程式之類型等所判定。

手勢庫330中之條目中之每一者進一步可針對所定義手勢中之每一者或手勢組合/一系列手勢指定待由軟體組件317執行之所要回應或動作。舉例而言，某些專用手勢可經預定義，使得回應於偵測到預定義手勢中之一者，使用者介面引擎328將使用者介面動態地產生為向使用者顯示之人工實境內容之覆蓋圖，藉此允許使用者110易於調用使用者介面以用於組態HMD 112及/或控制台106，即使在與人工實境內容互動時亦是如此。在其他實例中，某些手勢可與其他動作相關聯，該等其他動作諸如提供輸入、選擇虛擬物件（包括虛擬內容物品及/或UI元件）、平移（例如，移動、旋轉）虛擬物件、更改（例如，按比例調整、標註）虛擬物件、進行虛擬標記、啟動應用程式及類似者。

作為一實例，手勢庫330可包括描述周邊裝置手勢之條目，諸如使用者介面激活手勢、選單滾動手勢、選擇手勢、壓印手勢、平移手勢、旋轉手勢、拉伸手勢及/或指向手勢。手勢偵測器324可處理來自影像俘獲裝置138之影像資料以分析周邊裝置136及/或使用者之手的組態、位置、運動及/或定向，以識別可由使用者相對於周邊裝置136執行的使用者介面手勢、選擇手勢、壓印手勢、平移手勢、旋轉手勢、繪製手勢、指向手勢等。舉例而言，顯現引擎322可基於藉由手勢偵測器324偵測正執行及偵測之使用者介面手勢、藉由姿勢追蹤器326偵測到HMD 112接近於對應於虛擬插接板之虛擬位置的實體位置而顯現插接板使用者介面。使用者介面引擎328可定義所顯示之選單，且可控制回應於由選擇手勢引起之選擇而執行的動作。

在圖3中所展示實例中，周邊裝置136包含一或多個處理器346及記憶體344，在一些實例中，該等處理器346及記憶體344提供用於執行作業系統342之電腦平台，該作業系統342可為例如嵌入式、即時多任務作業系統或其他類型之作業系統。隨後，作業系統346提供用於執行一或多個軟體組件之多任務操作環境。在一些實例中，周邊裝置136包含一或多個存在敏感表面220（例如，使用電容、導電、電阻、聲學及/或其他技術來偵測觸控及/或懸停輸入之一或多個表面）。在一或多個態樣中，周邊裝置136可經組態以偵測存在敏感表面220處之觸控及/或懸停輸入，處理彼輸入（例如，在處理器346處）且將觸控及/或懸停輸入及關於彼輸入之資訊（包括關於彼輸入之方位資訊）傳達至控制台106及/或HMD 112。如關於圖2A之實例所論述，存在敏感表面220可包括觸控螢幕（例如，電容觸控螢幕、電阻觸控螢幕、表面聲波（SAW）觸控螢幕、紅外線觸控螢幕、光學成像觸控螢幕、聲波脈衝辨識觸控螢幕或任何其他觸控螢幕）。如圖3中進一步所展示，在此實例中，周邊裝置136進一步包含一或多個運動感測器348，諸如：一或多個加速計（亦稱為IMU），其輸出指示周邊裝置136之當前加速度的資料；GPS感測器，其輸出指示周邊裝置之方位或位置的資料；雷達或聲納，其輸出指示周邊裝置136距各種物件（例如，距牆壁或其他表面）之距離的資料；或其他感測器，其提供實體環境內之周邊裝置或其他物件之方位、位置及/或定向的指示。在一些實例中，處理器346耦接至存在敏感表面220及運動感測器246。在一些實例中，處理器346及記憶體344可為分離的離散組件。在其他實例中，記憶體344可為與處理器346共置於單一積體電路內之晶片上記憶體。在一或多個態樣中，周邊裝置136可與HMD共存，且在某一實例中操作為用於虛擬環境中之HMD之輔助輸入/輸出裝置。在一些實例中，周邊裝置136可操作為分擔HMD之功能中之一些的人工實境共處理裝置。在一或多個態樣中，周邊裝置136可為智慧型電話、平板電腦或其他手持式裝置。

在一些實例中，處理器302、312、346中之每一者可包含多核處理器、控制器、數位信號處理器（digital signal processor；DSP）、特殊應用積體電路（application specific integrated circuit；ASIC）、場可程式化閘陣列（field-programmable gate array；FPGA）或等效離散或整合邏輯電路中之任一或多者。記憶體304、314、344可包括用於儲存資料及可執行軟體指令之任何形式之記憶體，諸如隨機存取記憶體（random-access memory；RAM）、唯讀記憶體（read only memory；ROM）、可程式化唯讀記憶體（programmable read only memory；PROM）、可抹除可程式化唯讀記憶體（erasable programmable read only memory；EPROM）、電子可抹除可程式化唯讀記憶體（electronically erasable programmable read only memory；EEPROM）及快閃記憶體。

根據本發明之技術，圖3之HMD 112的電子顯示器203中之任一者可包含像素強度之數位及類比控制。舉例而言，電子顯示器203中之任一或多者可包含一混合像素控制電路，該混合像素控制電路包含在每一像素內之數位像素控制電路及類比像素控制電路。在一些實例中，數位像素控制電路及類比像素控制電路為每一像素提供灰階強度控制之 n+ m位元。替代地， n個位元可藉由數位像素控制電路使用以用於灰階像素強度的數位PWM控制且 m個位元可藉由類比像素控制電路使用以用於控制經提供至像素之驅動電流以用於不均勻性補償。

圖4為描繪根據本發明中描述之技術的其中手勢偵測、使用者介面產生及虛擬表面功能藉由圖1A、圖1B之人工實境系統之HMD 112執行且其中HMD包含像素強度之數位及類比控制的實例之方塊圖。

在此實例中，類似於圖3，HMD 112包含一或多個處理器302及記憶體304，在一些實例中，該等處理器302及記憶體304提供用於執行作業系統305之電腦平台，該作業系統305可為例如嵌入式、即時多任務作業系統或其他類型之作業系統。隨後，作業系統305提供用於執行一或多個軟體組件417之多任務操作環境。此外，處理器302耦接至電子顯示器203、運動感測器206及影像俘獲裝置138。

在圖4之實例中，軟體組件417操作以提供整個人工實境應用程式。在此實例中，軟體應用程式417包含應用程式引擎440、顯現引擎422、手勢偵測器424、姿勢追蹤器426，及使用者介面引擎428。在各種實例中，軟體組件417類似於圖3之控制台106之對應組件（例如，應用程式引擎320、顯現引擎322、手勢偵測器324、姿勢追蹤器326及使用者介面引擎328）操作，以建構覆疊於人工內容上或作為人工內容之部分的虛擬使用者介面以供向使用者110顯示。

類似於關於圖3所描述之實例，基於來自影像俘獲裝置138或102、周邊裝置136之存在敏感表面或其他感測器裝置中之任一者的所感測資料，手勢偵測器424分析周邊裝置136及/或使用者之物件（例如，手、手臂、手腕、手指、手掌、拇指）之所追蹤運動、組態、位置及/或定向以識別由使用者110執行的一或多個手勢。

更具體而言，手勢偵測器424可分析在由HMD 112之影像俘獲裝置138及/或感測器90及外部攝影機102俘獲之影像資料內辨識之物件，以識別周邊裝置136及/或使用者110之手及/或手臂，且追蹤周邊裝置136、手及/或手臂相對於HMD 112之移動以識別由使用者110執行之手勢。虛擬表面應用程式產生虛擬表面作為待向使用者110顯示之人工實境內容之部分（例如，覆疊於該人工實境內容上），及/或基於由手勢偵測器424偵測到之使用者110的一或多個手勢或手勢之組合而執行動作。手勢偵測器424可分析在由HMD 112之影像俘獲裝置138及/或感測器90及外部攝影機102俘獲之影像資料內辨識之物件，以識別周邊裝置136及/或使用者110之手及/或手臂，且追蹤周邊裝置136、手及/或手臂相對於HMD 112之移動以識別由使用者110執行之手勢。在一些實例中，手勢偵測器424可基於所俘獲的圖像資料來追蹤移動，包含周邊裝置136、手、指頭及/或手臂之位置及定向之改變，且將物件之運動向量與手勢庫430中之一或多個條目進行比較以偵測由使用者110執行之手勢或手勢之組合。在一些實例中，手勢偵測器424可接收由周邊裝置之存在敏感表面偵測到之使用者輸入且處理該等使用者輸入以偵測由使用者110相對於周邊裝置136執行之一或多個手勢。手勢庫430類似於圖3之手勢庫330。手勢偵測器424之所有功能性中之一些可由周邊裝置136執行。

圖4中之周邊裝置136的組件可類似於圖3中之周邊裝置136的組件操作。關於圖3關於像素強度之數位及類比控制描述的技術亦可實施於HMD 112中。舉例而言，電子顯示器203中之任一或多者可包含一混合像素控制電路，該混合像素控制電路包含在每一像素內之數位像素控制電路及類比像素控制電路。在一些實例中，數位像素控制電路及類比像素控制電路為每一像素提供灰階強度控制之 n+ m位元。替代地， n個位元可藉由數位像素控制電路使用以用於灰階像素強度的數位PWM控制且 m個位元可藉由類比像素控制電路使用以用於控制經提供至像素之驅動電流以用於不均勻性補償。

圖5為說明其中一或多個裝置（例如，周邊裝置136及HMD 112）係使用每一裝置內之一或多個SoC積體電路實施的多裝置人工實境系統之分佈式架構的更詳細實例實施方案之方塊圖。圖5說明其中HMD 112結合周邊裝置136操作之實例。周邊裝置136表示具有如下表面的實體真實世界裝置：在該表面上，多裝置人工實境系統100或126與虛擬內容重疊。周邊裝置104可包含一或多個存在敏感表面204，該一或多個存在敏感表面用於藉由偵測在存在敏感表面204之方位上方觸控或懸停之一或多個物件（例如，手指、尖筆等）之存在來偵測使用者輸入。在一些實例中，周邊裝置104可具有與智慧型電話、平板電腦、個人數位助理（PDA）或其他手持式裝置中之任一者類似之外觀尺寸。在其他實例中，周邊裝置104可具有智慧型手錶、所謂的「智慧型戒指」或其他穿戴式裝置之外觀尺寸。周邊裝置104亦可為查詢一體機或其他靜止或行動系統之部分。存在敏感表面204可併入輸出組件（諸如顯示裝置）以用於輸出視覺內容至螢幕。如上文所描述，HMD 102經架構且組態成使得能夠執行人工實境應用程式。

在此實例中，HMD 112及周邊裝置136包含SoC 530、510（分別地），其表示配置成分佈式架構且經組態以為人工實境應用程式提供操作環境的專用積體電路之集合。作為實例，SoC積體電路可包含特定功能區塊，該等特定功能區塊操作為共應用程式處理器、感測器聚焦器、加密/解密引擎、安全處理器、手/眼睛/深度追蹤及姿勢計算元件、視訊編碼及顯現引擎、顯示控制器及通信控制組件。在圖5中展示更詳細實例。圖5僅為SoC積體電路之一個實例配置。用於多裝置人工實境系統之分佈式架構可包含SoC積體電路之任何集合及/或配置。

在此實例中，HMD 112之SoC 530A包含功能區塊，包含追蹤570、加密/解密580、共處理器582及介面584。追蹤570提供用於眼睛追蹤572（「眼睛572」）、手追蹤574（「手574」）、深度追蹤576（「深度576」）及/或即時定位與地圖建構（Simultaneous Localization and Mapping；SLAM）578（「SLAM 578」）之功能區塊。舉例而言，HMD 112可自以下各者接收輸入：一或多個加速計（亦稱為慣性量測單元或「IMU」），其輸出指示HMD 112之當前加速度的資料；GPS感測器，其輸出指示HMD 112之方位的資料；雷達或聲納，其輸出指示HMD 112距各種物件之距離的資料；或其他感測器，其提供HMD 112或實體環境內之其他物件之方位或定向的指示。HMD 112亦可自一或多個影像俘獲裝置588A至588N（統稱為「影像俘獲裝置588」）接收影像資料。影像俘獲裝置可包含經組態以輸出表示實體環境之影像資料的視訊攝影機、雷射掃描器、都卜勒雷達掃描器、深度掃描器或類似者。更特定言之，影像俘獲裝置俘獲表示實體環境中的在影像俘獲裝置之視場內的物件（包含周邊裝置136及/或手）的影像資料，該視場典型地與HMD 112之觀看視角一致。基於感測到之資料及/或影像資料，追蹤570判定例如HMD 112之參考座標之當前姿勢，且根據當前姿勢來顯現人工實境內容。

SoC 530A之加密/解密580為加密傳達至周邊裝置136或安全伺服器之傳出資料且解密自周邊裝置136或安全伺服器傳達之傳入資料的功能區塊。共應用程式處理器582包含用於執行指令之一或多個處理器，諸如視訊處理單元、圖形處理單元、數位信號處理器、編碼器及/或解碼器及/或其他。

SoC 530A之介面584為包含用於連接至SoC 530A之功能區塊的一或多個介面的功能區塊。作為一個實例，介面584可包含周邊組件高速互連（peripheral component interconnect express；PCIe）槽。SoC 530A可使用介面584與SoC 530B、530C連接。SoC 530A可使用用於與其他裝置（例如，周邊裝置136）通信之介面584與通信裝置（例如，無線電傳輸器）連接。

HMD 112之SoC 530B及530C各自表示用於輸出各別顯示器上之人工實境內容之顯示控制器，該等顯示器例如顯示器586A、586B（統稱為「顯示器586」）。在此實例中，SoC 530B可包含用於向使用者之左眼587A輸出人工實境內容之顯示器568A的顯示控制器。舉例而言，SoC 530B包含用於輸出顯示器586A上之人工實境內容之解密區塊592A、解碼器區塊594A、顯示控制器596A及/或像素驅動器598A。類似地，SoC 530C可包含用於向使用者之右眼587B輸出人工實境內容之顯示器568B的顯示控制器。舉例而言，SoC 530C包括用於產生及輸出顯示器586B上之人工實境內容之解密592B、解碼器594B、顯示控制器596B及/或像素驅動器598B。顯示器568可包含發光二極體（LED）顯示器、有機LED（OLED）、量子點LED（Quantum dot LED；QLED）、電子紙（電子油墨）顯示器、液晶顯示器（LCD）或用於顯示AR內容之其他類型之顯示器。

根據本發明，SoC 530B及530C的像素驅動器598A及598B中之每一者分別地可包含一混合像素控制電路，該混合像素控制電路包含每一像素內的數位像素控制電路及類比像素控制電路。在一些實例中，數位像素控制電路及類比像素控制電路為每一像素提供灰階強度控制之 n+ m位元。替代地， n個位元可藉由數位像素控制電路使用以用於灰階像素強度的數位PWM控制且 m個位元可藉由類比像素控制電路使用以用於控制經提供至像素之驅動電流以用於不均勻性補償。

在此實例中，周邊裝置136包含經組態以支援人工實境應用程式之SoC 510A及510B。在此實例中，SoC 510A包括功能區塊，該等功能區塊包含追蹤540、加密/解密550、顯示處理器552及介面554。追蹤540為提供眼睛追蹤542（「眼睛542」）、手追蹤544（「手544」）、深度追蹤546（「深度546」）及/或即時定位與地圖建構（SLAM）548（「SLAM 548」）之功能區塊。舉例而言，周邊裝置136可接收來自以下各者之輸入：一或多個加速計（亦被稱作慣性量測單元或「IMU」），其輸出指示周邊裝置136之當前加速度的資料；GPS感測器，其輸出指示周邊裝置136之方位的資料；雷達或聲納，其輸出指示周邊裝置136距各種物件之距離的資料；或其他感測器，其提供周邊裝置136或實體環境內之其他物件之方位或定向的指示。周邊裝置136可在一些實例中亦自經組態以輸出表示實體環境之影像資料的諸如視訊攝影機、雷射掃描器、都卜勒雷達掃描器、深度掃描器或類似者之一或多個影像俘獲裝置接收影像資料。基於所感測資料及/或影像資料，追蹤區塊540判定例如周邊裝置136之參考座標的當前姿勢，且根據當前姿勢，向HMD 112顯現人工實境內容。

SoC 510A之加密/解密550加密傳達至HMD 112或安全伺服器之傳出資料且解密自HMD 112或安全伺服器傳達之傳入資料。加密/解密550可支援對稱密鑰密碼編譯以使用工作階段密鑰（例如，秘密對稱密鑰）加密/解密資料。SoC 510A之顯示處理器552包含用於向HMD 112顯現人工實境內容之一或多個處理器，諸如視訊處理單元、圖形處理單元、編碼器及/或解碼器及/或其他者。SoC 510A之介面554包含用於連接至SoC 510A之功能區塊的一或多個介面。作為一個實例，介面584可包含周邊組件高速互連（PCIe）槽。SoC 510A可使用介面584與SoC 510B連接。SoC 510A可使用用於與其他裝置（例如，HMD 112）通信之介面區塊584與一或多個通信裝置（例如，無線電傳輸器）連接。

周邊裝置136之SoC 510B包含共應用程式處理器560及應用程式處理器562。在此實例中，共應用程式處理器560包含各種處理器，諸如視覺處理單元（vision processing unit；VPU）、圖形處理單元（GPU）及/或中央處理單元（CPU）。應用程式處理器562可執行一或多個人工實境應用程式以例如產生及顯現人工實境內容及/或偵測及解譯由使用者相對於周邊裝置136執行之手勢。

圖6為根據本發明中所描述之技術的顯示裝置600之方塊圖。顯示裝置600可用以實施例如關於圖1至圖5展示及描述的顯示器中之任一者。顯示裝置600包含一顯示面板，該顯示面板包含多個像素612A至612N（統稱為「像素612」或個別地稱為「像素612」）。圖6說明用於控制像素612A之詳細結構，但其他像素612B至612N可具有與像素612A相同的控制結構。每一像素612中之像素驅動器電路608包含發光元件，諸如發光二極體（LED）或微型LED，其輸出具有由數位像素控制電路630及類比像素控制電路650控制之強度的光。在一些實例中，用於每一訊框之像素強度係由 n+ m位元控制字組界定。數位像素控制電路630提供對藉由像素612之發光元件發射之光的數位PWM控制之 n位元。類比像素控制電路650提供對被供應至像素612之發光元件的驅動電流之2 ^m不同位準的控制。在一些實例中，數位像素控制電路630及類比像素控制電路650為每一像素提供強度控制之 n+ m位元。替代地， n個位元可藉由數位像素控制電路630使用以用於像素強度的數位PWM控制且 m個位元可藉由類比像素控制電路650使用以用於控制經提供至像素之驅動電流以用於不均勻性補償。

在圖6之實例中，數位像素控制電路630包含記憶體602、比較器電路604及鎖存器電路606。記憶體602連接至比較器電路604。比較器電路604連接至鎖存器電路606，且鎖存器電路606連接至驅動器電路608。類比像素控制電路650亦連接至驅動器電路608。

顯示裝置600進一步包含包含計數器610之列驅動器614、數位行驅動器616、類比行驅動器646及控制器640。在一些具體實例中，控制器640可與顯示裝置600分開。儘管圖6將列驅動器614、數位行驅動器616及類比行驅動器646展示為連接至像素612A，但其實際上連接至像素612A至612N中之每一者。特定言之，列驅動器614連接至數位像素控制電路630之記憶體602、比較器電路604及鎖存器電路606。列驅動器614進一步與類比像素控制電路650連接。數位行驅動器616連接至數位像素控制電路630之記憶體602。控制器640包含諸如處理器642及顯示器記憶體644之處理電路系統。控制器640連接至列驅動器614、數位行驅動器616且亦連接至類比行驅動器646。

數位行驅動器616加載 n+ m強度控制字組之 n個數位位元至每一像素之記憶體602中的記憶體單元而類比行驅動器646加載對應於 n+ m位元強度控制字組之 m個位元的單一電壓至類比像素控制電路650。列驅動器614控制用於數位類比控制電路630之程式化階段及用於類比像素控制電路650之程式化階段何時開始及結束（參見例如圖10）。類比及數位裝載機制係由分開的組件/電晶體（亦即，數位像素控制電路630及類比像素控制電路650）控制，從而意謂每一像素之類比及數位控制係彼此完全獨立。因此，藉由本發明之技術提供的數位及類比強度控制係靈活的，原因在於類比強度控制及數位強度控制可按任何次序加載（亦即，類比可經首先加載且數位按第二次序加載或數位可經首先加載且類比按第二次序加載），或類比及數位可同時加載。次序之選擇可基於例如像素之所要效能及/或類比機制係用於強度控制抑或用於均勻性補償。

實例數位像素控制電路630之記憶體602可包含 n位元之數位資料儲存器，諸如 n個1位元靜態隨機存取記憶體（static random-access memory；SRAM）記憶體單元，或一些其他類型之記憶體單元。記憶體602經由字組線連接至列驅動器614並經由位元線及逆位元線連接至行驅動器616。記憶體602自列驅動器614接收字組線（word line；WL）之信號以供記憶體單元選擇，且自行驅動器616接收呈n資料位元D形式的控制字組以供寫入至所選擇記憶體單元。 n個資料位元之位元值界定每一訊框中之子訊框的數目，在每一訊框期間一驅動電流被供應至像素內之發光元件。數位像素控制電路中之資料位元之數目 n可改變。在一個實例中，記憶體602儲存 n=3位元以提供由數位像素控制電路630控制的亮度之八個漸變（例如，000、001、010、011、100、101、110、111）。在另一實例中， n=5用以提供由數位像素控制電路630控制的亮度之三十二個漸變。應理解 n可為適當適合於特定實施方案的位元之任何整數數目，且本發明就此而言不受限制。結合圖7論述關於記憶體602之額外細節。

列驅動器614可包含用於每一像素列或像素列之群組的計數器610。計數器610係使用產生計數位元之位元值的電路而至少部分地體現。計數位元之數目與用於數位像素控制電路之控制字組中之資料位元的數目 n一致。在 n=3之實例中，計數器610產生用於訊框中之每一子訊框之序列，包含位元值000、001、010、011、100、101及111。此處，計數器610以二進位方式計數0至7以產生序列。在一些具體實例中，計數器610反轉每一計數位元以促進藉由比較器電路604進行的比較。

在一個實例實施方案中，實例數位像素控制電路630之比較器電路604接收來自列驅動器614之藉由計數器610產生的計數位元並接收來自記憶體602的控制字組之 n個資料位元，且比較計數位元與資料位元以產生比較結果。該比較結果係基於如由方程式1所定義的每一資料位元與對應計數位元之反或而產生： (!count[0] & D[0]) | (!count[1] & D[1]) | … | (!count[n-1] & D[n-1])       方程式（1） 其中!count[x]為第x個逆計數位元，D[x]為控制字組之第x個資料位元，且 n為控制字組及計數位元之長度。由方程式1定義的比較係對應資料位元與計數位元之經排序比較，其允許簡化之比較器電路604。比較器電路604包含一動態比較節點，其根據比較結果在高位準與低位準之間切換，並輸出比較結果至鎖存器電路606。

實例數位像素控制電路630之鎖存器電路606接收來自比較器電路604之比較結果，並產生用於驅動器電路608之驅動電晶體的閘極信號。鎖存器電路606保持經發送至驅動器電路608的閘極信號之所要狀態甚至同時可在比較器電路604之動態比較節點處進行比較結果之切換。鎖存器電路606之輸出為控制信號nDrive，其控制如本文所描述的驅動器電路608之切換。

驅動器電路608包含發光元件（諸如LED或微型發光二極體）及具有連接至LED之端子（例如，源極或汲極）的驅動電晶體。驅動電晶體進一步包含連接至鎖存器電路606的閘極端子以接收閘極信號（nDrive）以用於控制穿過驅動電晶體之源極及汲極端子以及LED的電流流動。以此方式，驅動電晶體充當用以基於藉由經提供至數位像素控制電路630的控制字組之 n個位元判定的PWM時序控制電流是否被供應至LED的開關。下文結合圖8及圖9論述關於驅動器電路608之額外細節。

在一些具體實例中，包含驅動器電路608、數位像素控制電路630及類比像素控制電路650之至少一些部分的像素之控制電路系統經配置於顯示裝置600之薄膜電晶體（thin-film-transistor；TFT）層中。

列驅動器614及數位行驅動器616控制每一像素612A至612N內的數位像素控制電路630之操作。舉例而言，行驅動器616提供用於像素612A之 n+ m位元控制字組之 n個資料位元至記憶體602，基於藉由來自列驅動器614之字組線（WL）進行的選擇將 n個資料位元程式化至記憶體602之 n個對應記憶體單元中。

控制器640包含處理電路系統（諸如一或多個處理器642（本文中一般稱為處理器642））及顯示器記憶體644。處理器642提供控制信號至列驅動器614及數位行驅動器616以控制數位像素控制電路630之操作。處理器642亦提供控制信號至列驅動器614及類比像素控制電路650以控制在訊框期間被供應至每一像素的驅動電流之量或位準。

在一些實例中，當 m個位元用於類比不均勻性補償時，顯示器記憶體644（在本文中亦被稱作「資料儲存裝置」）可儲存用於每一像素的 m位元不均勻性補償值。 m位元不均勻性補償值可作為對應類比電壓儲存於類比像素控制電路650中（諸如電容器或其他類比儲存裝置中）以控制藉由類比像素驅動電路650供應至像素的驅動電流之量或位準以用於不均勻性補償。

可用以實施數位像素控制電路630的用於像素強度之數位PWM控制的電路之實例經展示及描述於2020年1月31日申請之且名為「Pulse Width Modulation for Driving Pixel Using Comparator」的美國申請案第16/779,168號、2020年1月31日申請之且名為「Row Based Brightness Calibration」的美國申請案第16/779,206號及2019年2月4日申請之且名為「Pulse Width Modulation for Driving Pixel Using Comparator」的美國臨時申請案第62/800,979號中，該等申請案中之每一者以全文引用的方式併入本文中。然而，應理解亦可使用用於像素強度之數位PWM控制的其他實施方案，且本發明就此而言不受限制。

圖7為說明根據本發明中所描述之技術的個別像素612之數位像素控制電路630之實例記憶體602的電路圖。詳言之，展示單一像素612之實例記憶體602的一部分。記憶體602儲存像素強度控制字組之 n個位元並輸出控制字組之 n個位元至比較器電路604。記憶體602包含 n個1位元記憶體單元902(0)至902(n-1)，其中 n為用於數位像素控制電路630的控制字組之位元長度。每一單元902(0)至902(n-1)經由各別字組線908(0)至908(n-1)連接至列驅動器614，且進一步經由位元線904及逆位元線906連接至行驅動器616。每一單元902(0)至902(n-1)進一步包含各別單元輸出910(0)至910(n-1)以輸出儲存於單元中之位元值至比較器電路604。

每一單元902(0)至902(n-1)可使用例如1位元SRAM記憶體單元實施；然而，應理解記憶體單元902(0)至902(n-1)可使用任何合適類型之記憶體單元實施。

參考單元902(0)，每一單元902(0)至902(n-1)可包含電晶體912、電晶體914及交叉耦合反相器916及918。在此實例中，電晶體912及914為NMOS電晶體。電晶體912包含連接至逆位元線906之第一端子及連接至藉由交叉耦合反相器916及918形成的第一節點之第二端子。電晶體914包含連接至位元線904之第一端子，及連接至藉由交叉耦合反相器916及918形成的第二節點之另一端子。電晶體912及914之閘極端子各自連接至字組線908(0)。藉由交叉耦合反相器916及918形成的第二節點連接至單元輸出910(0)。

為運用一位元值程式化單元902(0)，單元902(0)之字組線908(0)經設定為較高信號，位元線904經設定為該位元值，且逆位元線906經設定為該位元值之逆。此導致位元線904上之位元值儲存在單元902(0)中，並在單元輸出910(0)處輸出。記憶體602之其他單元可包含如本文針對單元902(0)所論述的類似組件及操作。記憶體602經由各別字組線908(0)至908(n-1)接收信號WL[0]至WL[n-1]、來自位元線904之信號Bit，及來自逆位元線906之信號nBit以儲存 n位元控制字組，並經由單元輸出910(0)至910(n-1)輸出 n位元控制字組之位元值。對於每一訊框，記憶體602儲存一控制字組並經由單元輸出610(0)至610(n-1)將該控制字組作為資料信號D[0]至D[n-1]輸出。

圖8為說明根據本發明中所描述之技術的連接至數位像素控制電路630及類比像素控制電路650的個別像素612之實例驅動器電路608之電路圖。實例驅動器電路608包含電流驅動電晶體802及開關電晶體804。在此實例中，驅動電晶體802及開關電晶體804為PMOS電晶體。然而，應理解驅動器電路608可使用NMOS電晶體實施，其中電路元件之配置經相應調整，且本發明就此而言不受限制。開關電晶體804之第一端子連接至驅動電晶體802之輸出端子，且開關電晶體804之第二端子連接至發光二極體（LED）806。在一些具體實例中，LED 806為微型LED。驅動電晶體802之輸入端子連接至藉由供應信號偏置（例如，電壓源Vdd）與類比像素控制電路650之第一輸出連接形成的節點。電晶體802之控制端子（例如，閘極）連接至類比像素控制電路630之第二輸出。開關電晶體804之控制端子（例如，閘極）接收來自數位像素控制電路630之控制信號（nDrive）。

圖9為說明根據本發明中所描述之技術的包含數位像素控制電路630、驅動器電路608及類比像素控制電路650之實例實施方案的實例像素612之電路圖。實例類比像素控制電路650包含儲存電容器954及電晶體952。在此實例中，電晶體952為PMOS電晶體。然而，應理解類比像素控制電路650可使用NMOS電晶體實施，其中電路元件之配置經相應調整，且本發明就此而言不受限制。儲存電容器954包含連接至藉由電晶體952之輸出端子與驅動器電路608的驅動電晶體802之控制端子之間的連接形成之第一節點956的輸入端子。儲存電容器954進一步包含連接至藉由驅動器電路608之驅動電晶體802之輸入端子與電壓源（Vdd）之間的連接形成的第二節點958之輸出端子。換言之，儲存電容器954連接於輸入端子與電流驅動電晶體802之控制端子之間使得儲存於儲存電容器954中的電壓可控制流經電流驅動電晶體802的電流之量。

類比像素控制電路650經連接以接收兩個輸入，來自列驅動器614之掃描信號及來自行驅動器646之資料信號（參看圖6）。電晶體952包含經連接以接收掃描信號的控制端子（例如，閘極），及經連接以接收資料輸入信號的輸入端子。當像素612藉由掃描信號輸入選擇時，類比像素控制電路650基於對應於像素之所要強度位準的 n+ m位元控制字組之 m位元而接收用於像素之類比控制電壓（在圖9中之「資料」）。電晶體952接通，從而基於對應於在訊框中像素強度的類比控制電壓將儲存電容器954充電至所要驅動電壓。驅動電壓為在一電流位準情況下驅動LED所需要的電壓，該電流位準將結合藉由數位像素控制電路630所提供的強度控制之 n位元產生藉由 n+ m控制字組指示的灰階強度。在電容器經充電且藉由數位像素控制電路630提供的nDrive信號接通開關電晶體804後，電晶體802藉由儲存於儲存電容器954中的電壓來偏置。儲存於電容器954中之此偏置電壓控制藉由電晶體802供應穿過電晶體804並最終供應至LED 806的電流位準。以此方式，類比像素控制電路650藉由控制儲存於儲存電容器954中的電壓來控制被供應至像素612之LED 806的電流之量或位準。

圖10A為展示數位像素控制電路630之數位程式化階段的圖式，且圖10B為展示類比像素控制電路650之類比程式化階段的圖式。應理解在圖10A及圖10B中展示的數位及類比程式化階段彼此完全獨立，且圖10A及圖10B並不意欲傳達數位程式化階段與類比程式化階段之間的時序關係。實際上，數位及類比程式化階段之時序可基於如本文進一步描述的系統之設計考慮而選擇。

數位程式化階段（圖10A）係由寫入線或字組線（WL(n)）信號控制。當WL信號經啟用（在此實例中變高）時，對應於彼位元方位之數位像素控制電路630之記憶體單元經程式化。在圖10a之 n=3位元實例中，第一記憶體單元（諸如圖7之單元902(0)）在第一WL(n)啟用時間窗期間經程式化有bitn信號之值，第二記憶體單元（諸如圖7之記憶體單元902(1)）在第二WL(n)啟用時間窗期間經程式化有位bitn信號之值，且第三記憶單元（諸如圖7之記憶體單元902(2)）在第三WL(n)啟用時間窗期間經程式化有bitn信號之值。

類比程式化階段（圖10B）獨立於數位程式化階段且由掃描信號控制。當掃描信號在作用中（在此實例中變低）時，類比像素控制電路650經啟用，且具有對應於類比強度之 m位元的2 ^m個不同電壓位準中之一者的類比電壓儲存於類比像素控制電路650之儲存電容器（例如，C1）中。類比程式化階段（期間掃描信號在作用中的時間）之長度取決於待儲存的類比電壓之大小及類比像素控制電路650中之儲存電容器的電容。一般而言，類比程式化階段之長度必須足以將電容器充電至由類比強度之 m位元界定的最高電壓位準（2 ^m）。

對於數位程式化階段及類比程式化階段兩者，為防止儲存於數位像素控制電路中的資料之損壞及/或不正確電壓儲存在類比像素控制電路中，bitn及資料線不能改變直至在對應程式化窗已結束之後為止，亦即，在此實例中直至WL(n)信號變低或掃描信號變高為止。

如上文所提及，如圖10A中所展示的數位像素控制電路650之數位程式化階段及如圖10B中所展示的類比像素控制電路630之類比程式化階段彼此獨立。使用者可取決於一或多個因素而決定數位與類比程式化階段之間的適當時序關係。

舉例而言，當類比像素控制電路650用於不均勻性補償時，類比程式化階段（圖10B）可經選擇以在訊框之數位程式化階段（圖10A）之前發生。在此實例中，電容器經程式化（充電）至的類比電壓歸因於在校準時進行的量測而係固定的。因此，在不均勻性補償實例中，對每一像素之電容器充電所處的位準對於每一訊框係相同的。另外，取決於補償電壓及電容器之大小，電容器可經選擇以使得電容器不需要在每一訊框期間被充電。實際上，電容器可每隔一個訊框或每隔預選數目之訊框而充電。電容器之充電的時序亦可經充電以便與訊框期間的停滯時間重疊。

在另一實例中，當類比像素控制電路650用於提供對應於2 ^m個可能電壓位準的灰階強度控制之 m個額外位元時，數位程式化階段（圖10A）可經選擇在訊框之類比程式化階段（圖10B）之前開始。在此實例中，電容器經程式化（充電）至的類比電壓可在逐訊框基礎上不同，且因此電容器需要每一訊框被充電。類比程式化階段可在數位程式化階段之起始之後開始，使得電容器之充電可與數位程式化階段重疊。在此實例中，整個程式化階段（數位+類比）歸因於電容器之充電與數位程式化階段重疊而較短。此外，因為訊框之開始及結束完全由數位控制電路來控制，因此訊框之時序大體上更準確及可靠。

在一些實例中，藉由列驅動器614（參看圖6）產生並分別藉由數位像素控制電路630及類比像素控制電路650接收的WL(n)及掃描信號可使用僅僅相同信號來實施。舉例而言，WL(n)信號而非分離掃描信號亦可經發送至類比像素控制電路630。此可能在類比像素控制電路650用於提供灰階強度控制之 m個額外位元時適用，使得類比程式化階段在相同時間開始並與數位程式化階段重疊。在此實例中，WL(n)信號之時序將經設計使得存在充足時間來將類比像素控制電路之電容器充電至對應於類比強度之 m個位元的電壓。在圖10之實例中，舉例而言，WL(n)信號不在作用中（較低）的總時間將經設計為足以將電容器充電至對應於類比強度之 m個位元的電壓。

圖11A為說明根據本發明中所描述之技術的用於顯示裝置之像素之數位PWM控制的實例程序（1100）之流程圖。實例程序（1100）可藉由數位像素控制電路630執行以控制訊框期間驅動電流經提供至像素內之發光元件的訊框中之子訊框的數目，且因此控制訊框期間像素612發射光的訊框內之子訊框的數目。程序（1100）可具有較少或額外步驟，且步驟可以不同次序或並行地執行。

數位像素控制電路630接收對應於在訊框中像素之強度位準的 n+ m位元控制字組之 n個資料位元值（1102）。數位像素控制電路630在訊框中之每一子訊框期間基於 n個資料位元值控制像素中之每一發光元件（1104）。舉例而言， n個資料位元值判定訊框期間驅動電流被供應至像素內之發光元件的訊框中之子訊框的數目。數位像素控制電路630接著在下一連續訊框中重複程序（1106）。

圖12A為根據本發明中所描述之技術的可藉由數位像素控制電路630產生的nDrive信號之實例值之圖表（1210），其中n=3。在第一數位強度位準（000）處，nDrive信號在第一子訊框（子訊框0）期間較高，結果像素在訊框之所有子訊框中斷開（換言之，nDrive信號在訊框之所有子訊框中處於較高位準）。在第二數位強度位準（001）處，nDrive信號在第一子訊框（子訊框0）期間較低且接著在第二子訊框中變高，意謂像素僅僅在第一子訊框中接通（亦即，驅動電流被供應至像素內之發光元件）且在訊框之所有剩餘子訊框中斷開。類似結果對於每一連續數位強度位準發生，直至到達最高數位強度位準（111）為止，其中像素在訊框之除最後子訊框（子訊框7）之外的所有子訊框中接通。

圖11B為說明根據本發明中所描述之技術的用於被供應至顯示裝置之像素的電流位準之類比控制的實例程序（1150）之流程圖。實例程序（1150）可藉由類比像素控制電路650執行以控制被供應至顯示裝置之像素的電流之量。程序（1150）可具有較少或額外步驟，且步驟可以不同次序或並行地執行。

在訊框之開始處，類比像素控制電路650基於對應於像素之所要強度位準的 n+ m位元控制字組之 m個位元接收用於像素之類比控制電壓（1152）。類比像素控制電路基於類比控制電壓將儲存電容器充電至驅動電壓（1154）。驅動電壓為在一電流位準情況下驅動LED所需要的電壓，該電流位準將導致藉由 n+ m控制字組之 m位元指示的強度。在電容器經充電後，類比像素控制電路650基於儲存於電容器中之驅動電壓控制在訊框期間被供應至像素之LED的驅動電流之位準（1156）。類比像素控制電路650接著在下一連續訊框中重複程序（1158）。

圖11C為說明根據本發明中所描述之技術的結合被供應至像素的電流位準之類比控制的用於顯示裝置之像素之數位PWM控制之實例程序（1180）的流程圖。

實例程序（1180）可藉由數位像素控制電路630及類比像素控制電路650執行以控制訊框期間一驅動電流被供應至像素的訊框中之子訊框的數目（亦即，訊框期間像素接通的子訊框之數目）並控制在訊框期間被供應至像素的驅動電流之量或位準。程序（1180）可具有較少或額外步驟，且步驟可以不同次序或並行地執行。

數位像素控制電路630在訊框之數個子訊框中基於對應於在訊框中像素之強度位準的 n+ m位元控制字組的 n個位元而驅動顯示裝置之每一像素（1182）。類比像素控制電路650在一電流位準處基於對應於在訊框中像素之強度位準之 n+ m位元控制字組之m個位元驅動顯示裝置之每一像素（1184）。驅動電流在訊框之所有子訊框中被供應至像素。程序（1180）接著在下一連續訊框中重複（1186）。

圖12B為 n+ m位元控制字組之實例總強度位元值的圖表1220，其中 n=3且 m=2。 n位元或3位元數位強度值展示於圖表1220之第一行中。 m位元或2位元類比強度值展示於圖表1220之頂部列中。在此實例中強度值之總數目為如圖表中所展示之2 ^n+m=2 ⁵=32個可能強度值。在此實例中， n個數位強度位元被指派為 n+ m位元控制字組之最高有效位元且 m個類比強度位元被指派為 n+ m位元控制字組之最低有效位元。然而，應理解最高有效位元及最低有效位元可以不同方式指派，且本發明就此而言不受限制。舉例而言，在其他實例中， n個數位強度位元可被指派為 n+ m位元控制字組之最低有效位元且 m個類比強度位元可被指派為 n+ m位元控制字組之最高有效位元。

圖13為說明根據本發明中所描述之技術的使用類比像素控制電路650對顯示裝置中之像素進行亮度均勻性補償的程序（1300）之流程圖。程序（1300）可具有較少或額外步驟，且步驟可以不同次序或並行地執行。

在訊框之開始處，類比像素控制電路650接收對應於像素之 m位元不均勻性校正值的不均勻性校正電壓（1302）。 m位元不均勻性校正值可在製造時的校準期間及/或在顯示裝置之使用壽命期間的任何其他時間處判定。類比像素控制電路650基於 m位元不均勻性校正值將與像素相關聯之儲存電容器充電至不均勻性校正電壓（1304）。類比像素控制電路650基於儲存於儲存電容器中之不均勻性校正電壓控制在訊框期間經供應至像素的驅動電流之位準（1306）。在訊框之結束處，類比像素控制電路650可在下一連續訊框情況下重複程序（1308）。然而，對於不均勻性校正，用於每一像素之不均勻性校正電壓將未必隨每一訊框改變。實際上，在用於特定像素之 m位元不均勻性校正值經判定後，相同不均勻性校正值將在每一訊框期間使用以判定儲存於與像素相關聯之儲存電容器中的不均勻性校正電壓之值。換言之，用於每一像素之不均勻性校正值在每一訊框中將保持恆定直至諸如顯示器經再校準時為止。每一像素可具有與顯示器中之其他像素相同或不同的不均勻性校正值。

用於亮度調整之不均勻性校準可在各個時間處執行。在一個實例中，校準可在製造步驟期間執行。光學系統可用以量測每一像素之相對亮度，或電路量測系統可用以量測每一像素之LED的驅動電流。顏色之每一集合可具有其自身的量測不均勻性值之集合。基於經量測用於每一像素之不均勻性值， m位元不均勻性校正值可經產生用於每一像素以改良顯示器中之亮度均勻性。用於每一像素之 m位元不均勻性校正值接著可用於產生用於與像素相關聯之儲存電容器的不均勻性校正電壓，其接著用於產生至像素之適當驅動電流。在另一實例中，可替代地或另外，校準可在某一其他時間處（諸如隨LED效能降級在顯示裝置之使用壽命期間的在一或多個時間處）執行。

如本文中藉助於各種實例所描述，本發明之技術可包含人工實境系統或結合人工實境系統實施。如所描述，人工實境為在向使用者呈現之前已以某一方式調整的實境形式，其可包含例如虛擬實境（virtual reality；VR）、擴增實境（AR）、混合實境（mixed reality；MR）、混雜實境或其某一組合及/或衍生物。人工實境內容可包含完全產生之內容或與所俘獲內容（例如，真實世界相片或視訊）組合的產生之內容。人工實境內容可包含視訊、音訊、觸覺反饋或其某一組合，其中之任一者可在單一通道中或在多個通道中（諸如，對觀看者產生三維效應之立體視訊）呈現。另外，在一些實例中，人工實境可與例如用以在人工實境中創造內容及/或用於人工實境中（例如，在人工實境中執行活動）之應用程式、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上，包含連接至主機電腦系統之HMD、獨立式HMD、行動裝置或計算系統或能夠將人工實境內容提供至一或多個觀看者之任何其他硬體平台。

本發明中所描述之技術可至少部分地實施於硬體、軟體、韌體或其任何組合中。舉例而言，所描述技術之各種態樣可實施於一或多個處理器內，包括一或多個微處理器、DSP、特殊應用積體電路（ASIC）、場可程式化閘陣列（FPGA）或任何其他等效積體或離散邏輯電路，以及此等組件之任何組合。術語「處理器」或「處理電路」大體上可指單獨或與其他邏輯電路或任何其他等效電路組合之前述邏輯電路中之任一者。包括硬體之控制單元亦可執行本發明之技術中之一或多者。

此硬體、軟體及韌體可實施於同一裝置內或單獨裝置內以支援本發明中所描述之各種操作及功能。此外，可將所描述單元、模組或組件中之任一者一起實施或分開地實施為離散但可互操作之邏輯裝置。將不同特徵描述為模組或單元意欲突出不同功能性態樣，且未必暗示此類模組或單元必須藉由單獨硬體或軟體組件實現。確切而言，與一或多個模組或單元相關聯之功能性可藉由單獨硬體或軟體組件執行，或整合於共同或單獨硬體或軟體組件內。

本揭示中所描述之技術亦可體現或編碼於含有指令之電腦可讀取媒體（諸如電腦可讀取儲存媒體）中。嵌入或編碼於電腦可讀取儲存媒體中之指令可例如在執行指令時使可程式化處理器或其他處理器執行方法。電腦可讀取儲存媒體可包含隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可程式化唯讀記憶體（PROM）、可抹除可程式化唯讀記憶體（EPROM）、電子可抹除可程式化唯讀記憶體（EEPROM）、快閃記憶體、硬碟、CD-ROM、軟碟、卡匣、磁性媒體、光學媒體或其他電腦可讀取媒體。

10,20:人工實境系統 90:外部感測器 102A,102B:外部攝影機 104:網路 106:控制台 108A,108B:真實世界物件 110,110A~110C:使用者 112,112A~112C:頭戴式顯示器（HMD） 114A,114B:控制器 120A,120B:虛擬使用者 121:牆壁 122:人工實境內容 124,126,129:虛擬內容物品 128A,128B:虛擬物件 130,130A,130B:視場 132,132A,132B,132C:手 134:手臂 136:周邊裝置 137:虛擬使用者介面 138,138A,138B,588A~588N:影像俘獲裝置 203,203A,203B:電子顯示器 206,348:運動感測器 210:控制單元 220:表面/觸控螢幕/存在敏感表面 224,226:安全處理器 302,312,346,642:處理器 304,314,344,602:記憶體 305,316,342:作業系統 307,317,417:軟體組件 315:I/O介面 320,340,440:應用程式引擎 322,422:顯現引擎 324,424:手勢偵測器 326,426:姿勢追蹤器 328,428:使用者介面引擎 329,429:虛擬使用者介面元件 330,430:手勢庫 510A,510B,530A,530B,530C:系統單晶片（SoC） 514:NVM 540,570:追蹤 542,572:眼睛追蹤/眼睛 544,574:手追蹤/手 546,576:深度追蹤/深度 548,578:即時定位與地圖建構（SLAM） 550,580:加密/解密 552:顯示處理器 554.584:介面 560,582:共應用程式處理器 562:應用程式處理器 556,564:靜態隨機存取記憶體（SRAM） 586A,586B:顯示器 587A:左眼 587B:右眼 592A,592B:解密區塊 594A,594B:解碼器區塊 596A,596B:顯示控制器 598A,598B:像素驅動器 600:顯示裝置 604:比較器電路 606:鎖存器電路 608:驅動器電路 610:計數器 612:像素 612A~612N:像素 614:列驅動器 616:數位行驅動器 630:數位像素控制電路 640:控制器 644:顯示器記憶體 646:類比行驅動器 650:類比像素控制電路 802:電流驅動電晶體 804:開關電晶體 806:發光二極體（LED） 902(0)~902(n-1):1位元記憶體單元 904:位元線 906:逆位元線 908(0)~908(n-1):字組線 910(0)~910(n-1):單元輸出 912,914:電晶體 916,918:反相器 952:電晶體 954:儲存電容器 956:第一節點 958:第二節點 1100,1150,1180,1300:程序 1102,1104,1106,1152,1154,1156,1158,1182,1184,1186,1302,1304,1306,1308:步驟 1210,1220:圖表

[圖1A]為描繪根據本發明中所描述之技術的其中HMD包含像素強度之數位及類比控制的實例多裝置人工實境系統之方塊圖。

[圖1B]為描繪根據本發明中所描述之技術的其中HMD包含像素強度之數位及類比控制的另一實例多裝置人工實境系統之方塊圖。

[圖2A]為描繪根據本發明中所描述之技術的包含像素強度之數位及類比控制的實例HMD及實例周邊裝置之方塊圖。

[圖2B]為描繪根據本發明中所描述之技術的包含像素強度之數位及類比控制的另一實例HMD之方塊圖。

[圖3]為展示根據本發明中所描述之技術的圖1A、圖1B之多裝置人工實境系統之控制台、包含像素強度之數位及類比控制的HMD及周邊裝置的實例實施方案之方塊圖。

[圖4]為描繪根據本發明中描述之技術的其中手勢偵測、使用者介面產生及虛擬表面功能藉由圖1A、圖1B之人工實境系統之HMD執行且其中HMD包含像素強度之數位及類比控制的實例之方塊圖。

[圖5]為說明根據本發明之技術的其中一或多個顯示裝置包含像素強度之數位及類比控制的多裝置人工實境系統之分佈式架構的實例實施方案之方塊圖。

[圖6]為根據本發明中所描述之技術的包含數位像素控制電路及類比像素控制電路的顯示裝置之方塊圖。

[圖7]為說明根據本發明中所描述之技術的用於像素之記憶體的電路圖。

[圖8]為說明根據本發明中所描述之技術的實例像素之數位像素控制電路、類比像素控制電路及驅動器電路的方塊圖。

[圖9]為說明根據本發明中所描述之技術的實例像素之數位像素控制電路、類比像素控制電路及驅動器電路的更詳細實例實施方案之電路圖。

[圖10A]為展示數位像素控制電路的數位程式化階段之圖式且圖10B為根據本發明中所描述之技術的展示類比像素控制電路之類比程式化階段之圖式。

[圖11A]為說明根據本發明中所描述之技術的用於顯示裝置之像素之數位PWM控制的實例程序之流程圖。

[圖11B]為說明根據本發明中所描述之技術的用於被供應至顯示裝置之像素的電流位準之類比控制的實例程序之流程圖。

[圖11C]為說明根據本發明中所描述之技術的結合被供應至像素的電流位準之類比控制的用於顯示裝置之像素之數位PWM控制之實例程序的流程圖。

[圖12A]為根據本發明中所描述之技術的藉由數位像素控制電路產生的nDrive信號之實例值之圖表。

[圖12B]為 n+ m位元控制字組之實例總強度位元值的圖表，其中 n=3且 m=2。

[圖13]為說明根據本發明中所描述之技術的使用類比像素控制電路對顯示裝置中之像素進行亮度均勻性補償的程序之流程圖。

608:驅動器電路

612:像素

630:數位像素控制電路

650:類比像素控制電路

802:電流驅動電晶體

804:開關電晶體

806:發光二極體(LED)

Claims (20)

1. 一種人工實境系統，其包括： 一頭戴式顯示器（HMD），其經組態以輸出人工實境內容，該HMD包含至少一個顯示裝置，該至少一個顯示裝置包括複數個像素，其中該複數個像素中之每一者包括： 一發光元件； 一數位像素控制電路，其產生控制一訊框中之子訊框之數目的一脈寬調變（PWM）輸出信號，在該訊框的期間一驅動電流經提供至該發光元件；及 一類比像素控制電路，其控制在該訊框中經提供至該發光元件的該驅動電流之位準。
2. 如請求項1之人工實境系統，其中該類比像素控制電路基於對應於在該訊框中該像素的所要強度位準的一 n+ m位元控制字組之 m個位元而控制在該訊框的期間經提供至該發光元件的該驅動電流之該位準。
3. 如請求項1之人工實境系統，其中該類比像素控制電路包括： 一儲存電容器，其經組態以充電至與對應於在該訊框中該像素之所要強度位準的一 n+ m位元控制字組之 m個位元相對應的一驅動電壓，其中該驅動電壓控制在該訊框的期間經提供至該發光元件的該驅動電流之該位準。
4. 如請求項3之人工實境系統，其進一步包括一像素驅動器電路，該像素驅動器電路包括： 一第一電晶體，其具有經連接以接收該PWM輸出信號的一第一控制端子、一第一輸入端子、及經連接以提供該驅動電流至該發光元件之一第一輸出端子；及 一第二電晶體，其具有連接至該第一電晶體之該第一輸入端子的一第二輸出端子、連接至由在一電壓源與該儲存電容器之一輸出端子之間的一連接所形成的一節點的一第二輸入端子、及連接至該儲存電容器之一輸入端子的一第二控制端子。
5. 如請求項4之人工實境系統，其中該類比像素控制電路進一步包括： 一第三電晶體，其具有經連接以接收一掃描信號之一第三控制端子、連接至由該儲存電容器之該輸入端子與該第二電晶體之該第二控制端子之間的一連接所形成之一節點的一輸出端子，及經連接以接收與對應於在該訊框中該像素的所要強度位準之該 n+ m位元控制字組之該 m個位元相對應的一控制電壓的一輸入端子。
6. 如請求項4之人工實境系統，其中該第一電晶體及該第二電晶體屬於相同類型。
7. 如請求項4之人工實境系統，其中該第一電晶體及該第二電晶體為p型電晶體。
8. 如請求項1之人工實境系統，其中該數位像素控制電路產生基於對應於在該訊框中該像素的所要強度位準之一 n+ m位元控制字組的 n個位元而控制該訊框中之子訊框之該數目的該脈衝寬度調變（PWM）輸出信號，在該訊框的期間該驅動電流經提供至該發光元件。
9. 如請求項8之人工實境系統，其中該類比像素控制電路基於對應於在該訊框中該像素的所要強度位準的該 n+ m位元控制字組之 m個位元而控制在該訊框的期間經提供至該發光元件的該驅動電流之該位準。
10. 如請求項9之人工實境系統，其中 n大於 m。
11. 如請求項9之人工實境系統，其中 n為5與10之間的一整數且 m為2與5之間的一整數。
12. 如請求項9之人工實境系統，其中由該 n+ m位元控制字組界定的強度位準之數目為2 ^n+m。
13. 如請求項9之人工實境系統，其中 n個位元係該 n+ m位元控制字組之最高有效位元，且 m個位元係該 n+ m位元控制字組之最低有效位元。
14. 如請求項8之人工實境系統，其中該數位像素控制電路包含經組態以儲存該 n+ m位元控制字組之 n個位元的 n個1位元記憶體單元。
15. 如請求項14之人工實境系統，其中該 n個1位元記憶體單元中之每一者為一1位元靜態隨機存取記憶體（SRAM）單元。
16. 如請求項1之人工實境系統， 其中該數位像素控制電路產生基於對應於在該訊框中該像素之所要強度位準的一 n位元控制字組而控制該訊框中之子訊框之該數目的該脈衝寬度調變（PWM）輸出信號，在該訊框的期間該驅動電流經提供至該發光元件，且 其中該類比像素控制電路基於對應於該像素之一不均勻性補償值的一 m位元控制字組而控制在該訊框的期間經提供至該發光元件的該驅動電流之該位準。
17. 一種顯示裝置，其包括複數個像素，其中該複數個像素中之每一者包括： 一發光元件； 一數位像素控制電路，其產生控制一訊框中之子訊框之數目的一脈寬調變（PWM）輸出信號，在該訊框的期間一驅動電流經提供至該發光元件；及 一類比像素控制電路，其控制在該訊框的期間經提供至該發光元件的該驅動電流之位準。
18. 如請求項17之顯示裝置， 其中由該數位像素控制電路產生的該PWM輸出信號包括對應於在該訊框中該像素之所要強度位準的一 n+ m位元控制字組之 n個位元；且 其中由該類比像素控制電路控制的該驅動電流之該位準包括對應於在該訊框中該像素之所要強度位準的該 n+ m位元控制字組之 m個位元。
19. 如請求項17之顯示裝置， 其中由該數位像素控制電路產生的該PWM輸出信號包括對應於在該訊框中該像素之所要強度位準的一 n位元控制字組；且 其中由該類比像素控制電路控制的該驅動電流之該位準包括對應於該像素之一不均勻性補償值的一 m位元控制字組。
20. 一種方法，其包括： 運用數位像素控制電路產生控制一訊框中之子訊框的數目的一脈寬調變（PWM）輸出信號，在該訊框的期間一驅動電流經提供至一顯示裝置之一像素的一發光元件；及 運用類比像素控制電路控制在該訊框的期間經提供至該發光元件的該驅動電流之位準。

Images