TWI792535B - 圖形處理方法和相關眼動追蹤系統 - Google Patents

圖形處理方法和相關眼動追蹤系統 Download PDF

Info

Publication number
TWI792535B
TWI792535B TW110133011A TW110133011A TWI792535B TW I792535 B TWI792535 B TW I792535B TW 110133011 A TW110133011 A TW 110133011A TW 110133011 A TW110133011 A TW 110133011A TW I792535 B TWI792535 B TW I792535B
Authority
TW
Taiwan
Prior art keywords
rendering
eye
system delay
current
image
Prior art date
Application number
TW110133011A
Other languages
English (en)
Other versions
TW202224425A (zh
Inventor
李魁安
簡韶逸
Original Assignee
見臻科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 見臻科技股份有限公司 filed Critical 見臻科技股份有限公司
Publication of TW202224425A publication Critical patent/TW202224425A/zh
Application granted granted Critical
Publication of TWI792535B publication Critical patent/TWI792535B/zh

Links

Images

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本發明提供一種可提供適應性注視點渲染之圖形處理方法和相關眼動追蹤系統。若相關目前應用程式之系統延遲大於採用現行渲染參數時之臨界系統延遲，此時會依據應用程式之系統延遲來調整現行渲染參數，進而提供調整後渲染參數。接著依據調整後渲染參數來產生注視點影像，進而維持解析度品質和渲染效能之間的平衡。

Description

圖形處理方法和相關眼動追蹤系統
本發明相關於一種圖形處理方法和相關眼動追蹤系統，尤指一種可提供適應性注視點渲染之圖形處理方法和相關眼動追蹤系統。
在電腦繪圖中，渲染(rendering)是指以軟體由模型生成場景的過程。模型是用語言或資料結構進行嚴格定義的三維物體或虛擬場景的描述，包括幾何、視點、紋理、照明和陰影等資訊。在結合上述資訊後，可定義渲染後影像中每一像素之彩值。在提供影像至顯示器的期間，計算裝置通常會使用一圖形處理單元(graphic processing unit,GPU)來加速渲染過程。上述計算裝置包含電腦工作站、智慧手機、嵌入式系統、個人電腦、平板電腦、遊戲機，以及頭戴式顯示裝置(HMD)。圖形處理單元可執行包含複數個處理階段的一圖形處理程序，進而執行一個或多個圖形處理指令/指示以輸出一像框。中央處理器(centrol processing unit,CPU)可下達一個或多個圖形處理指令/指示至圖形處理單元，進而控制圖形處理單元之運作。現有中央處理器通常具備同時執行多個應用程式的能力，期間可能需要使用圖形處理單元。由於現有圖形處理單元之系統電力和記憶體容量有其侷限，使得在執行渲染 運作(尤其是即時性)時會面臨很大的挑戰。
注視點渲染(foveated rendering)是一種使用眼動追蹤來減少渲染負荷的技術。由於人眼在影像的紀錄上具有中央清楚但周邊模糊的特性，注視點渲染技術會在視野中央以高解析度進行處理，周邊則採用較低解析度的方式。當使用者的凝視位置改變時，會依據新凝視點來重新渲染影像。
然而，在呈現給使用者的渲染影像中，其高畫質的區域並不一定會對應至使用者的中央窩範圍。渲染過程中造成的系統延遲(system latency)，以及在預估凝視點時的誤差和延遲皆有可能造成上述偏移，尤其是在出現跳視(saccade)或眨眼的場景。在發生上述偏移時，呈現給使用者的渲染影像可能是依據10幾毫秒前的凝視點所產生，因此投射至使用者中央窩範圍之影像可能是以低解析度來渲染，可能會影響觀賞經驗。因此，需要一種可提供適應性注視點渲染之圖形處理方法和相關眼動追蹤系統
本發明提供一種圖形處理方法，其包含：取得一使用者的眼動追蹤資料；取得一目前應用程式的一渲染需求，其中該渲染需求包含相關該目前應用程式之一現行渲染參數；依據該眼動追蹤資料和該渲染需求來即時地評估該目前應用程式之一第一系統延遲；判斷該第一系統延遲是否大於一第二系統延遲，其中該第二系統延遲為採用該現行渲染參數時之一臨界延遲；當判斷該第一系統延遲大於該第二系 統延遲時，依據該第一系統延遲來調整該現行渲染參數以產生一調整後渲染參數；以及依據該調整後渲染參數來產生一注視點影像。
本發明另提供一種電腦可讀取媒體，其載有電腦可讀取指令以執行一圖形處理方法。該電腦可讀取媒體在執行該圖形處理方法時包含下列步驟：取得一使用者的眼動追蹤資料；取得一目前應用程式的一渲染需求，其中該渲染需求包含相關該目前應用程式之一現行渲染參數；依據該眼動追蹤資料和該渲染需求來即時地評估該目前應用程式之一第一系統延遲；判斷該第一系統延遲是否大於一第二系統延遲，其中該第二系統延遲為採用該現行渲染參數時之一臨界延遲；當判斷該第一系統延遲大於該第二系統延遲時，依據該第一系統延遲來調整該現行渲染參數以產生一調整後渲染參數；以及依據該調整後渲染參數來產生一注視點影像。
本發明另提供一種提供適應性注視點渲染之眼動追蹤系統，其包含一眼動追蹤模組、一計算單元，以及一顯示器。該眼動追蹤模組包含一影像擷取裝置以捕捉一使用者的眼部影像。該計算單元包含一圖形處理單元、一控制單元，一中央處理單元。該中央處理單元用來取得一目前應用程式的一渲染需求，其中該渲染需求包含相關該目前應用程式之一現行渲染參數；依據該眼動追蹤資料和該渲染需求來即時地評估該目前應用程式之一第一系統延遲；判斷該第一系統延遲是否大於一第二系統延遲，其中該第二系統延遲為採用該現行渲染參數時之一臨界延遲；當判斷該第一系統延遲大於該第二系統延遲時，指示該控制單元去依據該第一系統延遲來調整該現行渲染參數以 產生一調整後渲染參數；以及指示圖形處理單元去依據調整後渲染參數來產生一注視點影像。該顯示器用來呈現該注視點影像。
10:顯示器
20:計算模組
22:中央處理器
24:圖形處理器
26:記憶單元
28:控制單元
30:眼動追蹤模組
32:影像擷取裝置
34:光源
36:處理器
100、200:眼動追蹤系統
310-380:步驟
第1圖為本發明實施例中一種眼動追蹤系統之功能方塊圖。
第2圖為本發明另一實施例中一種眼動追蹤系統之功能方塊圖。
第3圖為本發明實施例中一種可提供適應性注視點渲染之圖形處理方法的流程圖。
第4圖為本發明實施例中一種適應性注視點渲染方法之示意圖。
第5圖為本發明實施例中一種適應性注視點渲染方法之示意圖。
第6圖為本發明實施例中在不同注視點渲染程度、中心窩範圍和注視點渲染方式下使用者所能容忍的注視點渲染量之示意圖。
第1圖為本發明實施例中一種眼動追蹤系統100之功能方塊圖。眼動追蹤系統100包含一顯示器10和一計算模組20。計算模組20包含一中央處理器22、一圖形處理器24、一記憶單元26、一控制單元28，以及一眼動追蹤模組30。眼動追蹤模組30包含一影像擷取裝置32和一光源34。
第2圖為本發明另一實施例中一種眼動追蹤系統200之功能方塊圖。眼動追蹤系統200包含一顯示器10、一計算模組20，以及一眼動追蹤模組30。計算模組20包含一中央處理器22、一圖形處理器24、 一記憶單元26、一控制單元28，以及一眼動追蹤模組30。眼動追蹤模組30包含一影像擷取裝置32、一光源34，以及一處理器36。
在眼動追蹤系統100或200之眼動追蹤模組30中，影像擷取裝置32包含至少一眼部相機，以合適角度設置在合適位置以捕捉使用者的眼部影像。在另一實施例，影像擷取裝置32可另包含一景像相機(未顯示第1圖和第2圖中)，設置成使其鏡頭面對方向和使用者注視方向相同，以捕捉相關使用者視野(field of view,FoV)的影像。光源34用來照亮使用者眼部以提昇眼部影像的品質，進而改善凝視資料的準確度。
在眼動追蹤系統100或200中，計算模組20可為一個人電腦、一行動裝置，或一頭戴型裝置(例如VR/AR/MR/智慧眼鏡)，其能處理使用者下達的應用要求並進行影像渲染。然而，計算模組20之種類並不限定本發明之範疇。
在第1圖和第2圖所示之實施例中，顯示器10可為一外部顯示裝置，可透過有線或無線方式連接至計算模組20。在另一實施例中，顯示器10可為計算模組20內建之顯示裝置。然而，顯示器10之實作方式並不限定本發明之範疇。
在第1圖所示之眼動追蹤系統100中，眼動追蹤模組30係整合至計算模組20內。記憶單元26可儲存凝視追蹤程式、注視點調整(foveation adjustment)程式，和注視點渲染(foveation rendering)程式。中央處理器22可依據影像擷取裝置32提供之眼部影像來執行眼動追蹤運 作。舉例來說，中央處理器22可執行記憶單元26內存之一個或多個凝視追蹤程式以依據眼部影像來取得凝視資料和眼動狀態資料。控制單元28用來針對使用者下達之應用要求來協調計算模組20內各元件的運作，並用來調整渲染參數。控制單元28可實作成具備運算能力之一特定應用積體電路(Application Specific Integrated Circuit,ASIC)、安裝在圖形處理器24內之軟體，或設置在圖形處理器24內之硬體。然而，控制單元28之實作方式並不限定本發明之範疇。
在第2圖所示之眼動追蹤系統200中，計算模組20和眼動追蹤模組30為個別裝置。記憶單元26可儲存注視點調整程式和注視點渲染程式。眼動追蹤模組30中之處理器36可為一特定應用積體電路，用來依據影像擷取裝置32提供之眼部影像來執行眼動追蹤運作，進而依據眼部影像來取得凝視資料和眼動狀態資料。控制單元28用來針對使用者下達之應用要求來協調計算模組20內各元件的運作，並用來調整渲染參數。控制單元28可實作成具備運算能力之一特定應用積體電路、安裝在圖形處理器24內之軟體，或設置在圖形處理器24內之硬體。然而，控制單元28之實作方式並不限定本發明之範疇。
在眼動追蹤系統100或200中，中央處理器22另可依據凝視資料和眼動狀態資料來下達一個或多個指令/指示，進而控制圖形處理器24之運作。中央處理器22可執行記憶單元26內存之一個或多個注視點渲染程式，進而指示圖形處理器24去渲染圖形資料以在顯示器10上呈現。中央處理器22可執行記憶單元26內存之一個或多個注視點調整程式，進而指示控制單元28去調整渲染參數。記憶單元26可另存相關眼 動追蹤系統100或200運作狀態之資料，例如延遲資料、相關不同延遲之渲染參數，以及目前採用的渲染參數。
第3圖為本發明實施例中一種可提供適應性注視點渲染之圖形處理方法的流程圖。第3圖所示之方法可由眼動追蹤系統100或200來執行，其包含下列步驟：
步驟310：在執行一目前應用程式的期間取得使用者的眼動追蹤資料。
步驟320：取得目前應用程式的渲染需求，其中渲染需求包含相關目前應用程式之一現行渲染參數。
步驟330：依據眼動追蹤資料和渲染需求來即時地評估目前應用程式之一第一系統延遲。
步驟340：求出一第二系統延遲，其中第二系統延遲為採用現行渲染參數時之臨界系統延遲。
步驟350：判斷該第一系統延遲是否大於第二系統延遲；若是，執行步驟360；若否，執行步驟370。
步驟360：依據第一系統延遲來調整現行渲染參數；執行步驟370。
步驟370：依據使用者的眼動追蹤資料來調整現行渲染參數；執行步驟380。
步驟380：依據調整後渲染參數來產生注視點影像(foveated image)。
在步驟310中，眼動追蹤資料包含凝視資料和眼動狀態資料，可由眼動追蹤系統100中計算單元20之中央處理器22或眼動追蹤系統200中眼動追蹤模組30之處理器36依據影像擷取單元32所提供之眼部影像來產生。凝視資料包含在執行目前應用程式的期間內所紀錄下使用者之凝視位置。眼動狀態資料包含在執行目前應用程式之時序資料、相關現有及/或未來凝視點之信賴區間，或相關使用者凝視狀態之狀態參數，但不限定於此。狀態參數可包含使用者之眨眼度量(blink metric)、跳視度量(saccade metric)、景深(depth of field,DoF)反應、凝視穩定度，以及其它類型的眼球運動，但不限定於此。
在第1圖所示之眼動追蹤系統100中，眼動追蹤模組30係整合至計算模組20內，因此在步驟310中可由眼動追蹤系統100中計算單元20之中央處理器22依據影像擷取單元32所提供之眼部影像來產生眼動追蹤資料。在第2圖所示之眼動追蹤系統200中，計算模組20和眼動追蹤模組30為個別裝置，因此在步驟310中可由眼動追蹤系統200中眼動追蹤模組30之處理器36依據影像擷取單元32所提供之眼部影像來產生眼動追蹤資料，之後再將眼動追蹤資料傳送至中央處理器22。
在步驟320中，中央處理器22可取得目前應用程式的渲染需求。渲染需求包含凝視關聯(gaze-contingent)渲染參數、影像尺寸、圖形處理方法、影像複雜度，以及相關目前應用程式之歷史處理時間，但不限定於此。在一實施例中，中央處理器22可直接依據渲染需求來取得目前應用程式的渲染參數。在另一實施例中，中央處理器22可依據記憶單元26內存之延遲資料來計算目前應用程式的渲染參數。
假設影像擷取單元32於第一時間點捕捉到影像，而顯示器10於第二時間點呈現依據凝視資料所產生之注視點影像，眼動追蹤系統100或200之系統延遲對應於第一時間點和第二時間點之間的間隔。上述系統延遲包含一半的影像曝光時間，加上影像讀出/傳輸時間、處理時間，以及將資料傳送至客戶端電腦的時間。
注視點渲染系統對延遲非常敏感，其延遲要求容易被凝視後所取得全解析度注視點影像之大小、影像的衰減程度，以及衰減方法等參數所影響。系統延遲越大，注視點渲染後影像中的假影(artifact)越明顯，大幅度眼球運動(例如跳視)和更新顯示之間的延遲會限制注視點渲染的程度和效能。因此，本發明於步驟330-370中針對上述問題提供一種適應性注視點渲染方法，依據目前應用程式和目前系統延遲來調整注視點渲染的範圍和模糊強度，進而在降低渲染複雜度的同時提供盡可能高的解析度，以維持使用者的體驗感受。
在步驟330中，中央處理器22會進行即時評估以取得第一系統延遲。在一實施例中，中央處理器22可依據目前應用程式之渲染需求(例如影像尺寸、圖形處理方法、影像複雜度，以及歷史處理時間)和眼動追蹤資料中之狀態參數來求出第一系統延遲步驟。在另一實施例中，計算單元20可另包含一計時器(未顯示於第1圖和和第2圖)，用來量測從影像被影像擷取裝置32捕捉到呈現在顯示器10上之間的延遲。此時，實際延遲和預估延遲會被送至一機器學習方法，進而提高評估準確性。
在步驟340中，中央處理器22會從記憶單元26中讀取現行渲染參數下之臨界系統延遲，進而求出第二系統延遲。在步驟350中，中央處理器22會決定調整渲染參數的方式。
在求出相關目前應用程式之第一系統延遲和相關現行渲染參數之第二系統延遲後，中央處理器22會在步驟350中判斷第一系統延遲和第二系統延遲之間的大小關係。當判定第一系統延遲不大於第二系統延遲時，代表在第一系統延遲下採用現行渲染參數並不會影響解析度品質和渲染效能之間的平衡。在此種情況下，中央處理器22會指示控制單元28在步驟370中去依據使用者的眼動追蹤資料來調整現行渲染參數。
當判定第一系統延遲大於第二系統延遲時，代表在第一系統延遲下需要調整現行渲染參數才能維持解析度品質和渲染效能之間的平衡。在此種情況下，中央處理器22會指示控制單元28在步驟360中去依據第一系統延遲來調整現行渲染參數，接著指示控制單元28在步驟370中去依據使用者的眼動追蹤資料來調整現行渲染參數。
第4圖為本發明實施例中一種適應性注視點渲染方法之示意圖。第4圖包含一階段式的渲染視窗，影像的解析度在中心點最大，接著往外階段式降低。取樣範圍SR0是環繞中央注視點GZ之中心窩區域，其係用最大解析度加以渲染。取樣範圍SR1-SRN(N為一大於或等於0的整數)是在中央注視點GZ之外環繞中央注視點GZ之週邊區域，其 係用較小解析度加以渲染。IQ0-IQN分別代表取樣範圍SR0-SRN之解析度，其中IQ0>IQ1>…>IQN。R0-RN分別代表取樣範圍SR0-SRN之外緣和中央注視點GZ之間的距離，其中R0<R1<…<RN，且RN同時亦等於該階段式的渲染視窗的半徑。在部分實施例中，上述之階段式的渲染視窗不會涵蓋整體的影像，在此情況下，階段式的渲染視窗範圍外的影像可以IQperipheral的解析度來渲染，其中IQperipheral<IQN。為了說明目的，第4圖顯示了N=2時之實施例，每一取樣範圍之外緣呈同心圓。然而，取樣範圍SR0-SRN之數量和形狀並不限定本發明之範疇。
在一實施例中，本發明可使用高斯濾波器(Gaussian filter)來模糊影像並移除細節，進而調整每一取樣範圍之影像品質。高斯濾波器之脈衝響應如下列公式(1)所示之二維高斯函數，其中x和y代表像素座標，而σ代表標準差。
Figure 110133011-A0305-02-0013-1
濾波通常是藉由卷積(convolution)來實現，卷積核(convolution kernel)是一個可在影像上像素來實現的二維濾波器矩陣。針對卷積核和一個要處理的二維圖像，對於圖像中每一個像素點計算它的鄰域像素和卷積核內對應係數的乘積，然後加起來以作為該像素位置的值，這樣就完成了濾波過程。在濾波過程中，高斯濾波器中卷積核之係數相關於標準差σ之值，由於卷積核之大小會隨著標準差σ之值成正比變化以維持高斯濾波器之特性，透過設定較大標準差σ標 準差σ越大會產生較寬的波峰(較大模糊量)。在圖像中，卷積核的標準差σ會隨像素距離中央注視點GZ的距離或坐落的取樣範圍而變化。在第4圖所示的實施例中，當像素距離中央注視點GZ的距離小於R0(例如當像素坐落於SR0時)，卷積核的標準差σ將被設為0，以確保該像素以最大的解析度來渲染。當像素距離中央注視點GZ的距離大於R0，卷積核的標準差σ可被設為一不等於0的數值，並依據像素坐落的區域調整，其中SR1的標準差σ小於SR2的標準差σ。
第5圖為本發明實施例中一種適應性注視點渲染方法之示意圖。WS1-WSM分別代表階段式的渲染視窗之大小(半徑)，其中M為正整數。為了說明目的，第5圖顯示了M=5時之實施例，且階段式的渲染視窗之大小WS1-WSM分別對應10度、15度、20度、25度和30度之使用者視角。
第6圖顯示了在不同注視點渲染程度、中心窩範圍和注視點渲染方式下使用者所能容忍的注視點渲染量。縱軸代表系統延遲之值，而橫軸代表模糊強度之值。曲線CR1-CR5分別對應濾波器之不同視窗大小。針對相關中心窩範圍之一特定曲線，若一特定系統延遲大於現行渲染參數(例如中心窩渲染範圍、模糊強度)之曲線上之一特定延遲時，採用此特定曲線所對應之視窗大小可能無法維持解析度品質和渲染效能之間的平衡，此時特定系統延遲會被視為不被特定曲線所對應之現行渲染參數所允許。
為了說明目的，假設在步驟320中所取得之目前應用程式的 渲染需求為階段式的渲染視窗大小WS1(對應至曲線CR1所代表之10度使用者視角)。若在步驟350中判定第一系統延遲大於依據曲線CR1另指定渲染參數(例如模糊強度)而求得之第二系統延遲時，代表現有渲染條件不被曲線CR1所對應之渲染參數所允許，且造成的模糊強度可能無法提供使用者高畫質影像，並維持使用者的體驗，如第6圖之圓點A所示。
在執行步驟360之一實施例中，中央處理器22可指示控制單元28在維持相同階段式的渲染視窗大小時降低模糊強度，進而調整渲染參數。在這種狀況下，調整後渲染條件可被曲線CR1所對應之渲染參數所允許，如第6圖之圓點B所示。
在執行步驟360之另一實施例中，中央處理器22可指示控制單元28去增加階段式的渲染視窗大小以調整渲染參數，例如採用曲線CR2所對應之渲染參數。在這種狀況下，調整後渲染條件可被曲線CR2所對應之渲染參數所允許，如第6圖之圓點A所示。
在執行步驟360之另一實施例中，中央處理器22可指示控制單元28同時降低模糊強度(例如調整至如第6圖中圓點B對應之模糊強度)和增加階段式的渲染視窗大小(例如採用曲線CR2所對應之渲染參數)以調整渲染參數。在這種狀況下，調整後渲染條件(如第6圖中圓點B所示)可被曲線CR2所對應之渲染參數所允許。
在第3圖所示之實施例中，當需要執行判斷步驟350和調整步 驟360時，會在執行調整步驟370之前執行判斷步驟350和調整步驟360。在其它實施例中，本發明可先執行步驟370以依據使用者的眼動追蹤資料來調整現行渲染參數，接著再執行判斷步驟350。
在執行完調整步驟370後，在步驟380中可依據調整後渲染參數來產生注視點影像。舉例來說，本發明可使用第4圖和第5圖所示之方法來產生注視點影像，接著將注視點影像呈現在顯示裝置10。
綜上所述，本發明提供一種可提供適應性注視點渲染之圖形處理方法和相關眼動追蹤系統。若相關目前應用程式之第一系統延遲大於相關現行渲染參數之第二系統延遲，此時會依據第一系統延遲來調整現行渲染參數，進而提供調整後渲染參數。接著依據調整後渲染參數來產生注視點影像，進而維持解析度品質和渲染效能之間的平衡。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
310-380:步驟

Claims (10)

  1. 一種圖形處理方法，其包含：取得一使用者的眼動追蹤資料；取得一目前應用程式的一渲染需求，其中該渲染需求包含相關該目前應用程式之一現行渲染參數；依據該眼動追蹤資料來調整該現行渲染參數；依據該眼動追蹤資料和該渲染需求來即時地評估該目前應用程式之一第一系統延遲；判斷該第一系統延遲是否大於一第二系統延遲，其中該第二系統延遲為採用該現行渲染參數時之一臨界延遲；當判斷該第一系統延遲大於該第二系統延遲時，依據該第一系統延遲來調整該現行渲染參數以產生一調整後渲染參數；以及依據該調整後渲染參數來產生一注視點影像(foveated image)。
  2. 如請求項1所述之圖形處理方法，其中該眼動追蹤資料包含：凝視資料，其包含在執行該目前應用程式期間所紀錄下該使用者之凝視位置；以及眼動狀態資料，其包含在執行該目前應用程式期間之時序資料、相關一未來凝視位置之一信心間隔、該使用者之一凝視狀態、該使用者之一眨眼度量(blink metric)，及/或該使用者之一跳視度量(saccade metric)。
  3. 如請求項1所述之圖形處理方法，其中該渲染需求包含一 影像尺寸、一影像處理方法、一影像複雜度，以及相關該目前應用程式之一歷史處理時間。
  4. 如請求項1所述之圖形處理方法，其中產生該注視點影像包含下列步驟：使用一第一解析度來渲染一中心窩區域(foveal region)，該中心窩區域環繞一影像之一中心凝視點；以及使用小於該第一解析度之一第二解析度來渲染一週邊區域，該週邊區域位於該中心窩區域之外。
  5. 如請求項4所述之圖形處理方法，其中依據該第一系統延遲來調整該現行渲染參數包含下列步驟：依據該第一系統延遲來調整該中心窩區域之大小；或依據該第一系統延遲來調整該第一解析度和該第二解析度之間的差值。
  6. 如請求項4所述之圖形處理方法，其另包含：依據該第一系統延遲來調整該中心窩區域之大小以調整相關該目前應用程式之一第一渲染參數；以及依據該第一系統延遲來調整該第一解析度和該第二解析度之間的差值以調整相關該目前應用程式之一第二渲染參數。
  7. 一種電腦可讀取媒體，其載有電腦可讀取指令以執行一圖形處理方法，該電腦可讀取媒體在執行該圖形處理方法時包含 下列步驟：取得一使用者的眼動追蹤資料；取得一目前應用程式的一渲染需求，其中該渲染需求包含相關該目前應用程式之一現行渲染參數；依據該眼動追蹤資料來調整該現行渲染參數；依據該眼動追蹤資料和該渲染需求來即時地評估該目前應用程式之一第一系統延遲；判斷該第一系統延遲是否大於一第二系統延遲，其中該第二系統延遲為採用該現行渲染參數時之一臨界延遲；當判斷該第一系統延遲大於該第二系統延遲時，依據該第一系統延遲來調整該現行渲染參數以產生一調整後渲染參數；以及依據該調後渲染參數來產生一注視點影像。
  8. 一種提供適應性注視點渲染之眼動追蹤系統，其包含：一眼動追蹤模組，其包含一影像擷取裝置以捕捉一使用者的眼部影像；一計算單元，其包含：一圖形處理單元；一控制單元；以及一中央處理單元，用來：取得一目前應用程式的一渲染需求，其中該渲染需求包含相關該目前應用程式之一現行渲染參數；依據該眼動追蹤資料來調整該現行渲染參數；依據該眼動追蹤資料和該渲染需求來即時地評估該目前 應用程式之一第一系統延遲；判斷該第一系統延遲是否大於一第二系統延遲，其中該第二系統延遲為採用該現行渲染參數時之一臨界延遲；當判斷該第一系統延遲大於該第二系統延遲時，指示該控制單元去依據該第一系統延遲來調整該現行渲染參數以產生一調整後渲染參數；以及指示圖形處理單元去依據該調整後渲染參數來產生一注視點影像；以及一顯示器，用來呈現該注視點影像。
  9. 如請求項8所述之眼動追蹤系統，其中：該眼動追蹤模組係整合至該計算單元內；以及該中央處理單元另用來依據該影像擷取裝置所捕捉之該眼部影像來取得該眼動追蹤資料。
  10. 如請求項8所述之眼動追蹤系統，其中：該眼動追蹤模組係和該計算單元分別為個別裝置；以及該眼動追蹤模組另包含一處理器，用來依據該影像擷取裝置所捕捉之該眼部影像來取得該眼動追蹤資料。
TW110133011A 2020-11-30 2021-09-06 圖形處理方法和相關眼動追蹤系統 TWI792535B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/106,202 2020-11-30
US17/106,202 US11749024B2 (en) 2020-11-30 2020-11-30 Graphics processing method and related eye-tracking system

Publications (2)

Publication Number Publication Date
TW202224425A TW202224425A (zh) 2022-06-16
TWI792535B true TWI792535B (zh) 2023-02-11

Family

ID=81752595

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110133011A TWI792535B (zh) 2020-11-30 2021-09-06 圖形處理方法和相關眼動追蹤系統

Country Status (3)

Country Link
US (1) US11749024B2 (zh)
CN (1) CN114637393A (zh)
TW (1) TWI792535B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116850012B (zh) * 2023-06-30 2024-03-12 广州视景医疗软件有限公司 一种基于双眼分视的视觉训练方法及系统
CN116909407B (zh) * 2023-09-12 2024-01-12 深圳康荣电子有限公司 基于虚拟现实的触控显示屏全景交互方法及控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271022A (zh) * 2018-08-28 2019-01-25 北京七鑫易维信息技术有限公司 一种vr设备的显示方法、装置、vr设备及存储介质
CN110488977A (zh) * 2019-08-21 2019-11-22 京东方科技集团股份有限公司 虚拟现实显示方法、装置、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US11363282B1 (en) * 2016-09-07 2022-06-14 Quantum Radius Corporation System and method for low latency distributed image compression and composition
US10896657B2 (en) * 2017-04-17 2021-01-19 Intel Corporation Graphics with adaptive temporal adjustments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271022A (zh) * 2018-08-28 2019-01-25 北京七鑫易维信息技术有限公司 一种vr设备的显示方法、装置、vr设备及存储介质
CN110488977A (zh) * 2019-08-21 2019-11-22 京东方科技集团股份有限公司 虚拟现实显示方法、装置、系统及存储介质

Also Published As

Publication number Publication date
US11749024B2 (en) 2023-09-05
TW202224425A (zh) 2022-06-16
CN114637393A (zh) 2022-06-17
US20220171968A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
US11836289B2 (en) Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10720128B2 (en) Real-time user adaptive foveated rendering
US10775886B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US10739849B2 (en) Selective peripheral vision filtering in a foveated rendering system
US11727619B2 (en) Video pipeline
US10643307B2 (en) Super-resolution based foveated rendering
US20220222790A1 (en) Gaze Direction-Based Adaptive Pre-Filtering of Video Data
TWI792535B (zh) 圖形處理方法和相關眼動追蹤系統
EP3824371A2 (en) Distributed foveated rendering based on user gaze
EP3745944B1 (en) Image adjustment for an eye tracking system
WO2018214492A1 (zh) 用户体验数据的处理方法、装置、电子设备和计算机存储介质
US20230319425A1 (en) Head mounted display device
WO2018150711A1 (ja) 表示制御装置、表示制御装置の制御方法、および制御プログラム