TW201901615A - 改善圖像品質的方法及虛擬實境裝置 - Google Patents
改善圖像品質的方法及虛擬實境裝置 Download PDFInfo
- Publication number
- TW201901615A TW201901615A TW106119039A TW106119039A TW201901615A TW 201901615 A TW201901615 A TW 201901615A TW 106119039 A TW106119039 A TW 106119039A TW 106119039 A TW106119039 A TW 106119039A TW 201901615 A TW201901615 A TW 201901615A
- Authority
- TW
- Taiwan
- Prior art keywords
- sensor
- image data
- sensing information
- information
- image quality
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000009877 rendering Methods 0.000 claims abstract description 46
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/024—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour registers, e.g. to control background, foreground, surface filling
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
一種改善圖像品質的方法，上述方法用於一虛擬實境裝置中，包括：接收一圖像數據及一感測資訊；根據一第一參數資訊將上述圖像數據分為對應至複數不同分辨率之區域，其中上述分辨率係對應至不同頻率；根據上述感測資訊及上述不同頻率透過一單遍方式渲染上述區域，並輸出一已渲染圖像數據；以及根據一第二參數資訊解析上述已渲染圖像數據為具有一第一分辨率之一最終輸出圖像數據。
Description
本發明係涉及一種圖形處理的領域，更加具體地說係有關於一種使用感測器改善圖像品質的方法及虛擬實境裝置。
混疊(aliasing)是計算器圖形的基本問題，而抗混疊(anti-aliasing)則可減輕混疊的問題或因不足採樣(undersampling)而產生的高頻雜訊。目前用於即時渲染(real-time rendering)。
現今已發展出數種抗混疊的方法。已知的解決方案一般使用盒式篩檢程式(box filter)對像素次採樣，其在顯示的結果中提供一些改良。超級採樣(supersampling)和多重採樣抗混疊(multisample anti-aliasing，MSAA)為針對現代圖形硬體提供抗混疊的兩種常用方式。一般而言，超級採樣是以較高的解析度(resolution)對場景加以渲染，並繼而下降採樣至目標解析度。超級採樣就性能和記憶體頻寬而言為昂貴的，然而由於整個場景均以較高的解析度渲染，因此結果傾向具有高品質(quality)。下降採樣是實施於稱為解析(resolve)的處理步驟中，該解析是使用過濾來聚集採樣。MSAA為另一種超級採樣，並 且是目前消費者圖形處理器(Graphics Processing Unit，GPU)上的即時圖形主要的抗混疊方法。第三種方法稱為覆蓋採樣，該覆蓋採樣的目標為產生類似於MSAA的品質水準，但卻具有減少的記憶體需求。
但是現有的抗混疊技術缺乏足夠的像素精確度，且並不穩定。由於邊緣檢測難以區分有意的顏色不連續性和由不完美渲染引起的不必要的混疊，因此會導致對紋理可察覺的模糊。儘管上述技術可以被調整，但根據速度和質量要求，對整個圖形像素管線進行微調以優化品質是低效的。
以下發明內容僅為示例性的，且不意指以任何方式加以限制。除所述說明性方面、實施方式和特徵之外，通過參照附圖和下述具體實施方式，其他方面、實施方式和特徵也將顯而易見。即，以下發明內容被提供以介紹概念、重點、益處及本文所描述新穎且非顯而易見的技術優勢。所選擇，非所有的，實施例將進一步詳細描述如下。因此，以下發明內容並不意旨在所要求保護主題的必要特徵，也不意旨在決定所要求保護主題的範圍中使用。
本發明提供一種改善圖像品質的方法及虛擬實境裝置。
本發明提出一種使用多分辨率改善圖像品質的方法，上述方法用於一虛擬實境裝置中，包括：接收一圖像數據及一感測資訊；根據一第一參數資訊將上述圖像數據分為對應至複數不同分辨率之區域，其中上述分辨率係對應至不同頻率； 根據上述感測資訊及上述不同頻率透過一單遍方式渲染上述區域，並輸出一已渲染圖像數據；以及根據一第二參數資訊解析上述已渲染圖像數據為具有一第一分辨率之一最終輸出圖像數據。
本發明提出一種使用多分辨率改善圖像品質的虛擬實境裝置，包括：一圖形處理器；以及一記憶體，耦接至上述圖形處理器；其中上述圖形處理器配置用以執行儲存於上述記憶體中之程式碼以執行：接收一圖像數據及一感測資訊；根據一第一參數資訊將上述圖像數據分為對應至複數不同分辨率之區域，其中上述分辨率係對應至不同頻率；根據上述感測資訊及上述不同頻率以一單遍方式渲染上述區域，並輸出一已渲染圖像數據；以及根據一第二參數資訊解析上述已渲染圖像數據為具有一第一分辨率之一最終輸出圖像數據。
100‧‧‧電子裝置
102‧‧‧處理器
104‧‧‧記憶體
106‧‧‧虛線
108‧‧‧卸除式儲存裝置
110‧‧‧不卸除式儲存裝置
112‧‧‧通訊連接
114‧‧‧輸入設備
116‧‧‧輸出設備
120‧‧‧圖形處理器
200‧‧‧圖形渲染管線
202‧‧‧前端著色器
204‧‧‧剪切單元
206‧‧‧視口變化單元
208‧‧‧光栅器
210‧‧‧預Z操作單元
212‧‧‧第一分辨率渲染引擎
214‧‧‧像素著色器
216‧‧‧第二分辨率渲染引擎
218‧‧‧後Z操作單元
300‧‧‧方法流程圖
S305、S310、S315、S320‧‧‧步驟
400‧‧‧圖形渲染管線
500‧‧‧圖形渲染管線
600‧‧‧方法流程圖
S605、S610、S615、S620‧‧‧步驟
700‧‧‧流程圖
S705、S710、S715、S720、S725、S730、S735‧‧‧步驟
附圖被包括以提供本發明進一步理解且被合併並組成本揭露的一部分。附圖係說明本發明的實施例且連同描述一起用以解釋本發明的原理。其可理解附圖不一定案比例描繪係，一些元件可以超過在實際實施方式的大小來顯示，以清楚地說明本揭露的概念。
第1圖係顯示根據本發明一實施例所述之一示例性電子裝置示例圖。
第2圖係顯示根據本發明一實施例中圖形渲染管線的示意圖。
第3圖係顯示根據本發明一實施例所述之使用多分辨率改 善圖像品質的方法流程圖。
第4圖係顯示根據本發明一實施例中圖形渲染管線的示意圖。
第5圖係顯示根據本發明一實施例中圖形渲染管線的示意圖。
第6圖係顯示根據本發明一實施例所述之改善圖像品質的方法流程圖。
第7圖係顯示根據本發明一實施例所述之改善圖像品質的方法流程圖。
在下文中將參考附圖對本揭露的各方面進行更充分的描述。然而，本揭露可以具體化成許多不同形式且不應解釋為侷限於貫穿本揭露所呈現的任何特定結構或功能。相反地，提供這些方面將使得本揭露周全且完整，並且本揭露將給本領域技術人員充分地傳達本揭露的範圍。基於本文所教導的內容，本領域的技術人員應意識到，無論是單獨還是結合本揭露的任何其它方面實現本文所揭露的任何方面，本揭露的範圍旨在涵蓋本文中所揭露的任何方面。例如，可以使用本文所提出任意數量的裝置或者執行方法來實現。另外，除了本文所提出本揭露的多個方面之外，本揭露的範圍更旨在涵蓋使用其它結構、功能或結構和功能來實現的裝置或方法。應可理解，其可透過申請專利範圍的一或多個元件具體化本文所揭露的任何方面。
詞語「示例性」在本文中用於表示「用作示例、 實例或說明」。本公開的任何方面或本文描述為「示例性」的設計不一定被解釋為優選於或優於本公開或設計的其他方面。
雖然此處描述特定的方面，但是這些方面的許多變化和排序落入本揭露的範圍內。雖然優選方面的一些益處及優點被提及，但是本揭露的範圍不僅旨在侷限於特定益處、使用或者目標。相反地，本揭露的方面旨在廣泛適用於不同技術、系統組態、網路和協定，在附圖和下面優選方面的說明中透過舉例的方式對其中一些進行了說明。詳細說明書和附圖僅僅係對本揭露說明而不是用於限制，透過所附申請專利範圍及其等價物定義本揭露的範圍。
在本文中使用術語「應用程式」意在涵蓋可執行和不可執行的軟體檔、原始資料、合計資料、修補程式和其它程式碼片段。此外，相同的數字在所有若干圖示中指示相同的元件，且除非在描述中另有指定，冠詞「一」和「上述」包含複數的參考。
第1圖係顯示根據本發明一實施例所述之一示例性電子裝置100示例圖。
以下描述旨在提供對可用其實現這樣的系統的合適的電子裝置的簡要、一般的描述。電子裝置可以是各種通用或專用計算硬體設定的任何計算硬體設定。可能適合公知的電子裝置的示例包括但不限於，遊戲控制台、機上盒、個人電腦、掌上型或膝上型設備(例如，媒體播放機、筆記本電腦、蜂窩形電話、個人資料助理、話音記錄器)、伺服器電腦、多處理 器系統、基於微處理器的系統、可程式設計消費電子產品、網路PC、微型電腦、大型電腦、包括任何以上系統或設備的分散式運算環境等等。
參考第1圖，在其基本的配置中，示例性電子裝置100包括至少一處理器102和記憶體104。電子裝置可具有多個處理器102。處理器102可包括相互獨立操作的一個或多個處理核(圖未顯示)。附加的協同處理單元，像是圖形處理器(GPU)120，也被提供。取決於電子裝置的配置和類型，記憶體104可以是易揮發性的(像是RAM)、非易揮發性的(像是ROM、快閃記憶體等)或是兩者的某種組合。該配置在第1圖中由虛線106示出。
電子裝置100可具有附加特徵和功能。例如，電子裝置100還可包含附加儲存(可移動和/或不可移動)，包括但不侷限於磁片、光碟或磁帶。這種附加儲存在第1圖中用卸除式儲存裝置108和不卸除式儲存裝置110示出。電腦儲存介質包括以用於儲存諸如電腦程式指令、資料結構、程式模組或其它資料等資訊的任何方法或技術來實現的易揮發性和非易揮發性、可移動和不可移動介質。記憶體104、卸除式儲存裝置108和不卸除式儲存裝置110皆是電腦儲存介質的示例。電腦儲存介質包括但不侷限於，隨機存取記憶體(Random Access Memory，RAM)RAM、唯讀記憶體(Read-Only Memory，ROM)電子抹除式可複寫唯讀記憶(EEPROM)、快閃記憶體或其它記憶體技術、CD-ROM、數位多功能光碟(DVD)或其它光學儲存、磁帶盒、磁帶、磁片儲存或其它磁性存放裝置。儲存介質是其 中資料可被儲存並由電子裝置從可定址物理儲存位置檢索的任何介質。
電子裝置100還可包含通訊連接112，其允許設備通過通訊介質與其它設備進行通信。通訊介質通常以諸如載波或其他傳輸機制等已調製資料信號來承載電腦程式指令、資料結構、程式模組或其他資料，並包括任意資訊遞送介質。術語「已調製資料信號」指的是其一個或多個特徵以在信號中編碼資訊的方式被設定或更改，從而改變了信號的接收設備的配置或狀態的信號。作為示例而非限制，通訊介質包括諸如有線網路或直接線連接之類的有線介質，以及像是聲學、RF、紅外線及其他無線介質之類的無線介質。通訊連接112是與通訊介質進行對接以通過通訊介質傳輸資料或從通訊介質接收資料的設備，像是網路介面。
電子裝置100可具有各種輸入設備114，如鍵盤、滑鼠、筆、相機、觸摸輸入設備等。還可包括諸如顯示驅動器、揚聲器、印表機等輸出設備116。所有這些設備在本領域是已知的並且在此不必詳述。各種輸入和輸出設備可實現自然使用者介面(Natural User Interface，NUI)，其是使得用戶能夠以「自然」方式與設備交互而無需由諸如滑鼠、鍵盤、遙控等強加的人為約束的任何介面技術。
自然使用者介面方法的示例可包括依賴於語音辨識、觸摸和指示筆識別、螢幕上和螢幕附近的姿勢識別、空中姿勢、頭部和眼睛跟蹤、話音和語音、視覺、觸摸、姿勢、以及機器智慧的那些方法，並可包括使用觸敏顯示器、話音和語 音辨識、意圖和目的理解、使用深度相機(如立體相機系統、紅外相機系統、和其它相機系統、以及這些的組合)的運動姿勢檢測、使用加速度計或陀螺儀的運動姿勢檢測、面部識別、三維顯示、頭部、眼睛和注視跟蹤、浸入式增強現實和虛擬實境系統，所有這些都提供更自然的介面，以及用於使用電場傳感電極(EEG和相關方法)傳感大腦活動的技術。
在電子裝置上操作的該系統的每個元件通常由諸如一或多個電腦程式的軟體來實現，一或多個電腦程式包括電腦可執行指令和/或電腦解釋的指令，像是由電腦處理的程式模組。一般而言，程式模組包括在由處理單元處理時指令處理單元執行特定任務或實現特定抽象資料類型的常式、程式、物件、元件、資料結構等等。該電腦系統可以在任務由通過通信網路連結的遠端處理設備來執行的分散式運算環境中實現。在分散式運算環境中，程式模組可以位於包括記憶體存放裝置的本地和遠端電腦儲存介質兩者中。
作為替換或補充，本文所述的功能可至少部分地由一個或多個硬體邏輯元件來執行。例如、但非限制，可使用的硬體邏輯元件的說明性類型包括現場可程式化閘陣列(Field-Programmable Gate Array，FPGA)、特殊應用積體電路(Application-specific Integrated Circuit、ASIC)、程式專用的標準產品(Application-specific Standard Product，ASSP)、系統單晶片(System on Chip，SOC)、複雜可程式邏輯裝置(Complex Programmable Logic Device，CPLD)等等。
電子裝置100的實施例可包括耦接或整合在一可 穿戴裝置中，像是一智慧型眼鏡可穿戴裝置、增強實境裝置或虛擬實境裝置。
第2圖係顯示根據本發明一實施例中圖形渲染管線200的示意圖。作為示例，管線200可以是第1圖所示的電子裝置的內部結構的一部分。管線200包括前端著色器202、剪切單元204、視口變化單元206、光栅器208、預Z操作單元210、第一分辨率渲染引擎212、像素著色器214、第二分辨率渲染引擎216及後Z操作單元218。
前端著色器202包括執行圖形硬體上一組圖形渲染操作的電腦程式邏輯。舉例來說，前端著色器202可為頂點著色器、幾何著色器等。
剪切單元204可對原始圖像數據執行剪輯。視口變化單元206對圖像數據執行透視校正和視口縮放等操作。光栅器208用以識別圖像數據內所有像素的位置，並輸出一光柵化圖像數據，其中光柵化圖像數據係具有一第一分辨率。預Z操作單元210可提供一預著色器Z/範本緩衝器測試。
第一分辨率渲染引擎212可接收由光栅器208所傳送之光栅化圖像數據後，根據由一驅動器或使用者介面所傳送之一第一參數資訊將光栅化圖像數據分為對應至複數不同分辨率之區域，其中第一參數資訊可至少包括螢幕座標資訊及遠近距離資訊，而上述分辨率係對應至不同頻率。舉例來說，若區域A需要較高的品質需求或區域A對應的分辨率係在高分辨率的一範圍內(即需要高分辨率)，則對應高分辨率的頻率係為一取樣頻率。若區域B需要的品質需求為中等或區域B對應的 分辨率係在中分辨率的一範圍內(即需要中分辨率)，則對應中分辨率的頻率係為一像素頻率。若區域C無須品質需求或區域C對應的分辨率係在低分辨率的一範圍內(即需要低分辨率)，則對應低分辨率的頻率係為一四倍渲染(quad rendering)頻率。
第一分辨率渲染引擎212傳送一訊號至像素著色器214，以指示使用對應至複數不同分辨率之頻率渲染不同區域。接著，第一分辨率渲染引擎212更傳送一第二參數資訊至第二分辨率渲染引擎216，其中第二參數資訊至少包括第一分辨率。
像素著色器214可透過一單遍(single pass)方式以上述不同頻率渲染所對應之不同區域，並輸出一已渲染圖像數據。換言之，像素著色器214可控制像素、樣本(sample)、粒度(granularity)以進行渲染。例如，每個2×2像素區域以不同解析度被渲染，不同物體以不同解析度被渲染，以及不同螢幕空間位置以不同解析度被渲染。第二分辨率渲染引擎216解析上述已渲染圖像數據為具有第一分辨率之一最終輸出圖像數據。後Z操作單元218可提供一後置色彩Z/模板緩衝區測試。
第3圖係顯示根據本發明一實施例所述之使用多分辨率改善圖像品質的方法流程圖300。此方法可執行於如第1圖所示之圖形處理器120中。
在步驟S305中，圖形處理器接收一圖像數據，其中上述圖像數據係一光栅化圖像數據且具有一第一分辨率。在步驟S310中，圖形處理器根據一第一參數資訊將上述圖像數據 分為對應至複數不同分辨率之區域，其中上述分辨率係對應至不同頻率。在步驟S315中，圖形處理器透過一單遍方式以上述不同頻率渲染上述區域，並輸出一已渲染圖像數據。在步驟S320中，圖形處理器根據一第二參數資訊解析上述已渲染圖像數據為具有第一分辨率之一最終輸出圖像數據。
本發明可解決的另一技術問題是解決虛擬實境裝置中複雜圖像數據中真實感快速渲染問題。複雜圖像數據的真實感快速渲染主要用於電影和遊戲製作、虛擬仿真等很多方面。
第4圖係顯示根據本發明一實施例中圖形渲染管線400的示意圖。和第2圖中相同名稱的元件，其功能亦如前所述，在此不再贅述。第4圖和第2圖的主要差異在於第一分辨率渲染引擎212更可接收由一虛擬實境裝置的一感測器所感測之一感測資訊其中此感測器係可裝設於虛擬實境裝置之外部，並與處理器或圖形處理器相互耦接。在一實施例中，上述感測器可為一加速度感測器，而感測資訊則為一加速度值。上述感測器也可為一陀螺感測器，而感測資訊則為一旋轉角度。在另一實施例中，上述感測器可為一溫度感測器，而感測資訊則為一處理器之溫度。上述感測器更可為一眼睛追蹤感測器，感測資訊則為眼睛所注視之一注視區域。
當第一分辨率渲染引擎212接收到感測器所傳送之感測資訊後，第一分辨率渲染引擎212可轉換感測資訊至一品質等級。在此實施例中，品質等級可分為16等級。等級越高，品質則越低。舉例說明，當一加速度感測器傳送一加速度值後， 第一分辨率渲染引擎212轉換上述加速度值為一品質等級，並傳送上述品質等級至像素著色器214。像素著色器214可根據上述品質等級調整渲染的頻率及品質。舉另一例說明，當一眼睛追蹤感測器傳送指示一注視區域座標資訊之感測資訊後，第一分辨率渲染引擎212傳送上述注視區域座標資訊至像素著色器214。像素著色器214可根據上述注視區域座標資訊調整對應注視區域渲染的頻率及品質。
第5圖係顯示根據本發明一實施例中圖形渲染管線500的示意圖。和第4圖中相同名稱的元件，其功能亦如前所述，在此不再贅述。第5圖和第4圖的主要差異在於第一分辨率渲染引擎214更可接收由一虛擬實境裝置的一時間感測器所產生之一時間資訊，其中此時間感測器係可裝設於虛擬實境裝置之內部，並與處理器或圖形處理器相互耦接。
第一分辨率渲染引擎212可根據時間資訊估計一當前幀的一結束時間，其中時間資訊至少包括先前幀工作負荷、當前幀工作負荷及一時間戳印比例。第一分辨率渲染引擎212接著判斷結束時間是否在一視頻同步信號Vsync之前。當第一分辨率渲染引擎212判斷結束時間無法在視頻同步信號Vsync之前時，產生一提示訊號並傳送至像素著色器214，以指示調整分辨率，例如，減少上述分辨率。
在另一實施例中，當感測器為一溫度感測器且第一分辨率渲染引擎212根據時間感測器所傳送之時間資訊估計一當前幀的一結束時間無法在視頻同步信號Vsync之前，第一分辨率渲染引擎212可根據溫度感測器所感測之處理器的溫度 資訊產生一提示訊號至處理器。處理器在接收上述提示訊號後，將調整目前的工作負荷，以降低處理器之溫度並使當前幀的結束時間能在視頻同步信號Vsync之前。
第6圖係顯示根據本發明一實施例所述之改善圖像品質的方法流程圖600。此方法可執行於如第1圖所示之一虛擬實境裝置的圖形處理器120中，其中處理器120更可接收由一感測器所感測之感測資訊。
在步驟S605中，圖形處理器接收一圖像數據及一感測資訊，其中上述圖像數據係一光栅化圖像數據且具有一第一分辨率。在步驟S610中，圖形處理器根據一第一參數資訊將上述圖像數據分為對應至複數不同分辨率之區域，其中上述分辨率係對應至不同頻率。在步驟S615中，圖形處理器根據上述感測資訊及上述不同頻率以一單遍方式渲染上述區域，並輸出一已渲染圖像數據。在步驟S620中，圖形處理器根據一第二參數資訊解析上述已渲染圖像數據為具有第一分辨率之一最終輸出圖像數據。
第7圖係顯示根據本發明一實施例所述之改善圖像品質的方法流程圖700。此方法可執行於如第1圖所示之一虛擬實境裝置的圖形處理器120中，其中處理器120更可接收由一感測器所感測之感測資訊及由一時間感測器所產生之一時間資訊。
在步驟S705中，圖形處理器接收一圖像數據、一感測資訊及一時間資訊，其中上述圖像數據係一光栅化圖像數據且具有一第一分辨率。在步驟S710中，圖形處理器根據一第 一參數資訊將上述圖像數據分為對應至複數不同分辨率之區域，其中上述分辨率係對應至不同頻率。在步驟S715中，圖形處理器根據上述感測資訊判斷是否調整上述不同頻率。在步驟S720中，圖形處理器根據時間資訊判斷一當前幀的一結束時間是否在一視頻同步信號Vsync之前。在步驟S725中，圖形處理器根據上述判斷結果調整上述分辨率、上述頻率或處理器之工作負荷。在步驟S730中，圖形處理器根據上述頻率以一單遍方式渲染上述區域，並輸出一已渲染圖像數據。在步驟S735中，圖形處理器根據一第二參數資訊解析上述已渲染圖像數據為具有第一分辨率之一最終輸出圖像數據。
此外，在上述示例性裝置中，儘管上述方法已在使用一系列步驟或方框之流程圖的基礎上描述，但本發明不侷限於這些步驟的順序，並且一些步驟可不同於其餘步驟的順序執行或其餘步驟可同時進行。舉例而言，圖形處理器可先判斷一當前幀的一結束時間是否在一視頻同步信號Vsync之前，再根據上述感測資訊判斷是否調整頻率。此外，本領域的技術人士將理解在流程圖中所示的步驟並非唯一的，其可包括流程圖的其他步驟，或者一或多個步驟可被刪除而不會影響本發明的範圍。
透過本發明所提出之改善圖像品質的方法及裝置，可達到透過一單遍(single pass)方式使用不同分辨率及頻率同時渲染圖像數據。此外，更可根據虛擬實境裝置的感測器之感測資訊動態調整渲染品質，以及根據虛擬實境裝置的時間感測器所產生之一時間資訊判斷渲染時間是否足夠，以有效改善渲 染速度及品質。
此外，電子裝置100中之圖形處理器120也可執行記憶體104中之程式及指令以呈現上述實施例所述之動作和步驟，或其它在說明書中內容之描述。
申請專利範圍中用以修飾元件之「第一」、「第二」、「第三」等序數詞之使用本身未暗示任何優先權、優先次序、各元件之間之先後次序、或方法所執行之步驟之次序，而僅用作標識來區分具有相同名稱(具有不同序數詞)之不同元件。
雖然本揭露已以實施範例揭露如上，然其並非用以限定本案，任何熟悉此項技藝者，在不脫離本揭露之精神和範圍內，當可做些許更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
Claims (20)
- 一種改善圖像品質的方法，上述方法用於一虛擬實境裝置中，包括：接收一圖像數據及一感測資訊；根據一第一參數資訊將上述圖像數據分為對應至複數不同分辨率之區域，其中上述分辨率係對應至不同頻率；根據上述感測資訊及上述不同頻率以一單遍方式渲染上述區域，並輸出一已渲染圖像數據；以及根據一第二參數資訊解析上述已渲染圖像數據為具有一第一分辨率之一最終輸出圖像數據。
- 如申請專利範圍第1項所述之改善圖像品質的方法，其中上述第一參數資訊係由一驅動器所傳送，其包括螢幕座標資訊及距離資訊。
- 如申請專利範圍第1項所述之改善圖像品質的方法，其中在接收上述感測資訊後，上述方法更包括：轉換上述感測資訊至一品質等級；以及根據上述不同頻率及上述品質等級渲染上述區域，並輸出上述已渲染圖像數據。
- 如申請專利範圍第1項所述之改善圖像品質的方法，上述方法更包括：從一時間感測器接收一時間資訊；根據上述時間資訊估計一當前幀的一結束時間；判斷上述結束時間是否在一視頻同步信號Vsync之前；以及當上述結束時間無法在上述視頻同步信號Vsync之前時，產 生一提示訊號，以指示調整上述分辨率。
- 如申請專利範圍第4項所述之改善圖像品質的方法，其中上述時間資訊係至少包括先前幀工作負荷、當前幀工作負荷及一時間戳印比例。
- 如申請專利範圍第1項所述之改善圖像品質的方法，其中上述感測資訊係由一感測器所傳送，上述感測器係為一加速度感測器，上述感測資訊係為一加速度值。
- 如申請專利範圍第1項所述之改善圖像品質的方法，其中上述感測資訊係由一感測器所傳送，上述感測器係為一陀螺感測器，上述感測資訊係為一旋轉角度。
- 如申請專利範圍第1項所述之改善圖像品質的方法，其中上述感測資訊係由一感測器所傳送，上述感測器係為一溫度感測器，上述感測資訊係為一處理器之溫度。
- 如申請專利範圍第1項所述之改善圖像品質的方法，其中上述感測資訊係由一感測器所傳送，上述感測器係為一眼睛追蹤感測器，上述感測資訊係為眼睛所注視之一注視區域。
- 如申請專利範圍第1項所述之改善圖像品質的方法，其中上述圖像數據係一光栅化圖像數據。
- 一種改善圖像品質的虛擬實境裝置，包括：一圖形處理器；以及一記憶體，耦接至上述圖形處理器；其中上述圖形處理器配置用以執行儲存於上述記憶體中之程式碼以執行： 接收一圖像數據及一感測資訊；根據一第一參數資訊將上述圖像數據分為對應至複數不同分辨率之區域，其中上述分辨率係對應至不同頻率；根據上述感測資訊及上述不同頻率以一單遍方式渲染上述區域，並輸出一已渲染圖像數據；以及根據一第二參數資訊解析上述已渲染圖像數據為具有一第一分辨率之一最終輸出圖像數據。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中上述第一參數資訊係由一驅動器所傳送，其包括螢幕座標資訊及距離資訊。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中在接收上述感測資訊後，上述圖形處理器更執行儲存於上述記憶體中之程式碼以執行：轉換上述感測資訊至一品質等級；以及根據上述不同頻率及上述品質等級渲染上述區域，並輸出上述已渲染圖像數據。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中上述圖形處理器更執行儲存於上述記憶體中之程式碼以執行：從一時間感測器接收一時間資訊；根據上述時間資訊估計一當前幀的一結束時間；判斷上述結束時間是否在一視頻同步信號Vsync之前；以及當上述結束時間無法在上述視頻同步信號Vsync之前時，產生一提示訊號，以指示調整上述分辨率。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中上述時間資訊係至少包括先前幀工作負荷、當前幀工作負荷及一時間戳印比例。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中上述感測資訊係由一感測器所傳送，上述感測器係為一加速度感測器，上述感測資訊係為一加速度值。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中上述感測資訊係由一感測器所傳送，上述感測器係為一陀螺感測器，上述感測資訊係為一旋轉角度。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中上述感測資訊係由一感測器所傳送，上述感測器係為一溫度感測器，上述感測資訊係為一處理器之溫度。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中上述感測資訊係由一感測器所傳送，上述感測器係為一眼睛追蹤感測器，上述感測資訊係為眼睛所注視之一注視區域。
- 如申請專利範圍第11項所述之改善圖像品質的裝置，其中上述圖像數據係一光栅化圖像數據。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ??201710351562.4 | 2017-05-18 | ||
| CN201710351562.4A CN107194891B (zh) | 2017-05-18 | 2017-05-18 | 改善图像质量的方法及虚拟实境装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI622957B TWI622957B (zh) | 2018-05-01 |
| TW201901615A true TW201901615A (zh) | 2019-01-01 |
Family
ID=59874132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106119039A TWI622957B (zh) | 2017-05-18 | 2017-06-08 | 改善圖像品質的方法及虛擬實境裝置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10482850B2 (zh) |
| CN (1) | CN107194891B (zh) |
| TW (1) | TWI622957B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11590421B2 (en) | 2021-03-29 | 2023-02-28 | Niantic, Inc. | Travel of virtual characters |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109388448B (zh) | 2017-08-09 | 2020-08-04 | 京东方科技集团股份有限公司 | 图像显示方法、显示系统以及计算机可读存储介质 |
| CN107945100A (zh) * | 2017-11-28 | 2018-04-20 | 歌尔科技有限公司 | 虚拟现实场景的展示方法、虚拟现实设备及系统 |
| CN109389663B (zh) * | 2018-10-31 | 2021-03-09 | Oppo广东移动通信有限公司 | 画面渲染方法、装置、终端及存储介质 |
| US11442495B2 (en) * | 2020-03-06 | 2022-09-13 | Advanced Micro Devices, Inc. | Separate clocking for components of a graphics processing unit |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6501483B1 (en) | 1998-05-29 | 2002-12-31 | Ati Technologies, Inc. | Method and apparatus for antialiasing using a non-uniform pixel sampling pattern |
| US20070008333A1 (en) | 2005-07-07 | 2007-01-11 | Via Technologies, Inc. | Texture filter using parallel processing to improve multiple mode filter performance in a computer graphics environment |
| TW200731760A (en) | 2006-02-13 | 2007-08-16 | Benq Corp | Image capturing method and image-capturing device thereof |
| US20090091648A1 (en) | 2007-10-09 | 2009-04-09 | Shengmin Lin | Multi-resolution Image Sensor Array with High Image Quality Pixel Readout Circuitry |
| CN101226631B (zh) | 2007-12-12 | 2010-06-09 | 华为技术有限公司 | 一种超分辨率图像重构方法和装置 |
| CN101504766B (zh) | 2009-03-25 | 2011-09-07 | 湖南大学 | 基于混合多分辨率分解的图像融合方法 |
| US9897805B2 (en) * | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
| US9317764B2 (en) | 2012-12-13 | 2016-04-19 | Qualcomm Incorporated | Text image quality based feedback for improving OCR |
| CA2958720C (en) * | 2013-09-06 | 2020-03-24 | Zhou Wang | Method and system for objective perceptual video quality assessment |
| CN105659582B (zh) * | 2013-10-31 | 2020-03-27 | 富士胶片株式会社 | 信号处理装置、摄像装置、参数生成方法及信号处理方法 |
| US20150179149A1 (en) * | 2013-12-20 | 2015-06-25 | Qualcomm Incorporated | Dynamic gpu & video resolution control using the retina perception model |
| US9177352B2 (en) * | 2014-01-07 | 2015-11-03 | Qualcomm Innovation Center, Inc. | Selective multithreading for sporadic processor workloads |
| KR102454196B1 (ko) * | 2014-05-27 | 2022-10-14 | 삼성전자 주식회사 | 디스플레이 제어 방법 및 이를 제공하는 전자 장치 |
| CN105992019A (zh) * | 2015-03-04 | 2016-10-05 | 中兴通讯股份有限公司 | 一种实现网络数字视频播放的系统和方法 |
| US10026153B2 (en) * | 2016-09-15 | 2018-07-17 | Intel Corporation | Varying image quality rendering in a sort middle architecture |
| CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
-
2017
- 2017-05-18 CN CN201710351562.4A patent/CN107194891B/zh active Active
- 2017-06-08 TW TW106119039A patent/TWI622957B/zh active
- 2017-06-19 US US15/626,350 patent/US10482850B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11590421B2 (en) | 2021-03-29 | 2023-02-28 | Niantic, Inc. | Travel of virtual characters |
Also Published As
| Publication number | Publication date |
|---|---|
| US10482850B2 (en) | 2019-11-19 |
| CN107194891A (zh) | 2017-09-22 |
| TWI622957B (zh) | 2018-05-01 |
| US20180336867A1 (en) | 2018-11-22 |
| CN107194891B (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI619092B (zh) | 使用多分辨率改善圖像品質的方法及裝置 | |
| TWI622957B (zh) | 改善圖像品質的方法及虛擬實境裝置 | |
| JP7042286B2 (ja) | 滑らかに変化するフォービエイテッドレンダリング | |
| US11315321B2 (en) | View dependent 3D reconstruction mechanism | |
| US11270492B2 (en) | Graphics processing systems | |
| US9569886B2 (en) | Variable shading | |
| US10164459B2 (en) | Selective rasterization | |
| US20190026864A1 (en) | Super-resolution based foveated rendering | |
| US20170124760A1 (en) | Foveated geometry tessellation | |
| CN109727305B (zh) | 虚拟现实系统画面处理方法、装置及存储介质 | |
| US10890966B2 (en) | Graphics processing systems | |
| AU2021339341B2 (en) | Augmented reality-based display method, device, and storage medium | |
| WO2021226535A1 (en) | Multi-layer reprojection techniques for augmented reality | |
| CN105550973B (zh) | 图形处理单元、图形处理系统及抗锯齿处理方法 | |
| US11004427B2 (en) | Method of and data processing system for providing an output surface | |
| US20220230327A1 (en) | Graphics processing systems | |
| CN114331861A (zh) | 使用时间累积来对动态光线追踪场景进行去噪的历史箝位 | |
| EP4107601A1 (en) | Planar deviation based image reprojection | |
| CN112099712B (zh) | 人脸图像显示方法、装置、电子设备及存储介质 | |
| US20230400975A1 (en) | Thermal management of an electronic device | |
| US20230239458A1 (en) | Stereoscopic-image playback device and method for generating stereoscopic images | |
| US20240029363A1 (en) | Late stage occlusion based rendering for extended reality (xr) | |
| US20230305625A1 (en) | Eye Tracking Data Filtering | |
| KR20220005820A (ko) | 그래픽 효과를 적용하기 위한 전자 장치 및 그에 관한 방법 |