TWI740326B

TWI740326B - 電腦系統及其影像補償方法

Info

Publication number: TWI740326B
Application number: TW108147736A
Authority: TW
Inventors: 林子傑
Original assignee: 宏碁股份有限公司
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2021-09-21
Also published as: TW202126026A

Abstract

本發明實施例提供一種電腦系統及其影像補償方法。在此方法中，判斷第一解析度資訊及第二解析度資訊之間的差異，反應於第一解析度資訊與第二解析度資訊之間有差異，分析第一影像以產生影像調整參數，並依據影像調整參數及第二解析度資訊調整第一影像以形成第二影像。第一解析度資訊相關於影像擷取裝置擷取的第一影像，且第二解析度資訊相關於顯示器所呈現的第二影像。影像調整參數相關於增強影像清晰度，且此差異是第一解析度資訊對應的解析度低於第二解析度資訊對應的解析度。第二影像用於供顯示器呈現。藉此，可增進顯示影像的清晰度。

Description

電腦系統及其影像補償方法

本發明是有關於一種影像處理技術，且特別是有關於一種電腦系統及其影像補償方法。

諸如手機(或稱行動電話)、筆記型電腦、桌上型電腦、視訊穿透式頭戴顯示器(Video See-Through Head-Mounted Display，VST-HMD)等裝置通常會同時搭載(例如，外接或內嵌)相機及顯示器。在這些裝置的應用上，可透過相機擷取影像，並快速(或即時)地在顯示器上顯示影像。以視訊穿透式頭戴顯示器(VST-HMD)為例，其主要由面板顯示器與光學鏡頭等組件構成影像顯示系統，並可透過裝置上的攝影機拍攝外在環境，再顯示所擷取到的影像，讓使用者能透過攝影機觀看外在世界。此種頭戴顯示器能廣泛地應用在諸如虛擬實境(Virtual Reality，VR)、混合實境(Mixed Reality，MR)、擴增實境(Augmented Reality，AR)、延伸實境(Extended Reality，XR)等技術。

然而，前述那些搭載相機及顯示器的裝置在應用過程中可能遇到來源影像(藉由相機擷取)的畫面解析度低於顯示器畫面解析度的狀況。在這種狀況下，顯示器顯示的畫面可能會有影像模糊、影像區塊效應或動態影像有閃爍感的缺點，進而影響使用者體驗。

有鑑於此，本發明實施例提供一種電腦系統及其影像補償方法，提升相機所擷取的影像的解析度及清晰度，讓顯示器上呈現的畫面更清晰。

本發明實施例的影像補償方法，其包括但不僅限於下列步驟：判斷第一解析度資訊及第二解析度資訊之間的差異；反應於第一解析度資訊與第二解析度資訊之間有差異，分析第一影像以產生影像調整參數；依據影像調整參數及第二解析度資訊調整第一影像以形成第二影像。第一解析度資訊相關於影像擷取裝置擷取的第一影像，且第二解析度資訊相關於顯示器所呈現的第二影像。影像調整參數相關於增強影像清晰度，且此差異是第一解析度資訊對應的解析度低於第二解析度資訊對應的解析度。第二影像用於供顯示器呈現。

本發明實施例的電腦系統，其包括但不僅限於影像擷取裝置、顯示器及處理器。影像擷取裝置用以擷取第一影像。顯示器用以呈現第二影像。處理器耦接影像擷取裝置及顯示器。處理器並經配置用以執行下列步驟：判斷第一解析度資訊及第二解析度資訊之間的差異；反應於第一解析度資訊與第二解析度資訊之間有差異，分析第一影像以產生影像調整參數；依據影像調整參數及第二解析度資訊調整第一影像以形成第二影像。第一解析度資訊相關於第一影像，且第二解析度資訊相關於第二影像。影像調整參數相關於增強影像清晰度，且此差異是第一解析度資訊對應的解析度低於第二解析度資訊對應的解析度。處理器將第二影像顯示在顯示器上。

基於上述，本發明實施例的電腦系統及其影像補償方法，若影像擷取裝置所取得的影像對應解析度低於顯示器的解析度，分析此影像並據以增加影像的解析度並增強清晰度。藉此，可使用較有效率的資源配置，並讓顯示器呈現的影像更清晰。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的電腦系統1。00的元件方塊圖。請參照圖1，電腦系統100包括但不僅限於影像擷取裝置110、顯示器120及處理器130。電腦系統100可以是智慧型手機、平板電腦、筆記型電腦、桌上型電腦

、頭戴顯示器等裝置。

影像擷取裝置110可以是相機、攝影機或其他具有影像擷取功能的裝置。在一實施例中，影像擷取裝置110用以對外拍攝，以擷取影像。

顯示器120耦接處理器130，顯示器120並可以是液晶顯示器(LCD)、發光二極體(LED)顯示器、有機發光二極體(OLED)顯示器或其他類型顯示器。在一實施例中，顯示器120用以顯示影像。

處理器130分別耦接影像擷取裝置110及顯示器120，處理器130並可以是中央處理單元(CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在一實施例中，處理器130用以取得來自影像擷取裝置110的影像，並進一步對此影像進行處理。

需說明的是，在一些實施例中，處理器130可能內嵌於影像擷取裝置110或顯示器120。即，處理器130為影像擷取裝置110或顯示器120的處理器。

為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中對影像處理的流程。下文中，將搭配電腦系統100中的各元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依據本發明一實施例的影像補償方法的流程圖。請參照圖2，處理器130判斷第一解析資訊及第二解析資訊之間的差異(步驟S210)。具體而言，處理器130輸入影像擷取裝置110所擷取的第一影像，並取得此第一影像或影像擷取裝置110的第一解析度資訊。即，第一解析度資訊相關於影像擷取裝置110擷取的第一影像。第一解析度資訊可以是第一影像的高及/或寬的像素數量(即，解析度的高及/或寬)。例如，處理器130取得第一影像的元資料(metadata)，且元資料記錄有圖片解析度。或者，處理器130自影像擷取裝置110或記憶體取得影像擷取裝置110的裝置識別資訊，以取得影像擷取裝置110支援的解析度。另一方面，處理器130取得顯示器120的第二解析度資訊。例如，處理器130可自顯示器120的裝置識別資訊或作業系統當前對於顯示解析度的設定，取得此第二解析度資訊。第二解析度資訊可以是顯示器呈現第二影像的高及/或寬的像素數量。即，此第二解析度資訊相關於顯示器120所呈現的第二影像。

接著，處理器130可比較第一影像的解析度的高與顯示器120的解析度的高，並/或比較第一影像的解析度的寬與顯示器120的解析度的寬。在一實施例中，處理器130可判斷兩者的比值。例如，解析度的寬比值

為：

…(1) 其中，

是顯示器120的解析度的寬，

是第一影像的解析度的寬。而解析度的高(Height)比值

為：

…(2) 其中，

是顯示器120的解析度的高，

是第一影像的解析度的高。在另一實施例中，處理器130可直接比較解析度的高及/或寬的大小。

接著，反應於第一解析度資訊與第二解析度資訊之間有差異，處理器130分析第一影像以產生影像調整參數(步驟S230)。本發明實施例的差異是相關於第一解析度資訊對應的解析度低於第二解析度資訊對應的解析度。值得注意的是，較低解析度的影像在顯示器120上呈現可能形成模糊、區塊效應或影像閃爍等現象。因此，若步驟S210的判斷結果是兩資訊之間有差異，則第一影像需要進一步進行影像清晰度補償。

在一實施例中，處理器130可將方程式(1)及/或方程式(2)的比值與對應門檻值比較。若比值大於對應門檻值，則處理器130判斷兩資訊之間有差異；反之，則處理器130判斷兩資訊之間無差異或差異甚小。

舉例而言，假設以不變更第一影像的寬高比例為原則。若第一影像解析度的寬大於其高，則處理器130設定在寬比值

大於第一門檻值時才進行影像清晰度補償。反之，若第一影像解析度的高大於其寬，則處理器130設定在高(Height)比值

大於第二門檻值時才進行影像清晰度補償。需說明的是，第一及第二門檻值的數值可依據實際情況而變化。例如，第一門檻值及/或第二門檻值可設定為1(即，當顯示器120的解析度(高或寬)大於第一影像(影像擷取裝置110擷取的影像)解析度(高或寬)時，處理器130才進行影像清晰度補償)。又例如，第一門檻值及/或第二門檻值可設定為1.5。

在另一實施例中，處理器130可直接比較兩資訊中解析度的高及/或寬。若第一解析度資訊低於第二解析度資訊對應的解析度、或兩解析度之差異高於特定值(例如，100、200或300個像素等)，則處理器130可認定有差異(即，需要進行影像清晰度補償)。

若欲進行影像清晰度補償，處理器130將進一步決定增強影像清晰度所用的影像調整參數。處理器130可分析第一影像以得出對應的影像調整參數。此影像調整參數可能相關於對比度強化、銳利度強化或其他增進影像清晰度的影像處理。

在一實施例中，處理器130可依據第一解析度資訊與第二解析度資訊之間的比較結果決定對應影像調整參數。具體而言，處理器130可依據方程式(1)或方程式(2)所算出的比值，決定顯示器120的顯示解析度與第一影像的解析度的大小關係。若比值大於1，則表示顯示器120的顯示解析度大於第一影像的解析度。若比值越大，則諸如模糊、區塊效應等現象可能越嚴重，且處理器130須對第一影像進行相對應趨勢的影像清晰度調整(即，比值越高，則影像調整參數的強度越高)。若比值小於1，則表示顯示器120的顯示解析度小於第一影像的解析度，即出現「顯示器120的顯示影像清晰度下降」的機會較低，則處理器150可能不/禁能(disable)調整第一影像。

在另一實施例中，處理器130判斷第一影像的紋理等級。具體而言，處理器130可統計第一影像中各像素的對應邊緣強度，並依據統計結果得出第一影像的紋理等級。例如，第一影像的紋理等級

可由方程式(3)得出：

…(3)

是邊緣強度等級(其值以0~255為例)，

是像素的邊緣強度等級為

的個數。即，紋理等級是第一影像中所有像素的邊緣強度等級的算術平均值。

需說明的是，在其他實施例中，紋理等級也可能是第一影像中所有像素的邊緣強度等級的中位數、眾數或其他代表數值。此外，在一些實施例中，在統計邊緣強度之前，處理器130可先對第一影像進行過邊緣強化處理。

決定紋理等級之後，處理器130可依據此紋理等級的高低決定對應的影像調整參數。若第一影像的紋理等級偏高(可能與特定門檻值比較)，表示第一影像本身可能具有較多、或較複雜的紋理，且後續調整(例如，影像清晰度增強)的效果可能較高，因此處理器130須對第一影像進行相對較高強度的影像調整。即，若紋理等級越高，則影像調整參數的強度越高。另一方面，第一影像的紋理等級偏低(可能與特定門檻值比較)，表示第一影像可能是較平滑的畫面，且後續調整的效果可能較低，因此第一影像不須進行過多的影像調整，甚至不進行調整。即，若紋理等級越低，則影像調整參數的強度越低。此外，針對介於最高及最高紋理等級之間的紋理等級，處理器150可依據前述趨勢決定對應的影像調整參數。

又一實施例中，處理器130可判斷第一影像的動態等級。具體而言，處理器130可統計該第一影像中至少一區塊(由一個或更多個像素所組成)的對應動態向量(motion vector)，並依據統計結果得出第一影像的動態等級。例如，處理器130可判斷第一影像中那些區塊的動態向量大小的平均值，以作為整張第一影像的動態值或動態等級(下文以動態等級統稱)。又例如，動態等級也可能是第一影像中那些區塊的動態向量大小的中位數、眾數或其他代表數值。

決定動態等級之後，處理器130可依據動態等級的高低決定對應的影像調整參數。若動態等級越低，則表示第一影像越接近靜態畫面；反之，動態等級越高則表示第一影像越接近動態畫面。一般來說，第一影像的場景動態等級越高，則須對其進行高強度的調整。即，若動態等級越高，則影像調整參數的強度越高。另一方面，第一影像的場景動態等級越低，則越不須對其進行過多的調整，甚至可不調整。即，若動態等級越低，則影像調整參數的強度越低。

再一實施例中，處理器130會判斷第一影像的紋理等級及/或動態等級，並給予第一解析度資訊及第二解析度資訊之間的差異、以及紋理等級及/或動態等級的對應權重值。具體而言，有關前述不同解析度比值、不同紋理等級與不同動態等級所對應的影像調整參數，可藉由事前實驗給定(例如，形成對照表或方程式)、或利用機器學習等訓練方式產生模型，於此不限定。

此外，這些等級或差異也可使用權重分配的方式。在一實施例中，權重值的決定是依據以下機制：若解析度的差異、紋理等級或動態等級越高，則對應的權重值越高；若解析度的差異、紋理等級或動態等級越低，則對應的權重值越低。接著，處理器130可依據此差異、以及紋理等級及/或動態等級的對應權重值(例如，進行權重分配或權重運算等)決定對應影像調整參數的強度(例如，銳利度的強度、或對比度的強度等)。

舉例而言，假定用於比對解析度的第一門檻值(或第二門檻值)設定為1，處理器130並預先將自方程式(1)或方程式(2)可能得出的比值的數值分成五十個群組(例如，第一解析度群組至第五十解析度群組，第一解析度群組為比值的數值最低的群組，第五十解析度群組為比值的數值最高的群組，其餘依此類推)。而方程式(3)可能得出的等級數值被分成三十個群組(例如，第一紋理群組至第三十紋理群組，第一紋理群組為數值最低的群組，第三十紋理群組為數值最高的群組，其餘依此類推)。此外，動態等級可能得出的數值也被分成二十個群(例如：第一動態群組至第二十動態群組，第一動態群組為數值最低的群組，第二十動態群組為數值最高的群組，其餘依此類推)。另外，假設用於清晰度調整的影像調整參數的強度有一百個等級(例如，第一等級至第一百等級)。

接著，處理器130可用權重分配的方式來決定最終影像調整參數的強度。例如，解析度群組佔百分之五十，紋理群組佔百分之三十，動態群組佔百分之二十。處理器130將三個參考項目(例如，解析度差異、紋理等級及動態等級)的結果依據所佔比例(例如，百分之五十、三十及二十)進行分配。即，三個參考項目的優先程度不同。這三個參考項目與影像調整參數的強度，在數值上皆為正相關。因此，權重值分配時，處理器130可將群組對應數值最高者給予所佔權重的最大值(例如，紋理項目被分配到百分之三十的比例，則第三十紋理群組對應到權重值為百分之三十)，並將群組對應數值最低者給予所佔權重的最小值(例如，第一紋理等級對應到的權重值為百分之一)，最後再將三個參考項目對應權重值加總(即，分配到的權重值總和)以作為影像調整參數的強度。

例如，若依據當前第一影像所得出的結果為第一解析度群組、第一紋理群組及第一動態群組，則對應影像調整參數的強度為第三等級(三個百分之一加總為百分之三)。又例如，若依據當前第一影像所得出的結果為第五十解析度群組、第三十紋理群組及第二十動態群組，則對應影像調整參數的強度為第一百等級(百分之五十加百分之三十加百分之二十的解為百分之百)。

需說明的是，前述權重比例及各參考項目的群組數目僅是作為範例說明，且可能依據實際情況而有所變動，本發明實施例不加以限制。

接著，處理器130可依據步驟S230所得的影像調整參數及第二解析度資訊調整第一影像以形成第二影像(步驟S250)。具體而言，第二影像是用於供顯示器120呈現的影像。處理器150可將第一影像的影像解析度調大至第二解析度資訊對應的解析度。例如，第一解析度資訊為480P(720×480)，且第二解析度資訊為1080P(1920×1080)(即，顯示器120的顯示解析度)，處理器130可將480P的第一影像增大至1080P的解析度。需說明的是，在其他實施例中，處理器130也可能是將第一影像的影像解析度調大至第一解析度資訊與第二解析度資訊對應解析度之間的解析度。利如，第一解析度資訊為480P，且第二解析度資訊為1080P，處理器130可將480P的第一影像增大至720P(1280×720)的解析度。

接著，處理器130可對解析度增大的第一影像依據步驟S230所得出的影像調整參數進行諸如銳利度、對比度強化等清晰度增強相關的影像處理，以形成第二影像。即，第二影像是第一影像經解析度增大及清晰度增強的影像。處理器130接著可將第二影像顯示在顯示器120上。

需說明的是，前述第一影像的產生與第二影像的顯示之間的時間間隔可能小於特定時間門檻值(例如，1秒、500毫秒、或100毫秒等)，以達到顯示器120即時呈現影像擷取裝置110所拍攝影像的功能(例如，Live View)。此外，若步驟S210的判斷結果是沒有差異或差異甚小，則處理器130可直接將第一影像作為顯示器120所欲顯示的第二影像。即，處理器130在顯示器120上顯示第一影像。

綜上所述，本發明實施例的電腦系統及其影像補償方法，針對影像擷取裝置所擷取的第一影像的解析度小於顯示器的顯示器解析度的情況，分析第一影像與顯示解析度的差異、第一影像的紋理等級及動態等級，並據以得出這些參考項目對應的影像調整參數。接著，可將第一影像的解析度調大，並依據影像調整參數進行對應的影像清晰度增強調整。藉此，可利用較有效率的資源配置，讓顯示器的顯示影像更加清晰。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100：電腦系統 110：影像擷取裝置 120：顯示器 130：處理器 S210~S250：步驟

圖1是依據本發明一實施例的電腦系統的元件方塊圖。圖2是依據本發明一實施例的影像補償方法的流程圖。

S210~S250：步驟

Claims

一種影像補償方法，包括：判斷一第一解析度資訊及一第二解析度資訊之間的一差異，其中該第一解析度資訊相關於一影像擷取裝置擷取的一第一影像，且該第二解析度資訊相關於一顯示器所呈現的一第二影像；反應於該第一解析度資訊與該第二解析度資訊之間有該差異，分析該第一影像以產生一影像調整參數，其中該影像調整參數相關於增強影像清晰度，且該差異是該第一解析度資訊對應的解析度低於該第二解析度資訊對應的解析度；以及依據該影像調整參數及該第二解析度資訊調整該第一影像以形成該第二影像，其中該第二影像用於供該顯示器呈現，其中分析該第一影像以產生該影像調整參數的步驟包括：判斷該第一影像的紋理等級，其中統計該第一影像中各像素的對應邊緣強度，並依據統計結果得出該第一影像的紋理等級；以及依據該紋理等級的高低決定對應的該影像調整參數，其中若該紋理等級越高，則該影像調整參數的強度越高，且若該紋理等級越低，則該影像調整參數的強度越低。
如申請專利範圍第1項所述的影像補償方法，其中該第一解析度資訊包括該第一影像的解析度的高或寬，該第二解析度資訊包括該顯示器的解析度的高或寬，且判斷該第一解析度資訊及該第二解析度資訊之間的該差異的步驟包括：比較該第一影像的該解析度的高與該顯示器的該解析度的高，或比較該第一影像的該解析度的寬與該顯示器的該解析度的寬；而分析該第一影像以產生該影像調整參數的步驟更包括：依據比較結果決定對應該影像調整參數。
如申請專利範圍第1項所述的影像補償方法，其中分析該第一影像以產生該影像調整參數的步驟更包括：判斷該第一影像的動態等級，其中統計該第一影像中至少一區塊的對應動態向量(motion vector)，並依據統計結果得出該第一影像的動態等級；以及依據該動態等級的高低決定對應的該影像調整參數，其中若該動態等級越高，則該影像調整參數的強度越高，且若該動態等級越低，則該影像調整參數的強度越低。
如申請專利範圍第1項所述的影像補償方法，其中分析該第一影像以產生該影像調整參數的步驟更包括：判斷該第一影像的紋理等級及動態等級，其中該動態等級相關於動態向量；給予該第一解析度資訊及該第二解析度資訊之間的該差異、以及該紋理等級及該動態等級中的該至少一者的對應權重值，其中若該差異、該紋理等級或該動態等級越高，則該對應的權重值越高，且若該差異、該紋理等級或該動態等級越低，則該對應的權重值越低；以及依據該差異、以及該紋理等級及該動態等級中的該至少一者的對應權重值決定對應該影像調整參數。
一種電腦系統，包括：一影像擷取裝置，擷取一第一影像；一顯示器，呈現一第二影像；以及一處理器，耦接該影像擷取裝置及該顯示器，並經配置用以：判斷一第一解析度資訊及一第二解析度資訊之間的一差異，其中該第一解析度資訊相關於該第一影像，且該第二解析度資訊相關於該第二影像；反應於該第一解析度資訊與該第二解析度資訊之間有該差異，分析該第一影像以產生一影像調整參數，其中該影像調整參數相關於增強影像清晰度，且該差異是該第一解析度資訊對應的解析度低於該第二解析度資訊對應的解析度；以及依據該影像調整參數及該第二解析度資訊調整該第一影像以形成該第二影像，其中將該第二影像顯示在該顯示器上，其中該處理器更經配置用以：判斷該第一影像的紋理等級，其中統計該第一影像中各像素的對應邊緣強度，並依據統計結果得出該第一影像的紋理等級；以及依據該紋理等級的高低決定對應的該影像調整參數，其中若該紋理等級越高，則該影像調整參數的強度越高，且若該紋理等級越低，則該影像調整參數的強度越低。
如申請專利範圍第5項所述的電腦系統，其中該第一解析度資訊包括該第一影像的解析度的高或寬，該第二解析度資訊包括該顯示器的解析度的高或寬，且該處理器更經配置用以：比較該第一影像的該解析度的高與該顯示器的該解析度的高，或比較該第一影像的該解析度的寬與該顯示器的該解析度的寬；以及依據比較結果決定對應該影像調整參數。
如申請專利範圍第5項所述的電腦系統，其中該處理器更經配置用以：判斷該第一影像的動態等級，其中統計該第一影像中至少一區塊的對應動態向量，並依據統計結果得出該第一影像的動態等級；以及依據該動態等級的高低決定對應的該影像調整參數，其中若該動態等級越高，則該影像調整參數的強度越高，且若該動態等級越低，則該影像調整參數的強度越低。
如申請專利範圍第5項所述的電腦系統，其中該處理器更經配置用以：判斷該第一影像的紋理等級及動態等級中的至少一者，其中該紋理等級相關於邊緣強度，且該動態等級相關於動態向量；給予該第一解析度資訊及該第二解析度資訊之間的該差異、以及該紋理等級及該動態等級中的該至少一者的對應權重值，其中若該差異、該紋理等級或該動態等級越高，則該對應的權重值越高，且若該差異、該紋理等級或該動態等級越低，則該對應的權重值越低；以及依據該差異、以及該紋理等級及該動態等級中的該至少一者的對應權重值決定對應該影像調整參數。