TWI751587B - 顯示影像校正方法以及顯示影像校正裝置 - Google Patents

Abstract

本發明提供一種顯示影像校正方法，包含：拍攝一顯示器所顯示的一測試影像，並且量測該測試影像包含的複數個影像區域當中，各影像區域的一最大亮度以及一最小亮度；得出該複數個最大亮度當中的最小值，作為一目標最高亮度，並且得出該複數個最小亮度當中的最大值，作為一目標最低亮度；基於該目標最高亮度，該目標最低亮度，以及一Gamma曲線特性，得出該顯示器所要顯示之影像的一輸入灰階值，與一輸出亮度的對應關係；以及根據該Gamma曲線特性，將該影像的該輸入灰階值的顯示亮度調整為該輸出亮度。

Description

顯示影像校正方法以及顯示影像校正裝置

本發明是關於一種影像處理方法以及影像處理裝置，特別是關於一種顯示影像校正方法以及顯示影像校正裝置。

目前多數做VR(Virtual Reality，虛擬實境)、MR(Mixed Reality，混合實境)、與部分AR(Augmented Reality，擴增實境)應用的頭戴式顯示器(Head Mounted Display，HMD)，主要由面板顯示器與光學鏡片等元件構成影像顯示系統。由於一般的HMD是使用者透過鏡片近距離觀看面板所顯示的影像，所以觀看到面板顯示的細微瑕疵的機會相較於一般顯示器要來得高。因此，改善面板顯示的細微瑕疵對HMD而言相對比較重要。

所謂的面板顯示的細微瑕疵，指的是當一張純色影像顯示於顯示器時，由於硬體本身的使用年限或製造品質等因素，在不同的影像區域(或像素)所顯示的亮度會有不一致的現象。舉例來說，當顯示器顯示一張灰階值全為0的影像時，某些影像區域實際量測到的亮度並非完全為0，而可能是2、4、6、3等。或者，當顯示器顯示一張灰階值全為255的影像時，某些影像區域實際量測到的亮度並非完全為255，而可能是252、250、255、253等。

上述顯示亮度不一致的問題，會影響使用者使用HMD的體驗。然而，先前技術並未揭示如何解決這種問題的方法或是裝置。

因此，本發明提供一種顯示影像校正方法以及顯示影像校正裝置，以改善先前技術中顯示亮度不一致的問題。

關於本發明的顯示影像校正方法，包含：拍攝一顯示器所顯示的一測試影像，並且量測該測試影像包含的複數個影像區域當中，各影像區域的一最大亮度以及一最小亮度；得出該複數個最大亮度當中的最小值，作為一目標最高亮度，並且得出該複數個最小亮度當中的最大值，作為一目標最低亮度；基於該目標最高亮度，該目標最低亮度，以及一Gamma曲線特性，得出該顯示器所要顯示之影像的一輸入灰階值，與一輸出亮度的對應關係；以及根據該Gamma曲線特性，將該影像的該輸入灰階值的顯示亮度調整為該輸出亮度。某實施例當中，該Gamma係數為2.2。

關於本發明的顯示影像校正裝置，包含：一相機，拍攝一顯示器所顯示的一測試影像，並且量測該測試影像包含的複數個影像區域當中，各影像區域的一最大亮度以及一最小亮度；一控制器，耦接該相機，執行一程式以運行下列步驟：得出該複數個最大亮度當中的最小值，作為一目標最高亮度，並且得出該複數個最小亮度當中的最大值，作為一目標最低亮度；基於該目標最高亮度，該目標最低亮度，以及一Gamma曲線特性，得出該顯示器所要顯示之影像的一輸入灰階值，與一輸出亮度的對應關係；一著色器，耦接該控制器，根據該Gamma曲線特性，將該影像的該輸入灰階值的顯示亮度調整為該輸出亮度。某實施例當中，該Gamma係數為2.2。

藉由本發明的顯示影像校正方法以及顯示影像校正裝置，能夠找到顯示器所要顯示之影像的輸入灰階值，與輸出亮度的對應關係。著色器運用上述對應關係，將輸入灰階值的顯示亮度調整為輸出亮度。經著色器調整後，能使每個區域所能顯示的亮度與色彩更一致。因此當使用者使用HMD時，能夠擁有較佳的體驗品質。

第1圖為本發明的顯示影像校正裝置10的硬體架構圖。如第1圖所示，顯示影像校正裝置10包含：相機11、控制器12、著色器(Shader)13、以及顯示器14。

相機11當中包括可量測亮度資訊的感光元件，可以拍攝顯示器14所顯示的任何影像，並從該影像中得出該影像以每個像素(Pixel)為單位的亮度資訊。該亮度資訊舉例來說，可以是24位元的RGB色彩模型，也就是紅、綠、藍三種原色光分別以8位元表示，每一種原色光的數值範圍都介於0~255，故可以組合出16777216種顏色。由於相機11與控制器12耦接，因此相機11取得影像的亮度資訊後，可以傳送給控制器12進行儲存或是運算。但要注意的是，此處的24位元亮度資訊，只是本發明為了方便說明實施方式，而提出的其中一種範例，但並不限定於此。除了24位元的RGB色彩模型之外，亮度資訊還可以是32位元的RGB色彩模型，或者是CIE色彩模型、YUV色彩模型等。

在硬體結構方面，相機11可以是一般外架式的相機；換句話說，相機11可設置於顯示器14的前方，藉以拍攝並擷取顯示器14所顯示的影像。然而，若相機11的設置位置剛好位於使用者觀看顯示器14的視線範圍內時，可能會造成使用者一部分的視線被相機11遮擋，而造成視覺上的干擾。因此，相機11也可以是內嵌式的相機；意即，相機11可埋設於使用者視線範圍外的區域，以免使用者觀察到相機11的存在。另外，相機11也可以是彈出式相機，該彈出式相機僅有在實行本發明的顯示影像校正方法時，才會將機身彈出並出現於使用者的視線範圍內；反之，在不實行顯示影像校正方法的情況下，可使機身收回並收納於使用者不易察覺的位置。如此一來，就可以避免相機11造成使用者觀看體驗不佳的問題。

控制器12同時耦接相機11以及著色器13，可以藉由執行儲存於記憶體(未圖示)的程式，接收相機11所取得的亮度資訊，並對該等資訊進行各種數學/邏輯運算。另外，由於控制器12與著色器13耦接，因此控制器12可以將資料處理的結果傳送給著色器13，以供著色器13使用。

著色器13同時耦接控制器12以及顯示器14，可以從控制器12接收處理後的資訊，並根據控制器12處理後的資訊，調整某個影像實際顯示於顯示器14的亮度，以取代該影像的原始亮度，進而實現顯示影像校正的效果。

接著，針對由相機11、控制器12、以及著色器13實行本發明的顯示影像校正方法，搭配第2圖詳細說明。第2圖為本發明的顯示影像校正方法的流程圖。在第2圖中包含的各項步驟，分別標示為S21~S26。

在步驟S21當中，控制器12會將複數張測試影像顯示於顯示器14。具體來說，顯示器14可以顯示純紅色、純綠色、純藍色、以及純灰階等影像作為測試影像。在影像處理中，所謂的純紅色影像定義為影像當中每個像素的顏色均相同，且該顏色在RGB色彩模型可表示為(R,0,0)(R介於0~255)的顏色。以此類推，純綠色在RGB色彩模型可表示為(0,G,0)(G介於0~255)，而純藍色在RGB色彩模型可表示為(0,0,B)(B介於0~255)。另外，由於純灰階影像的紅色分量、綠色分量以及藍色分量均相同，因此純灰階影像可用RGB色彩模型表示為(Y,Y,Y)(Y介於0~255)，且這裡的Y也等於亮度值。

以下介紹其中一種顯示測試影像的方法：首先，顯示器14先顯示純灰階影像作為測試影像，純灰階影像顯示完畢後，接著再依序顯示純紅色、純綠色、以及純藍色影像。而在各純色當中，則是從亮度最暗到最亮的順序顯示顏色。比方說，當顯示器14顯示純灰階影像的時候，會先顯示(0,0,0)的顏色(即最暗的亮度)，接著，以間距1為單位，依序顯示(1,1,1)、(2,2,2)、(3,3,3)…等顏色，直到最後顯示(255,255,255)的顏色(即最亮的亮度)為止。接著，當顯示器14顯示純紅色影像的時候，則是依照(0,0,0)、(1,0,0)、(2,0,0)、(3,0,0)、…、(255,0,0)的順序顯示純紅色測試影像。其後，純綠色以及純藍色的測試影像，亦可以遵循此原則，從0開始直到255，以間距1為單位，逐次調整純綠色測試影像的G分量、以及純藍色測試影像的B分量的數值並顯示於顯示器14，以達到完整顯示測試影像所有可能呈現的顏色之目的。

要注意的是，上述顯示測試影像的方法並非唯一。舉例來說，顯示純灰階、純紅色、純綠色、純藍色的先後次序可以任意置換，故有4!=24種排序方式。另外，也可以從亮度最亮到最暗的順序顯示顏色，意即，依照(255,255,255)、(254,254,254)、(253,253,253)、…、(0,0,0)的順序顯示顏色。另外，在某些實施例中，還可以改成以間距5為單位，甚至是以間距51為單位顯示顏色，以節省顯示測試影像的次數與時間。

接著，在步驟S22當中，相機11會拍攝顯示器14依照上述實施方式所顯示的測試影像。換句話說，相機11在拍攝顯示器14顯示的測試影像的同時，會同時量測該等測試影像實際顯示的亮度資訊。相機11實際量測的亮度資訊，是以測試影像當中的複數個影像區域為單位進行儲存。影像區域的最小單位為「像素」，也可以為任意長寬比構成的矩形，如4x2或是16x4等。

接著，在步驟S23當中，相機11會量測該測試影像包含的複數個影像區域當中，各影像區域的最大亮度以及最小亮度。我們以步驟S21為例：顯示器14分別由亮度0至255，以間距1為單位顯示256次純灰階影像。對以像素為單位的影像區域而言，每顯示一次不同亮度的測試影像，相機11即可取得該像素所對應的量測值，故總共可以取得256個量測值。如此一來，相機11就可以在該像素的256個量測值當中，找出最大亮度和最小亮度。

若影像區域是以4x2為單位(即8個像素所組成)，則顯示器14顯示某個亮度的純灰階影像作為測試影像時，相機會將該影像區域的8個像素的量測值取平均值並四捨五入，作為該影像區域整體的量測值。也就是說，無論影像區域的大小如何，對每個影像區域而言都可以取得有限個量測值，也都可以找到最大亮度和最小亮度。而對於純紅色、純綠色、純藍色等測試影像而言，其原理和精神也相同。

在以下的範例中，為了方便理解本發明的運作原理與精神，我們把實施方式的環境簡化，僅以顯示器14顯示「純灰階影像」作為測試影像為例進行說明。除此之外，我們還假設顯示器14的影像區域僅有4個區域，分別標註為區域A、B、C、D。我們僅探討顯示器14在4個影像區域顯示純灰階影像時，如何進行後續的步驟S24~S26。

當步驟S21~S23已經全數執行完畢，相機11理論上會量測到4個區域A~D各自的最大亮度以及最小亮度，故一共有8個值。以下的表格1例示性說明某次量測結果中，4個區域的最大亮度以及最小亮度。

(表格1)

	區域A	區域B	區域C	區域D
最大亮度	252	250	255	253
最小亮度	2	4	6	3

從表格1的範例中可以明顯看出，雖然測試影像的亮度範圍介於0~255，但對區域A來說，能夠顯示的亮度範圍僅為2~252，即小於2或大於252的亮度無法正常顯示，而對區域B來說，能夠顯示的亮度範圍僅為4~250…，以此類推。

接著，在步驟S24當中，控制器12會得出複數個最大亮度當中的最小值，作為目標最高亮度

，並且得出複數個最小亮度當中的最大值，作為目標最低亮度

。我們以上述表格1為例，由於4個最大亮度(252,250,255,253)的最小值為250，因此控制器12會將目標最高亮度

設定為250。同理，由於4個最小亮度(2,4,6,3)的最大值為6，因此控制器12會將目標最低亮度

設定為6。

選定複數個最大亮度當中的最小值作為目標最高亮度

的原理，是因為對區域B而言，能夠顯示的亮度範圍最高只有250，已無法再往上調亮。為了讓4個區域能夠顯示的亮度上限值一致，我們以最小值250為基準，讓4個區域最終能夠顯示的亮度上限值統一為250。同理，選定複數個最小亮度當中的最大值作為目標最低亮度

的原理，則是因為對區域C而言，能夠顯示的亮度範圍最低為6，已無法再往下調暗。為了同樣讓4個區域能夠顯示的亮度下限值一致，我們以最大值6為基準，讓4個區域最終能夠顯示的亮度下限值統一為6。如此一來，若藉由本發明提供的裝置或方法，將4個區域的亮度範圍都統一為6~250之後，即可解決各區域顯示影像亮度不均勻的問題。

接著，在步驟S25當中，控制器12會基於目標最高亮度

、目標最低亮度

、以及Gamma曲線特性，得出顯示器14所要顯示之影像的輸入灰階值

，與輸出亮度

之間的對應關係。具體而言，輸入灰階值

與輸出亮度

的對應關係可以用以下數學式1表示。其中，

稱為Gamma係數。

(數學式1)

所謂的Gamma曲線特性，是指輸入灰階值

與輸出亮度

的對應關係遵守冪定律(Power Law)，且當Gamma係數

不為1時，輸入灰階值

與輸出亮度

為非線性轉換。Gamma曲線特性經常應用在影像處理的技術領域。舉例來說，多數的顯示設備顯示影像時，人眼所觀察到的亮度會略低於影像原本的亮度。而業界現行用來描述符合Gamma曲線特性的該等顯示設備時，多數採用的Gamma係數

為1.6、1.8、2.0、2.2、2.4…等。

數學式1當中的255，為輸入灰階值

理論上的最大值。換言之，假設顯示器14所要顯示之影像的輸入灰階值為24位元的RGB影像，由於輸入灰階值

的範圍介於0~255，故將數學式1等號左邊的分母設為255。

我們可以發現，在數學式1當中，目標最高亮度

、目標最低亮度

為步驟S24得出(本實施例假設目標最高亮度

為250且目標最低亮度

為6)，可視為已知資訊；Gamma係數

為一個事先指定的值，例如2.2或是1.8，同樣視為已知資訊；輸入灰階值

的範圍0~255在使用顯示影像校正裝置10時也是已知資訊。因此，將該等值代入數學式1之後，便能得出輸入灰階值

與輸出亮度

的對應關係。

舉例來說，當Gamma係數

代入2.2時，輸入灰階值

與輸出亮度

的對應關係可用下列數學式2表示：

(數學式2)

從數學式2當中可看出，當輸入灰階值

為0時，輸出亮度

為6；當輸入灰階值

為255時，輸出亮度

為250。換言之，輸出亮度

的範圍介於6~250。

在另外一個實施例中，當Gamma係數

代入1.8時，輸入灰階值

與輸出亮度

的對應關係可用下列數學式3表示：

(數學式3)

從數學式3當中可看出，當輸入灰階值

為0時，輸出亮度

為6；當輸入灰階值

為255時，輸出亮度

為250。換言之，輸出亮度

的範圍與數學式2相同，同樣也是介於6~250。

控制器12依照數學式2(即Gamma係數

為2.2)的對應關係，用迭代法將輸入灰階值

代入0~255之後，可以逐一求得輸出亮度

的對應值(已四捨五入到個位數)，如第3-1~3-6圖整理的結果所示。舉例來說，若輸入灰階值

為100，則輸出亮度

為37；若輸入灰階值

為200，則輸出亮度

為149。也就是說，任一個輸入灰階值

必存在一個對應的輸出亮度

。

同理，控制器12依照數學式3(即Gamma係數

為1.8)的對應關係，用迭代法將輸入灰階值

代入0~255之後，可以逐一求得輸出亮度

的對應值(已四捨五入到個位數)，如第4-1~4-6圖整理的結果所示。舉例來說，若輸入灰階值

為100，則輸出亮度

為51；若輸入灰階值

為200，則輸出亮度

為164。也就是說，任一個輸入灰階值

必存在一個對應的輸出亮度

。

最後，在步驟S26當中，著色器13基於步驟S25所得出的Gamma曲線特性，將影像的輸入灰階值

的顯示亮度調整為輸出亮度

。舉例來說，當控制器12已經根據數學式2(Gamma係數

為2.2)的對應關係得出如第3-1~3-6圖所示的結果之後，若顯示器14所要顯示之影像的某個像素的灰階值為100，則著色器13查找第3-2圖當中100對應的值為37，並將該像素灰階值100的顯示亮度調整為37並顯示於顯示器14；以此類推，若某個像素的灰階值為200，則著色器13查找第3-4圖當中200對應的值為149，並將該像素灰階值200的顯示亮度調整為149並顯示於顯示器14。對於顯示器14上的所有影像區域而言，都必須經過步驟S26來調整亮度。

如此一來，依照上述步驟S21~S26執行之後，顯示器14的4個影像區域A~D，實際顯示的亮度範圍都介於6~250，如以下的表格2所示(此範例的Gamma係數

為2.2)。

(表格2)

輸入灰階值	區域A 輸出亮度	區域B 輸出亮度	區域C 輸出亮度	區域D 輸出亮度
255	250	250	250	250
254	248	248	248	248
253	246	246	246	246
⋮	⋮	⋮	⋮	⋮
2	6	6	6	6
1	6	6	6	6
0	6	6	6	6

另外，輸入灰階值

在0~255之間的任何一個值，都能找到相對應的輸出亮度

，且輸入灰階值

與輸出亮度

同時符合Gamma曲線特性。因此，本發明的顯示影像校正方法與顯示影像校正裝置10可以應用在任何須符合Gamma曲線特性的裝置。同時，使用者也能擁有較佳的觀看品質。

至此詳述了針對本發明較佳的實施形態，但本發明並非限定於特定的實施形態，在申請專利範圍所記載本發明要旨的範圍內，可以進行各種的變形、變更。

10:顯示影像校正裝置 11:相機 12:控制器 13:著色器 14:顯示器 S21~S26:步驟

第1圖為本發明的顯示影像校正裝置10的硬體架構圖。 第2圖為本發明的顯示影像校正方法的流程圖(步驟S21~S26)。 第3-1~3-6圖示意Gamma係數為2.2時，輸入灰階值

與輸出亮度

的對應關係。 第4-1~4-6圖示意Gamma係數為1.8時，輸入灰階值

與輸出亮度

的對應關係。

S21~S26:步驟

Claims (4)

1. 一種顯示影像校正方法，包含：拍攝一顯示器所顯示的一測試影像，並且量測該測試影像包含的複數個影像區域當中，各影像區域的一最大亮度以及一最小亮度；得出該複數個最大亮度當中的最小值，作為一目標最高亮度，並且得出該複數個最小亮度當中的最大值，作為一目標最低亮度；基於該目標最高亮度，該目標最低亮度，以及一Gamma曲線特性，得出該顯示器所要顯示之影像的一輸入灰階值，與一輸出亮度的對應關係；以及根據該Gamma曲線特性，將該影像的該輸入灰階值的顯示亮度調整為該輸出亮度；其中，該Gamma曲線特性所對應的一Gamma係數為1.8。
2. 如請求項1之顯示影像校正方法，其中，該輸入灰階值與該輸出亮度的對應關係為：

   

   T _max 為該目標最高亮度，T _min 為該目標最低亮度，γ為該Gamma係數，Y _in 為該輸入灰階值，T _out 為該輸出亮度。
3. 一種顯示影像校正裝置，包含：一相機，拍攝一顯示器所顯示的一測試影像，並且量測該測試影像包含的複數個影像區域當中，各影像區域的一最大亮度以及一最小亮度； 一控制器，耦接該相機，執行一程式以運行下列步驟：得出該複數個最大亮度當中的最小值，作為一目標最高亮度，並且得出該複數個最小亮度當中的最大值，作為一目標最低亮度；基於該目標最高亮度，該目標最低亮度，以及一Gamma曲線特性，得出該顯示器所要顯示之影像的一輸入灰階值，與一輸出亮度的對應關係；一著色器，耦接該控制器，根據該Gamma曲線特性，將該影像的該輸入灰階值的顯示亮度調整為該輸出亮度；其中，該Gamma曲線特性所對應的一Gamma係數為1.8。
4. 如請求項3之顯示影像校正裝置，其中，該輸入灰階值與該輸出亮度的對應關係為：

   

   T _max 為該目標最高亮度，T _min 為該目標最低亮度，γ為該Gamma係數，Y _in 為該輸入灰階值，T _out 為該輸出亮度。

Images