TWI736114B

TWI736114B - 顯示畫面補償方法及電子裝置

Info

Publication number: TWI736114B
Application number: TW109102517A
Authority: TW
Inventors: 林子傑
Original assignee: 宏碁股份有限公司
Priority date: 2020-01-22
Filing date: 2020-01-22
Publication date: 2021-08-11
Also published as: TW202130166A

Abstract

本發明提供一種顯示畫面補償方法及電子裝置。所述方法包括：取得相機的來源影像更新率；取得顯示器畫面更新率；基於來源影像更新率及顯示器畫面更新率判斷是否進行畫面補償操作；反應於判定執行畫面補償操作，基於來源影像更新率及顯示器畫面更新率決定最大補償影像數；確定相機所拍攝的特定場景的動態等級，並依據動態等級及最大補償影像數決定補償影像數；依據補償影像數在前述來源影像之間插入補償影像。

Description

顯示畫面補償方法及電子裝置

本發明是有關於一種顯示技術，且特別是有關於一種顯示畫面補償方法及電子裝置。

在現有技術中，有一些電子系統同時包含相機、顯示器及電子裝置，而其中的相機和顯示器可外接於電子裝置或內嵌於電子裝置中。例如，手機、筆電、桌上型電腦、視訊穿透式頭戴顯示器（Video See-through Head Mounted Display，VST-HMD）等，都屬於上述電子系統/電子裝置。

在這類電子系統中，其中一種應用方式為透過相機擷取來源影像，並快速地或即時地透過顯示器進行顯示。然而，此種應用可能遇到相機擷取的來源影像的畫面更新率低於顯示器畫面更新率的狀況。在此情況下，可能造成顯示器在顯示畫面時不夠順暢，進而影響使用者體驗。

有鑑於此，本發明提供一種顯示畫面補償方法及電子裝置，其可用於解決上述技術問題。

本發明提供一種顯示畫面補償方法，適於一電子裝置，所述方法包括：取得一相機擷取多個來源影像的一來源影像更新率；取得一顯示器的一顯示器畫面更新率，其中顯示器用於顯示相機所擷取的前述來源影像；基於來源影像更新率及顯示器畫面更新率判斷是否進行一畫面補償操作；反應於判定執行畫面補償操作，基於來源影像更新率及顯示器畫面更新率決定一最大補償影像數；確定相機所拍攝的一特定場景的一動態等級，並依據動態等級及最大補償影像數決定一補償影像數；依據補償影像數在前述來源影像之間插入至少一補償影像。

本發明提供一種電子裝置，其包括儲存電路及處理器。儲存電路儲存多個模組。處理器耦接儲存電路，存取前述模組以執行下列步驟：取得一相機擷取多個來源影像的一來源影像更新率；取得一顯示器的一顯示器畫面更新率，其中顯示器用於顯示相機所擷取的前述來源影像；基於來源影像更新率及顯示器畫面更新率判斷是否進行一畫面補償操作；反應於判定執行畫面補償操作，基於來源影像更新率及顯示器畫面更新率決定一最大補償影像數；確定相機所拍攝的一特定場景的一動態等級，並依據動態等級及最大補償影像數決定一補償影像數；依據補償影像數在前述來源影像之間插入至少一補償影像。

基於上述，本發明的顯示畫面補償方法及電子裝置可適應性地在相機所提供的來源影像之間插入新產生的補償畫面，藉以讓顯示器所顯示的畫面更為流暢。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參照圖1，其是依據本發明之一實施例繪示的電子裝置示意圖。在不同的實施例中，電子裝置100例如是外接有相機110及顯示器120的手機、筆電、桌上型電腦、VST-HMD或其他類似的裝置，但可不限於此。應了解的是，雖圖1係將相機110及顯示器120繪示為外接於電子裝置100的態樣，但在一些實施例中，相機110及顯示器120亦可變化為內嵌於電子裝置100中的態樣。

如圖1所示，電子裝置100包括儲存電路102及處理器104。儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。

處理器104耦接於儲存電路102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。

在本發明的實施例中，處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的顯示畫面補償方法，其細節詳述如下。

請參照圖2，其是依據本發明之一實施例繪示的顯示畫面補償方法流程圖。本實施例的方法可由圖1的電子裝置100執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。

首先，在步驟S210中，處理器104可取得相機110擷取多個來源影像的來源影像更新率。在一實施例中，處理器104例如可直接讀取相機110的相關系統來取得來源影像更新率。在另一實施例中，處理器104可計算在一預設時間內從相機110接收到的來源影像的數量，並據以估計來源影像更新率。例如，假設處理器104在一分鐘內從相機110接收到的來源影像的數量為60，則處理器104可相應估計相機110的來源影像更新率為60Hz，但可不限於此。

此外，在又一實施例中，處理器104可取得來源影像兩兩之間的時間差，並據以估計相機110的來源影像更新率。例如，處理器104可計算此時間差的倒數，並以此倒數作為相機110的來源影像更新率，但本發明可不限於此。

之後，在步驟S220中，處理器104可取得顯示器120的顯示器畫面更新率。在一實施例中，處理器104可直接從顯示器120的相關系統讀取顯示器120的顯示器畫面更新率，但可不限於此。

在步驟S230中，處理器104可基於來源影像更新率（以下以

表示）及顯示器畫面更新率（以下以

表示）判斷是否進行畫面補償操作。在一實施例中，處理器104可計算顯示器畫面更新率及來源影像更新率的比值（以下以

表示），亦即

。之後，處理器104可判斷此比值（即，

）是否高於一預設門限值，若是，則處理器104可判定進行畫面補償操作，反之則判定不進行畫面補償操作。在一實施例中，前述預設門限值例如可設定為1，而此即代表只有在

大於

時才進行畫面補償操作，但本發明可不限於此。

舉例而言，假設

為60Hz，

為90Hz，則

即可經計算為1.5（即90/60）。在此情況下，由於

大於預設門限值（例如，1），故處理器104可判定需進行畫面補償操作。舉另一例而言，假設

及

皆為60Hz，則

即可經計算為1（即60/60）。在此情況下，由於

未高於預設門限值（例如，1），故處理器104可判定不需進行畫面補償操作。

在步驟S240中，反應於判定執行畫面補償操作，處理器104可基於來源影像更新率及顯示器畫面更新率決定最大補償影像數（以下以

表示）。在一實施例中，最大補償影像數可表徵為：

，但本發明可不限於此。

舉例而言，假設

為60Hz，

為90Hz，則

可經計算為0.5。在此情況下，數值為0.5的

可代表來源影像兩兩之間最多需插入0.5張補償影像，而此亦可理解為每2張來源影像即插入1張補償影像。舉另一例而言，假設

為30Hz，

為90Hz，則

可經計算為2。在此情況下，數值為2的

可代表來源影像兩兩之間最多需插入2張補償影像。

然而，在一些實施例中，若相機110所拍攝的特定場景相對較靜態，則由於來源影像兩兩之間的差異可能並不大，故可能不需在來源影像之間插入過多的補償影像。相反地，若相機110所拍攝的特定場景相對較動態，則可能需相應地在來源影像之間插入較多張補償影像（最多為

），以改善使用者的觀看體驗。

因此，在步驟S250中，處理器104可確定相機所拍攝的特定場景的動態等級，並依據動態等級及最大補償影像數決定補償影像數。

在一實施例中，處理器104可取得來源影像之一的多個畫面動態向量，並計算這些畫面動態向量的大小平均值，再據以確定特定場景的動態等級。在此實施例中，設計者可預先決定對應於不同動態等級的多個數值區間，而在處理器104取得畫面動態向量的大小平均值之後，可依據此大小平均值所屬的數值區間來決定特定場景的動態等級，但本發明可不限於此。

此外，不同動態等級還可經設定為對應於不同的特定比例值，且此特定比例值可正相關於動態等級。亦即，動態等級越高，其對應的特定比例值即越高。

舉例而言，假設設計者共設計有10個動態等級，而其對應的特定比例值由高至低可分別為100%、90%、80%、70%、60%、50%、40%、30%、20%及10%，但可不限於此。在此情況下，若相機110所拍攝的特定場景經判定為最高的動態等級，則處理器104將最大補償影像數（即

）乘以對應的特定比例值（例如100%）以產生參考值，並將此參考值進位以產生上述補償影像數。舉另一例而言，若相機110所拍攝的特定場景經判定為最低的動態等級，則處理器104將最大補償影像數（即

）乘以對應的特定比例值（例如10%）以產生參考值，並將此參考值進位以產生上述補償影像數，但本發明可不限於此。

在決定上述補償影像數之後，在步驟S260中，處理器104可依據補償影像數在前述來源影像之間插入補償影像。舉例而言，假設相機110所提供的來源影像中包括連續的第一來源影像及第二來源影像，則處理器104可在第一來源影像及第二來源影像之間插入至少一第一補償影像，其中所述至少一第一補償影像的數量等於上述補償影像數。

為使上述概念更易於理解，以下另輔以圖3及圖4作進一步說明。

請參照圖3，其是依據本發明第一實施例繪示的在來源影像之間插入補償影像的示意圖。在第一實施例中，假設相機110提供連續3張來源影像311~313（其個別包括移動中的物件399），且補償影像數假設為1。在此情況下，處理器104例如可基於影像內插（interpolation）操作來產生補償影像314及315。具體而言，處理器104可基於來源影像311及312（的像素值、動態向量等）執行影像內插操作，以產生可插入於來源影像311及312之間的補償影像314。同理，處理器104可基於來源影像312及313執行影像內插操作，以產生可插入於來源影像312及313之間的補償影像315。

由圖3的下半部可看出，在進行畫面補償操作之後，可令使用者觀看到更為流暢的畫面（例如，物件399的移動更為連續），從而改善使用者的觀看體驗。

請參照圖4，其是依據本發明第二實施例繪示的在來源影像之間插入補償影像的示意圖。在第二實施例中，假設相機110提供連續3張來源影像411~413（其個別包括移動中的物件499），且補償影像數假設為1。在此情況下，處理器104例如可基於影像外推（extrapolation）操作來產生補償影像414及415。具體而言，處理器104可基於來源影像411執行影像外推操作，以產生可插入於來源影像411及412之間的補償影像414。同理，處理器104可基於來源影像412執行影像外推操作，以產生可插入於來源影像412及413之間的補償影像415。

由圖4的下半部可看出，在進行畫面補償操作之後，可令使用者觀看到更為流暢的畫面（例如，物件499的移動更為連續），從而改善使用者的觀看體驗。在一些實施例中，越須即時顯示來源影像的應用方式可能越適時採用影像外推操作來進行畫面補償操作，但可不限於此。

綜上所述，本發明的顯示畫面補償方法及電子裝置可在來源影像更新率低於顯示器畫面更新率時，在來源影像之間插入新產生的補償畫面，藉以讓顯示器所顯示的畫面更為流暢，進而改善使用者的觀看體驗。此外，由於本發明可依據相機所拍攝的特定場景的動態等級適應性地決定實際的補償影像數，因而能夠在以較佳的效率配置資源的情況下，提升顯示器顯示畫面的流暢度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:電子裝置 102:儲存電路 104:處理器 110:相機 120:顯示器 311~313, 411~413:來源影像 314, 315, 414, 415:補償影像 399, 499:物件 S210~S260:步驟

圖1是依據本發明之一實施例繪示的電子裝置示意圖。圖2是依據本發明之一實施例繪示的顯示畫面補償方法流程圖。圖3是依據本發明第一實施例繪示的在來源影像之間插入補償影像的示意圖。圖4是依據本發明第二實施例繪示的在來源影像之間插入補償影像的示意圖。

S210~S260:步驟

Claims

一種顯示畫面補償方法，適於一電子裝置，所述方法包括：取得一相機擷取多個來源影像的一來源影像更新率；取得一顯示器的一顯示器畫面更新率，其中該顯示器用於顯示該相機所擷取的該些來源影像；基於該來源影像更新率及該顯示器畫面更新率判斷是否進行一畫面補償操作，包括：計算該顯示器畫面更新率及該來源影像更新率的一比值；反應於判定該比值大於等於一預設門限值，判定進行該畫面補償操作，反之則判定不進行該畫面補償操作；反應於判定執行該畫面補償操作，基於該來源影像更新率及該顯示器畫面更新率決定一最大補償影像數；確定該相機所拍攝的一特定場景的一動態等級，並依據該動態等級及該最大補償影像數決定一補償影像數；依據該補償影像數在該些來源影像之間插入至少一補償影像。
如請求項1所述的方法，其中取得該相機擷取該些來源影像的該來源影像更新率的步驟包括：計算在一預設時間內從該相機接收到的該些來源影像的數量，並據以估計該來源影像更新率。
如請求項1所述的方法，其中取得該相機擷取該些來源影像的該來源影像更新率的步驟包括：取得該些來源影像兩兩之間的一時間差，並據以估計該來源影像更新率。
如請求項1所述的方法，其中該來源影像更新率表徵為FR _Source，該顯示器畫面更新率表徵為FR _Display，且該最大補償影像數表徵為：
如請求項1所述的方法，其中確定該相機所拍攝的該特定場景的該動態等級的步驟包括：取得該些來源影像之一的多個畫面動態向量；計算該些畫面動態向量的一大小平均值，並據以確定該特定場景的該動態等級。
如請求項1所述的方法，其中依據該動態等級及該最大補償影像數決定該補償影像數的步驟包括：依據該動態等級決定一特定比例值，其中該特定比例值正相關於該動態等級；將該最大補償影像數乘以該特定比例值以產生一參考值，並將其進位以產生該補償影像數。
如請求項1所述的方法，其中該些來源影像包括連續的一第一來源影像及一第二來源影像，且依據該補償影像數在該些來源影像之間插入該至少一補償影像的步驟包括：在該第一來源影像及該第二來源影像之間插入至少一第一補償影像，其中該至少一第一補償影像的數量等於該補償影像數。
如請求項7所述的方法，其中該至少一第一補償影像係基於一影像內插操作或一影像外推操作所產生。
一種電子裝置，包括：一儲存電路，儲存多個模組；以及一處理器，耦接該儲存電路，存取該些模組以執行下列步驟：取得一相機擷取多個來源影像的一來源影像更新率；取得一顯示器的一顯示器畫面更新率，其中該顯示器用於顯示該相機所擷取的該些來源影像；基於該來源影像更新率及該顯示器畫面更新率判斷是否進行一畫面補償操作，包括：計算該顯示器畫面更新率及該來源影像更新率的一比值；反應於判定該比值大於等於一預設門限值，判定進行該畫面補償操作，反之則判定不進行該畫面補償操作；反應於判定執行該畫面補償操作，基於該來源影像更新率及該顯示器畫面更新率決定一最大補償影像數；確定該相機所拍攝的一特定場景的一動態等級，並依據該動態等級及該最大補償影像數決定一補償影像數；依據該補償影像數在該些來源影像之間插入至少一補償影像。