TWI611354B - 使用圖像重疊減少顯示延遲的系統及方法，以及用於提供回應顯示裝置上所畫路徑之回饋的加速器 - Google Patents

Abstract

一種使用圖像重疊減少顯示延遲的系統，包含觸控路徑邏輯，配置以接收複數個觸控事件並根據觸控事件產生輸出；以及成像邏輯，配置以進行：接收影像圖像；接收觸控路徑邏輯之輸出；根據觸控路徑邏輯之輸出結合影像圖像與重疊資料以產生結合顯示圖像；及輸出結合顯示圖像。

Description

使用圖像重疊減少顯示延遲的系統及方法，以及用於提 供回應顯示裝置上所畫路徑之回饋的加速器

相關申請案之交互參照 本申請案主張於2013年4月22日提出之美國臨時申請書號61/814,750，且名稱為：”A METHOD AND APPARATUS TO REDUCE DISPLAY LAG USING IMAGE OVERLAY”之優先權及效益，其揭露之全部內容併入於此作為參照。

本發明之實施例是有關於一種具有觸控輸入裝置的顯示裝置，特別是有關於一種用於減少在觸控輸入裝置與顯示裝置之間的顯示延遲的系統及方法。

合併或耦合而與觸控感測面板重疊的顯示面板係提供一種用於可觸控計算裝置的互動系統，例如行動電話、平板電腦、筆記型電腦及桌上型電腦。在該計算裝置中，圖像顯示於顯示面板上且用戶可藉由觸摸螢幕與這些裝置進行互動(例如，使用主動式觸控筆、被動式觸控筆或如手指之身體部分)，因此提供了直覺式的使用介面。

被觸控感測面板偵測到的觸控事件通常藉由裝置之應用處理器(AP)執行的高階應用程式進行處理。在觸控感測面板與AP之間的多 個處理操作和在AP上之非確定性處理時間(包含因為藉由AP執行其他計算任務而造成的延遲)引進減少計算裝置對用戶之觸控輸入的反應速度之大量的潛伏時間(例如，70~100毫秒)。

一些實證研究指出大多數人可感覺到如觸覺及視覺之感官之間即使是30毫秒的非同步動作(例如，請參考Keetels,M.and Vroomen,J.(2012).Perception of Synchrony Between the Senses.In M.M.Murray and M.T.Wallace(Eds.),Frontiers in the neural basis of multisensory processes(pp.147-177).London：Taylor & Francis Group)。50~200毫秒的延遲時間可被計算裝置的大部分用戶察覺到，並因為計算裝置無法對用戶的輸入即時提供回應而導致增加用戶的無奈感。

本發明之實施例之態樣係針對減少在觸控事件與顯示器回應該觸控事件之間的潜伏時間。

根據本發明之一實施例，一種使用圖像重疊減少顯示延遲的系統包含：觸控路徑邏輯，配置以接收複數個觸控事件並根據觸控事件產生輸出；以及成像邏輯，配置以：接收影像圖像；接收觸控路徑邏輯之輸出；根據觸控路徑邏輯之輸出結合影像圖像與重疊資料以產生結合顯示圖像；輸出結合顯示圖像。

影像圖像可包含顯示線且重疊資料之特徵可與顯示線之特徵匹配。

特徵可包含顏色。

觸控路徑邏輯可為應用處理器的元件，應用處理器係配置以產生影像圖像。

觸控路徑邏輯可為顯示驅動介面控制器的元件，顯示驅動介面控制器可配置以從應用處理器接收影像圖像並提供結合顯示圖像給顯示面板。

觸控路徑邏輯可為與觸控感測面板耦合之觸控控制器的元件，觸控控制器可配置以從觸控感測面板接收複數個觸控訊號並產生觸控事件。

觸控路徑邏輯可配置以從觸控感測面板接收觸控事件並根據所接收的觸控事件產生遮罩資料，遮罩資料包含數值之矩陣，各數值確認成像邏輯之操作以產生結合顯示圖像，並且其中在矩陣內之數值的位置可對應於結合顯示圖像中之像素的位置。

成像邏輯可配置以對結合顯示圖像中之各像素，藉由判定是否根據遮罩資料之對應位置中之值輸出影像圖像之對應像素或重疊資料而結合影像圖像與重疊資料。

成像邏輯可配置以對結合顯示圖像中之各像素藉由判定如何根據遮罩資料中之對應位置中之值合併影像圖像之對應像素及重疊資料而結合影像圖像與重疊資料。

合併可為邊緣增強操作、閃避操作、燒錄操作或α合成效果。

遮罩資料之各數值可準確對應結合顯示圖像中的一個像素。

遮罩資料之各數值可對應結合顯示圖像中的多個像素。

重疊資料可包含複數個頁面，並且遮罩資料可包含確認複數個頁面之至少其中之一的資料。

觸控路徑邏輯可進一步配置以：接收參數；根據觸控事件計算預估觸控路徑；及根據預估觸控路徑及參數產生遮罩資料，其中參數控制遮罩區之位置或控制預估觸控路徑之寬度、類型或形狀。

系統可更包含：應用處理器，配置以產生影像圖像，其中成像邏輯可為應用處理器之元件。

成像邏輯可進一步配置以根據觸控事件之子集結合影像圖像與重疊資料，子集對應固定數量之影像圖像。

成像邏輯可進一步配置以根據對應影像圖像之數量的觸控事件之子集結合影像圖像與重疊資料，影像圖像對應藉由配置以提供影像圖像給成像邏輯的應用處理器所引進之延遲時間。

成像邏輯可進一步配置以根據對應自配置以提供影像圖像給成像邏輯的應用處理器之預成像輸出而計算得到之影像圖像之數量的觸控事件之子集結合影像圖像與重疊資料。

重疊資料可包含點陣圖像。

重疊資料可具有單色值。

成像邏輯可配置以產生重疊資料而無來自應用處理器之輸入。

成像邏輯可配置以使用從應用處理器提供之資料和系統之內部資料而產生重疊資料。

成像邏輯可配置以從應用處理器接收重疊資料。

觸控事件可為指向工具與觸控輸入面板之間之交互作用所產生的結果。

根據本發明之一實施例，一種使用圖像重疊減少顯示延遲的方法包含：從與顯示器耦合之觸控感測面板接收複數個觸控事件；接收影像圖像；根據觸控事件結合影像圖像與重疊資料以產生結合顯示圖像；以及提供結合顯示圖像給顯示器。

該方法可更包含：接收參數；以及根據觸控事件計算預估觸控路徑，其中影像圖像可根據預估觸控路徑和參數而與重疊資料結合，且其中參數可控制結合顯示圖像中之重疊資料之位置或可控制預估觸控路徑之寬度、類型或形狀。

該方法可更包含根據觸控事件計算預估觸控路徑，其中影像圖像可根據預估觸控路徑而與重疊資料結合，且其中預估觸控路徑可根據對應於固定數量之訊框的觸控事件之子集而計算得到。

該方法可更包含根據觸控事件計算預估觸控路徑，其中影像圖像可根據預估觸控路徑而與重疊資料結合，且其中預估觸控路徑可根據對應於框之數量的觸控事件之子集而計算得到，框之數量對應於應用處理器引進之延遲時間。

該方法可更包含根據觸控事件計算預估觸控路徑，其中影像圖像可根據預估觸控路徑而與重疊資料結合，且其中預估觸控路徑可根據對應於訊框之數量的觸控事件之子集而計算，訊框之數量藉由應用處理器所引進之預成像輸出而計算。

重疊資料可包含點陣圖像。

重疊資料可具有單色值。

該方法可更包含產生重疊資料而無來自應用處理器之輸入。

該方法可更包含使用從應用處理器提供的資料和內部資料產生重疊資料。

該方法可更包含從應用處理器接收重疊資料。

根據觸控事件結合影像圖像與重疊圖像以產生結合顯示圖像可包含：根據觸控事件產生遮罩資料，遮罩資料包含數值之矩陣，各數值確認操作以產生結合顯示圖像，並且其中在矩陣內之數值的位置對應於結合顯示圖像中之像素的位置。

對結合顯示圖像中之各像素而言，該方法可更包含判定是否根據遮罩資料之對應位置中之值而輸出影像圖像之對應像素或重疊資料。

對結合顯示圖像中之各像素而言，該方法可更包含判定如何根據遮罩資料中之對應位置中之值合併影像圖像及重疊資料之對應像素。

合併可為邊緣增強操作、閃避操作、燒錄操作或α合成效果。

遮罩資料之各數值可準確對應結合顯示圖像中的一個像素。

遮罩資料之各數值可對應結合顯示圖像中的多個像素。

重疊資料可包含複數個頁面，並且遮罩資料可包含確認複數個頁面之至少其中之一的資料。

觸控事件可為指向工具與觸控輸入面板之間之交互作用所產生的結果。

根據本發明之一實施例，一種用於提供回應包含觸控感測面板、應用處理器及顯示器的顯示裝置上所畫路徑之回饋的加速器包含：處理器；以及記憶體，具有儲存於其上之指令，當其被處理器執行時，使處理器：從應用處理器接收成像影像訊框；從觸控感測面板接收複數個觸控訊號；根據觸控訊號決定觸控路徑；根據觸控路徑及所儲存之重疊資料更新成像影像訊框以產生更新影像訊框；以及輸出更新影像訊框到顯示器。

100‧‧‧顯示線

102‧‧‧間隙

104‧‧‧計算部分

200‧‧‧觸控控制器

202‧‧‧應用處理器(AP)

204‧‧‧顯示驅動介面控制器(DDIC)

210‧‧‧傳統潛伏時間路徑

212‧‧‧低潛伏時間路徑

250‧‧‧計算裝置

300‧‧‧觸控感測面板

302‧‧‧觸控訊號

304、304’‧‧‧觸控事件

310‧‧‧低潛伏時間重疊系統

312‧‧‧參數

314‧‧‧重疊資料

316、316’‧‧‧影像圖像

320‧‧‧像素驅動訊號

322‧‧‧顯示面板

400‧‧‧觸控路徑邏輯

402‧‧‧遮罩緩衝器

404‧‧‧成像邏輯

406‧‧‧重疊緩衝器

500、500’‧‧‧遮罩資料

506‧‧‧圖像區段

506’‧‧‧結合顯示圖像區段

508‧‧‧重疊圖像區段

510、510’‧‧‧結合顯示圖像

600‧‧‧圖像區段

702~712‧‧‧操作

N‧‧‧訊框

附圖圖式配合說明書以說明本發明之例示性實施例，並配合實施方式以解釋本發明之原理。

第1A圖繪示包含傳統觸控輸入處理裝置之裝置的反應，而第1B圖繪示包含根據本發明之實施例的觸控輸入處理裝置之裝置的反應。

第2圖為根據本發明之實施例之一態樣之低潛伏時間回饋路徑及傳統回饋路徑之二者的示意圖。

第3圖為繪示包含根據本發明之一實施例的低潛伏時間重疊系統之裝置的方塊圖。

第4圖為繪示根據本發明之一實施例的低潛伏時間重疊系統內元件的方塊圖。

第5圖為根據本發明之一實施例之結合影像圖像資料、重疊資料及觸控路徑資訊以產生第一結合顯示圖像之示意圖。

第6圖為根據本發明之一實施例之結合影像圖像資料、重疊資料及觸控路徑資訊以產生第二結合顯示圖像之示意圖。

第7圖為根據本發明之一實施例之用於決定重疊資料之應用及結合重疊資料與影像圖像的方法之流程示意圖。

在以下實施方式中，僅藉由圖解說明方式顯示並描述本發明之特定例示性實施例。如同那些領域內之通常知識者可理解的，本發明可以各種形式實現且不應被解釋為限於此所闡述之實施例。在整篇說明書中，相似的元件符號表示相似的元件。

本發明之實施例藉由在應用處理器進行成像之前，根據觸碰位置顯示圖像而使用戶察覺到較快速的觸控反應。

設計用於觸控介面的軟體通常運用模擬「現實世界」物件之直接物理操作之比喻及/或在螢幕上的路徑之圖式以提供視覺回饋(例如，用於追蹤手指基於螢幕鍵盤上的滑動或手勢、用於追蹤在繪圖或素描應用程式中的路徑以及用於遊戲中所畫的路徑)。

常見於對行動電話的抱怨是使用介面(UI)的延遲。現代的行動電話一般需要50~200毫秒來回應觸控動作以更新顯示器。舉例而言，如當於Samsung® Galaxy Note® 2手機上測量之典型顯示器對觸控事件的回應時間可大於100毫秒或大約超過基於每秒60個訊框(FPS)之更新速率之影像圖像之6個訊框，其可被大部分的用戶察覺到。

第1A圖繪示包含類似的觸控輸入處理裝置之裝置的反應，其中顯示線100在手指位置與顯示線100的最後所畫部分之間具有間隙102，因此造成在用戶觸控與顯示線之間的可察覺之顯示延遲。相似的顯示延遲一般也會在使用不論是主動式或被動式之觸控筆時遇到。

本發明之實施例藉由在AP進行成像之前於觸控路徑中重 疊圖像，使用戶感覺到較快速的觸控回應。藉由封閉在用戶觸碰點(無論使用手指、觸控筆或其他工具)與螢幕上圖式的行之間的間隙，可減少所察覺到的顯示延遲。如在本文所使用的，當詞彙「重疊(overlay)」被用作為動詞時，其表示結合影像圖像(例如，AP成像圖像)及額外圖像資料，使得額外圖像資料取代(或「重疊」)原始影像圖像的一部分。當詞彙「重疊」被用作為名詞時，其也表示結合顯示圖像中之額外圖像資料的出現。

另外，藉由使用重疊方法，應用程序軟體也可控制回應觸控事件之顯示之區域(例如，顯示器上的位置)、顏色及成像操作。

第1B圖繪示包含根據本發明之實施例的觸控輸入處理裝置之裝置的顯示反應，其中顯示之線包含藉由根據本發明之實施例之低潛伏時間重疊系統所畫的預估或計算部分104，因此減少了用戶所感覺之顯示延遲。

請參考第2圖，在計算裝置250中，作為類似系統之替代方案，本發明實施例係針對經由觸控控制器200及顯示驅動介面控制器(display driver interface controller,DDIC)204提供即時或較快速之低潛伏時間路徑212視覺回饋的低潛伏時間重疊系統(其可被稱為「加速器」或「視覺回饋加速器」)，其次為經由應用處理器202之傳統潛伏時間路徑210之潛伏時間之傳統程度的視覺圖像。

請參考第3圖，典型的獨立運作之觸控螢幕系統及顯示系統。觸控控制器200處理來自觸控感測面板300的觸控訊號302並輸出如座標(coordinates)之觸控事件304到應用處理器(application processor,AP)202。

請參考第3圖，觸控感測面板300配置以偵測用戶之觸碰並產生經資料匯流排提供到觸控控制器200的觸控訊號302。本發明之實 施例可與利用如身體部分(例如手指)、觸控筆等任何類型之指向工具偵測用戶之觸碰的觸控感測面板300一起使用。如用於本文中，詞彙「指向工具」係有關於可被觸控感測面板300偵測的物件，其包含裝置(如主動式觸控筆及被動式觸控筆)及身體部分(如手指或手掌)。本發明實施例可與任何一種形式之觸控輸入面板，如電阻式觸控面板(resistive touch panels)、表面聲波式觸控面板(surface acoustic wave touch panels)、電容式觸控面板(capacitive touch panels)、紅外線式觸控面板(infrared touch panels)和光學式觸控面板(optical touch panels)一起使用。在一實施例中，觸控訊號302對應於觸控感測面板300所提供的原始資料，如在觸控感測面板中各位置之電容或電壓或電流的量測值。用於觸控事件304之資料匯流排同時連接到AP202及低潛伏時間重疊系統310。觸控事件304可為對應於偵測到用戶之觸碰位置的資料流(例如，數值足夠大的電容或電壓或電流變化以構成觸控事件之偵測)。在一些實施例中，觸控事件304包含表示被施加於觸控感測面板之壓力的壓力資料。

AP202處理觸控事件304，且從AP執行之應用程式軟體據此更新顯示組成，藉由將影像圖像316(或訊框或影像圖像)成像於DDIC204以顯示在顯示面板322上。AP202可包含中央處理單元(CPU)、圖像處理單元(GPU)及記憶體。

AP202與連接到顯示面板322的DDIC204連接。DDIC204從AP202接收影像圖像316並提供像素驅動訊號320到顯示面板322。

在一實施例中，觸控感測面板300、觸控控制器200、DDIC204及顯示面板322為顯示模組之所有元件，其可與應用處理器202分離。在另一實施例中，觸控感測面板300、觸控控制器200、DDIC204、顯示面板322或以上組合，可在独立模組中，或與應用處理器結合。

DDIC204處理從應用處理器202接收的影像圖像(或影像圖像之訊框)316，並將像素驅動訊號320輸出到顯示面板。

以下將更詳細描述參數312及重疊資料314之功能。

根據本發明之實施例，低潛伏時間重疊系統310處理觸控事件304與影像圖像316使得顯示面板322可比類似方式更快地顯示觸控事件之視覺回應。相較於在一些類似裝置之約6個或以上的訊框之顯示延遲，本發明之實施例可將延遲減少至1~2個訊框。

更詳細地，第4圖為顯示包含根據本發明之一實施例的低潛伏時間重疊系統310之裝置的方塊圖。請參考第4圖，本發明之實施例包含四個主要元件，觸控路徑邏輯400、遮罩緩衝器402、重疊緩衝器406及成像邏輯404。重疊系統310可被包含為DDIC204之元件，或著重疊系統310之部分可被包含在DDIC204或AP202中而其他部分可被包含在觸控控制器200中。

如第4圖所示，在一實施例中，觸控路徑邏輯400連接到觸控控制器200並從觸控控制器200接收觸控事件304。觸控路徑邏輯400也可連接到AP202以接收配置參數312。觸控路徑邏輯400也連接到成像邏輯404所使用的遮罩緩衝器402。

根據一實施例，重疊緩衝器406是與AP202連接的DDIC204內之記憶裝置並儲存從AP202接收之重疊資料314。重疊緩衝器406係配置以提供所儲存之重疊資料314到成像邏輯404。然而，本發明之實施例不限於此。舉例而言，在一實施例中，重疊資料314可在重疊系統310內部創造而不從AP202輸入。在另一實施例中，重疊資料314可為重疊系統310內部創造之資料與對應從AP202輸入之資料的組合。

根據一實施例，成像邏輯404耦合至AP202及重疊緩衝器 406並配置以根據遮罩緩衝器402內之遮罩資料的值而結合重疊資料314與影像圖像316。成像邏輯404之輸出係連接到顯示面板322以提供重疊資料314與影像圖像316之結合顯示圖像給顯示面板322作為像素驅動訊號320。

然而，本發明之實施例不限於此。

舉例而言，在一實施例中，觸控路徑邏輯400、遮罩緩衝器402、重疊緩衝器406及成像邏輯404各利用不同的特殊應用積體電路(ASIC)來實現。在本發明之另一實施例中，單一ASIC被用於實現所有的功能。在本發明之再一實施例中，現場可程式閘陣列(FPGA)被編程以執行各觸控路徑邏輯400、遮罩緩衝器402、重疊緩衝器406及成像邏輯404之功能。另外，通用處理器可被編程(例如，以儲存於連接至通用處理器之記憶體的指令)以執行各觸控路徑邏輯400、遮罩緩衝器402、重疊緩衝器406及成像邏輯404之功能。在本發明之又一實施例中，觸控路徑邏輯400、遮罩緩衝器402、重疊緩衝器406及成像邏輯404之一個或多個功能可作為應用處理器202之元件而實現。

此外，雖然觸控路徑邏輯400、遮罩緩衝器402、重疊緩衝器406及成像邏輯404在第4圖中顯示作為DDIC204之元件，本發明之實施例不限於此。在一些實施例中，一個或多個觸控路徑邏輯400、重疊緩衝器406、遮罩緩衝器402及成像邏輯404(或能夠執行這些功能之元件)被設置於如觸控控制器202、AP202或獨立元件之中。另外，元件或其所執行之功能可被設置於裝置之不同部分中。舉例而言，觸控路徑邏輯400可被實現作為觸控控制器200之元件或功能，且重疊緩衝器406及成像邏輯404二者可被實現作為AP202之元件(或多個元件)或功能(或多個功能)。

另外，雖然觸控控制器200被圖解說明為物理上獨立之元件，在本發明之一些實施例中，觸控控制器200為較大型積體電路之部分。 舉例而言，觸控控制器可連同AP及/或DDIC被實現於同一積體電路中。

第5圖為根據本發明之一實施例，影像圖像316(或影像圖像之訊框)、重疊資料314及觸控事件304之組合以於第N個訊框期間產生第一組之結合顯示圖像510(舉例而言，產生訊框N)。請參考第5圖，觸控路徑邏輯400處理來自觸控控制器之觸控事件304並藉由在於先前的一些連續訊框(例如，過去的X訊框)所接收之觸控事件之子集，例如一組連續之觸控事件的位置之間使用內插法或外插法以產生預估觸控路徑。預估觸控路徑接著被觸控路徑邏輯400應用以產生遮罩資料500，其被儲存於遮罩緩衝器402中。成像邏輯將儲存於重疊緩衝器406之重疊資料314與來自AP202之訊框N的影像圖像根據遮罩資料500進行結合，以藉由在重疊資料314與影像圖像316之間選擇(或合併)而產生結合顯示圖像510。

根據一實施例，遮罩資料500為數值之矩陣，其中在矩陣中之位置對應像素(或多個像素)在顯示面板322中之位置，且其中在矩陣中之值的相對位置對應顯示面板322中之像素的相對位置(例如，遮罩資料500可被視為對應結合顯示圖像510中之像素位置之二維映射圖之二維矩陣)。根據一實施例中，遮罩資料500之各值呈現為單一位元，且在遮罩資料矩陣中之值的位置對應結合顯示圖像中的位置。於結合顯示圖像中顯示重疊資料的位置具有設定為第一值之數值(如”1”)，且不顯示重疊資料的位置(例如不顯示影像圖像之處)具有設定為第二值之不同數值(如”0”)。

根據本發明之其他實施例，在遮罩資料500中之各數值藉 由多個位元(如8位元)呈現，其中遮罩資料500之數值涉及顯示器中之各位置的重疊資料之「透明度」。如本文所使用的，詞彙「透明度」表示結合(如合併)重疊資料314與影像圖像316使得結合顯示圖像510獲得重疊資料314與影像圖像316二者之特徵。

以下將詳細描述如何藉由成像邏輯404使用遮罩緩衝器402。

在一實施例中，對各影像訊框而言，觸控路徑邏輯400根據對應影像訊框之固定數量的觸控事件之子集而產生預估觸控路徑。

在另一實施例中，影像訊框之數量配置以在於與AP202具有顯示延遲的线中。

在另一實施例中，觸控路徑邏輯400產生不同數量之影像訊框之觸控路徑。影像訊框之數量可以根據來自AP202之過去影像圖像316而由外部邏輯判定。

一組參數312在路徑產生時管理預估觸控路徑之特徵。參數可具有起始預設值，但可在軟體或其他工具執行時根據需要進行調整。 這些參數包含但不限於：所產生路徑之寬度；所產生線段之類型，如簡單直線段或曲線；允許路徑之顯示區域(例如，主動繪製區)；以及成像操作之類型(例如，抗鋸齒處理、平滑處理及透明度)。

舉例而言，當本發明之實施例被用於繪畫之軟體應用程式之背景中時(例如，電子素描本)，為結合顯示圖像510之部分的重疊圖像區段508(其也可被稱為計算部分104)，僅應用於對應主動繪製區的顯示器之部分。重疊系統310一般不會將重疊資料應用於主動繪製區外部的顯示器之部分。因此，參數312可被設定為限制預估觸控路徑於對應主動繪製區的顯示器之部分。在另一實施例中，參數312可包含繪製線之線寬。 觸控路徑邏輯400將連同觸控事件304之壓力資料使用該參數，以在來自AP202之AP產生線(或圖像區段)506之前，傳送於遮罩資料500中之線的形狀成像。(圖像區段506也可被稱為顯示線100。)

當影像圖像316之各像素藉由成像邏輯404進行處理，成像邏輯404回收遮罩資料500中之值，其中遮罩資料中之值的位置(例如，矩陣中的位置)對應影像圖像316中之像素的位置，並根據遮罩資料500中之值執行將重疊資料314取代影像圖像316之像素或是結合影像圖像316之像素和重疊資料314，以達成所期望之視覺效果(例如，透明度及/或反鋸齒)，並將重疊資料314、影像圖像316之像素或以上結合經由像素驅動訊號320輸出到顯示面板322。

舉例而言，在本發明之替代實施例中，成像邏輯404之成像操作可使用如在遮罩資料500中之值所定義之單一位元而指定。成像操作根據對應結合顯示圖像510中之像素的位置之遮罩資料500中之位置之值選擇成像邏輯之輸出成為各像素之影像圖像316或重疊資料314。

在本發明之一實施例中，遮罩資料500之值的數量(或大小)等於影像圖像316之一訊框中的像素之數量，其同時也等於結合顯示圖像510中之像素之數量。因此在遮罩資料500之各值與影像圖像316之各像素之間具有一對一的對應關係。換言之，成像邏輯404之替代實施例藉由將遮罩資料500中之各值與影像圖像316中之對應像素匹配並輸出影像圖像316之像素或重疊資料314到顯示面板322而執行。舉例而言，在一實施例中，成像邏輯404藉由遮罩資料500之各值而重複。若為0之值存在於遮罩資料500中之特定位置，則成像邏輯404輸出影像圖像316之對應像素。另一方面，若為1之值存在於遮罩資料500中之特定位置，則成像邏輯404輸出重疊資料314。重複操作之結果，成像邏輯404輸出作為以 像素驅動訊號320呈現之結合顯示圖像510於顯示面板322。

在本發明之另一實施例中，遮罩資料500中之值的數量可少於影像圖像316之訊框中之像素的數量。因此，遮罩資料500中之各值與影像圖像316之像素可具有一對多的對應關係，使得在遮罩資料500中之一值對應影像圖像316之多個像素，因此減少了遮罩資料500之大小並減少了遮罩緩衝器402之記憶體需求。

然而，本發明之實施例不限於此。在本發明之合併實施例中，成像邏輯404之成像操作可使用為在遮罩資料500中的值所定義之多個位元指定。舉例而言，遮罩資料500中之值可確認將藉由成像邏輯404成像之結合程度(例如，透明度之程度)。在另一實施例中，若成像邏輯404支持多個成像操作，則遮罩資料500中之值的一個或多個位元可被用以定義所期望之成像操作，同時其他位元可被用以調整那些成像操作之特徵。 成像邏輯404可在影像圖像316攜帶之資訊與重疊資料314攜帶之資訊，如邊緣增強操作、閃避操作(使變亮)、燒錄操作(使變暗)等之間執行各種成像操作。在其他實施例中，成像操作可改變影像圖像316之部分之亮度或顏色，因此產生透明顏色(或螢光顯示)效果或α合成效果。

成像邏輯404接收二個輸入，第一輸入包含來自AP202之影像圖像316，而第二輸入包含來自重疊緩衝器406之重疊資料314。重疊緩衝器406儲存將被成像邏輯404處理的重疊資料314。重疊資料314可藉由AP202提供或在重疊系統310內部中創造，其中重疊資料314之特徵是藉由成像邏輯404之期望輸出而決定。在一實施例中，重疊資料314之特徵(例如，外觀)沿著顯示線100而與影像圖像316之特徵(例如，外觀)匹配，使得當根據遮罩資料500成像時，結合顯示圖像510在圖像區段506與重疊圖像區段508之間包含無縫過渡(seamless transition)。這些特徵可 包含顏色。舉例而言，若應用程式軟體畫出黑色線，則重疊資料314將藉由AP202提供或藉由重疊系統310在內部創作以包含相同之黑色(例如，所有像素皆為黑色之點陣圖像)作為軟體所畫出之線。成像邏輯404將輸出包含藉由鄰接來自AP202圖像區段506(例如，軟體所畫出之黑色線)及為藉由遮罩資料500及重疊資料314所決定的重疊圖像區段508形成之黑色線的結合顯示圖像510。重疊資料314也可為具紋理或具彩色或可包含點陣影像資料。重疊資料314之內容可為隨時間進行的動態並可藉由AP202更新，或藉由DDIC204中之機制更新。該內容在尺寸及形狀中也可為動態的。

在本發明之一實施例中，代表多個重疊之多個不同組之重疊資料314可以被儲存於重疊緩衝器406中，例如，具有不同顏色、不同圖像或不同紋理的各組。重疊資料314的這些組在本文中可被稱為「頁面」。 在此種實施例中，遮罩資料500中之值也可包含資訊以允許成像邏輯404確認重疊資料314之特定頁面且在成像操作中僅使用該特定頁面。因此，在一些實施例中，遮罩資料500之值包含重疊資料314之頁面的索引以在成像操作中允許成像邏輯404於重疊資料314之不同頁面中進行切換。

在本發明之一實施例中，重疊資料314之各頁面之值的數量(或大小)等於影像圖像316之訊框中之像素的數量，其從而等於結合顯示圖像510中之像素的數量。因此在重疊資料314之各頁面之各值與影像圖像316之各像素之間具有一對一的對應關係。

在本發明之另一實施例中，重疊資料314之各頁面之值的數量(或大小)可小於影像圖像316之訊框中之像素的數量。因此，重疊資料314之各頁面之各值與影像圖像316之像素可具有一對多的對應關係，使得重疊資料314之各頁面之值對應影像圖像316之多個像素，因此減少 了重疊資料314之大小並減少了重疊緩衝器406之記憶體需求。舉例而言，在一些實施例中，重疊資料314包含如RGB(紅綠藍)色值之單色值，其中整個重疊圖像(或重疊圖像區段)508被畫作為單色值。在另一實施例中，重疊資料314之不同頁面為對應單色的單值(例如，不同顏色)。在再一實施例中，單值可與其他包含點陣圖像的頁面或重疊資料314中之其他值混雜。

第6圖為根據本發明之一實施例之結合影像圖像316’、重疊資料314及觸控事件304’以在第N+1訊框期間(例如，用以產生訊框N+1)產生第二組的結合顯示圖像510’之示意圖。在後續訊框中(例如，在訊框N+1，其中N為對應第一組之結合顯示圖像510的訊框)，來自AP202之影像圖像316’包含未在訊框N中顯示的圖像區段600(例如，不在如第5圖所示之影像圖像316中)。另外，在訊框N+1期間，觸控路徑邏輯400已從觸控事件304’計算出包含與第5圖所示之遮罩資料500的那些不同組之值的不同之遮罩資料500’。因此成像邏輯404根據遮罩資料500輸出結合來自AP202之影像圖像316’與重疊資料314的結合顯示圖像區段506’。

第7圖為繪示根據本發明之實施例的用於結合重疊資料與影像圖像以產生結合顯示圖像的方法之流程圖。請參考第7圖，根據本發明之一實施例，在操作702中，觸控事件從外部來源(例如，觸控感測面板)被接收。觸控路徑(或預估觸控路徑)在操作704中藉由在觸控事件之間進行內插法或外插法而從觸控事件產生，其中內插法可藉由參數調整以配置如結合顯示圖像之重疊圖像區段508之寬度、類型、直線或曲線、區域及顏色。

遮罩資料500在操作706中從觸控路徑產生，其中遮罩資 料500之值的相對位置對應顯示面板之像素的相對位置，且其中遮罩資料500之值表示結合顯示圖像之對應像素是否應包含來自重疊緩衝器406之重疊資料或來自AP之影像圖像，或以上合併之結合。遮罩資料500儲存於遮罩緩衝器402中。在操作708中，遮罩資料500從遮罩緩衝器402擷取，其中所擷取的值為位於遮罩資料500中對應於像素正在被成像邏輯處理之位置的位置。

在操作710中，對應於顯示面板中正在被處理的像素之位置的遮罩資料500之值被用以選擇性地輸出來自重疊緩衝器406之重疊資料或從AP輸出影像圖像，或以上之合併。

在操作712中，結合顯示圖像被輸出並提供給顯示面板以顯示與影像圖像結合之重疊資料314。

因此，本發明之實施例提供藉由在類似之高潛伏時間迴圈內部引進低潛伏時間迴圈以減少整體系統潛伏時間的系統及方法。

低潛伏時間顯示圖像可藉由結合來自從觸控路徑產生的遮罩資料500、來自重疊緩衝器之重疊資料314以及來自AP之高潛伏時間影像圖像之資訊而產生。觸控路徑自隨時間記錄的觸控事件(例如，來自觸控控制器之輸出)計算出。重疊資料314可由AP提供或在重疊系統內產生。

重疊特徵可被動態地調整，包含但不限於顏色、維度(例如寬度)、持久度、遮光及時機。這些調整可由AP提供為一組參數或可在重疊系統內部推導得出，舉例而言，藉由分析來自AP之影像圖像。調整也可由觸碰行為決定。舉例而言，最終線之寬度可根據提供於觸控感測面板之壓力而調整(例如，寬度參數正比於觸控事件所測得之壓力)。

顯示圖像經由重疊系統藉由遮罩資料500產生，其從觸控 路徑計算得到。映射和縮放參數可由AP提供或可在重疊系統內部藉由，舉例而言，分析觸控事件或來自AP之影像圖像而計算。

重疊資料可與來自AP之影像圖像在像素級(pixel level)藉由成像邏輯合併。在一實施例中，來自影像圖像之像素特徵根據遮罩資料之值而被來自重疊資料之像素特徵取代。在其他實施例中，新的像素特徵根據來自影像圖像及重疊資料的各像素特徵之合併而創造。

雖然本發明已結合特定實施例而描述，將被理解的是，本發明不限於所揭露之實施例，但相反的，意在涵蓋包含於後附發明申請專利範圍之精神和範疇及其等效物內之各種修改及等效變更。

304‧‧‧觸控事件

310‧‧‧低潛伏時間重疊系統

312‧‧‧參數

314‧‧‧重疊資料

316‧‧‧影像圖像

320‧‧‧像素驅動訊號

400‧‧‧觸控路徑邏輯

402‧‧‧遮罩緩衝器

404‧‧‧成像邏輯

406‧‧‧重疊緩衝器

Claims (42)

1. 一種使用圖像重疊減少顯示延遲的系統，其包含：一觸控路徑邏輯，配置以：從一觸控感測面板接收複數個觸控事件；根據該複數個觸控事件計算一預估觸控路徑；接收一參數；以及基於該預估觸控路徑及該參數產生一遮罩資料；以及一成像邏輯，配置以：接收一影像圖像；從該觸控路徑邏輯接收該遮罩資料；根據該遮罩資料結合該影像圖像與一重疊資料以產生一結合顯示圖像；以及輸出該結合顯示圖像，其中該遮罩資料包括複數個數值之矩陣，各該數值確認該成像邏輯之操作以產生該結合顯示圖像；以及其中在矩陣內之該複數個數值的位置對應於該結合顯示圖像中之複數個像素的位置。
2. 如申請專利範圍第1項所述之系統，其中該影像圖像包含一顯示線，其中該重疊資料之特徵與該顯示線之特徵匹配。
3. 如申請專利範圍第2項所述之系統，其中特徵包含顏色。
4. 如申請專利範圍第1項所述之系統，其中該觸控路徑邏輯為一應用處理器的一元件，該應用處理器係配置以產生該影像圖像。
5. 如申請專利範圍第1項所述之系統，其中該觸控路徑邏輯為一顯示驅動介面控制器的一元件，該顯示驅動介面控制器係配置以從一應用處理器接收該影像圖像並提供該結合顯示圖像給一顯示面板。
6. 如申請專利範圍第1項所述之系統，其中該觸控路徑邏輯為與一觸控感測面板耦合之一觸控控制器的一元件，該觸控控制器係配置以從該觸控感測面板接收複數個觸控訊號並產生該複數個觸控事件。
7. 如申請專利範圍第1項所述之系統，其中該成像邏輯係配置以對該結合顯示圖像中之各該像素，藉由判定是否根據該遮罩資料之對應位置中之值輸出該影像圖像之一對應像素或該重疊資料而結合該影像圖像與該重疊資料。
8. 如申請專利範圍第1項所述之系統，其中該成像邏輯係配置以對該結合顯示圖像中之各該像素，藉由判定如何根據該遮罩資料中之對應位置中之值合併該影像圖像之一對應像素及該重疊資料而結合該影像圖像與該重疊資料。
9. 如申請專利範圍第8項所述之系統，其中合併為邊緣增強操作(edge-enhance operation)、閃避操作(dodge operation)、燒錄操作(burn operation)或α合成效果(alpha compositing effect)。
10. 如申請專利範圍第1項所述之系統，其中該遮罩資料之各 該數值準確對應該結合顯示圖像中的一個像素。
11. 如申請專利範圍第1項所述之系統，其中該遮罩資料之各該數值對應該結合顯示圖像中的多個像素。
12. 如申請專利範圍第1項所述之系統，其中該重疊資料包含複數個頁面，並且其中該遮罩資料包含確認該複數個頁面之至少其中之一的資訊。
13. 如申請專利範圍第1項所述之系統，其中該觸控路徑邏輯係進一步配置以進行：從一應用處理器接收該參數，其中該參數控制一遮罩區之位置或控制該預估觸控路徑之寬度、類型或形狀。
14. 如申請專利範圍第1項所述之系統，其更包含：一應用處理器，配置以產生該影像圖像，其中該成像邏輯為該應用處理器之一元件。
15. 如申請專利範圍第1項所述之系統，其中該成像邏輯係進一步配置以根據該複數個觸控事件之一子集結合該影像圖像與該重疊資料，該子集對應固定數量之該影像圖像。
16. 如申請專利範圍第1項所述之系統，其中該成像邏輯係進一步配置以根據對應該影像圖像之數量的該複數個觸控事件之一子集結合該影像圖像與該重疊資料，該影像圖像對應藉由配置以提供該影像圖像給該成像邏輯的一應用處理器所引進 之延遲時間。
17. 如申請專利範圍第1項所述之系統，其中該成像邏輯係進一步配置以根據對應自配置以提供該影像圖像給該成像邏輯的一應用處理器之一預成像輸出而計算得到之該影像圖像之數量的該複數個觸控事件之一子集結合該影像圖像與該重疊資料。
18. 如申請專利範圍第1項所述之系統，其中該重疊資料包含點陣圖像。
19. 如申請專利範圍第1項所述之系統，其中該重疊資料具有單色值。
20. 如申請專利範圍第1項所述之系統，其中該成像邏輯配置以無來自一應用處理器之輸入而產生該重疊資料。
21. 如申請專利範圍第1項所述之系統，其中該成像邏輯配置以使用從一應用處理器提供之資料和該系統之一內部資料而產生該重疊資料。
22. 如申請專利範圍第1項所述之系統，其中該成像邏輯配置以從一應用處理器接收該重疊資料。
23. 如申請專利範圍第1項所述之系統，其中該複數個觸控事件係作為一指向工具與一觸控輸入面板之間之交互作用所產生的結果。
24. 一種使用圖像重疊減少顯示延遲的方法，該方法包含：從與一顯示器耦合之一觸控感測面板接收複數個觸控事件； 根據該複數個觸控事件計算一預估觸控路徑；接收一影像圖像；接收一參數；基於該預估觸控路徑及該參數產生一遮罩資料；根據該遮罩資料結合該影像圖像與一重疊資料以產生一結合顯示圖像；以及提供該結合顯示圖像給該顯示器，其中該遮罩資料包括複數個數值之矩陣，各該數值確認該成像邏輯之操作以產生該結合顯示圖像；以及其中在矩陣內之該複數個數值的位置對應於該結合顯示圖像中之複數個像素的位置。
25. 如申請專利範圍第24項所述之方法，其中該影像圖像包含一顯示線，並且其中該重疊資料之特徵與該顯示線之特徵匹配。
26. 如申請專利範圍第24項所述之方法，其中該參數控制該結合顯示圖像中該重疊資料之位置或控制該預估觸控路徑之寬度、類型或形狀。
27. 如申請專利範圍第24項所述之方法，其中該預估觸控路徑根據對應於固定數量之訊框的該複數個觸控事件之一子集而計算。
28. 如申請專利範圍第24項所述之方法， 其中該預估觸控路徑根據對應於訊框之數量的該複數個觸控事件之一子集而計算，該訊框之數量對應於一應用處理器引進之延遲時間。
29. 如申請專利範圍第24項所述之方法，其中該預估觸控路徑根據對應於訊框之數量的該複數個觸控事件之一子集而計算，該訊框之數量藉由一應用處理器所引進之一預成像輸出而計算。
30. 如申請專利範圍第24項所述之方法，其中該重疊資料包含點陣圖像。
31. 如申請專利範圍第24項所述之方法，其中該重疊資料具有單色值。
32. 如申請專利範圍第24項所述之方法，其更包含無來自一應用處理器輸入而產生該重疊資料。
33. 如申請專利範圍第24項所述之方法，其更包含使用從一應用處理器提供的資料和一內部資料產生該重疊資料。
34. 如申請專利範圍第24項所述之方法，其更包含從一應用處理器接收該重疊資料。
35. 如申請專利範圍第24項所述之方法，更包含對該結合顯示圖像中之各該像素，決定是否根據該遮罩資料之對應位置中之值而輸出該影像圖像之一對應像素或該重疊資料。
36. 如申請專利範圍第24項所述之方法，其更包含對該結合顯示圖像中之各該像素，決定如何根據該遮罩資料中之對應位置中之值而合併該影像圖像之一對應像素及該重疊資料。
37. 如申請專利範圍第24項所述之方法，其中合併為邊緣增強操作、閃避操作、燒錄操作或α合成效果。
38. 如申請專利範圍第24項所述之方法，其中該遮罩資料之各該複數個數值準確對應該結合顯示圖像中的一個像素。
39. 如申請專利範圍第24項所述之方法，其中該遮罩資料之各該複數個數值對應該結合顯示影像中的多個像素。
40. 如申請專利範圍第24項所述之方法，其中該重疊資料包含複數個頁面，並且其中該遮罩資料包含確認該複數個頁面之至少其中之一的資訊。
41. 如申請專利範圍第24項所述之方法，其中該複數個觸控事件為一指向工具與該觸控感測面板之間之交互作用所產生的結果。
42. 一種加速器，其用於提供回應一顯示裝置上所畫路徑之回饋，該顯示裝置包含一觸控感測面板、一應用處理器及一顯示器，該加速器包含：一處理器；以及一記憶體，具有儲存於其上之指令，當其被該處理器執行時，使該處理器進行：從該應用處理器接收一成像影像訊框；從該應用處理器接收一參數；從該觸控感測面板接收複數個觸控訊號； 根據該複數個觸控訊號決定一觸控路徑；基於該觸控路徑及該參數產生一遮罩資料；根據該遮罩資料及所儲存之一重疊資料更新該成像影像訊框以產生一更新影像訊框；以及輸出該更新影像訊框到該顯示器，其中該遮罩資料包括複數個數值之矩陣，各該數值確認該成像邏輯之操作以產生該結合顯示圖像；以及其中在矩陣內之該複數個數值的位置對應於該結合顯示圖像中之複數個像素的位置。