TW201931076A - 包括觸覺回饋結構及對應虛擬使用者介面元件之觸控螢幕 - Google Patents

包括觸覺回饋結構及對應虛擬使用者介面元件之觸控螢幕 Download PDF

Info

Publication number
TW201931076A
TW201931076A TW107137516A TW107137516A TW201931076A TW 201931076 A TW201931076 A TW 201931076A TW 107137516 A TW107137516 A TW 107137516A TW 107137516 A TW107137516 A TW 107137516A TW 201931076 A TW201931076 A TW 201931076A
Authority
TW
Taiwan
Prior art keywords
touch screen
touch
user interface
tool set
interface tool
Prior art date
Application number
TW107137516A
Other languages
English (en)
Other versions
TWI787372B (zh
Inventor
威廉 Ｊ 里迪爾
薩米爾 布努內
Original Assignee
美商微晶片科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商微晶片科技公司 filed Critical 美商微晶片科技公司
Publication of TW201931076A publication Critical patent/TW201931076A/zh
Application granted granted Critical
Publication of TWI787372B publication Critical patent/TWI787372B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種觸敏觸控螢幕系統可包括：一觸控螢幕覆蓋層；及一觸覺結構，其形成在該觸控螢幕覆蓋層中或耦合至該觸控螢幕覆蓋層且界定一非平坦表面紋理(例如，體現為一脊或其他凸起結構或槽紋或其他凹陷)，該非平坦表面紋理提供觸覺回饋給一使用者的手指。在一些實施例中，該觸覺結構由具有不同於該觸控螢幕覆蓋層的一介電常數之至少一種材料所形成。經配置在該觸控螢幕覆蓋件下的一觸控螢幕顯示裝置可經組態以顯示一可組態圖形使用者介面(GUI)，該可組態圖形使用者介面(GUI)包括在與該觸覺結構對應之一位置處的一各別虛擬使用者介面元件。該系統可包括一處理單元，該處理單元經組態以感測在一特定虛擬使用者介面元件之一部位處的一觸控、識別該特定虛擬使用者介面元件、及起始與該虛擬使用者介面元件相關聯的一動作。

Description

包括觸覺回饋結構及對應虛擬使用者介面元件之觸控螢幕
本揭露係關於觸敏使用者介面，例如觸控螢幕，且更具體地，係關於包括觸覺回饋結構(例如，實體脊或槽紋)及對應虛擬使用者介面元件(例如，介面工具集)之觸控螢幕。
合併觸控感測之觸控介面用於多種應用，包括例如平板電腦、個人電腦、智慧型手機及其他消費性產品。該等觸控介面亦用作控制面板，適用於汽車、器具(例如冰箱、烘箱、洗衣機/烘乾機等)暖房及空調控制系統、安全系統、及自動櫃員機(ATM)。這些應用中之觸控介面可係例如觸控板或可合併螢幕及圖形使用者介面(GUI)。
本揭露之一些實施例大致上係關於一種建立用於搜尋在一觸敏螢幕上顯示之一圖形使用者介面(GUI)之一元件之指令之方法。該方法包括解析一GUI定義且回應於該解析而識別該GUI之元件；建立包含經識別之元件 之項目的一記錄；使經識別之該等元件與相似定位之元件的群組相關聯；配置經識別之元件之該記錄成一樹狀結構；折疊相同群組中經識別之元件成該樹狀結構中之一單一分葉；最佳化該樹狀結構；及回應於該樹狀結構而建立一搜尋指令清單。
本揭露之一些實施例大致上係關於一種用於使一電腦能夠建立可執行指令以搜尋一圖形使用者介面(GUI)之一元件之電腦程式產品。程式產品可包括一電腦可讀媒體及在該電腦可讀媒體上之軟體指令。在該電腦可讀媒體上之該等軟體指令經調適以使該電腦能夠執行以下操作：解析一GUI定義且回應於經解析之該GUI定義而識別該GUI之元件；建立包含經識別之該等元件之項目的一記錄；使經識別之該等元件與相似定位之元件的群組相關聯；配置經識別之元件之該記錄成一樹狀結構；折疊相同群組中經識別之元件成該樹狀結構中之一單一分葉；最佳化該樹狀結構；及回應於該樹狀結構而建立搜尋指令之一清單。
本揭露之一些實施例大致上係關於一種可操作地耦合至一觸控螢幕之微控制器，該觸控螢幕經組態以顯示一圖形使用者介面(GUI)。該微控制器包括至少一個處理器及儲存在一非暫時性儲存媒體上之一或多個可執行指令。當由該處理器執行時，該等指令經調適以使該處理器能夠：判定在一觸控螢幕處所感測之一觸控之一部位；及識別與對應於所感測之該觸控之觸控的該部位相關聯之一GUI元件。
本揭露之一些實施例大致上係關於一種識別在一觸控螢幕處顯示之一圖形使用者介面(GUI)之一元件之方法。該方法包括：判定在一觸控螢幕處所感測之一觸控之一部位；回應於該部位而執行一或多個搜尋指令，其 中該一或多個搜尋指令之各搜尋指令對應於一GUI元件，且在執行時該搜尋指令經調適以傳回一搜尋結果；及回應於該搜尋結果而識別一GUI元件。
本揭露之一些實施例大致上係關於一種系統。該系統包括一顯示子系統及一觸控子系統。該顯示子系統經組態以控制一顯示器。該觸控子系統包括一觸控感測器及一觸控控制器。該觸控控制器經組態以判定在該觸控螢幕處所感測之一觸控之一部位；回應於該部位及一搜尋樹而執行一或多個搜尋指令，其中該一或多個搜尋指令之各搜尋指令對應於一GUI元件，並且在執行時該搜尋指令經調適以傳回一搜尋結果；回應於該搜尋結果而識別一GUI元件；及回應於經識別之該GUI元件而產生一觸覺控制訊息。
本揭露之一些實施例包括利用虛擬介面工具集之觸敏GUI，各虛擬介面工具集包含在可顯示GUI螢幕中所包括的形狀集合體(assemblage)(例如，包括一或多個作用中UI元件)。例如，虛擬介面工具集可包含虛擬按鈕、滑桿、旋鈕、撥盤等之多個例項及/或類型的一經定義集合體。舉另一實例，虛擬介面工具集可包含共同定義用於控制經定義功能之介面的作用中元件之一經定義集合體。
在一些實施例中，虛擬介面工具集可顯示在觸控螢幕上，但在一些實施例中，僅存在於觸控螢幕組態模組/程序之內容脈絡中及觸控螢幕顯示器上。虛擬介面工具集可向中控單元報告。使用虛擬介面工具集可降低觸敏GUI的實體介面複雜性。例如，使用虛擬介面工具集可減少中控單元上處理觸控位置的額外負擔，且可不需要用於實體轉子、滑桿等的分開之硬體或電子器件，例如用於加熱控制件、收音機控制件或任何其他類型的控制件。
一些實施例提供用於以可組態方式定義觸控螢幕的操作為虛擬介面工具集(例如，按鈕、滑桿、撥盤等)之區域(例如，經組態之螢幕頁面中之區域)的系統及方法。當在觸控螢幕上偵測到觸控時，觸控控制器可判定與使用者觸控對應的介面工具集之位置或狀態(例如，與所偵測到之觸控位置對應的虛擬滑桿之線性位置或虛擬撥盤之線性位置)，且替代報告指示在觸控螢幕上之觸控位置的「觸控訊息」或除了報告指示在觸控螢幕上之觸控位置的「觸控訊息」外，亦在「介面工具集訊息」中報告此類位置/狀態資訊給中控單元。介面工具集訊息可指示與在觸控螢幕上的所偵測到觸控位置、力、及/或所偵測到觸控之其他可測量態樣對應的例如使用者所選之位置、旋轉、「觸控」狀態、及/或在各別介面工具集上所偵測到觸控數量。
利用虛擬介面工具集可簡化中控單元之所需處理。例如，使用虛擬介面工具集可允許單一螢幕設計具有多個應用程式。例如，一個介面可經由合適的組態來處置每種產品變體。
一些實施例可包括經整合在觸控螢幕表面中的靜態實體結構(例如，實體脊、凸塊、槽紋等)，用於提供觸覺回饋給人。此類結構在本文中稱為「靜態介面工具集」。在一些實施例中，靜態介面工具集可與下列組合使用：(a)虛擬介面工具集(例如，其中虛擬介面工具集與靜態介面工具集共同定位於對應觸控螢幕表面中)；及/或(b)實際實體介面工具集(例如，旋轉轉盤等)，該等實體介面工具集使用基礎虛擬介面工具集來偵測其位置。
對於顯示於觸控螢幕上的對應虛擬介面工具集或其他UI元件，靜態介面工具集可提供一個實體「感覺」。因此，靜態介面工具集可允許使用者藉由感覺來在觸控螢幕GUI處提供輸入，而無需查看觸控螢幕，該等靜 態介面工具集可尤其實用於汽車應用或其中使用者視覺焦點可被導引到別處的其他應用中。在一些實施例中，該系統經組態以向中控單元報告正被觸控之靜態介面工具集的控制位置(而不是螢幕上的觸控位置座標)，此係因為系統可提供介面工具集區的特殊觸控處理。
與習知系統相比較，靜態介面工具集可取代實體移動部件以增加系統的穩健性，且可減少組件計數及處理器間介面。此外，可在單一螢幕上提供一或多種類型或形狀之靜態介面工具集的多個例項。在一些例項中，可使用靜態介面工具集來取代一或多個轉子(轉盤或旋鈕)、滑桿、按鈕、開關或任何其他類型之實體介面。
一些靜態介面工具集可至少部分地嵌入於觸控螢幕覆蓋件之主體中，或以其他方式實體地耦合至觸控螢幕覆蓋件之主體，因此稱為「嵌入式靜態介面工具集」。在一些實施例中，嵌入式靜態介面工具集可由不同於觸控螢幕覆蓋件之主體的一或多種材料(例如，玻璃或聚合物)所形成。例如，嵌入式靜態介面工具集可由具有高於或低於觸控螢幕覆蓋件之主體的介電常數之材料所形成，例如，以提供所欲電容式觸敏回應。
因此，一個實施例提供一種觸控螢幕系統，該觸控螢幕系統包括：一觸控螢幕覆蓋層，其由具有一介電常數之一第一材料所形成；及一觸覺結構，其耦合至該觸控螢幕覆蓋層且界定一非平坦表面紋理，其中該觸覺結構由至少一種第二材料所形成，該至少一種第二材料具有不同於該觸控螢幕覆蓋層之該第一材料的一介電常數。
另一實例性實施例提供一種觸敏觸控螢幕系統，該觸敏觸控螢幕系統包括：一觸控螢幕覆蓋層；及一觸覺結構，其形成在該觸控螢幕覆蓋 層中或耦合至該觸控螢幕覆蓋層且界定一非平坦表面紋理(例如，體現為一脊或其他凸起結構或槽紋或其他凹陷)，該非平坦表面紋理提供觸覺回饋給一使用者的手指。在一些實施例中，該觸覺結構由具有不同於該觸控螢幕覆蓋層的一介電常數之至少一種材料所形成。經配置在該觸控螢幕覆蓋件下的一觸控螢幕顯示裝置可經組態以顯示一可組態圖形使用者介面(GUI)，該可組態圖形使用者介面(GUI)包括在與該觸覺結構對應之一位置處的一各別虛擬使用者介面元件。該系統可包括一處理單元，該處理單元經組態以感測在一特定虛擬使用者介面元件之一部位處的一觸控、識別該特定虛擬使用者介面元件、及起始與該虛擬使用者介面元件相關聯的一動作。
102‧‧‧軟體應用程式工具
104‧‧‧觸控處理器
106‧‧‧觸控感測器
108‧‧‧操作
110‧‧‧操作
112‧‧‧操作
114‧‧‧操作
116‧‧‧操作
118‧‧‧操作
202‧‧‧操作
204‧‧‧操作
206‧‧‧操作
208‧‧‧操作
210‧‧‧操作
300‧‧‧程序
302‧‧‧操作
304‧‧‧操作
306‧‧‧操作
308‧‧‧操作
310‧‧‧操作
312‧‧‧操作
314‧‧‧操作
316‧‧‧操作
400‧‧‧程序
402‧‧‧操作
404‧‧‧操作
406‧‧‧操作
408‧‧‧操作
410‧‧‧操作
412‧‧‧操作
500‧‧‧最佳化程序
502‧‧‧操作
504‧‧‧操作
506‧‧‧操作
508‧‧‧操作
510‧‧‧操作
600‧‧‧程序
602‧‧‧操作
604‧‧‧操作
606‧‧‧操作
608‧‧‧操作
610‧‧‧操作
612‧‧‧操作
614‧‧‧操作
700‧‧‧操作
702‧‧‧操作
704‧‧‧操作
706‧‧‧操作
708‧‧‧操作
710‧‧‧操作
712‧‧‧操作
714‧‧‧操作
716‧‧‧操作
720‧‧‧操作
810‧‧‧收音機GUI
820‧‧‧表
832‧‧‧經分組元件
834‧‧‧經分組元件
836‧‧‧經分組元件
838‧‧‧經分組元件
840‧‧‧經分組元件
842‧‧‧經分組元件
844‧‧‧經分組元件
846‧‧‧經分組元件
848‧‧‧經分組元件
850‧‧‧樹狀結構
1000‧‧‧系統
1010‧‧‧微控制器韌體
1012‧‧‧GUI元件搜尋功能
1014‧‧‧回應判定
1016‧‧‧接觸測量及處理
1018‧‧‧回應驅動器
1020‧‧‧觸敏介面
1022‧‧‧感測電路
1040‧‧‧工具；系統外部之工具
1042‧‧‧GUI定義XAML檔案
1044‧‧‧搜尋清單建立應用程式
1046‧‧‧元件搜尋任務清單
1048‧‧‧元件回應資訊
1210‧‧‧收音機GUI
1212‧‧‧按鈕
1214‧‧‧用於溫度控制之旋轉盤
1216‧‧‧用於汽車設定之選單的按鈕
1310‧‧‧車用中控系統
1320‧‧‧觸控控制器
1322‧‧‧觸控處理
1324‧‧‧UI元件/形狀搜尋
1326‧‧‧力處理
1328‧‧‧觸覺控制件
1330‧‧‧顯示器
1332‧‧‧車用中控系統螢幕；觸控螢幕
1334‧‧‧力感測器
1336‧‧‧螢幕顯示設計
1338‧‧‧搜尋樹定義
1340‧‧‧觸控控制器組態單元
1350‧‧‧觸覺裝置
1352‧‧‧觸覺庫
1400‧‧‧GUI觸控螢幕系統
1402‧‧‧觸敏觸控螢幕
1404‧‧‧觸控控制器
1406‧‧‧中控單元
1410‧‧‧螢幕設計模組
1412‧‧‧虛擬介面工具集之參數
1414‧‧‧觸控控制器組態模組
1416‧‧‧介面工具集定義
1420‧‧‧測量感測器
1422‧‧‧處理觸控
1424‧‧‧GUI元件搜尋引擎(或「形狀搜尋」模組)
1426‧‧‧介面工具集資訊
1428‧‧‧介面工具集處理模組
1430‧‧‧介面工具集訊息
1432‧‧‧觸控資訊
1434‧‧‧訊息介面
1440‧‧‧事件報告
1442‧‧‧啟用/停用開關/邏輯
1500‧‧‧觸控螢幕GUI
1502‧‧‧收音機畫面/頁面
1504‧‧‧虛擬介面工具集
1504A‧‧‧收音機介面工具集
1504B‧‧‧收音機模式介面工具集
1504C‧‧‧收音機模式介面工具集
1504D‧‧‧頻道預設介面工具集
1504E‧‧‧狀態介面工具集
1504F‧‧‧音量控制啟動介面工具集
1504H‧‧‧調諧器控制啟動介面工具集
1504G‧‧‧音量調整介面工具集
1504I‧‧‧調諧器調整介面工具集
1504J‧‧‧低音控制介面工具集
1504K‧‧‧高音控制介面工具集
1600‧‧‧靜態介面工具集
1600A‧‧‧脊型靜態介面工具集；槽紋類型靜態介面工具集
1604‧‧‧蓋玻璃層
1608‧‧‧觸控感測器
1700‧‧‧觸控螢幕
1702‧‧‧靜態介面工具集
1704‧‧‧靜態介面工具集
1708‧‧‧中控單元
1710A‧‧‧第一畫面
1710B‧‧‧第二畫面
1712‧‧‧圓形「音量」虛擬介面工具集
1714‧‧‧圓形「調諧」虛擬介面工具集
1720‧‧‧「模式」按鈕
1722‧‧‧圓形「低音」虛擬介面工具集
1724‧‧‧圓形「高音」虛擬介面工具集
1800‧‧‧靜態介面工具集
1802‧‧‧觸控螢幕覆蓋件(例如，玻璃層)
1900‧‧‧脊型靜態介面工具集
1902‧‧‧觸控螢幕覆蓋件
1904‧‧‧電容式感測器
1910‧‧‧脊之中心點或區
1912‧‧‧脊之側向邊緣
1920‧‧‧槽紋
2000‧‧‧脊型靜態介面工具集
2002‧‧‧觸控螢幕覆蓋件；觸控螢幕覆蓋層
2004‧‧‧電容式感測器
2010‧‧‧中央脊組件或區域
2012A‧‧‧邊緣脊組件或區域；側向側區域
2012B‧‧‧邊緣脊組件或區域；側向側區域
h‧‧‧脊深度
r‧‧‧脊高度
t‧‧‧厚度
tb‧‧‧基線覆蓋件厚度
tcr‧‧‧覆蓋件厚度
tcb‧‧‧覆蓋件厚
tr‧‧‧脊厚度
εrc‧‧‧覆蓋件基底材料介電常數
εrr‧‧‧脊材料介電常數
εrr1‧‧‧介電常數
εrr2‧‧‧介電常數
本揭露的實例態樣及實施例係結合下列附圖在下文描述：〔圖1〕係繪示產生及使用搜尋任務清單以識別GUI中之所接觸UI元件之程序的游泳圖；〔圖2〕係根據本揭露一實施例之用於產生搜尋任務清單之一程序的流程圖；〔圖3〕係根據本揭露一實施例之用於從UI結構定義中提取UI元件之一程序的流程圖；〔圖4〕係根據本揭露一實施例之用以產生中間搜尋樹之一程序的流程圖；〔圖5〕係根據本揭露一實施例之用以產生搜尋任務樹之一程序的流程圖；〔圖6〕係根據本揭露一實施例之用以產生搜尋任務清單之一程序的流程圖；〔圖7〕係根據本揭露一實施例之用以判定觸控是否發生在UI元件內之一UI元件/形狀搜尋程序的流程圖； 〔圖8〕展示包含UI元件之收音機GUI之實施例。(可提供彩色圖)；〔圖9〕展示根據本揭露實施例分組之圖8之收音機GUI的UI元件。(可提供彩色圖)；〔圖10A至圖10E〕展示根據本揭露之實施例形成之樹狀結構中之UI元件。(可提供彩色圖)；〔圖11〕展示合併搜尋任務清單之系統之實施例；〔圖12〕展示包括與收音機GUI之UI元件之至少一些相關聯之特徵及參數的收音機GUI之實施例。(可提供彩色圖)；〔圖13〕繪示作為子系統併入至汽車之中控系統中之圖11之系統之實施例。
〔圖14〕繪示根據一個實例性實施例之採用如本文揭露之虛擬介面工具集的實例性觸控螢幕系統；〔圖15〕繪示根據一個實例性實施例之包括各種UI元件群組之虛擬介面工具集配置的實例性收音機觸控螢幕GUI；〔圖16〕繪示根據實例性實施例之形成在蓋玻璃中的體現為脊之靜態介面工具集及體現為槽紋之另一靜態介面工具集的實例；〔圖17A及圖17B〕繪示根據一個實例性實施例之包括體現為圓形槽紋或脊之兩個靜態介面工具集的實例性觸控螢幕；〔圖18〕繪示圖17A及圖17B中所展示之實例的靜態介面工具集的成角度側視圖，其中靜態介面工具集被體現為圓形槽紋；〔圖19〕繪示根據實例性實施例之形成在觸控螢幕中的脊型靜態介面工具集的實例性結構；及 〔圖20〕繪示根據實例性實施例之形成在觸控螢幕中的多組件脊型靜態介面工具集的實例性結構；
〔相關申請案之交互參考〕
本申請案主張(a)於2017年10月24日申請的美國臨時專利申請第62/576,383號及(b)於2017年10月24日申請的美國臨時專利申請第62/576,563號之優先權，該等案之全部內容出於所有目的特此以引用方式併入本文中。
下文實施方式將參考形成其部分之附圖，且其中利用圖解方式展示本揭露可實踐於其中之實施例的具體實例。充分詳細描述這些實施例以使所屬技術領域中具有通常知識者能夠實踐本揭露。然而，可利用其他實施例，並且可進行結構、材料及程序變更，而未脫離本揭露之範疇。本文中呈現之圖解闡釋非意指係任何特定方法、系統、裝置、或結構之實際視圖，而僅是經採用以描述本揭露之實施例的理想化表示。本文中呈現之圖式非必然按比例繪製。為了讀者便利，在各種圖式中之相似結構或組件可保持相同或相似編號；然而，編號之相似性非意謂結構或組件之大小、組成、組態、或任何其他性質必然相同。
應易於明白，如本文中大致上描述及圖式中所繪示之實施例之群組件可依各式各樣不同組態予以配置及設計。因此，下文描述之各種實施例非意圖限制本揭露之範疇，而僅是表示各種實施例。雖然在圖式中可呈現實施例之各種態樣，然而該等圖式非必然按比例繪製，除非具體指示。
以下描述可包括實例以幫助所屬技術領域中具有通常知識者能夠實踐所揭示的實施例。用語「例示性(exemplary)」、「舉例(by example)」、及「例如(for example)」的使用意謂著相關描述係解釋性的，且雖然本揭露的範圍意圖涵蓋實例及法律等效實例，此種用語的使用未意圖將實施例或本揭露的範圍限制在指定組件、步驟、特徵、功能、或類似者。
另外，所展示及描述之具體實施方案僅係實例且不應解讀為實施本揭露之唯一方式，除非本文中另有指明。元件、電路、及功能可依方塊圖形式予以展示，以免不必要的細節混淆本揭露。反之，所展示及描述之具體實施方案僅係例示性且不應解讀為實施本揭露之唯一方式，除非本文中另有指明。另外，區塊定義及各種區塊之間之邏輯分割係一具體實施方案之例示。所屬技術領域中具有通常知識者將易於明白，可藉由許多其他分割解決方案實踐本揭露。在絕大多數情況中，已省略關於時序及類似者考量之細節，其中此類細節不是徹底瞭解本揭露所必須者且係在相關技術領域中具有通常知識者之能力內。
所屬技術領域中具有通常知識者將瞭解可使用任何各式各樣不同科技及技術來表示資訊及信號。例如，可藉由電壓、電流、電磁波、磁場或粒子、光學場或粒子、或其等之任何組合來表示本說明書通篇中所引用的資料、指令、命令、資訊、信號、位元、符號、及碼片(chip)。為了清楚呈現及說明，一些圖式可將信號繪示為一單一信號。所屬技術領域中具有通常知識者將理解，該信號可表示一匯流排之信號，其中該匯流排可具有各式各樣位元寬度，並且本揭露可實施在任何數目個資料信號，包括一單一資料信號。
可用一般用途處理器、特殊用途處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或經設計以執行本文描述之功能的其他可程式化邏輯裝置、離散閘或電晶體邏輯、離散硬體組件、或其等之任何組合來實施或執行結合本文中揭示之實施例所描述的各種說明性邏輯區塊、模組、及電路。一般用途處理器(本文中亦可稱為主機處理器或簡單地稱為主機)可係一微處理器，但是在替代方案中，該處理器可係任何習知處理器、控制器、微控制器、或狀態機。一處理器亦可實作為運算裝置之一組合，諸如一DSP與一微處理器之一組合、複數個微處理器、一或多個微處理器與一DSP核心結合，或任何其他此類組態。一般用途電腦包括視為特殊用途電腦之處理器，而該一般用途電腦經組態以執行與本揭露之實施例相關的運算指令(例如，軟體程式碼)。
可就經描繪為一流程圖(flowchart)、一流程圖示(flow diagram)、一結構圖、或一方塊圖的一程序而論來描述實施例。雖然一流程圖可描述操作動作為一序列程序，但是許多這些動作可依另一序列、平行、或實質上同時實施。此外，可重新配置動作順序。
一程序可對應於一方法、一執行緒、一函式、一程序、一副常式、一副程式等。另外，本文中揭示之方法可以硬體、軟體、或兩者實作。若以軟體實作，則函式可作為在電腦可讀取媒體上之一或多個指令或程式碼予以儲存或傳輸。電腦可讀取媒體包括電腦儲存媒體及通訊媒體兩者，包括促進在不同地點之間傳送一電腦程式的任何媒體。
本文中使用諸如「第一(first)」、「第二(second)」等標號對一元件的任何指涉非限制該等元件之數量或順序，除非明確指明此類限制。反 而是，本文中可使用這些標號作為區別二或更多個元件或一元件之例項的便利方法。因此，對第一元件及第二元件的指涉非意謂可採用僅兩個元件，亦非意謂該第一元件必須以某種方式在該第二元件之前。此外，除非另有指明，否則一組元件可包含一或多個元件。
如本文中所使用，對一給定參數、性質、或條件引用用語「實質上」意指且包括所屬技術領域中具有通常知識者將瞭解該給定參數、性質、或條件在小變化程度內符合例如諸如可接受之製造容限內的程度。舉實例而言，取決於實質上符合的特定參數、性質、或條件，該參數、性質、或條件可係至少90%符合、至少95%符合、或甚至至少99%符合。
本揭露中所描述之各種實施例大致上係關於用於判定在一觸敏使用者介面上所選擇之UI元件之技術，以及使用彼等技術以提供一或多個觸覺回應。如所瞭解為了本文所描述之實施例之目的，接觸感測器可回應於物件(諸如，手指或觸控筆)接觸觸控介面之觸敏區，或回應於物件靠近該觸敏區。在本揭露中，「接觸」通常係指物件與觸敏區實體接觸，但是亦可涵蓋物件緊密靠近而由接觸感測器產生可測量回應。此外，觸敏區係指在觸控介面上接觸感測器可回應物件之接觸的實體區。
如本文所用，觸敏GUI係指與GUI整合之觸控介面。例如，GUI通常包括一或多個顯示區域及作用/作用區域。在本揭露中，顯示區域係顯示資訊給使用者的使用者介面之區域。作用區域係GUI之區域，諸如按鈕、滑桿或選單，其允許使用者對使用者介面採取一些動作。一些顯示區域亦係作用區域，在其中其等顯示資訊且可採取一些動作。在觸敏GUI中，接觸在其上顯示作用區域的觸敏區可啟動該區域(例如，輕觸在觸控螢幕上的GUI按鈕)。 作用區域可被顯示為所有各種形狀及大小之GUI元件/物件，例如按鈕、滑桿、可選取窗格、選單等。
一般而言，若在觸敏區處感測到接觸，則使用程序來判定接觸所對應的GUI之作用區域(若有)。例如，若輕擊「ENTER」按鈕，則測量該接觸，且執行演算法以判定在ENTER按鈕之位置處進行接觸。ENTER按鈕係作用區域，因此在觸控敏感GUI及/或叫用GUI的基礎應用程式中建立事件。
此外，若特定GUI元件與作用區域相關聯，則與觸控介面整合的致動器可提供一或多個實體回應，通常稱為觸覺回應。這些觸覺回應可係力、振動或移動之形式，並且可模仿表面紋理、脊、邊緣、互動(如壓按/點選按鈕)、以及其他模擬感覺及回應。在GUI的情況中，觸覺回應可局域化於使用者所互動的GUI元件。例如，若使用者觸控GUI按鈕，則觸覺回應可使按鈕感覺邊緣升起，猶如其被按壓、或像是按鈕具有粗糙紋理。
如下文所述，例如參考圖14及圖15，在一些實施例中，觸敏GUI可利用「虛擬介面工具集」，該等虛擬介面工具集包括在可顯示GUI螢幕中所包括的任何形狀集合體(例如，包括一或多個作用中GUI元件/物件)。例如，虛擬介面工具集可包含虛擬按鈕、滑桿、旋鈕、撥盤等之多個例項及/或類型的一經定義集合體。舉另一實例，虛擬介面工具集可包含共同定義用於控制經定義功能之介面的作用中元件之一經定義集合體。例如，滑桿類型虛擬介面工具集或可旋轉轉盤類型虛擬介面工具集可由經定義UI元件集合所組成，該經定義UI元件集合與用於滑動或可旋轉轉盤之位置選擇範圍相關，例如，如下文論述之實例性圖15所示之實例性可旋轉撥盤所繪示。應理解，本文關於GUI元件(亦稱為UI元件)或形狀的任何揭露同樣適用於虛擬介面工具集。
本文所描述之各種實施例有時可指建立及更新電子記錄。電子記錄可係資料檔案之形式，並且更新電子記錄可包括在記錄之一或多個欄位中插入或刪除資料項目。替代地，在執行時期，資料項目可指具有與所描述之記錄一致的狀態資訊及變數的類別物件及經實體化物件。在本文所描述之各種實施例中，設想這兩種情況。
本揭露之各種實施例係關於用於識別在觸敏介面上已經接觸之GUI元件之技術。這些技術及相關聯之結構在記憶體使用及回應能力方面尤其有效率。
此外，與其他技術相比，介面資料儲存需求很小，且執行時期所執行之用以識別UI元件的任務數目很少。
本揭露之一些實施例係關於一種用於建立經最佳化搜尋任務之清單之程序，其可經執行以識別在觸敏介面上所接觸的GUI元件。此類搜尋可在本文中被稱為UI元件搜尋或「形狀搜尋」。搜尋任務可以係處理器可執行指令，在執行時該等指令傳回成功或失敗訊息至正在搜尋被接觸的GUI之元件(若有的話)的子系統。在一實施例中，基於訂定GUI中之各種元件及其部位之映射的定義檔案來建立搜尋任務。可針對各種效率參數最佳化搜尋任務。
在一實施例中，如與本揭露之發明人已知的可在顯示子系統(例如，汽車中控系統)中執行之UI元件/形狀搜尋的習知觸敏GUI相比較，可由嵌入式裝置(例如，觸控控制器)執行搜尋任務清單。在觸控控制器中執行GUI元件搜尋節省與顯示子系統通訊的時間，及子系統作出回應且與例如觸覺回饋子系統進行通訊的時間。如與習知觸敏GUI相比較，節省的時間改善觸 敏GUI之回應能力，並且從使用者觀點，縮短從他/她觸碰螢幕至其等接收回應於該觸控之回饋的時間。
此外，任務搜尋清單之建立係可組態，並且取決於GUI，多組共同特徵可經選擇以用於針對特定應用而最佳化的實施方案。例如，在一些實施例中，建立程序可針對GUI進行最佳化，包括分頁、下拉式選單及模糊其他GUI元件的彈出視窗、某些形狀之元件、或在接觸時移動或變形之元件。
圖1繪示根據本揭露之各種實施例之系統的總體操作。在操作112中，軟體應用程式工具102經組態以處理UI定義檔案，以建立條件式可執行指令之搜尋任務清單(操作108)，用於執行UI元件/形狀搜尋以識別已在觸敏螢幕上接觸的UI元件(若有)。
可在非暫時性儲存記憶體中儲存搜尋任務清單(操作110)，該非暫時性儲存記憶體可由作為觸控系統之一部分的一或多個處理器存取。當接觸事件發生在觸控介面處時，觸控感測器106可感測觸控(操作118)並提供指示該觸控的一或多個信號至一或多個觸控處理器104。觸控處理器104判定(操作112)在觸控介面上接觸發生之部位，且回應於該判定而搜尋(操作114)且識別被接觸的UI元件(若有)。在一實施例中，觸控處理器104可提供(操作116)搜尋結果至圖形使用者介面子系統。
將參照圖2至圖7來描述建立搜尋任務清單之一程序的一實施例。本揭露之實施例利用根據樹及網格技術組織UI元件的搜尋樹結構。將各種UI元件劃分為被視為似網格的相關群組，組織成搜尋樹，然後產生各種搜尋任務。該等搜尋任務係條件式以使用指令來最佳化UI元件/形狀搜尋之執行。所 屬技術領域中具有通常知識者將理解，可使用其他演算法將畫面劃分成可搜尋區域，例如，分治(divide and conquer)方法。
圖2繪示產生用於執行UI元件/形狀搜尋的搜尋任務清單之方法的實施例。在操作202中，載入並且解析UI之結構定義，以識別畫面、子畫面、以及該等畫面及子畫面上之UI元件。UI結構定義可以係電子檔案、資料庫、原始資料、或類似者。在操作204中，將UI元件分組，且將可搜尋區域劃分成具有UI元件群組的一或多個可搜尋區域。在操作206中，基於可搜尋區域將UI元件連結至樹結構中。在操作208中，使搜尋任務與搜尋樹分支及節點相關聯以形成搜尋樹，並且使搜尋樹最佳化。在操作210中，搜尋樹之條件式任務儲存在清單中，該清單係可由處理器執行的任務清單。
在一實施例中，產生搜尋任務清單的軟體應用程式工具102可經組態以將操作202、204、206、208及210之一或多者的結果寫入至輸出檔案。這可由偵錯工具用來檢視程序之結果。相同偵錯工具可經組態以使用搜尋任務清單的文字版本，並且在虛擬測試環境(如，例如，.dos可執行檔案)內執行，以驗證搜尋任務清單運作就緒。
圖3繪示用於從UI結構定義中提取UI元件之一程序300之實施例。在一實施例中，UI結構定義係待由應用程式工具之組態產生特徵所轉換的顯示器之部分的xml定義。應用程式工具解析結構定義並且抓取定義結構中定義之UI元件。在操作302中，各UI元件被載入，並且在操作304中，判定該UI元件是否係已知的UI元件。若該UI元件不是已知的UI元件(即，這係首次在結構定義中已識別此元件)，然後，在操作306中，該程序將建立用於該類型UI元件(例如，按鈕、旋鈕、滑桿等)的一個新元件定義。
建立新定義後，或若元件係已知的UI元件，則在操作308中，判定是否將元件指派給現有群組。在一實施例中，基於各種預定參數(例如元件之共同特徵，諸如元件類型、顯示UI元件所在的畫面部位、層位置、與元件相關聯之回應類型(例如，視覺、觸覺、音訊等)、及類似者)，判定是否指派給現有群組。若決定將元件指派給新群組，則在操作310中，使用與元件相關之參數來建立新群組記錄。
建立新群組記錄後，或若判定將元件指派給現有群組，則在操作312中，將新元件項目插入至用於該新元件的群組記錄中。在一實施例中，項目包括用於元件ID的欄位及用於元件之部位(即，螢幕上元件之座標)的欄位。在操作314中，判定是否有更多的UI元件，並且若有更多的UI元件，則針對在UI結構定義中經識別之各其餘UI元件執行該程序。在操作316中，程序傳回(多個)元件、(多個)元件定義及(多個)群組。
在一實施例中，若UI結構定義包括多於一個畫面定義，則各此類畫面被指派畫面ID(畫面ID係UI元件之參數)。畫面ID亦可被合併作為各群組之參數。各畫面亦可包括子畫面，該等子畫面係所顯示GUI之經定義區，在該等經定義區中，一些UI元件動態地改變，同時在該等區外的UI元件保持靜態。舉非限制性實例，具有動態UI元件之區可包括可互換之窗格、可捲動選單、可啟動之資訊窗格、瀏覽按鈕、及類似者。
圖4繪示根據本揭露實施例之用以建立搜尋樹之一程序400。在此程序中，判定如何將在UI定義中識別之各畫面劃分為可搜尋區，各可搜尋區包括UI元件之一或多個群組。在圖4所展示之程序的實施例中，選擇分隔線 (x座標，y座標)，該分隔線劃分UI元件之群組，使得至少一個UI元件群組在分隔線之一側，及至少一個其他UI元件群組在分隔線之另一側上。
該分割線有效地用沿分隔線的共用邊界有效地將畫面分成兩個可搜尋區域。。該等UI元件群組以遞歸方式劃分，直到無法進一步劃分UI元件群組為止。
在另一實施例中，畫面或可搜尋區同時在x座標及y座標方向兩者予以劃分，這可導致UI元件群組之至多四個子分區。此技術亦可導致少於四個子分區，例如UI元件群組之三個分區及一個空可搜尋區域。
在又其他實施例中，可以使用圓形、正方形及/或多邊形來定義畫面之一部分，以排除在可搜尋區之外，使得該畫面不被再細分為可搜尋區。
在操作402，載入具有二或更多個群組之第一可搜尋區域。對於第一次反覆，這可包括所有群組的整個畫面。在此實施例中，存在初始可搜尋區域記錄，其具有經定義以涵蓋整個畫面的區(包括所有UI元件及UI元件群組)。在操作404中，選擇將初始可搜尋區域劃分成兩個可搜尋區域的格線，可搜尋區域各自具有該等群組之一些者。在操作406中，建立新記錄，對在初始記錄及新記錄中的UI元件群組進行排序，並且該等記錄用其各別之可搜尋區予以更新。分隔線被記錄為兩個可搜尋區之間的分割/分區。第一可搜尋區以及在第一可搜尋區中之UI元件群組及UI元件被連結至分區，該分區繼而被連結至新可搜尋區以及在新可搜尋區中之UI元件群組及UI元件。
在執行時期，將存在UI元件之類別物件、UI元件群組之類別物件及分割/分區之類別物件。
對於含有多於一個UI元件群組之各可搜尋區，該程序被遞歸執行(操作408)以劃分可搜尋區。
顯著地，在一實施例中，藉由對UI元件定義之參照(例如，元件ID)及在此實施例中至UI元件之原點的移動來定義UI元件，而減少介面記憶體需求，此係因為不必個別定義各UI元件。
一旦畫面被完全劃分，包含分區/分割、UI元件及UI元件群組、以及其等之間之連結的中間搜尋樹現在存在。
在操作410中，建立各UI元件群組之群組層級搜尋任務。群組層級任務係一程序步驟或系列之程序步驟。該等任務可包括：(i)判定是否觸控或接觸事件發生在UI元件(或沒有元件)內的任務；(ii)以某種方式修改搜尋區域的任務；及(iii)為下一任務設定的任務。
各群組層級任務可包括在成功或失敗時待執行之下一任務的指示。例如，各任務可包括具有至下一任務位址之「位移」的一位元。此外，各群組層級任務可在執行時接受引數。在一些實施例中，先前任務可提供引數或設定環境位元/旗標來指示可供下一任務使用的引數。
在一實施例中，UI元件群組座標中之位移(位置之角度)可用於產生索引。可搜尋區中之每一UI元件(若經組態)可被指派不同ID(係按索引自可搜尋區之基底ID的位移)。結果係元件ID及位移值。存在用於修改回應(例如，觸覺)或元件ID的分開之規定，因此一個群組元件可能傳回一單一元件ID但多個回應ID，另一個群組元件可能針對數個不同元件傳回一個回應ID。
群組層級搜尋任務可插入至群組記錄中、插入至搜尋任務清單中、或插入至中間記錄中。一旦完成群組層級搜尋任務，接著在操作412中傳回中間搜尋樹。
在一實施例中，可針對各任務設定環境變數，其指示該任務被執行、係成功且係最終任務時將傳回的內容(若適用)。舉非限制性實例，環境變數可係觸覺ID、用以控制如何修改在群組形狀內之元件之元件ID及觸覺ID的值等。亦可設定環境旗標，該等環境旗標指示待發送之附有下一任務描述的資料。藉由使用某些約束及正確環境變數，例如圓形之定義可從7個位元組減少至2個位元組。
圖5繪示對中間搜尋樹執行之一最佳化程序500之實施例。在操作502中，按共同特徵分組所有UI元件。共同特徵的實例包括UI元件類型、在層中之位置、相對於另一層中之另一個元件之位置(例如，全部在相同UI元件後面)、顯示群組、形狀或更多。在一實施例中，可選擇共同特徵以最佳化UI元件/形狀搜尋程序。例如，若按層位置分組UI元件且在頂層上的UI元件位於搜尋樹頂部，則將首先搜尋該等元件。舉另一實例，在存在「分頁」(即，使用者介面之層可被撥動以暴露在下方的層，或將層拉至另一層上)的應用程式中，按顯示群組之分組允許使用單一控制件來控制所有顯示的UI元件，例如，搜尋顯示群組中的所有UI元件、回應於控制設定而套用變更至彼等UI元件、開啟或關閉顯示群組中的所有UI元件等。在各種實施例中，可使用識別項來識別按共用特徵(例如，層ID、位置ID、形狀ID等)所組織之群組。
在操作504中，針對各元件將搜尋任務插入至搜尋樹中，且分割以形成中間搜尋任務樹。在操作506中，重新排序中間搜尋任務樹以確保 單一行程通過各任務。在操作508中，排除冗餘或無效率搜尋任務。在操作510中，傳回經最佳化搜尋任務樹。
圖6繪示建立搜尋任務清單之一程序600之實施例。在操作602中，載入搜尋任務樹中之類別物件，並且在操作604中，從類別物件建立指令字(instruction word)(即，搜尋任務)，並且將指令字(即，搜尋任務)插入至搜尋任務清單中。在圖6所展示之實施例中，指令字包括任務代碼欄位及跳躍欄位。在一實施例中，指令字包括資料欄位。每一失敗(即，元件不同)及每一分割都需要到另一指令之跳躍，除非在記憶體中下一任務緊接目前任務後。
在操作606中，將任務代碼插入任務代碼欄位中，並且在操作608中，將跳躍值插入跳躍欄位中。
在一些實施例中，直到所有任務插入至搜尋任務清單中，才插入一些或全部跳躍值。在其他實施例中，可從搜尋任務樹推斷出跳躍值。
在操作610中，在記憶體中串連搜尋任務清單之各種任務以形成條件式搜尋任務清單，若所有物件皆在清單中(操作612)，則在操作614中，程序傳回該條件式搜尋任務清單。搜尋任務清單及搜尋樹可儲存在記憶體中。
任務指令可按將在其中實施搜尋任務清單的特定環境中可用之容器大小限制(即，位元組限制)而變化。在一實施例中，與各任務指令相關聯之資料可取決於系統需求而變化，包括指令介面需求(8位元、12位元、16位元等)、可用記憶體等。舉非限制性實例，可用僅x座標及y座標資料以及多邊形邊數來執行在8邊多邊形UI元件內進行搜尋之指令。然而，若指令介面及其他記憶體需求允許，則可包括額外資料。
圖7繪示根據本揭露實施例之用以判定觸控是否發生在UI元件內之一UI元件/形狀搜尋程序。使用所提供之資料及搜尋任務清單來執行搜尋樹之搜尋。在操作702中，在處理器之介面上循序提供各任務之可執行指令連同各任務之酬載資料，並且在操作704中執行。搜尋樹被搜尋時，在操作706中判定是否觸控發生在UI元件內，並且各任務之結果係指示是否觸控發生在UI元件內的真/假、成功/失敗。在操作708中，回應於目前任務之結果係成功，由處理器載入並接收下一任務指令及相關資料。即，若操作706之結果係成功，則執行任務清單中之下一任務。
若結果係失敗，則回應於結果，由處理器載入並接收alt任務指令及相關資料。若存在替代任務(操作714)，則在操作716中供應替代任務部位，並且程序迴圈回到操作702，並且從處理器之替代部位載入任務。當搜尋耗盡時，UI元件被找到或未找到。若找到UI元件，則在操作710中傳回所找到結果，並且在操作712中，傳回該元件之ID以及任何環境設定/回應參數。若操作未找到，則在操作720中傳回未找到結果。
在一實施例中，圖7所展示之UI元件/形狀搜尋程序可係在觸控處理器(微控制器)處執行之韌體應用程式。觸控處理器可具有由儲存在快閃記憶體中之搜尋程序執行之一或多個搜尋任務。在一實施例中，搜尋任務可以儲存在與顯示控制器相關聯之RAM處，並且可在設定或佈建程序期間提供搜尋任務至觸控處理器，並且保持搜尋程序可存取搜尋任務。
所描述之實施例提供優於其他替代方法的幾個優點。記憶體需求從線性搜尋、純網格法或純搜尋樹方法顯著降低至多50%；並且仍有優於組合網格/樹方法之改善。這部分因為減少所執行的搜尋操作數量。由於減少搜 尋操作數量，所以回應循環比替代方法(包括習知方法)顯著縮短。例如，在1200×1200觸敏GUI上，與範圍從72μs(純網格)至1200μs(線性)之替代方法相比，達成小於36μs之循環時間。對於使用者而言，差異係一更具回應性觸控介面。
對於設計者而言，觸控介面可更精緻而具有不同回應特性之許多元件。
圖8、圖9及圖10A至圖10E繪示參照圖2至圖7所繪示及描述之程序，結合用於收音機應用程式之GUI作為可搭配本揭露之實施例一起使用之的GUI的一個非限制性例項。圖8中所繪示之收音機GUI 810包括八種UI元件之類型及總共144個UI元件，於表820中摘述。
圖9展示根據參照圖3所描述之方法分組的UI元件。在所描述之實施例中，經分組元件832、834、836、838、840、842、844、846、及848具有相似之觸控特性(例如，回應於觸控的觸覺回饋)、螢幕上之實體部位、及形狀。
圖10A至圖10E展示使用參照圖4所描述之樹及網格方法形成之樹狀結構850的一個實例。
圖11繪示根據本揭露實施例之可實施本文所描述之UI元件/形狀搜尋方法的系統1000及相關工具1040。系統1000包括微控制器韌體1010，該微控制器韌體上具有GUI元件搜尋功能1012及針對GUI元件的回應判定1014。執行微控制器韌體1010的處理器耦合至回應驅動器1018，該回應驅動器可接收來自微控制器韌體1010的控制信號並且繼而在觸敏介面1020中驅動回應。在一實施例中，觸敏介面1020係包括一或多個致動器的觸控螢幕，並且 回應驅動器1018係經組態以產生將激發致動器之控制信號的觸覺驅動器。感測電路1022可回應於在觸敏介面1020處之接觸而產生一或多個測量信號。接觸測量及處理1016可判定接觸資訊(例如，部位、類型等)，並且回應於來自感測電路1022之測量信號而提供接觸資訊至回應判定1014及GUI元件搜尋功能1012。在回應驅動器1018處所接收到之控制信號可至少部分地基於接觸資訊，例如使得在觸敏介面1020上之正確部位處提供觸覺回饋。
圖11中亦展示根據本揭露實施例之工具1040，該工具可實施搜尋清單建立程序並且建立元件搜尋任務清單及元件回應資訊。搜尋清單建立應用程式1044經組態以實施參照圖2至圖6所描述之程序，以處理GUI定義XAML檔案1042以產生元件搜尋任務清單。應用程式1044可提供元件搜尋任務清單1046及元件回應資訊1048作為一檔案至微控制器韌體1010。在一實施例中，該應用程式亦可提供搜尋樹，雖然其可併入至搜尋任務中。
在韌體之一些實施例中，該韌體可包括力測量及處理功能，以合併關於觸控事件之的力程度資訊。在彼等實施例中，可由觸覺定序器使用由元件搜尋功能所傳回之力位準資訊、GUI元件ID及觸覺回應細節，以回應於該力位準、GUI元件ID及觸覺回應細節而產生觸覺控制信號。
圖11之系統可併入至利用觸控介面及觸控控制面板的各種消費性產品、器具及機器(包括汽車)中。
圖12繪示用於汽車觸控控制面板的收音機GUI 1210之簡化版本。三個區域具體標註為：區域1、區域2及區域3。區域1係在用於溫度控制之旋轉撥盤1214中間的按鈕1212。回應於具有強力位準的觸控事件而提供根據觸覺設定檔ID #4(振動)之觸覺回饋。區域2係亦用於溫度控制之旋轉撥盤 1214。回應於具有輕力位準的觸控事件而提供根據觸覺設定檔ID #3(摩擦)之觸覺回饋。最後，區域3係帶出用於汽車設定之選單的按鈕1216。回應於具有強力位準的觸控事件而提供根據觸覺設定檔ID #2(點選)之觸覺回饋，並且回應於具有輕力位準的觸控事件而提供根據觸覺設定檔ID #3(摩擦)之觸覺回饋。
圖13繪示併入至由中控系統1310下命令之汽車控制件中的圖11之系統及圖12之GUI，並且在中控系統1310中之觸覺效果受控於微控制器。在所描述之實施例中，觸控控制器1320及UI元件/形狀搜尋功能1324係汽車子系統之部分，在該汽車子系統中之汽車中控系統1310以觸覺回饋回應觸控而無需中控系統之處理電路系統直接介入。觸控控制器1320經組態以從觸控位置及力位準資訊來識別經觸控之螢幕按鈕，並且執行包括按鈕位置的觸控狀態機以觸發觸覺效果。
在此實施例中，力處理1326及觸控處理1322被整合到一個控制器組件1320中，並且觸控螢幕1332含有數個幾何物件描述之定義(螢幕顯示設計1336及搜尋樹定義1338)，需要各定義以引起由觸控控制器1320直接啟動一系列觸覺效果並且由觸覺裝置1350執行該系列觸覺效果。觸控控制器1320亦經由觸控控制器組態單元1340接收此類定義。
例如，在顯示器1330處之觸控之後，觸控控制器1320接收來自力處理1326及觸控處理1322的力資訊及觸控資訊。此資訊可包括來自力感測器1334的力測量及在顯示器上之觸控位置。UI元件/形狀搜尋1324提供對應於觸控發生所在之的顯示器1330處所顯示之UI元件(若有)的UI元件資訊。若沒有對應於顯示器上之部位的UI元件，則UI元件/形狀搜尋1324提供空(null)搜尋結果。在搜尋UI元件之形狀資訊時，UI元件/形狀搜尋1324可使用儲存在 中控系統1310處之定義。在一實施例中，當觸控控制器1320與中控系統1310整合時，或當中控系統1310電源開啟時，在佈建程序期間，UI元件/形狀搜尋1324可接收定義。
若UI元件/形狀搜尋1324識別UI元件，則由觸覺控制件1328使用觸覺資訊，以發送觸覺啟動訊息至觸覺裝置1350，該觸覺啟動訊息包括觸覺效果及該觸覺效果之位置。觸覺啟動訊息可包括指示觸覺效果位準的參數(例如，弱、中、強)。觸覺裝置1350搜尋儲存在觸覺裝置處之觸覺庫1352中之觸覺效果定義。接著，觸覺裝置1350控制顯示器1330處的致動器，使得顯示器之特定區展現所請求之觸覺效果。顯著地，不同觸覺裝置可具有不同觸覺庫，所以觸覺效果因裝置而異。
在此實施例中，GUI定義係XAML檔案，XAML檔案係用於圖形使用者介面的xml實施方案。XAML檔案含有用於GUI之UI之螢幕元件的繪圖指令之階層式結構化清單。在XAML檔案中，有與GUI元件相關聯之標籤。例如，「寬度」、「高度」及「水平對齊」皆係特定元件之有效標籤。
虛擬介面工具集
如上文所述，在一些實施例中，與GUI整合的觸敏GUI(與GUI整合的觸控介面)可利用虛擬介面工具集，例如與上文論述之任何特徵組合。如本文所用，「虛擬介面工具集」係在可顯示GUI螢幕中所包括的任何形狀集合體(例如，包括一或多個作用中UI元件)。例如，虛擬介面工具集可包含虛擬按鈕、滑桿、旋鈕、撥盤等之多個例項及/或類型的一經定義集合體。舉另一實例，虛擬介面工具集可包含共同定義用於控制經定義功能之介面的作用中元件之一經定義集合體。例如，滑桿類型虛擬介面工具集或可旋轉轉盤類型 虛擬介面工具集可由經定義UI元件集合所組成，該經定義UI元件集合與用於滑動或可旋轉轉盤之位置選擇範圍相關，例如，如下文論述之實例性圖15所示之實例性可旋轉撥盤所繪示。
虛擬介面工具集可顯示在觸控螢幕上，但在一些實施例中，僅存在於觸控螢幕組態模組/程序之內容脈絡中及觸控螢幕顯示器上。虛擬介面工具集可向中控單元報告。使用虛擬介面工具集可降低觸敏GUI的實體介面複雜性。例如，使用虛擬介面工具集可減少中控單元上處理觸控位置的額外負擔，且可不需要用於實體轉子、滑桿等的分開之硬體或電子器件，例如用於加熱控制件、收音機控制件或任何其他類型的控制件。
一些實施例提供用於以可組態方式定義觸控螢幕的操作為虛擬介面工具集(例如，按鈕、滑桿、撥盤等)之區域(例如，經組態之螢幕頁面中之區域)的系統及方法。當在觸控螢幕上偵測到觸控時，觸控控制器可判定與使用者觸控對應的介面工具集之位置或狀態(例如，與所偵測到之觸控位置對應的虛擬滑桿之線性位置或虛擬撥盤之線性位置)，且替代報告指示在觸控螢幕上之觸控位置的「觸控訊息」或除了報告指示在觸控螢幕上之觸控位置的「觸控訊息」外，亦在「介面工具集訊息」中報告此類位置/狀態資訊給中控單元。介面工具集訊息可指示與在觸控螢幕上的所偵測到觸控位置、力、及/或所偵測到觸控之其他可測量態樣對應的例如使用者所選之位置、旋轉、「觸控」狀態、及/或在各別介面工具集上所偵測到觸控數量。
在一些實施例中，在與觸控訊息分開的串流中傳達介面工具集訊息傳達至中控單元，例如，在下文論述之圖14中所示之實例性實施例中。在一些實施例中，當偵測到虛擬介面工具集上的觸控時，觸控控制器抑制發送 觸控訊息至中控單元；換言之，在與虛擬介面工具集的觸控互動期間，可暫停觸控訊息以有利於介面工具集訊息。
使用此類虛擬介面工具集允許以可組態且動態方式定位虛擬GUI控制件在觸控螢幕上的任何位置。在一些實施例中，可藉由例如基於上文針對UI形狀搜尋所論述的技術來變更及/或重新定位螢幕顯示ID而變更顯示在螢幕上的虛擬控制件。
圖14繪示根據一個實例性實施例之採用如本文揭露之虛擬介面工具集的實例性GUI觸控螢幕系統1400。GUI觸控螢幕系統1400可包括觸敏觸控螢幕1402、觸控控制器1404及中控單元1406，其等之各者可提供任何組件(例如，觸控感測器、微控制器、微控制器韌體、處理器、記憶體、觸覺致動器等)，且提供由如上文所述之觸控螢幕、觸控控制器及中控單元所提供的任何功能。在一些實施例中，觸控控制器1404可由微控制器中的韌體予以體現。
系統1400亦可包括螢幕設計模組1410及觸控控制器組態模組1414。螢幕設計模組1410可定義或組態用於可在觸控螢幕1402處選擇性地顯示的一或多個不同畫面(亦稱為頁面)之螢幕設計。對於各畫面，螢幕設計模組1410可選擇待包括在螢幕中的虛擬介面工具集、所選擇介面工具集的配置/佈局。螢幕設計模組1410傳達螢幕設計至中控單元1406以供儲存，且中控單元1406可例如基於(例如，使用由中控單元1406提供的畫面選擇狀態機)目前所選擇用於顯示的畫面而選擇性地提供螢幕設計至GUI元件搜尋引擎1424。然後，然後，中控單元1406(或替代地，觸控控制器組態模組1414)可控制觸 控螢幕上的顯示，例如藉由使用虛擬介面工具集的各種選擇及/或配置來控制目前顯示多個不同畫面之哪者。
螢幕設計模組1410亦可定義在任何螢幕設計中所包括的各虛擬介面工具集之參數1412，且傳達各別介面工具集定義1416至觸控控制器組態模組1414以供儲存。因此，觸控控制器組態模組1414可儲存各虛擬介面工具集的介面工具集定義，該介面工具集定義可包括一或多種類型之相關UI元件的一經定義集合體。如圖所示，觸控控制器組態模組1414可提供在目前所顯示畫面中所包括的介面工具集定義給GUI元件搜尋引擎1424，以允許GUI元件搜尋引擎1424基於在觸控螢幕上所偵測到的觸控來偵測與虛擬介面工具集的使用者互動。
如上文所述，各虛擬介面工具集可包含觸控螢幕上所顯示的任何形狀集合體。各虛擬介面工具集可具有介面工具集ID及螢幕上的相對位置。例如，可藉由參數(諸如按鈕編號(用於按鈕類型介面工具集)、轉子位置/變更(對於轉子類型介面工具集)或滑桿位置/變更(對於滑桿類型介面工具集))來進一步定義虛擬介面工具集。虛擬介面工具集亦可藉由形狀組態予以定義，其可例如藉由中控單元予以分頁。
在操作中，當使用者觸控/接觸觸控螢幕1402時，觸控控制器1404之感測電路在1420處測量感測器信號且回應於觸控螢幕1402處的所測量接觸而產生一或多個測量信號。接觸測量1420及處理1422可判定觸控資訊(例如，部位、類型、力等)且提供該觸控資訊給GUI元件搜尋引擎(或「形狀搜尋」模組)1424。然後，GUI元件搜尋引擎1424可例如基於介面工具集定義1416中所包括的介面工具集部位及形狀參數，來判定是否觸控位置對應於目 前顯示的虛擬介面工具集。該判定可採用上文針對UI元件觸控偵測所論述的各種技術中之任一者。
若GUI元件搜尋引擎1424判定觸控位置對應於目前顯示的虛擬介面工具集，則搜尋引擎1424可傳達介面工具集資訊1426給介面工具集處理模組1428，該介面工具集資訊包括各別介面工具集ID、介面工具集形狀索引、在介面工具集內的正被觸控之UI元件，及/或關於正被觸控之虛擬介面工具集的其他相關資訊。在1428處，介面工具集處理模組1428將產生介面工具集訊息1430，該介面工具集訊息包括自GUI元件搜尋引擎1424及/或介面工具集定義資訊1416所接收至訊息介面1434的任何介面工具集資訊1426之任何者，該訊息介面可轉遞事件報告1440，該事件報告包括從介面工具集處理模組1428至中控單元1406的資訊。
在一些實施例中，介面工具集處理模組1428將針對各相關介面工具集觸控事件產生事件報告1440，該事件報告可包括觸發觸覺回應或其他使用者回饋或控制功能的各介面工具集觸控事件，例如，如由介面工具集定義1416所定義，或由中控單元1406及/或觸控控制器1404所產生或以其他方式可存取的其他邏輯所定義。例如，相關介面工具集觸控事件可例如包括介面工具集上的觸控事件，該等觸控事件例如藉由開啟/關閉各別功能、或增加或減小可調整控制參數(例如，音量、風扇速度、顯示亮度等)來變更與介面工具集相關聯的設定。介面工具集處理模組1428可從接收自GUI元件搜尋引擎1424的介面工具集資訊1426及/或介面工具集定義資訊1416來識別相關介面工具集觸控事件。
因此，中控單元1406可經由訊息介面1434接收來自介面工具集處理模組1428的介面工具集相關事件報告1440，且回應於各事件報告1440而控制觸控螢幕1402所顯示之畫面的各個態樣，及/或控制與正被觸控之虛擬介面工具集相關聯的至少一個外部系統或裝置，例如收音機、資訊娛樂系統、地圖/導引系統、燈、風扇、馬達、引擎等。在一些實施例中，中控單元1406可控制各別致動器以在觸控位置處提供經定義觸覺回饋給使用者，例如，如由介面工具集定義資訊1416所定義。在其他實施例中，可藉由觸控控制器1404(而不是中控單元1406)來經由觸控螢幕1402控制及提供觸覺回饋，這可增加提供回饋給使用者的回應時間。
另外，如圖14中之1432所示，觸控控制器1404可經組態以轉遞所有經處理觸控資訊至訊息介面1434，該訊息介面可產生此類資訊且經由事件報告1440轉遞此類資訊給中控單元1406。在一些實施例中，例如，在從介面工具集處理模組1428產生及轉遞介面工具集訊息1430/介面工具集相關事件報告1440至中控單元1406期間，當由GUI元件搜尋引擎1424識別到虛擬介面工具集觸控時，介面工具集處理模組1428可控制啟用/停用開關/邏輯1442以停用或暫停傳遞此觸控資訊1432。
利用虛擬介面工具集可簡化中控單元1406之所需處理。例如，使用虛擬介面工具集可允許單一螢幕設計具有多個應用程式。例如，一個介面可經由合適的組態來處置每種產品變體。
圖15繪示根據一個實例性實施例之在觸控螢幕GUI 1500上顯示的實例性收音機畫面(或頁面)1502，其中收音機畫面/頁面1502包括虛擬介面工具集1504之配置，該虛擬介面工具集配置包括各種UI元件群組。觸控 螢幕GUI 1500可經組態以選擇性地顯示任何數量及類型之不同畫面/頁面，以控制收音機及/或一或多個其他系統或裝置(例如，資訊娛樂系統、地圖/導引系統、燈、風扇、馬達、引擎等)。
在此實例性中，收音機畫面/頁面1502包括各種實例性虛擬介面工具集1504，包括：收音機介面工具集1504A、一對收音機模式介面工具集1504B及1504C、頻道預設介面工具集1504D、狀態介面工具集1504E、音量控制啟動介面工具集1504F、音量調整介面工具集1504G、調諧器控制啟動介面工具集1504H及調諧器調整介面工具集1504I、低音控制介面工具集1504J、以及高音控制介面工具集1504K。
上文論述之觸敏GUI(例如，觸控螢幕)可例如被用於任何合適的產品或系統中，例如，家用電器或汽車控制。在一些實施例中，觸控螢幕控制可由韌體提供，例如，體現在微控制器中，而無需離散微處理器/晶片。
可經由組態來定義及變更因為GUI(例如觸控螢幕)，因此可使用相同GUI硬體，且GUI硬體可經選擇性地組態用於多個不同用途，及/或用於多個不同使用者或客戶。進一步，相同GUI硬體可提供跨產品系列的多個不同介面選項。習知方法一般提供分開之控制件及/或使用中控單元來判定觸控螢幕上的按鈕按壓或其他接觸，這無法提供所揭露之系統的靈活性，且會需要額外處理資源或時間。
主要由上文揭露之UI元件/形狀搜尋演算法提供定義觸控螢幕之不同部分的不同特性及回應的能力，這允許靈活定義感測器區域。這不是觸控螢幕設計的典型態樣。進一步，新增用於UI元件/介面工具集的分開之訊息串流允許虛擬地建立諸如轉子及滑桿等功能，而不需要任何實體裝置。相同功 能性允許任何形狀運用其自己ID來報告為虛擬介面工具集，繞過習知觸控螢幕處理。
靜態介面工具集
一些實施例可包括經整合在觸控螢幕表面中的靜態實體結構(例如，實體脊、凸塊、槽紋等)，用於提供觸覺回饋給人。此類結構在本文中稱為「靜態介面工具集」。在一些實施例中，靜態介面工具集可與(上文論述之)虛擬介面工具集組合使用，例如，其中虛擬介面工具集與整合在觸控螢幕表面中的對應靜態介面工具集共同定位且可具有對應形狀。如上文所述，虛擬介面工具集可報告位置、旋轉、「觸控」狀態，報告之觸控數量等給相關聯的中控單元。
對於顯示於觸控螢幕上的對應虛擬介面工具集或其他UI元件，靜態介面工具集可提供一個實體「感覺」。因此，靜態介面工具集可允許使用者藉由感覺來在觸控螢幕GUI處提供輸入，而無需查看觸控螢幕，該等靜態介面工具集可尤其實用於汽車應用或其中使用者視覺焦點可被導引到別處的其他應用中。在一些實施例中，該系統經組態以向中控單元報告正被觸控之靜態介面工具集的控制位置(而不是螢幕上的觸控位置座標)，此係因為系統可提供介面工具集區的特殊觸控處理。
與習知系統相比較，靜態介面工具集可取代實體移動部件以增加系統的穩健性，且可減少組件計數及處理器間介面。此外，可在單一螢幕上提供一或多種類型或形狀之靜態介面工具集的多個例項。在一些例項中，可使用靜態介面工具集來取代一或多個轉子(轉盤或旋鈕)、滑桿、按鈕、開關或任何其他類型之實體介面。
圖16繪示根據一個實例性實施例的兩個實例性靜態介面工具集1600，具體地，實例性脊型靜態介面工具集1600A及實例性槽紋類型靜態介面工具集1600A，該兩個實例性靜態介面工具集形成在觸控感測器1608(例如電容式感測器)上的蓋玻璃層1604上。
在一些實施例中，中控單元可控制與提供在螢幕中的各靜態介面工具集1600對應的顯示區。例如，中控單元可動態地控制在各靜態介面工具集1600處顯示的虛擬介面工具集，例如，按特定虛擬介面工具集之對應介面工具集ID來動態呼叫特定虛擬介面工具集。因此，例如，可在每個各別靜態介面工具集1600處選擇性地顯示不同虛擬介面工具集。在一些實施例中，在特定靜態介面工具集1600上可選擇性地顯示的不同虛擬介面工具集具有與特定靜態介面工具集1600對應的相同形狀。如上文所述，虛擬介面工具集可由觸控螢幕控制器所管理。
圖17A及圖17B繪示根據一個實例性實施例之包括體現為圓形槽紋或脊之兩個靜態介面工具集1702及1704的實例性觸控螢幕1700的兩個不同模式之兩個視圖。在圖17A中，目前選擇「調諧器模式」，其中中控單元1708在觸控螢幕1700處顯示一第一畫面1710A，該第一畫面包括在靜態介面工具集1702及1704之位置處顯示的第一對虛擬介面工具集，即，分別在靜態介面工具集1702及1704之位置處顯示的圓形「音量」虛擬介面工具集1712及圓形「調諧」虛擬介面工具集1714。當使用者按壓「模式」按鈕1720時，中控單元1708呼叫針對「低音/高音」模式的第二畫面1710B，該第二畫面包括在靜態介面工具集1702及1704之位置處顯示的第二對虛擬介面工具集，即，分別 在靜態介面工具集1702及1704之位置處顯示的圓形「低音」虛擬介面工具集1722及圓形「高音」虛擬介面工具集1724。
圖18繪示根據一個實例性實施例之體現為形成在觸控螢幕覆蓋件(例如，玻璃層)1802中的圓形實體槽紋的實例性靜態介面工具集1800。
參照上文論述之圖14，螢幕設計模組及/或觸控控制器組態模組可基於螢幕幾何而導出各畫面(或頁面)之組態/佈局及/或各畫面(或頁面)內之虛擬介面工具集或其他UI元件。虛擬介面工具集可存在於螢幕之實體結構下，且因此可存在於任何靜態介面工具集下，且可發送介面工具集訊息至中控單元，如上文所述。在一些實施例中，虛擬介面工具集可產生複雜觸控報告，例如，包括增益及臨限值問題，其可與中控單元分開執行。
嵌入式靜態介面工具集
一些實施例可藉由由不同於觸控螢幕覆蓋件之主體的一或多種材料來形成靜態介面工具集結構而提供對上述靜態介面工具集的增強。因此，靜態介面工具集可至少部分地嵌入於觸控螢幕覆蓋件之主體中，或以其他方式實體地耦合至觸控螢幕覆蓋件之主體，且因此稱為「嵌入式靜態介面工具集」。如下文所述，在一些實施例中，嵌入式靜態介面工具集可由具有高於觸控螢幕覆蓋件之主體的材料所形成，例如，以提供橫跨脊的恆定觸控電容、或取決於所欲效能來提供經增強或經減小電容。
如上文所述，靜態介面工具集可提供觸覺回饋給使用者，且可體現為例如螢幕中之靜態脊或槽紋，而無移動部件。此外，如上文所述，當偵測到觸控時，共同定位之虛擬介面工具集可發送介面工具集訊息至中控單元，其中介面工具集訊息可指示位置、旋轉、「觸控」狀態，所報告之觸控數量等。
此外，使用如上文所揭露之嵌入式靜態介面工具集可增強佩戴手套之使用者之手指的偵測。
運用一些靜態介面工具集設計，例如，其中電容式感測器經配置在蓋玻璃中之脊或槽紋下方，觸控信號可取決於蓋玻璃厚度及觸控尺寸(面積)。若蓋玻璃薄且觸控平直，則可藉由以下方程式來定義或大致估計基於觸控之電容：
根據方程式1a，兩個相等面積之平行板的電容C係一個板(A)之面積、分離該等板之厚度(t)與分離該等板之空間之介電常數(ε)的乘積。總介電常數ε係自由空間之介電常數(ε o)與材料之相對介電常數(ε r)的乘積。
替代地，若手指似乎小且遠離螢幕，給定螢幕節點具有固定大小，則可藉由以下方程式大致估計基於觸控之電容：
在典型實施例及情況中，真正的基於觸控之電容可落在方程式1a與1b之間，其可表示為 C k 。因此，若脊或其他實體結構使厚度t倍增，則例如取決於方程式1a或1b是否適合具體情況，電容C減小二分之一與四分之一之間。因此，系統可提供額外觸控處理以補償螢幕中的脊、槽紋及其他實 體結構，以例如提供觸覺感覺給使用者，而不會引起與觸控偵測相關的韌體複雜度等。
因此，一些實施例可使用不同於觸控螢幕覆蓋件之基底材料(例如，玻璃或聚合物)的材料用於脊或其他靜態介面工具集結構。此外，可採用虛擬介面工具集來管理介面工具集訊息傳遞，例如，如上文所述。
圖19繪示根據一個實例性實施例之經配置在電容式感測器1904上的觸控螢幕覆蓋件1902中之實例性脊型靜態介面工具集1900的實例性結構。脊型靜態介面工具集1900可體現為形成在觸控螢幕覆蓋件1902中形成的槽紋1920中的插件。
根據上文之方程式1a及1b，高介電常數εr之效應係電容耦合之變化。
對於其中觸控似乎平直的情況中，基於方程式1a，且參考圖19所示之實例性結構，其中觸控螢幕覆蓋件之基底材料具有一介電常數εrc及脊材料具有介電常數εrr，平均介電常數可表達為： 若下列成立，則可隨時保持不變：
然而，若觸控回應傾向於方程式1b：(例如，其中手指似乎小且遠離螢幕)，平均介電常數可表達為： 若下列成立，則平均介電常數可隨時保持不變：
因此，介電常數可隨時保持恆定而不管是否觸控似乎平直(其中方程式1a適用)或不平直(其中方程式1b適用)，如所欲，藉由選擇在脊插件中使用的(多種)特定材料(具有所選擇介電常數)，不同介電常數之存在可用來增強或降低靜態介面工具集之區域中的觸控回應。
例如，覆蓋件基底材料及脊型介面工具集之脊材料可經選擇使得脊材料介電常數εrr大於或小於覆蓋件基底材料介電常數εrc。在一些實施例中，包括螢幕覆蓋件材料、脊材料、脊形狀、脊高度r、脊深度h、脊厚度(例如，在最厚點，厚度t r =h+r)、基線覆蓋件厚度t cb 、及/或脊下方之減小覆蓋件厚度t cb 之任何者之一組電容相關參數可經共同地選擇以在脊上之一或多個位置處提供經增強、中性、或降低電容式觸控偵測靈敏度，如與從脊移除的螢幕之參考區(即，含厚度t之覆蓋件材料)相比較。
例如，所有電容相關參數之任何者可經選擇以在脊之所有點/區上提供經增強電容或經減小電容(如與參考區相比較)。舉另一實例，所有電容相關參數之任何者可經選擇以在脊之所選擇點/區上提供經增強電容，但在脊上之其他點/區處提供中性或經減小電容，或反之亦然。例如，參照圖19，覆蓋件材料、基線覆蓋件厚度t b 、經減小覆蓋件厚度t cr 、脊材料、脊形狀、及脊厚度t r 可經選擇以在脊之中心點或區(在1910所指示)提供經增強電容，但在靠近脊之側向邊緣(在1912所指示)提供中性或經減小電容。
在一實例性實施例中，圖19所示之實例性脊型靜態介面工具集1900中可由高於螢幕覆蓋件1902的介電常數之(多種)材料所形成，以提供跨脊1900的恆定或基本上恆定觸控電容。
在一實施例中，脊型靜態介面工具集(例如，定義轉子)可具有變化角度之介電常數，使得在一些位置中，觸控似乎較大(高介電常數)，且在其他位置中，觸控似乎較小(低介電常數)，從而增強不同介面工具集位置之間的鑑別。
在一實例性實施例中，觸控螢幕覆蓋件1902係由具有介電常數εrc=3.5之聚合物所形成，及脊插件係由具有約8(例如，7與8.5之間)之介電常數之玻璃所形成。例如，脊插件可依相關處理速度由強化玻璃(例如，Corning®的Gorilla® Glass或具有介於7與8.5之間(例如7.75)的介電常數之任何類似玻璃產品)所形成。
此外，在一些實施例中，靜態介面工具集可包括由多種不同材料(例如，具有不同介電常數)所形成的多個層、區段或區域，以控制靜態介面工具集的總體觸敏回應。例如，靜態介面工具集可形成於基底覆蓋層(例 如，由玻璃或聚合物所形成)上方、插入於基底覆蓋層中或以其他方式緊固至基底覆蓋層，且可包括中心或主區域及一或多個第二副區域，該中心或主區域由具有第一介電常數之第一材料所形成，該一或多個第二副區域由具有第二介電常數之第二材料所形成，該第二介電常數不同於(大於或小於)該第一介電常數，其中該第一介電常數及該第二介電常數之各者可與基底覆蓋層材料相同。
圖20繪示根據一個實例性實施例之經配置在電容式感測器2004上的觸控螢幕覆蓋件2002中之實例性脊型靜態介面工具集2000。脊型靜態介面工具集2000可大致上類似於圖19所示且上文所論述之脊型靜態介面工具集1900，但可形成為包括形成於一對邊緣脊組件或區域2012A及2012B之間的中央脊組件或區域2010的多組件插件。中央脊組件或區域2010可由具有第一介電常數之第一材料所形成，而邊緣脊組件或區域2012A及2012B可由具有第二介電常數之第二材料所形成，該第二介電常數不同於(大於或小於)該第一介電常數。第一材料及第二材料之各者可相同於或不同於基底覆蓋層2002的材料。此外，第一材料之第一介電常數及第二材料之第二介電常數之各者可相同於或不同於(大於或小於)基底覆蓋層材料之介電常數。
在圖20所示之實例性實施例中，觸控螢幕覆蓋層2002係由具有介電常數εrc=3.5之聚合物所形成，及脊型靜態介面工具集2000形成為多組件插件，該多組件插件包括形成於(b)一對側向側區域2012A與2012B之間的(a)中心脊組件2010，該中心脊組件由強化玻璃(例如，Corning®的Gorilla® Glass或具有介電常數εrr2=約8(例如，介於7與8.5之間)之任何類似玻璃產品)所形成，該對側向側區域由相同於基底覆蓋層2002之聚合物所形成且因此具有介電常數εrr1=3.5。
在其他實施例中，相對於如圖19及圖20所示之實例中的側向，多組件靜態介面工具集可形成有相對於彼此垂直經配置的多個層或組件(例如，在堆疊形成中)。
本說明書中描述之許多功能單元可經繪示、描述、或標示為模組、執行緒(thread)、或程式設計程式碼之其他隔離，以更特別強調其等實施方案獨立性。模組可係至少部分以硬體、以某種或另一種形式實作。例如，一模組可實作為一硬體電路，包含自訂VLSI電路或閘陣列、現用半導體，諸如邏輯晶片、電晶體、或其他離散組件。一模組亦可以可程式化硬體裝置實作，諸如場可程式化閘陣列、可程式化陣列邏輯、可程式化邏輯裝置、或類似者。
模組亦可使用軟體或韌體實作、儲存在一實體儲存裝置(例如，一電腦可讀取儲存媒體)上、儲存在記憶體中、或其等之一組合，以供由各種類型處理器執行。
可執行程式碼之一經識別模組可例如包含電腦指令之一或多個實體或邏輯區塊，其可例如組織為一執行緒、物件、程序、或函式。然而，一經識別模組之可執行碼不需要實體定位在一起，而是可包含儲存在不同部位中之散指令，當該等散指令邏輯上聯合在一起時，該等散指令構成該模組且達成針對該模組之指定用途。
的確，可執行程式碼之一模組可係一單一指令、或許多指令，且可甚至分散遍及數個不同程式碼片段、分散在不同程式之中，及跨數個儲存裝置或記憶體裝置。相似地，在本文中可在模組內識別及繪示操作資料，並且操作資料可依任何合適的形式體現及組織在任何合適類型資料結構內。操作資料可經收集為一單一資料集，或可分散遍及不同位置(包括分散遍及不同儲存 裝置)，且可至少部分僅僅作為在一系統或網路上的電子信號而存在。在一模組或一模組之部分以軟體實作的情況中，該等軟體部分儲存在一或多個實體裝置(在本文中稱為電腦可讀取媒體)上。
在一些實施例中，該等軟體部分以一非暫時性狀態予以儲存，使得該等軟體部分或其等之表示保存在相同實體位置中達一段時期。另外，在一些實施例中，該等軟體部分儲存在一或多個非暫時性儲存裝置上，包括能夠儲存表示該等軟體部分之非暫時性狀態及/或信號之硬體元件，即使該等非暫時性儲存裝置之其他部分可能夠改變及/或傳輸信號。非暫時性儲存裝置的實例係快閃記憶體及隨機存取記憶體(RAM)。非暫時性儲存裝置之另一實例包括唯讀記憶體(ROM)，其能儲存表示該等軟體部分之信號及/或狀態達一段時期。然而，儲存該等信號及/或狀態的能力不會被傳輸相同於或表示該等儲存之信號及/或狀態的信號之進一步功能性而減弱。例如，一處理器可存取ROM以獲得表示該等儲存之信號及/或狀態的信號，以執行對應之軟體指令。
雖然本文中已關於某些所繪示之實施例描述本揭露，但是所屬技術領域中具有通常知識者將理解及明白，本發明不如此受限制。反而是，可對所繪示及描述之實施例進行許多新增、刪除及修改，而未脫離本發明之範疇，如下文申請專利範圍連同其法律均等物。此外，來自一實施例之特徵可與另一實施例之特徵組合，然而仍然涵蓋在本發明之範圍內，如發明人所預期。

Claims (15)

  1. 一種使用者介面系統，其包含：一觸控螢幕覆蓋層；一觸覺結構，其形成在該觸控螢幕覆蓋層中或耦合至該觸控螢幕覆蓋層，該觸覺結構界定一非平坦表面紋理，該非平坦表面紋理提供觸覺回饋給一使用者的手指；一觸控螢幕顯示裝置，其經配置在該觸控螢幕覆蓋件下且經組態以顯示一可組態圖形使用者介面(GUI)，該可組態圖形使用者介面(GUI)包括在與該觸覺結構對應之一部位處的一各別虛擬使用者介面元件；及一處理器，其經組態以感測在一特定虛擬使用者介面元件之一部位處的一觸控、識別該特定虛擬使用者介面元件、及起始與該虛擬使用者介面元件相關聯的一動作。
  2. 如請求項1之使用者介面系統，其中該處理器體現在一微控制器中。
  3. 如請求項1之使用者介面系統，其中：該觸控螢幕覆蓋層由具有一第一介電常數之一第一材料所形成；且該觸覺結構由至少一種第二材料所形成，該至少一種第二材料具有不同於該觸控螢幕覆蓋層之該第一材料之該第一介電常數的一介電常數。
  4. 如請求項1之使用者介面系統，其中：該觸控螢幕覆蓋層由具有一第一介電常數之一第一材料所形成；且該觸覺結構由至少一種第二材料所形成，該至少一種第二材料具有高於該觸控螢幕覆蓋層之該第一材料之該第一介電常數的一介電常數。
  5. 如請求項1之使用者介面系統，其中：該觸控螢幕覆蓋層由具有一第一介電常數之一第一材料所形成；且該觸覺結構由至少一種第二材料所形成，該至少一種第二材料具有低於該觸控螢幕覆蓋層之該第一材料之該第一介電常數的一介電常數。
  6. 如請求項1之使用者介面系統，其中形成在該觸控螢幕覆蓋層中或耦合至該觸控螢幕覆蓋層的該觸覺結構係由具有不同介電常數之至少兩種不同材料所形成。
  7. 一種觸控螢幕系統，其包含：一觸控螢幕覆蓋層，其由具有一介電常數之一第一材料所形成；及一觸覺結構，其耦合至該觸控螢幕覆蓋層且界定一非平坦表面紋理，其中該觸覺結構由至少一種第二材料所形成，該至少一種第二材料具有不同於該觸控螢幕覆蓋層之該第一材料的一介電常數。
  8. 如請求項7之觸控螢幕系統，其進一步包含一電容式感測器，該電容式感測器配置在該觸控螢幕覆蓋層下且經組態以偵測在該觸控結構上之觸控及在該觸控螢幕覆蓋層之其他區上之觸控。
  9. 如請求項7之觸控螢幕系統，其進一步包含一觸控螢幕顯示元件，該觸控螢幕顯示元件在該觸控螢幕覆蓋層下且經組態以顯示一圖形使用者介面，該圖形使用者介面包括在與該觸覺結構對應之一部位處的一虛擬使用者介面元件。
  10. 如請求項7之觸控螢幕系統，其進一步包含一觸控螢幕顯示元件，該觸控螢幕顯示元件在該觸控螢幕覆蓋層下且經組態以顯示一圖形使用者 介面，該圖形使用者介面包括在與該觸覺結構對應之一部位處的一虛擬介面工具集。
  11. 如請求項7之觸控螢幕系統，其中該觸覺結構由至少一種第二材料所形成，該至少一種第二材料具有高於該觸控螢幕覆蓋層之該第一材料的一介電常數。
  12. 如請求項7之觸控螢幕系統，其中該觸覺結構由具有不同介電常數之至少兩種不同材料所形成。
  13. 如請求項7之觸控螢幕系統，其中該觸覺結構界定一脊或凸塊。
  14. 一種使用者介面系統，其包含：一觸控螢幕覆蓋層，其由具有一第一介電常數之一第一材料所形成；一觸覺結構，其耦合至該觸控螢幕覆蓋層且界定一非平坦表面紋理，其中該觸覺結構由至少一種第二材料所形成，該至少一種第二材料具有不同於該觸控螢幕覆蓋層之該第一材料之該第一介電常數的一介電常數；觸控螢幕顯示元件，其在該觸控螢幕覆蓋層下且經組態以顯示一圖形使用者介面(GUI)，該圖形使用者介面(GUI)包括在與該觸覺結構對應之一部位處的一虛擬使用者介面元件；及一處理器，其經組態以識別在該虛擬使用者介面元件之一部位處的一觸控、識別該虛擬使用者介面元件、及起始與該虛擬使用者介面元件相關聯的一動作。
  15. 如請求項14之使用者介面系統，其中該處理器體現在一微控制器中。
TW107137516A 2017-10-24 2018-10-24 觸控螢幕系統、使用者介面系統及用於在電腦可讀媒體上建立指令之方法 TWI787372B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762576563P 2017-10-24 2017-10-24
US201762576383P 2017-10-24 2017-10-24
US62/576,383 2017-10-24
US62/576,563 2017-10-24
US16/165,241 2018-10-19
US16/165,241 US10747404B2 (en) 2017-10-24 2018-10-19 Touchscreen including tactile feedback structures and corresponding virtual user interface elements

Publications (2)

Publication Number Publication Date
TW201931076A true TW201931076A (zh) 2019-08-01
TWI787372B TWI787372B (zh) 2022-12-21

Family

ID=66169316

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107137516A TWI787372B (zh) 2017-10-24 2018-10-24 觸控螢幕系統、使用者介面系統及用於在電腦可讀媒體上建立指令之方法
TW107137549A TWI816706B (zh) 2017-10-24 2018-10-24 包括可組態虛擬介面工具集之觸敏使用者介面

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107137549A TWI816706B (zh) 2017-10-24 2018-10-24 包括可組態虛擬介面工具集之觸敏使用者介面

Country Status (7)

Country Link
US (2) US10866697B2 (zh)
JP (2) JP7181929B2 (zh)
KR (2) KR102556638B1 (zh)
CN (2) CN111052060B (zh)
DE (2) DE112018005206T5 (zh)
TW (2) TWI787372B (zh)
WO (2) WO2019084002A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
DE102017214941A1 (de) 2017-08-25 2019-02-28 Dometic Sweden Ab Freizeitfahrzeug, Kühlvorrichtung, Steuerungssystem und Verfahren zur Steuerung der Kühlvorrichtung
USD936665S1 (en) * 2018-11-21 2021-11-23 Biosense Webster (Israel) Ltd. Portion of a computer screen with a graphical user interface
US11126341B2 (en) * 2019-02-21 2021-09-21 Htc Corporation Object manipulating method, host device and computer readable storage medium
USD919633S1 (en) * 2019-05-14 2021-05-18 Rasimo Systems LLC Display screen with graphics
TWI807372B (zh) * 2020-07-21 2023-07-01 美商酷比公司 虛擬化用戶介面設備
WO2022054472A1 (ja) * 2020-09-08 2022-03-17 アルプスアルパイン株式会社 入力装置
US11385777B2 (en) 2020-09-14 2022-07-12 UiPath, Inc. User interface (UI) mapper for robotic process automation
EP3971691A1 (en) * 2020-09-18 2022-03-23 Dometic Sweden AB A recreational vehicle user interface
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback
CN114911383B (zh) * 2022-06-02 2024-10-11 亿咖通(湖北)技术有限公司 窗口显示方法和车载终端
TWI846465B (zh) * 2023-05-12 2024-06-21 久正光電股份有限公司 具有表面觸覺回饋系統之顯示裝置
CN117608424B (zh) * 2024-01-24 2024-04-12 江苏锦花电子股份有限公司 一种基于物联网的触摸式旋钮屏管控系统及方法

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221757A (ja) * 2003-01-10 2004-08-05 Renesas Technology Corp 動き検出装置及び探索領域形状可変動き検出器
GB0313808D0 (en) * 2003-06-14 2003-07-23 Binstead Ronald P Improvements in touch technology
KR100958490B1 (ko) * 2004-07-30 2010-05-17 애플 인크. 사용자 인터페이스 방법, 미디어 항목들을 통해 스크롤하는방법, 디스플레이 및 터치 스크린을 갖는 사용자-조작되는전자 장치 상에서 수행되는 방법, 디스플레이 및 터치감지 입력 장치를 갖는 컴퓨팅 장치 상에서 수행되는 방법,컴퓨팅 시스템, 컴퓨팅 장치, 터치 감지 장치를 통해플로팅 컨트롤을 기동시키는 컴퓨터 구현 방법 및 컴퓨터구현 방법
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
CN104965621B (zh) * 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
US7791594B2 (en) * 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US8922502B2 (en) * 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US8547339B2 (en) * 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US8243038B2 (en) * 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US8928621B2 (en) * 2008-01-04 2015-01-06 Tactus Technology, Inc. User interface system and method
US8553005B2 (en) * 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US9557915B2 (en) * 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
US8115745B2 (en) * 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8659555B2 (en) * 2008-06-24 2014-02-25 Nokia Corporation Method and apparatus for executing a feature using a tactile cue
TW201005262A (en) * 2008-07-29 2010-02-01 Mitac Int Corp Navigation system
US20100060568A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Curved surface input device with normalized capacitive sensing
US10289199B2 (en) * 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
JP2010086236A (ja) 2008-09-30 2010-04-15 Casio Computer Co Ltd タッチパネル
US20100088532A1 (en) * 2008-10-07 2010-04-08 Research In Motion Limited Method and handheld electronic device having a graphic user interface with efficient orientation sensor use
CA2680666A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited An electronic device having a state aware touchscreen
US20100088632A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited Method and handheld electronic device having dual mode touchscreen-based navigation
EP2175343A1 (en) * 2008-10-08 2010-04-14 Research in Motion Limited A method and handheld electronic device having a graphical user interface which arranges icons dynamically
US8760413B2 (en) * 2009-01-08 2014-06-24 Synaptics Incorporated Tactile surface
US8279184B2 (en) * 2009-01-27 2012-10-02 Research In Motion Limited Electronic device including a touchscreen and method
KR102051180B1 (ko) * 2009-03-12 2019-12-02 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
EP2457142B1 (en) * 2009-07-22 2019-12-25 Immersion Corporation Interactive touch screen gaming metaphors with haptic feedback across platforms
US8421761B2 (en) * 2009-08-26 2013-04-16 General Electric Company Imaging multi-modality touch pad interface systems, methods, articles of manufacture, and apparatus
US8730199B2 (en) * 2009-09-04 2014-05-20 Atmel Corporation Capacitive control panel
US20110099498A1 (en) 2009-10-26 2011-04-28 Barkol Omer Graphical user interface hierarchy generation
JP5704428B2 (ja) * 2009-11-18 2015-04-22 株式会社リコー タッチパネル装置及びタッチパネル装置の制御方法
WO2011087817A1 (en) * 2009-12-21 2011-07-21 Tactus Technology User interface system
US8619035B2 (en) * 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
EP2846465B1 (en) * 2010-04-14 2017-11-29 Frederick Johannes Bruwer Pressure dependent capacitive sensing circuit switch construction
WO2011133605A1 (en) * 2010-04-19 2011-10-27 Tactus Technology Method of actuating a tactile interface layer
EP2561424B1 (en) * 2010-04-23 2019-02-20 Immersion Corporation Systems and methods for providing haptic effects
GB201011146D0 (en) * 2010-07-02 2010-08-18 Vodafone Ip Licensing Ltd Mobile computing device
US8963874B2 (en) * 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US8311514B2 (en) * 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
US20120105354A1 (en) * 2010-10-31 2012-05-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Tactile Feedback Cover Lens for a Capacitive Touchscreen System
US20120256862A1 (en) * 2011-04-11 2012-10-11 Kurt Wagner Touchscreen guide
US20120268386A1 (en) * 2011-04-19 2012-10-25 Karamath James Robert Touch-screen device including tactile feedback actuator
US20120284631A1 (en) * 2011-05-02 2012-11-08 German Lancioni Methods to adapt user interfaces and input controls
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US9671954B1 (en) * 2011-07-11 2017-06-06 The Boeing Company Tactile feedback devices for configurable touchscreen interfaces
US20120274596A1 (en) * 2011-07-11 2012-11-01 Ludwig Lester F Use of organic light emitting diode (oled) displays as a high-resolution optical tactile sensor for high dimensional touchpad (hdtp) user interfaces
US9778813B2 (en) * 2011-08-09 2017-10-03 Blackberry Limited Manipulating screen layers in multi-layer applications
JP5948074B2 (ja) * 2012-02-13 2016-07-06 株式会社日立ハイテクノロジーズ 画像形成装置及び寸法測定装置
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9471185B2 (en) * 2012-02-21 2016-10-18 Atmel Corporation Flexible touch sensor input device
CA2879180A1 (en) * 2012-03-07 2013-09-12 Snap Trends, Inc. Methods and systems of aggregating information of social networks based on geographical locations via a network
US9046972B2 (en) * 2012-03-23 2015-06-02 Nokia Technologies Oy Structure for a tactile display
WO2013173624A2 (en) 2012-05-16 2013-11-21 Tactus Technology, Inc. User interface and methods
JP5799908B2 (ja) * 2012-07-13 2015-10-28 株式会社デンソー タッチ式スイッチ装置
KR101916416B1 (ko) * 2012-07-30 2018-11-08 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 디스플레이 방법
KR101427917B1 (ko) * 2012-08-27 2014-08-08 현대자동차 주식회사 변형 가능한 터치 스크린
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US20140155690A1 (en) * 2012-12-05 2014-06-05 Ralph Clinton Morton Touchscreen Cunnilingus Training Simulator
US9323327B2 (en) * 2012-12-22 2016-04-26 Intel Corporation System and method for providing tactile feedback
KR102052153B1 (ko) * 2013-02-15 2019-12-17 삼성전자주식회사 보청기를 제어하는 휴대 단말 및 방법
KR102090964B1 (ko) * 2013-02-22 2020-03-19 삼성전자주식회사 터치 스크린에 디스플레이되는 아이콘을 제어하는 휴대 단말 및 방법
KR102154792B1 (ko) * 2013-02-28 2020-09-10 삼성전자주식회사 보호 케이스를 감지하는 방법 및 그 전자 장치
US9367938B2 (en) * 2013-02-28 2016-06-14 Nokia Technologies Oy Method and apparatus for automated real-time detection of overlapping painted markup elements
US9298324B1 (en) * 2013-03-11 2016-03-29 Amazon Technologies, Inc. Capacitive touch with tactile feedback
US9361074B2 (en) * 2013-03-15 2016-06-07 Keysight Technologies, Inc. Method for creating a user interface
EP2989525B1 (en) * 2013-04-26 2019-09-25 Immersion Corporation Simulation of tangible user interface interactions and gestures using array of haptic cells
US9470919B2 (en) * 2013-05-14 2016-10-18 Microsoft Technology Licensing, Llc Methods for producing a glass-based non planar digital display
KR20140137616A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 다자간 대화를 제어하는 휴대 단말 및 방법
US9182864B2 (en) * 2013-06-03 2015-11-10 Rajkumari Mohindra Pressure sensitive projected capacitive touch sensing
US10120447B2 (en) * 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
KR20150006235A (ko) * 2013-07-08 2015-01-16 삼성전자주식회사 결합된 ui 구성 요소를 제공하는 휴대 장치 및 그 제어 방법
US9092291B1 (en) * 2013-07-11 2015-07-28 Sprint Communications Company L.P. Dynamic updating and renaming virtual pre-installation stub applications
CN103455590B (zh) * 2013-08-29 2017-05-31 百度在线网络技术（北京）有限公司 在触屏设备中进行检索的方法和装置
US9176635B2 (en) * 2013-10-14 2015-11-03 Parade Technologies, Ltd. Virtual buttons for a touch interface
US20150109214A1 (en) * 2013-10-22 2015-04-23 Weidong Shi Methods and Apparatuses of touch-fingerprinting Display
US20150185946A1 (en) * 2013-12-30 2015-07-02 Google Inc. Touch surface having capacitive and resistive sensors
CN106407954A (zh) * 2014-01-28 2017-02-15 深圳市汇顶科技股份有限公司 一种指纹识别模组、指纹识别装置及具有其的移动终端
US10380933B2 (en) * 2014-02-07 2019-08-13 Samsung Electronics Company, Ltd. Display with high transparency
US10565925B2 (en) * 2014-02-07 2020-02-18 Samsung Electronics Co., Ltd. Full color display with intrinsic transparency
US10453371B2 (en) * 2014-02-07 2019-10-22 Samsung Electronics Co., Ltd. Multi-layer display with color and contrast enhancement
US10416801B2 (en) * 2014-04-08 2019-09-17 Atmel Corporation Apparatus, controller, and device for touch sensor hand-configuration analysis based at least on a distribution of capacitance values
US10031582B2 (en) * 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
WO2016002675A1 (ja) 2014-06-30 2016-01-07 日本電気株式会社 スイッチモジュール、電子機器、および、電子機器の製造方法
US9696806B2 (en) * 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
CN104156133B (zh) * 2014-09-01 2017-04-19 深圳市华星光电技术有限公司 一种单层互容式触摸面板及电容式触摸屏
US20160328065A1 (en) * 2015-01-12 2016-11-10 Rockwell Collins, Inc. Touchscreen with Dynamic Control of Activation Force
KR20160088764A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 플렉서블 디바이스 및 그 동작 방법
JP6251214B2 (ja) 2015-05-14 2017-12-20 株式会社東芝 電子機器、方法及びプログラム
US10416799B2 (en) * 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
CN105117245A (zh) 2015-08-04 2015-12-02 小米科技有限责任公司 卸载应用程序的方法和装置
US9798413B2 (en) * 2015-08-27 2017-10-24 Hand Held Products, Inc. Interactive display
US9874965B2 (en) * 2015-09-11 2018-01-23 Apple Inc. Transparent strain sensors in an electronic device
JP6569415B2 (ja) * 2015-09-15 2019-09-04 株式会社リコー 表示入力装置、画像形成装置及び電子機器と表示制御方法並びにプログラム
KR20170046912A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
US10386940B2 (en) * 2015-10-30 2019-08-20 Microsoft Technology Licensing, Llc Touch sensing of user input device
US9875625B2 (en) * 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US20170192457A1 (en) * 2015-12-31 2017-07-06 AAC Technologies Pte. Ltd. Touch panle, haptics touch display using same, and manufacturing method for making same
US9898903B2 (en) * 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
WO2017172635A1 (en) * 2016-03-31 2017-10-05 Osisoft, Llc Event based data collection, integration, and presentation
US9916032B2 (en) * 2016-05-18 2018-03-13 Honeywell International Inc. System and method of knob operation for touchscreen devices
US10488996B2 (en) * 2016-05-18 2019-11-26 Sensel, Inc. System for detecting and confirming a touch input
CN106200929B (zh) * 2016-06-30 2018-10-30 南京中电熊猫液晶显示科技有限公司 电容式触觉反馈显示装置、工作方法及其检测方法
US20180025200A1 (en) * 2016-07-20 2018-01-25 Ib Korea Ltd. Luminescent film with quantum dots
KR102579132B1 (ko) * 2016-08-02 2023-09-18 삼성전자주식회사 디스플레이를 구비한 전자 장치
KR102535056B1 (ko) * 2016-08-03 2023-05-22 삼성전자 주식회사 전자 장치 및 터치 인식 방법
KR102673041B1 (ko) * 2016-08-18 2024-06-07 한화비전 주식회사 이벤트 검색 시스템, 장치 및 방법
US10372214B1 (en) * 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10206044B2 (en) * 2016-09-08 2019-02-12 Microsoft Technology Licensing, Llc Display structure having a visual display and an audio output
KR102580327B1 (ko) * 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10216335B1 (en) * 2016-10-18 2019-02-26 Google Llc Reducing false sensing of touchscreen inputs
US10209804B2 (en) * 2017-01-10 2019-02-19 Rockwell Collins, Inc. Emissive Display over resistive touch sensor with force sensing
US20180275757A1 (en) * 2017-03-23 2018-09-27 Immersion Corporation Systems and methods for in-cell haptics
EP3385831A1 (en) * 2017-04-04 2018-10-10 Lg Electronics Inc. Mobile terminal
US11226604B2 (en) * 2018-11-19 2022-01-18 Johnson Controls Tyco IP Holdings LLP Building system with semantic modeling based configuration and deployment of building applications

Also Published As

Publication number Publication date
KR20200071722A (ko) 2020-06-19
KR102556638B1 (ko) 2023-07-17
DE112018004686T5 (de) 2020-06-04
WO2019084082A1 (en) 2019-05-02
US10866697B2 (en) 2020-12-15
DE112018005206T5 (de) 2020-06-18
JP7269924B2 (ja) 2023-05-09
CN111164549B (zh) 2023-11-03
US10747404B2 (en) 2020-08-18
KR102627023B1 (ko) 2024-01-18
TWI816706B (zh) 2023-10-01
JP2021500677A (ja) 2021-01-07
TWI787372B (zh) 2022-12-21
WO2019084002A1 (en) 2019-05-02
KR20200071721A (ko) 2020-06-19
US20190121500A1 (en) 2019-04-25
CN111164549A (zh) 2020-05-15
TW201923544A (zh) 2019-06-16
US20190121435A1 (en) 2019-04-25
CN111052060A (zh) 2020-04-21
CN111052060B (zh) 2023-11-24
JP2021500667A (ja) 2021-01-07
JP7181929B2 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
TWI787372B (zh) 觸控螢幕系統、使用者介面系統及用於在電腦可讀媒體上建立指令之方法
TWI670639B (zh) 用於識別使用者介面元件之技術以及使用其之系統及裝置
US20120249475A1 (en) 3d user interface control
US20140160030A1 (en) Sensor system and method for mapping and creating gestures
JP2013524311A (ja) 近接性に基づく入力のための装置および方法
US9547381B2 (en) Electronic device and touch sensing method thereof
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR101692848B1 (ko) 호버링을 이용하는 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR20160107139A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기