TW201923544A - 包括可組態虛擬介面工具集之觸敏使用者介面 - Google Patents

包括可組態虛擬介面工具集之觸敏使用者介面 Download PDF

Info

Publication number
TW201923544A
TW201923544A TW107137549A TW107137549A TW201923544A TW 201923544 A TW201923544 A TW 201923544A TW 107137549 A TW107137549 A TW 107137549A TW 107137549 A TW107137549 A TW 107137549A TW 201923544 A TW201923544 A TW 201923544A
Authority
TW
Taiwan
Prior art keywords
touch
gui
virtual
interface
toolset
Prior art date
Application number
TW107137549A
Other languages
English (en)
Other versions
TWI816706B (zh
Inventor
威廉 J 里迪爾
Original Assignee
美商微晶片科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商微晶片科技公司 filed Critical 美商微晶片科技公司
Publication of TW201923544A publication Critical patent/TW201923544A/zh
Application granted granted Critical
Publication of TWI816706B publication Critical patent/TWI816706B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04809Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種觸敏圖形使用者介面(GUI)可包括一觸控螢幕,該觸控螢幕經組態以顯示一圖形使用者介面,該圖形使用者介面包括一或多個虛擬介面工具集之一配置,各虛擬介面工具集具有一形狀且包括經由該圖形使用者介面顯示的一或多個使用者介面元件。該一或多個虛擬介面工具集之該配置係可組態。一微控制器可經組態以感測在該觸控螢幕處的一觸控、識別與該觸控對應的虛擬介面工具集,且起始一動作,該動作包括下列之至少一者:(a)控制一致動器以在其上顯示所識別之該虛擬介面工具集的該觸控螢幕之一區處提供觸覺回饋,或(b)控制與該使用者介面系統相關聯的一電子裝置。

Description

包括可組態虛擬介面工具集之觸敏使用者介面
本揭露係關於觸敏使用者介面,例如觸控螢幕,且更具體地,係關於使用可組態虛擬介面工具集之配置之觸敏使用者介面。
合併觸控感測之觸控介面用於多種應用,包括例如平板電腦、個人電腦、智慧型手機及其他消費性產品。該等觸控介面亦用作控制面板,適用於汽車、器具(例如冰箱、烘箱、洗衣機/烘乾機等)暖房及空調控制系統、安全系統、及自動櫃員機(ATM)。這些應用中之觸控介面可係例如觸控板或可合併螢幕及圖形使用者介面(GUI)。
本揭露之一些實施例大致上係關於一種建立用於搜尋在一觸敏螢幕(例如,使用習知網格類型觸碰位置報告之觸敏螢幕)上顯示之一圖形使用者介面(GUI)之一元件之指令之方法。該方法包括解析一GUI定義且回應於該解析而識別該GUI之元件;建立包含經識別之元件之項目的一記錄;使經識別之該等元件與相似定位之元件的群組相關聯;配置經識別之元件之該記錄成一 樹狀結構;折疊相同群組中經識別之元件成該樹狀結構中之一單一分葉;最佳化該樹狀結構;及回應於該樹狀結構而建立一搜尋指令清單。
本揭露之一些實施例大致上係關於一種用於使一電腦能夠建立可執行指令以搜尋一圖形使用者介面(GUI)之一元件之電腦程式產品。程式產品可包括一電腦可讀媒體及在該電腦可讀媒體上之軟體指令。在該電腦可讀媒體上之該等軟體指令經調適以使該電腦能夠執行以下操作:解析一GUI定義且回應於經解析之該GUI定義而識別該GUI之元件;建立包含經識別之該等元件之項目的一記錄;使經識別之該等元件與相似定位之元件的群組相關聯;配置經識別之元件之該記錄成一樹狀結構;折疊相同群組中經識別之元件成該樹狀結構中之一單一分葉;最佳化該樹狀結構;及回應於該樹狀結構而建立搜尋指令之一清單。
本揭露之一些實施例大致上係關於一種可操作地耦合至一觸控螢幕之微控制器,該觸控螢幕經組態以顯示一圖形使用者介面(GUI)。該微控制器包括至少一個處理器及儲存在一非暫時性儲存媒體上之一或多個可執行指令。當由該處理器執行時,該等指令經調適以使該處理器能夠:判定在一觸控螢幕處所感測之一觸控之一部位;及識別與對應於所感測之該觸控之觸控的該部位相關聯之一GUI元件。
本揭露之一些實施例大致上係關於一種識別在一觸控螢幕處顯示之一圖形使用者介面(GUI)之一元件之方法。該方法包括:判定在一觸控螢幕處所感測之一觸控之一部位;回應於該部位而執行一或多個搜尋指令,其中該一或多個搜尋指令之各搜尋指令對應於一GUI元件,且在執行時該搜尋指令經調適以傳回一搜尋結果;及回應於該搜尋結果而識別一GUI元件。
本揭露之一些實施例大致上係關於一種系統。該系統包括一顯示子系統及一觸控子系統。該顯示子系統經組態以控制一顯示器。該觸控子系統包括一觸控感測器及一觸控控制器。該觸控控制器經組態以判定在該觸控螢幕處所感測之一觸控之一部位;回應於該部位及一搜尋樹而執行一或多個搜尋指令,其中該一或多個搜尋指令之各搜尋指令對應於一GUI元件,並且在執行時該搜尋指令經調適以傳回一搜尋結果;回應於該搜尋結果而識別一GUI元件;及回應於經識別之該GUI元件而產生一觸覺控制訊息。
本揭露之一些實施例包括利用虛擬介面工具集之觸敏GUI,各虛擬介面工具集包含在可顯示GUI螢幕中所包括的形狀集合體(assemblage)(例如,包括一或多個作用中UI元件)。例如,虛擬介面工具集可包含虛擬按鈕、滑桿、旋鈕、撥盤等之多個例項及/或類型的一經定義集合體。舉另一實例,虛擬介面工具集可包含共同定義用於控制經定義功能之介面的作用中元件之一經定義集合體。
在一些實施例中,虛擬介面工具集可顯示在觸控螢幕上,但在一些實施例中,僅存在於觸控螢幕組態模組/程序之內容脈絡中及觸控螢幕顯示器上。虛擬介面工具集可向中控單元(head unit)報告。使用虛擬介面工具集可降低觸敏GUI的實體介面複雜性。例如,使用虛擬介面工具集可減少中控單元上處理觸控位置的額外負擔,且可不需要用於實體轉子、滑桿等的分開之硬體或電子器件,例如用於加熱控制件、收音機控制件或任何其他類型的控制件。
一些實施例提供用於以可組態方式定義觸控螢幕的操作為虛擬介面工具集(例如,按鈕、滑桿、撥盤等)之區域(例如,經組態之螢幕頁面中之區域)的系統及方法。當在觸控螢幕上偵測到觸碰時,觸控控制器可判定 與使用者觸碰對應的介面工具集之位置或狀態(例如,與所偵測到之觸控位置對應的虛擬滑桿之線性位置或虛擬撥盤之線性位置),且替代報告指示在觸控螢幕上之觸碰位置的「觸控訊息」或除了報告指示在觸控螢幕上之觸碰位置的「觸控訊息」外,亦在「介面工具集訊息」中報告此類位置/狀態資訊給中控單元。介面工具集訊息可指示與在觸控螢幕上的所偵測到觸控位置、力、及/或所偵測到觸控之其他可測量態樣對應的例如使用者所選之位置、旋轉、「觸控」狀態、及/或在各別介面工具集上所偵測到觸控數量。在一實施例中,介面工具集訊息亦可報告一組介面工具集(例如,按鈕或鍵)的觸控/未觸控狀態。
在一些實施例或情況中,觸控虛擬按鈕/介面工具集的動作可具有依對未來按鈕按壓仍然存在的方式更新螢幕上的一個「頁面」或啟用/停用按鈕的效應(例如,經由自我修改之中控單元介面),此時可發送或可不發送介面工具集報告至中控單元(取決於實施例或組態),但是其後觸控螢幕上的同一位置會產生不同結果,例如,從收音機切換至加熱器控制。因此,中控單元僅需要更新顯示器以匹配所選擇之頁面影像。
此外,在一些實施例中,若觸控螢幕控制器被設定為控制螢幕記憶體中的頁面,則控制器可執行程序以透過SPI或另一可用之GPIO介面來選擇螢幕記憶體中的頁面,以匹配相關之介面工具集頁面ID。在此類組態中,觸控螢幕控制器可選擇及顯示整個螢幕頁面,而不是在螢幕上繪製形狀。不同的螢幕頁面可例如僅變更在一組經定義按鈕或按鍵上的標籤。此類組態可為非常靈活,且可移除中控單元訊息傳輸延遲並且非常具回應性。
利用虛擬介面工具集可簡化中控單元之所需處理。例如,使用虛擬介面工具集可允許單一螢幕設計具有多個應用程式。例如,一個介面可經由合適的組態來處置每種產品變體。
102‧‧‧軟體應用程式工具
104‧‧‧觸控處理器
106‧‧‧觸控感測器
108‧‧‧操作
110‧‧‧操作
112‧‧‧操作
114‧‧‧操作
116‧‧‧操作
118‧‧‧操作
202‧‧‧操作
204‧‧‧操作
206‧‧‧操作
208‧‧‧操作
210‧‧‧操作
300‧‧‧程序
302‧‧‧操作
304‧‧‧操作
306‧‧‧操作
308‧‧‧操作
310‧‧‧操作
312‧‧‧操作
314‧‧‧操作
316‧‧‧操作
400‧‧‧程序
402‧‧‧操作
404‧‧‧操作
406‧‧‧操作
408‧‧‧操作
410‧‧‧操作
412‧‧‧操作
500‧‧‧最佳化程序
502‧‧‧操作
504‧‧‧操作
506‧‧‧操作
508‧‧‧操作
510‧‧‧操作
512‧‧‧操作
600‧‧‧程序
602‧‧‧操作
604‧‧‧操作
606‧‧‧操作
608‧‧‧操作
610‧‧‧操作
612‧‧‧操作
614‧‧‧操作
700‧‧‧操作
702‧‧‧操作
704‧‧‧操作
706‧‧‧操作
708‧‧‧操作
710‧‧‧操作
712‧‧‧操作
714‧‧‧操作
716‧‧‧操作
720‧‧‧操作
810‧‧‧收音機GUI
820‧‧‧表
832‧‧‧經分組元件
834‧‧‧經分組元件
836‧‧‧經分組元件
838‧‧‧經分組元件
840‧‧‧經分組元件
842‧‧‧經分組元件
844‧‧‧經分組元件
846‧‧‧經分組元件
848‧‧‧經分組元件
850‧‧‧樹狀結構
1000‧‧‧系統
1010‧‧‧微控制器韌體
1012‧‧‧GUI元件搜尋功能
1014‧‧‧回應判定
1016‧‧‧接觸測量及處理
1018‧‧‧回應驅動器
1020‧‧‧觸敏介面
1022‧‧‧感測電路
1040‧‧‧工具;系統外部之工具
1042‧‧‧GUI定義XAML檔案
1044‧‧‧搜尋清單建立應用程式
1046‧‧‧元件搜尋任務清單
1048‧‧‧元件回應資訊
1210‧‧‧收音機GUI
1212‧‧‧按鈕
1214‧‧‧用於溫度控制之旋轉盤
1216‧‧‧用於汽車設定之選單的按鈕
1310‧‧‧車用中控系統
1320‧‧‧觸控控制器
1322‧‧‧觸控處理
1324‧‧‧UI元件/形狀搜尋
1326‧‧‧力處理
1328‧‧‧觸覺控制件
1330‧‧‧顯示器
1332‧‧‧車用中控系統螢幕;觸控螢幕
1334‧‧‧力感測器
1336‧‧‧螢幕顯示設計
1338‧‧‧搜尋樹定義
1350‧‧‧觸覺裝置
1352‧‧‧觸覺庫
1400‧‧‧GUI觸控螢幕系統
1402‧‧‧觸敏觸控螢幕
1404‧‧‧觸控控制器
1406‧‧‧中控單元
1410‧‧‧螢幕設計模組
1412‧‧‧虛擬介面工具集之參數
1414‧‧‧觸控控制器組態模組
1416‧‧‧介面工具集定義
1420‧‧‧測量感測器
1422‧‧‧處理觸控
1424‧‧‧GUI元件搜尋引擎(或「形狀搜尋」模組)
1426‧‧‧介面工具集資訊
1428‧‧‧介面工具集處理模組
1430‧‧‧介面工具集訊息
1432‧‧‧觸控資訊
1434‧‧‧訊息介面
1440‧‧‧事件報告
1442‧‧‧啟用/停用開關/邏輯
1500‧‧‧觸控螢幕GUI
1502‧‧‧收音機畫面/頁面
1504‧‧‧虛擬介面工具集
1504A‧‧‧收音機介面工具集
1504B‧‧‧收音機模式介面工具集
1504C‧‧‧收音機模式介面工具集
1504D‧‧‧頻道預設介面工具集
1504E‧‧‧狀態介面工具集
1504F‧‧‧音量控制啟動介面工具集
1504H‧‧‧調諧器控制啟動介面工具集
1504G‧‧‧音量調整介面工具集
1504I‧‧‧調諧器調整介面工具集
1504J‧‧‧低音控制介面工具集
1504K‧‧‧高音控制介面工具集
本揭露的實例態樣及實施例係結合下列附圖在下文描述:
圖1係繪示產生及使用搜尋任務清單以識別GUI中之所接觸UI元件之程序的圖式;圖2係根據本揭露一實施例之用於產生搜尋任務清單之一程序的流程圖;圖3係根據本揭露一實施例之用於從UI結構定義中提取UI元件之一程序的流程圖;圖4係根據本揭露一實施例之用以產生中間搜尋樹之一程序的流程圖;圖5係根據本揭露一實施例之用以產生搜尋任務樹之一程序的流程圖;圖6係根據本揭露一實施例之用以產生搜尋任務清單之一程序的流程圖;圖7係根據本揭露一實施例之用以判定觸控是否發生在UI元件內之一UI元件/形狀搜尋程序的流程圖;圖8展示包含UI元件之收音機GUI之實施例。(可提供彩色圖);圖9展示根據本揭露實施例分組之圖8之收音機GUI的UI元件。(可提供彩色圖);圖10A至圖10E展示根據本揭露之實施例形成之樹狀結構中之UI元件。(可提供彩色圖);圖11展示合併搜尋任務清單之系統之實施例; 圖12展示包括與收音機GUI之UI元件之至少一些相關聯之特徵及參數的收音機GUI之實施例。(可提供彩色圖);圖13繪示作為子系統併入至汽車之中控系統中之圖11之系統之實施例。
圖14繪示根據一個實例性實施例之採用如本文揭露之虛擬介面工具集的實例性觸控螢幕系統;及圖15繪示根據一個實例性實施例之包括各種UI元件群組之虛擬介面工具集配置的實例性收音機觸控螢幕GUI。
〔相關申請案〕
本申請案主張(a)於2017年10月24日申請的美國臨時專利申請第62/576,383號及(b)於2017年10月24日申請的美國臨時專利申請第62/576,563號之優先權,該等案之全部內容出於所有目的特此以引用方式併入本文中。
下文實施方式將參考形成其部分之附圖,且其中利用圖解方式展示本揭露可實踐於其中之實施例的具體實例。充分詳細描述這些實施例以使所屬技術領域中具有通常知識者能夠實踐本揭露。然而,可利用其他實施例,並且可進行結構、材料及程序變更,而未脫離本揭露之範疇。本文中呈現之圖解闡釋非意指係任何特定方法、系統、裝置、或結構之實際視圖,而僅是經採用以描述本揭露之實施例的理想化表示。本文中呈現之圖式非必然按比例繪製。為了讀者便利,在各種圖式中之相似結構或組件可保持相同或相似編號;然而,編號之相似性非意謂結構或組件之大小、組成、組態、或任何其他性質必然相同。
應易於明白,如本文中大致上描述及圖式中所繪示之實施例之群組件可依各式各樣不同組態予以配置及設計。因此,下文描述之各種實施例非意圖限制本揭露之範疇,而僅是表示各種實施例。雖然在圖式中可呈現實施例之各種態樣,然而該等圖式非必然按比例繪製,除非具體指示。
以下描述可包括實例以幫助所屬技術領域中具有通常知識者能夠實踐所揭示的實施例。用語「例示性(exemplary)」、「舉例(by example)」、及「例如(for example)」的使用意謂著相關描述係解釋性的,且雖然本揭露的範圍意圖涵蓋實例及法律等效實例,此種用語的使用未意圖將實施例或本揭露的範圍限制在指定組件、步驟、特徵、功能、或類似者。
另外,所展示及描述之具體實施方案僅係實例且不應解讀為實施本揭露之唯一方式,除非本文中另有指明。元件、電路、及功能可依方塊圖形式予以展示,以免不必要的細節混淆本揭露。反之,所展示及描述之具體實施方案僅係例示性且不應解讀為實施本揭露之唯一方式,除非本文中另有指明。另外,區塊定義及各種區塊之間之邏輯分割係一具體實施方案之例示。所屬技術領域中具有通常知識者將易於明白,可藉由許多其他分割解決方案實踐本揭露。在絕大多數情況中,已省略關於時序及類似者考量之細節,其中此類細節不是徹底瞭解本揭露所必須者且係在相關技術領域中具有通常知識者之能力內。
所屬技術領域中具有通常知識者將瞭解可使用任何各式各樣不同科技及技術來表示資訊及信號。例如,可藉由電壓、電流、電磁波、磁場或粒子、光學場或粒子、或其等之任何組合來表示本說明書通篇中所引用的資料、指令、命令、資訊、信號、位元、符號、及碼片(chip)。為了清楚呈現及說 明,一些圖式可將信號繪示為一單一信號。所屬技術領域中具有通常知識者將理解,該信號可表示一匯流排之信號,其中該匯流排可具有各式各樣位元寬度,並且本揭露可實施在任何數目個資料信號,包括一單一資料信號。
可用一般用途處理器、特殊用途處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或經設計以執行本文描述之功能的其他可程式化邏輯裝置、離散閘或電晶體邏輯、離散硬體組件、或其等之任何組合來實施或執行結合本文中揭示之實施例所描述的各種說明性邏輯區塊、模組、及電路。一般用途處理器(本文中亦可稱為主機處理器或簡單地稱為主機)可係一微處理器,但是在替代方案中,該處理器可係任何習知處理器、控制器、微控制器、或狀態機。一處理器亦可實作為運算裝置之一組合,諸如一DSP與一微處理器之一組合、複數個微處理器、一或多個微處理器與一DSP核心結合,或任何其他此類組態。一般用途電腦包括視為特殊用途電腦之處理器,而該一般用途電腦經組態以執行與本揭露之實施例相關的運算指令(例如,軟體程式碼)。
可就經描繪為一流程圖(flowchart)、一流程圖示(flow diagram)、一結構圖、或一方塊圖的一程序而論來描述實施例。雖然一流程圖可描述操作動作為一序列程序,但是許多這些動作可依另一序列、平行、或實質上同時實施。此外,可重新配置動作順序。
一程序可對應於一方法、一執行緒、一函式、一程序、一副常式、一副程式等。另外,本文中揭示之方法可以硬體、軟體、或兩者實作。若以軟體實作,則函式可作為在電腦可讀取媒體上之一或多個指令或程式碼予以 儲存或傳輸。電腦可讀取媒體包括電腦儲存媒體及通訊媒體兩者,包括促進在不同地點之間傳送一電腦程式的任何媒體。
本文中使用諸如「第一(first)」、「第二(second)」等標號對一元件的任何指涉非限制該等元件之數量或順序,除非明確指明此類限制。反而是,本文中可使用這些標號作為區別二或更多個元件或一元件之例項的便利方法。因此,對第一元件及第二元件的指涉非意謂可採用僅兩個元件,亦非意謂該第一元件必須以某種方式在該第二元件之前。此外,除非另有指明,否則一組元件可包含一或多個元件。
如本文中所使用,對一給定參數、性質、或條件引用用語「實質上」意指且包括所屬技術領域中具有通常知識者將瞭解該給定參數、性質、或條件在小變化程度內符合例如諸如可接受之製造容限內的程度。舉實例而言,取決於實質上符合的特定參數、性質、或條件,該參數、性質、或條件可係至少90%符合、至少95%符合、或甚至至少99%符合。
本揭露中所描述之各種實施例大致上係關於用於判定在一觸敏使用者介面上所選擇之UI元件之技術,以及使用彼等技術以提供一或多個觸覺回應。如所瞭解為了本文所描述之實施例之目的,接觸感測器可回應於物件(諸如,手指或觸控筆)接觸觸控介面之觸敏區,或回應於物件靠近該觸敏區。在本揭露中,「接觸」通常係指物件與觸敏區實體接觸,但是亦可涵蓋物件緊密靠近而由接觸感測器產生可測量回應。此外,觸敏區係指在觸控介面上接觸感測器可回應物件之接觸的實體區。
如本文所用,觸敏GUI或觸控螢幕係指與GUI整合之觸控介面。例如,GUI通常包括一或多個顯示區域及作用/作用區域。在本揭露中,顯示區 域係顯示資訊給使用者的使用者介面之區域。作用區域係GUI之區域,諸如按鈕、滑桿或選單,其允許使用者對使用者介面採取一些動作。一些顯示區域亦係作用區域,在其中其等顯示資訊且可採取一些動作。在觸敏GUI中,接觸在其上顯示作用區域的觸敏區可啟動該區域(例如,輕觸在觸控螢幕上的GUI按鈕)。作用區域可被顯示為所有各種形狀及大小之GUI元件/物件,例如按鈕、滑桿、可選取窗格、選單等。
一般而言,若在觸敏區處感測到接觸,則使用程序來判定接觸所對應的GUI之作用區域(若有)。例如,若輕擊「ENTER」按鈕,則測量該接觸,且執行演算法以判定在ENTER按鈕之位置處進行接觸。ENTER按鈕係作用區域,因此在觸控敏感GUI及/或叫用GUI的基礎應用程式中建立事件。
此外,若特定GUI元件與作用區域相關聯,則與觸控介面整合的致動器可提供一或多個實體回應,通常稱為觸覺回應。這些觸覺回應可係力、振動或移動之形式,並且可模仿表面紋理、脊、邊緣、互動(如壓按/點選按鈕)、以及其他模擬感覺及回應。在GUI的情況中,觸覺回應可局域化於使用者所互動的GUI元件。例如,若使用者觸碰GUI按鈕,則觸覺回應可使按鈕感覺邊緣升起,猶如其被按壓、或像是按鈕具有粗糙紋理。
如下文所述,例如參考圖14及圖15,在一些實施例中,觸敏GUI可利用「虛擬介面工具集」,該等虛擬介面工具集包括在可顯示GUI螢幕中所包括的任何形狀集合體(例如,包括一或多個作用中GUI元件/物件)。例如,虛擬介面工具集可包含虛擬按鈕、滑桿、旋鈕、撥盤等之多個例項及/或類型的一經定義集合體。舉另一實例,虛擬介面工具集可包含共同定義用於控制經定義功能之介面的作用中元件之一經定義集合體。例如,滑桿類型虛擬介面 工具集或可旋轉轉盤類型虛擬介面工具集可由經定義UI元件集合所組成,該經定義UI元件集合與用於滑動或可旋轉轉盤之位置選擇範圍相關,例如,如下文論述之實例性圖15所示之實例性可旋轉撥盤所繪示。應理解,本文關於GUI元件(亦稱為UI元件)或形狀的任何揭露同樣適用於虛擬介面工具集。
本文所描述之各種實施例有時可指建立及更新電子記錄。電子記錄可係資料檔案之形式,並且更新電子記錄可包括在記錄之一或多個欄位中插入或刪除資料項目。替代地,在執行時期,資料項目可指具有與所描述之記錄一致的狀態資訊及變數的類別物件及經實體化物件。在本文所描述之各種實施例中,設想這兩種情況。
本揭露之各種實施例係關於用於識別在觸敏介面上已經接觸之GUI元件之技術。這些技術及相關聯之結構在記憶體使用及回應能力方面尤其有效率。
此外,與其他技術相比,介面資料儲存需求很小,且執行時期所執行之用以識別UI元件的任務數目很少。
本揭露之一些實施例係關於一種用於建立經最佳化搜尋任務之清單之程序,其可經執行以識別在觸敏介面上所接觸的GUI元件。此類搜尋可在本文中被稱為UI元件搜尋或「形狀搜尋」。搜尋任務可以係處理器可執行指令,在執行時該等指令傳回成功或失敗訊息至正在搜尋被接觸的GUI之元件(若有的話)的子系統。在一實施例中,基於訂定GUI中之各種元件及其部位之映射的定義檔案來建立搜尋任務。可針對各種效率參數最佳化搜尋任務。
在一實施例中,如與本揭露之發明人已知的可在顯示子系統(例如,汽車中控系統)中執行之UI元件/形狀搜尋的習知觸敏GUI相比較,可 由嵌入式裝置(例如,觸控控制器)執行搜尋任務清單。在觸控控制器中執行GUI元件搜尋節省與顯示子系統通訊的時間,及子系統作出回應且與例如觸覺回饋子系統進行通訊的時間。如與習知觸敏GUI相比較,節省的時間改善觸敏GUI之回應能力,並且從使用者觀點,縮短從他/她觸碰螢幕至其等接收回應於該觸碰之回饋的時間。
此外,任務搜尋清單之建立係可組態,並且取決於GUI,多組共同特徵可經選擇以用於針對特定應用而最佳化的實施方案。例如,在一些實施例中,建立程序可針對GUI進行最佳化,包括分頁、下拉式選單及模糊其他GUI元件的彈出視窗、某些形狀之元件、或在接觸時移動或變形之元件。
圖1繪示根據本揭露之各種實施例之系統的總體操作。在操作112中,軟體應用程式工具102經組態以處理UI定義檔案,以建立條件式可執行指令之搜尋任務清單(操作108),用於執行UI元件/形狀搜尋以識別已在觸敏螢幕上接觸的UI元件(若有)。
可在非暫時性儲存記憶體中儲存搜尋任務清單(操作110),該非暫時性儲存記憶體可由作為觸控系統之一部分的一或多個處理器存取。當接觸事件發生在觸控介面處時,觸控感測器106可感測觸碰(操作118)並提供指示該觸碰的一或多個信號至一或多個觸控處理器104。觸控處理器104判定(操作112)在觸控介面上接觸發生之部位,且回應於該判定而搜尋(操作114)且識別被接觸的UI元件(若有)。在一實施例中,觸控處理器104可提供(操作116)搜尋結果至圖形使用者介面子系統。
將參照圖2至圖7來描述建立搜尋任務清單之一程序的一實施例。本揭露之實施例利用根據樹及網格技術組織UI元件的搜尋樹結構。將各種 UI元件劃分為被視為似網格的相關群組,組織成搜尋樹,然後產生各種搜尋任務。該等搜尋任務係條件式以使用指令來最佳化UI元件/形狀搜尋之執行。所屬技術領域中具有通常知識者將理解,可使用其他演算法將畫面劃分成可搜尋區域,例如,分治(divide and conquer)方法。
圖2繪示產生用於執行UI元件/形狀搜尋的搜尋任務清單之方法的實施例。在操作202中,載入並且解析UI之結構定義,以識別畫面、子畫面、以及該等畫面及子畫面上之UI元件。UI結構定義可以係電子檔案、資料庫、原始資料、或類似者。在操作204中,將UI元件分組,且將可搜尋區域劃分成具有UI元件群組的一或多個可搜尋區域。在操作206中,基於可搜尋區域將UI元件連結至樹結構中。在操作208中,使搜尋任務與搜尋樹分支及節點相關聯以形成搜尋樹,並且使搜尋樹最佳化。在操作210中,搜尋樹之條件式任務儲存在清單中,該清單係可由處理器執行的任務清單。
在一實施例中,產生搜尋任務清單的軟體應用程式工具102可經組態以將操作202、204、206、208及210之一或多者的結果寫入至輸出檔案。這可由偵錯工具用來檢視程序之結果。相同偵錯工具可經組態以使用搜尋任務清單的文字版本,並且在虛擬測試環境(如,例如,.dos可執行檔案)內執行,以驗證搜尋任務清單運作就緒。
圖3繪示用於從UI結構定義中提取UI元件之一程序300之實施例。在一實施例中,UI結構定義係待由應用程式工具之組態產生特徵所轉換的顯示器之部分的xml定義。應用程式工具解析結構定義並且抓取定義結構中定義之UI元件。在操作302中,各UI元件被載入,並且在操作304中,判定該UI元件是否係已知的UI元件。若該UI元件不是已知的UI元件(即,這係首次在結構 定義中已識別此元件),然後,在操作306中,該程序將建立用於該類型UI元件(例如,按鈕、旋鈕、滑桿等)的一個新元件定義。
建立新定義後,或若元件係已知的UI元件,則在操作308中,判定是否將元件指派給現有群組。在一實施例中,基於各種預定參數(例如元件之共同特徵,諸如元件類型、顯示UI元件所在的畫面部位、層位置、與元件相關聯之回應類型(例如,視覺、觸覺、音訊等)、及類似者),判定是否指派給現有群組。若決定將元件指派給新群組,則在操作310中,使用與元件相關之參數來建立新群組記錄。
建立新群組記錄後,或若判定將元件指派給現有群組,則在操作312中,將新元件項目插入至用於該新元件的群組記錄中。在一實施例中,項目包括用於元件ID的欄位及用於元件之部位(即,螢幕上元件之座標)的欄位。在操作314中,判定是否有更多的UI元件,並且若有更多的UI元件,則針對在UI結構定義中經識別之各其餘UI元件執行該程序。在操作316中,程序傳回(多個)元件、(多個)元件定義及(多個)群組。
在一實施例中,若UI結構定義包括多於一個畫面定義,則各此類畫面被指派畫面ID(畫面ID係UI元件之參數)。畫面ID亦可被合併作為各群組之參數。各畫面亦可包括子畫面,該等子畫面係所顯示GUI之經定義區,在該等經定義區中,一些UI元件動態地改變,同時在該等區外的UI元件保持靜態。舉非限制性實例,具有動態UI元件之區可包括可互換之窗格、可捲動選單、可啟動之資訊窗格、瀏覽按鈕、及類似者。
圖4繪示根據本揭露實施例之用以建立搜尋樹之一程序400。在此程序中,判定如何將在UI定義中識別之各畫面劃分為可搜尋區,各可搜尋區 包括UI元件之一或多個群組。在圖4所展示之程序的實施例中,選擇分隔線(x座標,y座標),該分隔線劃分UI元件之群組,使得至少一個UI元件群組在分隔線之一側,及至少一個其他UI元件群組在分隔線之另一側上。
該分割線有效地用沿分隔線的共用邊界有效地將畫面分成兩個可搜尋區域。該等UI元件群組以遞歸方式劃分,直到無法進一步劃分UI元件群組為止。
在另一實施例中,畫面或可搜尋區同時在x座標及y座標方向兩者予以劃分,這可導致UI元件群組之至多四個子分區。此技術亦可導致少於四個子分區,例如UI元件群組之三個分區及一個空可搜尋區域。
在又其他實施例中,可以使用圓形、正方形及/或多邊形來定義畫面之一部分,以排除在可搜尋區之外,使得該畫面不被再細分為可搜尋區。
在操作402,載入具有二或更多個群組之第一可搜尋區域。對於第一次反覆,這可包括所有群組的整個畫面。在此實施例中,存在初始可搜尋區域記錄,其具有經定義以涵蓋整個畫面的區(包括所有UI元件及UI元件群組)。在操作404中,選擇將初始可搜尋區域劃分成兩個可搜尋區域的格線,可搜尋區域各自具有該等群組之一些者。在操作406中,建立新記錄,對在初始記錄及新記錄中的UI元件群組進行排序,並且該等記錄用其各別之可搜尋區予以更新。分隔線被記錄為兩個可搜尋區之間的分割/分區。第一可搜尋區以及在第一可搜尋區中之UI元件群組及UI元件被連結至分區,該分區繼而被連結至新可搜尋區以及在新可搜尋區中之UI元件群組及UI元件。
在執行時期,將存在UI元件之類別物件、UI元件群組之類別物件及分割/分區之類別物件。
對於含有多於一個UI元件群組之各可搜尋區,該程序被遞歸執行(操作408)以劃分可搜尋區。
顯著地,在一實施例中,藉由對UI元件定義之參照(例如,元件ID)及在此實施例中至UI元件之原點的移動來定義UI元件,而減少介面記憶體需求,此係因為不必個別定義各UI元件。
一旦畫面被完全劃分,包含分區/分割、UI元件及UI元件群組、以及其等之間之連結的中間搜尋樹現在存在。
在操作410中,建立各UI元件群組之群組層級搜尋任務。群組層級任務係一程序步驟或系列之程序步驟。該等任務可包括:(i)判定是否觸控或接觸事件發生在UI元件(或沒有元件)內的任務;(ii)以某種方式修改搜尋區域的任務;及(iii)為下一任務設定的任務。
各群組層級任務可包括在成功或失敗時待執行之下一任務的指示。例如,各任務可包括具有至下一任務位址之「位移」的一位元。此外,各群組層級任務可在執行時接受引數。在一些實施例中,先前任務可提供引數或設定環境位元/旗標來指示可供下一任務使用的引數。
在一實施例中,UI元件群組座標中之位移(位置之角度)可用於產生索引。可搜尋區中之每一UI元件(若經組態)可被指派不同ID(係按索引自可搜尋區之基底ID的位移)。結果係元件ID及位移值。存在用於修改回應(例如,觸覺)或元件ID的分開之規定,因此一個群組元件可能傳回一單一元件ID但多個回應ID,另一個群組元件可能針對數個不同元件傳回一個回應ID。
群組層級搜尋任務可插入至群組記錄中、插入至搜尋任務清單中、或插入至中間記錄中。一旦完成群組層級搜尋任務,接著在操作412中傳回中間搜尋樹。
在一實施例中,可針對各任務設定環境變數,其指示該任務被執行、係成功且係最終任務時將傳回的內容(若適用)。舉非限制性實例,環境變數可係觸覺ID、用以控制如何修改在群組形狀內之元件之元件ID及觸覺ID的值等。亦可設定環境旗標,該等環境旗標指示待發送之附有下一任務描述的資料。藉由使用某些約束及正確環境變數,例如圓形之定義可從7個位元組減少至2個位元組。
圖5繪示對中間搜尋樹執行之一最佳化程序500之實施例。在操作502中,按共同特徵分組所有UI元件。共同特徵的實例包括UI元件類型、在層中之位置、相對於另一層中之另一個元件之位置(例如,全部在相同UI元件後面)、顯示群組、形狀或更多。在一實施例中,可選擇共同特徵以最佳化UI元件/形狀搜尋程序。例如,若按層位置分組UI元件且在頂層上的UI元件位於搜尋樹頂部,則將首先搜尋該等元件。舉另一實例,在存在「分頁」(即,使用者介面之層可被撥動以暴露在下方的層,或將層拉至另一層上)的應用程式中,按顯示群組之分組允許使用單一控制件來控制所有顯示的UI元件,例如,搜尋顯示群組中的所有UI元件、回應於控制設定而套用變更至彼等UI元件、開啟或關閉顯示群組中的所有UI元件等。在各種實施例中,可使用識別項來識別按共用特徵(例如,層ID、位置ID、形狀ID等)所組織之群組。
在操作504中,針對各元件將搜尋任務插入至搜尋樹中,且分割以形成中間搜尋任務樹。在操作506中,重新排序中間搜尋任務樹以確保單一 行程通過各任務。在操作508中,排除冗餘或無效率搜尋任務。在操作510中,傳回經最佳化搜尋任務樹。
圖6繪示建立搜尋任務清單之一程序600之實施例。在操作602中,載入搜尋任務樹中之類別物件,並且在操作604中,從類別物件建立指令字(instruction word)(即,搜尋任務),並且將指令字(即,搜尋任務)插入至搜尋任務清單中。在圖6所展示之實施例中,指令字包括任務代碼欄位及跳躍欄位。在一實施例中,指令字包括資料欄位。每一失敗(即,元件不同)及每一分割都需要到另一指令之跳躍,除非在記憶體中下一任務緊接目前任務後。
在操作606中,將任務代碼插入任務代碼欄位中,並且在操作608中,將跳躍值插入跳躍欄位中。
在一些實施例中,直到所有任務插入至搜尋任務清單中,才插入一些或全部跳躍值。在其他實施例中,可從搜尋任務樹推斷出跳躍值。
在操作610中,在記憶體中串連搜尋任務清單之各種任務以形成條件式搜尋任務清單,若所有物件皆在清單中(操作612),則在操作614中,程序傳回該條件式搜尋任務清單。搜尋任務清單及搜尋樹可儲存在記憶體中。
任務指令可按將在其中實施搜尋任務清單的特定環境中可用之容器大小限制(即,位元組限制)而變化。在一實施例中,與各任務指令相關聯之資料可取決於系統需求而變化,包括指令介面需求(8位元、12位元、16位元等)、可用記憶體等。舉非限制性實例,可用僅x座標及y座標資料以及多邊形邊數來執行在8邊多邊形UI元件內進行搜尋之指令。然而,若指令介面及其他記憶體需求允許,則可包括額外資料。
圖7繪示根據本揭露實施例之用以判定觸控是否發生在UI元件內之一UI元件/形狀搜尋程序。使用所提供之資料及搜尋任務清單來執行搜尋樹之搜尋。在操作702中,在處理器之介面上循序提供各任務之可執行指令連同各任務之酬載資料,並且在操作704中執行。搜尋樹被搜尋時,在操作706中判定是否觸控發生在UI元件內,並且各任務之結果係指示是否觸控發生在UI元件內的真/假、成功/失敗。在操作708中,回應於目前任務之結果係成功,由處理器載入並接收下一任務指令及相關資料。即,若操作706之結果係成功,則執行任務清單中之下一任務。
若結果係失敗,則回應於結果,由處理器載入並接收alt任務指令及相關資料。若存在替代任務(操作714),則在操作716中供應替代任務部位,並且程序迴圈回到操作702,並且從處理器之替代部位載入任務。當搜尋耗盡時,UI元件被找到或未找到。若找到UI元件,則在操作710中傳回所找到結果,並且在操作712中,傳回該元件之ID以及任何環境設定/回應參數。若操作未找到,則在操作720中傳回未找到結果。
在一實施例中,圖7所展示之UI元件/形狀搜尋程序可係在觸控處理器(微控制器)處執行之韌體應用程式。觸控處理器可具有由儲存在快閃記憶體中之搜尋程序執行之一或多個搜尋任務。在一實施例中,搜尋任務可以儲存在與顯示控制器相關聯之RAM處,並且可在設定或佈建程序期間提供搜尋任務至觸控處理器,並且保持搜尋程序可存取搜尋任務。
所描述之實施例提供優於其他替代方法的幾個優點。記憶體需求從線性搜尋、純網格法或純搜尋樹方法顯著降低至多50%;並且仍有優於組合網格/樹方法之改善。這部分因為減少所執行的搜尋操作數量。由於減少搜尋 操作數量,所以回應循環比替代方法(包括習知方法)顯著縮短。例如,在1200×1200觸敏GUI上,與範圍從72μs(純網格)至1200μs(線性)之替代方法相比,達成小於36μs之循環時間。對於使用者而言,差異係一更具回應性觸控介面。
對於設計者而言,觸控介面可更精緻而具有不同回應特性之許多元件。
圖8、圖9及圖10A至圖10E繪示參照圖2至圖7所繪示及描述之程序,結合用於收音機應用程式之GUI作為可搭配本揭露之實施例一起使用之的GUI的一個非限制性例項。圖8中所繪示之收音機GUI 810包括八種UI元件之類型及總共144個UI元件,於表820中摘述。在一些實施例中,GUI 810可係使用習知網格類型觸碰位置報告之觸敏螢幕。
圖9展示根據參照圖3所描述之方法分組的UI元件。在所描述之實施例中,經分組元件832、834、836、838、840、842、844、846、及848具有相似之觸控特性(例如,回應於觸控的觸覺回饋)、螢幕上之實體部位、及形狀。
圖10A至圖10E展示使用參照圖4所描述之樹及網格方法形成之樹狀結構850的一個實例。
圖11繪示根據本揭露實施例之可實施本文所描述之UI元件/形狀搜尋方法的系統1000及相關工具1040。系統1000包括微控制器韌體1010,該微控制器韌體上具有GUI元件搜尋功能1012及針對GUI元件的回應判定1014。執行微控制器韌體1010的處理器耦合至回應驅動器1018,該回應驅動器可接收來自微控制器韌體1010的控制信號並且繼而在觸敏介面1020中驅動回應。在一實 施例中,觸敏介面1020係包括一或多個致動器的觸控螢幕,並且回應驅動器1018係經組態以產生將激發致動器之控制信號的觸覺驅動器。感測電路1022可回應於在觸敏介面1020處之接觸而產生一或多個測量信號。接觸測量及處理1016可判定接觸資訊(例如,部位、類型等),並且回應於來自感測電路1022之測量信號而提供接觸資訊至回應判定1014及GUI元件搜尋功能1012。在回應驅動器1018處所接收到之控制信號可至少部分地基於接觸資訊,例如使得在觸敏介面1020上之正確部位處提供觸覺回饋。
圖11中亦展示根據本揭露實施例之工具1040,該工具可實施搜尋清單建立程序並且建立元件搜尋任務清單及元件回應資訊。搜尋清單建立應用程式1044經組態以實施參照圖2至圖6所描述之程序,以處理GUI定義XAML檔案1042以產生元件搜尋任務清單。應用程式1044可提供元件搜尋任務清單1046及元件回應資訊1048作為一檔案至微控制器韌體1010。在一實施例中,該應用程式亦可提供搜尋樹,雖然其可併入至搜尋任務中。
在韌體之一些實施例中,該韌體可包括力測量及處理功能,以合併關於觸控事件之的力程度資訊。在彼等實施例中,可由觸覺定序器使用由元件搜尋功能所傳回之力位準資訊、GUI元件ID及觸覺回應細節,以回應於該力位準、GUI元件ID及觸覺回應細節而產生觸覺控制信號。
圖11之系統可併入至利用觸控介面及觸控控制面板的各種消費性產品、器具及機器(包括汽車)中。
圖12繪示用於汽車觸控控制面板的收音機GUI 1210之簡化版本。三個區域具體標註為:區域1、區域2及區域3。區域1係在用於溫度控制之旋轉撥盤1214中間的按鈕1212。回應於具有強力位準的觸控事件而提供根據觸 覺設定檔ID #4(振動)之觸覺回饋。區域2係亦用於溫度控制之旋轉撥盤1214。回應於具有輕力位準的觸控事件而提供根據觸覺設定檔ID #3(摩擦)之觸覺回饋。最後,區域3係帶出用於汽車設定之選單的按鈕1216。回應於具有強力位準的觸控事件而提供根據觸覺設定檔ID #2(點選)之觸覺回饋,並且回應於具有輕力位準的觸控事件而提供根據觸覺設定檔ID #3(摩擦)之觸覺回饋。
圖13繪示併入至由中控系統1310下命令之汽車控制件中的圖11之系統及圖12之GUI,並且在中控系統1310中之觸覺效果受控於微控制器。在所描述之實施例中,觸控控制器1320及UI元件/形狀搜尋功能1324係汽車子系統之部分,在該汽車子系統中之汽車中控系統1310以觸覺回饋回應觸控而無需中控系統之處理電路系統直接介入。觸控控制器1320經組態以從觸控位置及力位準資訊來識別經觸控之螢幕按鈕,並且執行包括按鈕位置的觸控狀態機以觸發觸覺效果。
在此實施例中,力處理1326及觸控處理1322被整合到一個控制器組件1320中,並且觸控螢幕1332含有數個幾何物件描述之定義(螢幕顯示設計1336及搜尋樹定義1338),需要各定義以引起由觸控控制器1320直接啟動一系列觸覺效果並且由觸覺裝置1350執行該系列觸覺效果。觸控控制器1320亦經由觸控控制器組態單元1340接收這些定義。
例如,在顯示器1330處之觸控之後,觸控控制器1320接收來自力處理1326及觸控處理1322的力資訊及觸控資訊。此資訊可包括來自力感測器1334的力測量及在顯示器上之觸控位置。UI元件/形狀搜尋1324提供對應於觸控發生所在之的顯示器1330處所顯示之UI元件(若有)的UI元件資訊。若沒有對 應於顯示器上之部位的UI元件,則UI元件/形狀搜尋1324提供空(null)搜尋結果。在搜尋UI元件之形狀資訊時,UI元件/形狀搜尋1324可使用儲存在中控系統1310處之定義。在一實施例中,當觸控控制器1320與中控系統1310整合時,或當中控系統1310電源開啟時,在佈建程序期間,UI元件/形狀搜尋1324可接收定義。
若UI元件/形狀搜尋1324識別UI元件,則由觸覺控制件1328使用觸覺資訊,以發送觸覺啟動訊息至觸覺裝置1350,該觸覺啟動訊息包括觸覺效果及該觸覺效果之位置。觸覺啟動訊息可包括指示觸覺效果位準的參數(例如,弱、中、強)。觸覺裝置1350搜尋儲存在觸覺裝置處之觸覺庫1352中之觸覺效果定義。接著,觸覺裝置1350控制顯示器1330處的致動器,使得顯示器之特定區展現所請求之觸覺效果。顯著地,不同觸覺裝置可具有不同觸覺庫,所以觸覺效果因裝置而異。
在此實施例中,GUI定義係XAML檔案,XAML檔案係用於圖形使用者介面的xml實施方案。XAML檔案含有用於GUI之UI之螢幕元件的繪圖指令之階層式結構化清單。在XAML檔案中,有與GUI元件相關聯之標籤。例如,「寬度」、「高度」及「水平對齊」皆係特定元件之有效標籤。
〔虛擬介面工具集〕
如上文所述,在一些實施例中,與GUI整合的觸敏GUI(與GUI整合的觸控介面)可利用虛擬介面工具集,例如與上文論述之任何特徵組合。如本文所用,「虛擬介面工具集」係在可顯示GUI螢幕中所包括的任何形狀集合體(例如,包括一或多個作用中UI元件)。例如,虛擬介面工具集可包含虛 擬按鈕、滑桿、旋鈕、撥盤等之多個例項及/或類型的一經定義集合體。舉另一實例,虛擬介面工具集可包含共同定義用於控制經定義功能之介面的作用中元件之一經定義集合體。例如,滑桿類型虛擬介面工具集或可旋轉轉盤類型虛擬介面工具集可由經定義UI元件集合所組成,該經定義UI元件集合與用於滑動或可旋轉轉盤之位置選擇範圍相關,例如,如下文論述之實例性圖15所示之實例性可旋轉撥盤所繪示。
虛擬介面工具集可顯示在觸控螢幕上,但在一些實施例中,僅存在於觸控螢幕組態模組/程序之內容脈絡中及觸控螢幕顯示器上。虛擬介面工具集可向中控單元報告。使用虛擬介面工具集可降低觸敏GUI的實體介面複雜性。例如,使用虛擬介面工具集可減少中控單元上處理觸控位置的額外負擔,且可不需要用於實體轉子、滑桿等的分開之硬體或電子器件,例如用於加熱控制件、收音機控制件或任何其他類型的控制件。
一些實施例提供用於以可組態方式定義觸控螢幕的操作為虛擬介面工具集(例如,按鈕、滑桿、撥盤等)之區域(例如,經組態之螢幕頁面中之區域)的系統及方法。當在觸控螢幕上偵測到觸碰時,觸控控制器可判定與使用者觸碰對應的介面工具集之位置或狀態(例如,與所偵測到之觸控位置對應的虛擬滑桿之線性位置或虛擬撥盤之線性位置),且替代報告指示在觸控螢幕上之觸碰位置的「觸控訊息」或除了報告指示在觸控螢幕上之觸碰位置的「觸控訊息」外,亦在「介面工具集訊息」中報告此類位置/狀態資訊給中控單元。介面工具集訊息可指示與在觸控螢幕上的所偵測到觸控位置、力、及/或所偵測到觸控之其他可測量態樣對應的例如使用者所選之位置、旋轉、「觸控」狀態、及/或在各別介面工具集上所偵測到觸控數量。
在一些實施例中,在與觸控訊息分開的串流中傳達介面工具集訊息傳達至中控單元,例如,在下文論述之圖14中所示之實例性實施例中。在一些實施例中,當偵測到虛擬介面工具集上的觸控時,觸控控制器抑制發送觸控訊息至中控單元;換言之,在與虛擬介面工具集的觸控互動期間,可暫停觸控訊息以有利於介面工具集訊息。
使用此類虛擬介面工具集允許以可組態且動態方式定位虛擬GUI控制件在觸控螢幕上的任何位置。在一些實施例中,可藉由例如基於上文針對UI形狀搜尋所論述的技術來變更及/或重新定位螢幕顯示ID而變更顯示在螢幕上的虛擬控制件。
圖14繪示根據一個實例性實施例之採用如本文揭露之虛擬介面工具集的實例性GUI觸控螢幕系統1400。GUI觸控螢幕系統1400可包括觸敏觸控螢幕1402、觸控控制器1404及中控單元1406,其等之各者可提供任何組件(例如,觸控感測器、微控制器、微控制器韌體、處理器、記憶體、觸覺致動器等),且提供由如上文所述之觸控螢幕、觸控控制器及中控單元所提供的任何功能。在一些實施例中,觸控控制器1404可由微控制器中的韌體予以體現。
系統1400亦可包括螢幕設計模組1410及觸控控制器組態模組1414。螢幕設計模組1410可定義或組態用於可在觸控螢幕1402處選擇性地顯示的一或多個不同畫面(亦稱為頁面)之螢幕設計。對於各畫面,螢幕設計模組1410可選擇待包括在螢幕中的虛擬介面工具集、所選擇介面工具集的配置/佈局。螢幕設計模組1410傳達螢幕設計至中控單元1406以供儲存,且中控單元1406可例如基於(例如,使用由中控單元1406提供的畫面選擇狀態機)目前所選擇用於顯示的畫面而選擇性地提供螢幕設計至GUI元件搜尋引擎1424。然 後,然後,中控單元1406(或替代地,觸控控制器組態模組1414)可控制觸控螢幕上的顯示,例如藉由使用虛擬介面工具集的各種選擇及/或配置來控制目前顯示多個不同畫面之哪者。
螢幕設計模組1410亦可定義在任何螢幕設計中所包括的各虛擬介面工具集之參數1412,且傳達各別介面工具集定義1416至觸控控制器組態模組1414以供儲存。因此,觸控控制器組態模組1414可儲存各虛擬介面工具集的介面工具集定義,該介面工具集定義可包括一或多種類型之相關UI元件的一經定義集合體。如圖所示,觸控控制器組態模組1414可提供在目前所顯示畫面中所包括的介面工具集定義給GUI元件搜尋引擎1424,以允許GUI元件搜尋引擎1424基於在觸控螢幕上所偵測到的觸控來偵測與虛擬介面工具集的使用者互動。
如上文所述,各虛擬介面工具集可包含觸控螢幕上所顯示的任何形狀集合體。各虛擬介面工具集可具有介面工具集ID及螢幕上的相對位置。例如,可藉由參數(諸如按鈕編號(用於按鈕類型介面工具集)、轉子位置/變更(對於轉子類型介面工具集)或滑桿位置/變更(對於滑桿類型介面工具集))來進一步定義虛擬介面工具集。虛擬介面工具集亦可藉由形狀組態予以定義,其可例如藉由中控單元予以分頁。
在操作中,當使用者觸控/接觸觸控螢幕1402時,觸控控制器1404之感測電路在1420處測量感測器信號且回應於觸控螢幕1402處的所測量接觸而產生一或多個測量信號。接觸測量1420及處理1422可判定觸控資訊(例如,部位、類型、力等)且提供該觸控資訊給GUI元件搜尋引擎(或「形狀搜尋」模組)1424。然後,GUI元件搜尋引擎1424可例如基於介面工具集定義 1416中所包括的介面工具集部位及形狀參數,來判定是否觸控位置對應於目前顯示的虛擬介面工具集。該判定可採用上文針對UI元件觸控偵測所論述的各種技術中之任一者。
若GUI元件搜尋引擎1424判定觸控位置對應於目前顯示的虛擬介面工具集,則搜尋引擎1424可傳達介面工具集資訊1426給介面工具集處理模組1428,該介面工具集資訊包括各別介面工具集ID、介面工具集形狀索引、在介面工具集內的正被觸控之UI元件,及/或關於正被觸控之虛擬介面工具集的其他相關資訊。在1428處,介面工具集處理模組1428將產生介面工具集訊息1430,該介面工具集訊息包括自GUI元件搜尋引擎1424及/或介面工具集定義資訊1416所接收至訊息介面1434的任何介面工具集資訊1426之任何者,該訊息介面可轉遞事件報告1440,該事件報告包括從介面工具集處理模組1428至中控單元1406的資訊。
在一些實施例中,介面工具集處理模組1428將針對各相關介面工具集觸控事件產生事件報告1440,該事件報告可包括觸發觸覺回應或其他使用者回饋或控制功能的各介面工具集觸控事件,例如,如由介面工具集定義1416所定義,或由中控單元1406及/或觸控控制器1404所產生或以其他方式可存取的其他邏輯所定義。例如,相關介面工具集觸控事件可例如包括介面工具集上的觸控事件,該等觸控事件例如藉由開啟/關閉各別功能、或増加或減小可調整控制參數(例如,音量、風扇速度、顯示亮度等)來變更與介面工具集相關聯的設定。介面工具集處理模組1428可從接收自GUI元件搜尋引擎1424的介面工具集資訊1426及/或介面工具集定義資訊1416來識別相關介面工具集觸控事件。
因此,中控單元1406可經由訊息介面1434接收來自介面工具集處理模組1428的介面工具集相關事件報告1440,且回應於各事件報告1440而控制觸控螢幕1402所顯示之畫面的各個態樣,及/或控制與正被觸控之虛擬介面工具集相關聯的至少一個外部系統或裝置,例如收音機、資訊娛樂系統、地圖/導引系統、燈、風扇、馬達、引擎等。在一些實施例中,中控單元1406可控制各別致動器以在觸控位置處提供經定義觸覺回饋給使用者,例如,如由介面工具集定義資訊1416所定義。在其他實施例中,可藉由觸控控制器1404(而不是中控單元1406)來經由觸控螢幕1402控制及提供觸覺回饋,這可増加提供回饋給使用者的回應時間。
另外,如圖14中之1432所示,觸控控制器1404可經組態以轉遞所有經處理觸控資訊至訊息介面1434,該訊息介面可產生此類資訊且經由事件報告1440轉遞此類資訊給中控單元1406。在一些實施例中,例如,在從介面工具集處理模組1428產生及轉遞介面工具集訊息1430/介面工具集相關事件報告1440至中控單元1406期間,當由GUI元件搜尋引擎1424識別到虛擬介面工具集觸控時,介面工具集處理模組1428可控制啟用/停用開關/邏輯1442以停用或暫停傳遞此觸控資訊432。
利用虛擬介面工具集可簡化中控單元1406之所需處理。例如,使用虛擬介面工具集可允許單一螢幕設計具有多個應用程式。例如,一個介面可經由合適的組態來處置每種產品變體。
圖15繪示根據一個實例性實施例之在觸控螢幕GUI 1500上顯示的實例性收音機畫面(或頁面)1502,其中收音機畫面/頁面1502包括虛擬介面工具集1504之配置,該虛擬介面工具集配置包括各種UI元件群組。觸控螢幕 GUI 1500可經組態以選擇性地顯示任何數量及類型之不同畫面/頁面,以控制收音機及/或一或多個其他系統或裝置(例如,資訊娛樂系統、地圖/導引系統、燈、風扇、馬達、引擎等)。
在此實例性中,收音機畫面/頁面1502包括各種實例性虛擬介面工具集1504,包括:收音機介面工具集1504A、一對收音機模式介面工具集1504B及1504C、頻道預設介面工具集1504D、狀態介面工具集1504E、音量控制啟動介面工具集1504F、音量調整介面工具集1504G、調諧器控制啟動介面工具集1504H及調諧器調整介面工具集1504I、低音控制介面工具集1504J、以及高音控制介面工具集1504K。
上文論述之觸敏GUI(例如,觸控螢幕)可例如被用於任何合適的產品或系統中,例如,家用電器或汽車控制。在一些實施例中,觸控螢幕控制可由韌體提供,例如,體現在微控制器中,而無需離散微處理器/晶片。
可經由組態來定義及變更因為GUI(例如觸控螢幕),因此可使用相同GUI硬體,且GUI硬體可經選擇性地組態用於多個不同用途,及/或用於多個不同使用者或客戶。進一步,相同GUI硬體可提供跨產品系列的多個不同介面選項。習知方法一般提供分開之控制件及/或使用中控單元來判定觸控螢幕上的按鈕按壓或其他接觸,這無法提供所揭露之系統的靈活性,且會需要額外處理資源或時間。
主要由上文揭露之UI元件/形狀搜尋演算法提供定義觸控螢幕之不同部分的不同特性及回應的能力,這允許靈活定義感測器區域。這不是觸控螢幕設計的典型態樣。進一步,新增用於UI元件/介面工具集的分開之訊息串流允許虛擬地建立諸如轉子及滑桿等功能,而不需要任何實體裝置。相同功能性 允許任何形狀運用其自己ID來報告為虛擬介面工具集,繞過習知觸控螢幕處理。
本說明書中描述之許多功能單元可經繪示、描述、或標示為模組、執行緒(thread)、或程式設計程式碼之其他隔離,以更特別強調其等實施方案獨立性。模組可係至少部分以硬體、以某種或另一種形式實作。例如,一模組可實作為一硬體電路,包含自訂VLSI電路或閘陣列、現用半導體,諸如邏輯晶片、電晶體、或其他離散組件。一模組亦可以可程式化硬體裝置實作,諸如場可程式化閘陣列、可程式化陣列邏輯、可程式化邏輯裝置、或類似者。模組亦可使用軟體或韌體實作、儲存在一實體儲存裝置(例如,一電腦可讀取儲存媒體)上、儲存在記憶體中、或其等之一組合,以供由各種類型處理器執行。
可執行程式碼之一經識別模組可例如包含電腦指令之一或多個實體或邏輯區塊,其可例如組織為一執行緒、物件、程序、或函式。然而,一經識別模組之可執行碼不需要實體定位在一起,而是可包含儲存在不同部位中之散指令,當該等散指令邏輯上聯合在一起時,該等散指令構成該模組且達成針對該模組之指定用途。
的確,可執行程式碼之一模組可係一單一指令、或許多指令,且可甚至分散遍及數個不同程式碼片段、分散在不同程式之中,及跨數個儲存裝置或記憶體裝置。相似地,在本文中可在模組內識別及繪示操作資料,並且操作資料可依任何合適的形式體現及組織在任何合適類型資料結構內。操作資料可經收集為一單一資料集,或可分散遍及不同位置(包括分散遍及不同儲存裝置),且可至少部分僅僅作為在一系統或網路上的電子信號而存在。
在一模組或一模組之部分以軟體實作的情況中,該等軟體部分儲存在一或多個實體裝置(在本文中稱為電腦可讀取媒體)上。
在一些實施例中,該等軟體部分以一非暫時性狀態予以儲存,使得該等軟體部分或其等之表示保存在相同實體位置中達一段時期。另外,在一些實施例中,該等軟體部分儲存在一或多個非暫時性儲存裝置上,包括能夠儲存表示該等軟體部分之非暫時性狀態及/或信號之硬體元件,即使該等非暫時性儲存裝置之其他部分可能夠改變及/或傳輸信號。非暫時性儲存裝置的實例係快閃記憶體及隨機存取記憶體(RAM)。非暫時性儲存裝置之另一實例包括唯讀記憶體(ROM),其能儲存表示該等軟體部分之信號及/或狀態達一段時期。然而,儲存該等信號及/或狀態的能力不會被傳輸相同於或表示該等儲存之信號及/或狀態的信號之進一步功能性而減弱。例如,一處理器可存取ROM以獲得表示該等儲存之信號及/或狀態的信號,以執行對應之軟體指令。
在實務層面上,可在多種媒體中之任一者上供應使電腦系統能夠執行本文所描述之操作的軟體。此外,本發明之方法及操作之實際實施方案實際上係以電腦語言編寫的陳述。此類電腦語言陳述在由電腦執行時使得電腦根據陳述之特定內容採取動作。此外,可依任何數量之形式提供使電腦系統能夠根據本發明採取動作的軟體,包括但不限於原始程式碼、組合語言程式碼、物件程式碼、機器語言、前述項之壓縮或加密版本、以及任何及所有等同形式。
所屬技術領域中具有通常知識者將理解,如本文所使用,「媒體」或「電腦可讀媒體」可包括磁碟、磁帶、光碟、積體電路、ROM、CD、 DVD、BLU-RAY、卡匣、快閃記憶體、記憶體棒或卡,或可供電腦使用之的任何其他非破壞性儲存媒體,包括現在已知或之後開發之的彼等。
雖然使軟體可以「寫入」在磁碟上、「體現」在積體電路中、透過通訊電路「載送」、「儲存在」記憶體晶片中、或「載入到」快取記憶體中,但應理解,為了本申請案之目的,軟體將被簡稱為在電腦可讀媒體「中」或「上」。因此,用語「在...中」或「在...上」旨在涵蓋上述及所有等同物以及其中軟體可與電腦可讀媒體相關聯之可能方式。
因此,為了簡單起見,用語「電腦程式產品」因此用於指如上文所定義之電腦可讀媒體,該電腦可讀媒體具有任何形式之軟體以使電腦系統能夠根據本發明之任何實施例操作。
雖然本文中已關於某些所繪示之實施例描述本揭露,但是所屬技術領域中具有通常知識者將理解及明白,本發明不如此受限制。反而是,可對所繪示及描述之實施例進行許多新增、刪除及修改,而未脫離本發明之範疇,如下文申請專利範圍連同其法律均等物。此外,來自一實施例之特徵可與另一實施例之特徵組合,然而仍然涵蓋在本發明之範圍內,如發明人所預期。

Claims (20)

  1. 一種使用者介面系統,其包含:一觸控螢幕,其經組態以顯示一圖形使用者介面(GUI),該GUI包括一或多個虛擬介面工具集之一配置,各虛擬介面工具集具有一形狀且包括經由該GUI顯示的一或多個使用者介面元件;其中該一或多個虛擬介面工具集之該配置係可組態;及一處理器,其經組態以感測在該觸控螢幕處的一觸控、識別與該觸控對應的一虛擬介面工具集、及起始一動作,該動作包括下列之至少一者:(a)控制一致動器以在其上顯示所識別之該虛擬介面工具集的該觸控螢幕之一區處提供觸覺回饋,或(b)控制與該使用者介面系統相關聯的一電子裝置。
  2. 如請求項1之使用者介面系統,其中該處理器體現在一微控制器中。
  3. 如請求項1之使用者介面系統,其進一步包含一應用程式工具,該應用程式工具經組態以藉由下列來產生包括在該GUI中的一GUI元件庫:解析一GUI定義以識別該GUI中的複數個GUI元件;建立包含經識別之GUI元件之項目的一記錄;基於經識別之該等GUI元件的相對部位分組經識別之該等GUI元件至虛擬介面工具集中;及配置經識別之GUI元件之該記錄至一元件庫中。
  4. 如請求項3之使用者介面系統,其中該應用程式工具經組態以藉由一程序來配置經識別之GUI元件之該記錄至一GUI元件庫中,該程序包括:配置經識別之GUI元件之該記錄成GUI元件之一樹狀結構; 摺疊一起分組至虛擬介面工具集中的經識別之GUI元件成GUI元件之該樹狀結構中之一單一分葉;及回應於GUI元件之元件之該樹狀結構而產生搜尋指令;且其中該處理器經組態以使用該等搜尋指令來識別與該觸控螢幕處的該觸控對應的該虛擬介面工具集。
  5. 如請求項1之使用者介面系統,其中該GUI之至少一個虛擬介面工具集包含多個作用中GUI元件之一集合體,該多個作用中GUI元件包括至少一個虛擬按鈕、虛擬滑桿、虛擬旋鈕、虛擬轉盤、或其他虛擬使用者介面。
  6. 如請求項1之使用者介面系統,其中該GUI之至少一個虛擬介面工具集包含多個離散作用中GUI元件之一集合體,該多個離散作用中GUI元件共同定義一虛擬按鈕、一虛擬滑桿、一虛擬旋鈕、一虛擬轉盤、或其他虛擬使用者介面。
  7. 如請求項1之使用者介面系統,其中:該使用者介面系統進一步包含一中控單元;該處理器被體現在與該中控單元分開之一觸控控制器中;且該觸控控制器處理器經組態以產生且發送一介面工具集訊息至該中控單元,該介面工具集訊息指示與在該觸控螢幕處的該觸控對應的經識別之該虛擬介面工具集之一位置或狀態。
  8. 如請求項7之使用者介面系統,其中由該觸控控制器處理器發送至該中控單元的該介面工具集訊息指示下列至少一者:一觸控相關位置、一旋轉、一觸控/未觸控狀態、或在該虛擬介面工具集上的所偵測到觸控之一數目。
  9. 如請求項7之使用者介面系統,其中該觸控控制器處理器經組態以識別該虛擬介面工具集的一觸控相關狀態,該觸控相關狀態依據所偵測到之一觸控部位、觸控力、或在該觸控螢幕上的所偵測到該觸控之其他可測量態樣而變化,且其中由該觸控控制器處理器產生的該介面工具集訊息指示該虛擬介面工具集的經識別之該觸控相關狀態。
  10. 如請求項1之使用者介面系統,其中該觸控螢幕經組態以選擇性地顯示複數個不同GUI頁面,各GUI頁面包括不同的一組虛擬介面工具集。
  11. 一種方法,其包含:在一觸控螢幕顯示一圖形使用者介面(GUI),該GUI包括一或多個虛擬介面工具集之一配置,各虛擬介面工具集具有一形狀且包括經由該GUI顯示的一或多個使用者介面元件;其中該一或多個虛擬介面工具集之該配置係可組態;及由一處理器感測在該觸控螢幕處的一觸控,由該處理器識別與該觸控對應的一虛擬介面工具集,及由該處理器起始一動作,該動作包括下列之至少一者:(a)控制一致動器以在其上顯示所識別之該虛擬介面工具集的該觸控螢幕之一區處提供觸覺回饋,或(b)控制與該使用者介面系統相關聯的一電子裝置。
  12. 如請求項11之方法,其中處理器體現在一微控制器中。
  13. 如請求項11之方法,其進一步包含藉由下列來產生包括在該GUI中的一GUI元件庫:解析一GUI定義以識別該GUI中的複數個GUI元件;建立包含經識別之GUI元件之項目的一記錄; 基於經識別之該等GUI元件的相對部位分組經識別之該等元件至虛擬介面工具集中;及配置經識別之GUI元件之該記錄至一元件庫中。
  14. 如請求項13之方法,其中配置經識別之GUI元件之該記錄至一GUI元件庫中包含:配置經識別之GUI元件之該記錄成GUI元件之一樹狀結構;摺疊一起分組至虛擬介面工具集中的經識別之GUI元件成GUI元件之該樹狀結構中之一單一分葉;及回應於GUI元件之元件之該樹狀結構而產生搜尋指令;且其中該處理器經組態以使用該等搜尋指令來識別與該觸控螢幕處的該觸控對應的該虛擬介面工具集。
  15. 如請求項11之方法,其中該GUI之至少一個虛擬介面工具集包含多個作用中GUI元件之一集合體,該多個作用中GUI元件包括至少一個虛擬按鈕、虛擬滑桿、虛擬旋鈕、虛擬轉盤、或其他虛擬使用者介面。
  16. 如請求項11之方法,其中該GUI之至少一個虛擬介面工具集包含多個離散作用中GUI元件之一集合體,該多個離散作用中GUI元件共同定義一虛擬按鈕、一虛擬滑桿、一虛擬旋鈕、一虛擬轉盤、或其他虛擬使用者介面。
  17. 如請求項11之方法,其中:該處理器被體現在與一中控單元分開之一觸控控制器中;且該方法包含: 由該觸控控制器處理器產生一介面工具集訊息,該介面工具集訊息指示與在該觸控螢幕處的該觸控對應的經識別之該虛擬介面工具集之一位置或狀態;及從該觸控控制器處理器發送該介面工具集訊息至該熱單元。
  18. 如請求項17之方法,其中由該觸控控制器處理器發送至該中控單元的該介面工具集訊息指示下列之至少一者:一觸控相關位置、一旋轉、一觸控/未觸控狀態、或在該虛擬介面工具集上的所偵測到觸控之一數目。
  19. 如請求項17之方法,其包含:由該觸控控制器處理器識別該虛擬介面工具集的一觸控相關狀態,該觸控相關狀態依據所偵測到之一觸控部位、觸控力、或在該觸控螢幕上所偵測到之該觸控之其他可測量態樣而變化,且其中由該觸控控制器處理器產生的該介面工具集訊息指示該虛擬介面工具集的經識別之該觸控相關狀態。
  20. 如請求項11之方法,其包含在該觸控螢幕處選擇性地顯示複數個不同GUI頁面,各GUI頁面包括不同的一組虛擬介面工具集。
TW107137549A 2017-10-24 2018-10-24 包括可組態虛擬介面工具集之觸敏使用者介面 TWI816706B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762576563P 2017-10-24 2017-10-24
US201762576383P 2017-10-24 2017-10-24
US62/576,383 2017-10-24
US62/576,563 2017-10-24
US16/165,136 US10866697B2 (en) 2017-10-24 2018-10-19 Touch-sensitive user-interface including configurable virtual widgets
US16/165,136 2018-10-19

Publications (2)

Publication Number Publication Date
TW201923544A true TW201923544A (zh) 2019-06-16
TWI816706B TWI816706B (zh) 2023-10-01

Family

ID=66169316

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107137516A TWI787372B (zh) 2017-10-24 2018-10-24 觸控螢幕系統、使用者介面系統及用於在電腦可讀媒體上建立指令之方法
TW107137549A TWI816706B (zh) 2017-10-24 2018-10-24 包括可組態虛擬介面工具集之觸敏使用者介面

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW107137516A TWI787372B (zh) 2017-10-24 2018-10-24 觸控螢幕系統、使用者介面系統及用於在電腦可讀媒體上建立指令之方法

Country Status (7)

Country Link
US (2) US10866697B2 (zh)
JP (2) JP7181929B2 (zh)
KR (2) KR102556638B1 (zh)
CN (2) CN111052060B (zh)
DE (2) DE112018005206T5 (zh)
TW (2) TWI787372B (zh)
WO (2) WO2019084002A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807372B (zh) * 2020-07-21 2023-07-01 美商酷比公司 虛擬化用戶介面設備
TWI846465B (zh) * 2023-05-12 2024-06-21 久正光電股份有限公司 具有表面觸覺回饋系統之顯示裝置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
DE102017214941A1 (de) 2017-08-25 2019-02-28 Dometic Sweden Ab Freizeitfahrzeug, Kühlvorrichtung, Steuerungssystem und Verfahren zur Steuerung der Kühlvorrichtung
USD936665S1 (en) * 2018-11-21 2021-11-23 Biosense Webster (Israel) Ltd. Portion of a computer screen with a graphical user interface
US11126341B2 (en) * 2019-02-21 2021-09-21 Htc Corporation Object manipulating method, host device and computer readable storage medium
USD919633S1 (en) * 2019-05-14 2021-05-18 Rasimo Systems LLC Display screen with graphics
WO2022054472A1 (ja) * 2020-09-08 2022-03-17 アルプスアルパイン株式会社 入力装置
US11385777B2 (en) 2020-09-14 2022-07-12 UiPath, Inc. User interface (UI) mapper for robotic process automation
EP3971691A1 (en) * 2020-09-18 2022-03-23 Dometic Sweden AB A recreational vehicle user interface
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback
CN114911383B (zh) * 2022-06-02 2024-10-11 亿咖通(湖北)技术有限公司 窗口显示方法和车载终端
CN117608424B (zh) * 2024-01-24 2024-04-12 江苏锦花电子股份有限公司 一种基于物联网的触摸式旋钮屏管控系统及方法

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221757A (ja) * 2003-01-10 2004-08-05 Renesas Technology Corp 動き検出装置及び探索領域形状可変動き検出器
GB0313808D0 (en) * 2003-06-14 2003-07-23 Binstead Ronald P Improvements in touch technology
KR100958490B1 (ko) * 2004-07-30 2010-05-17 애플 인크. 사용자 인터페이스 방법, 미디어 항목들을 통해 스크롤하는방법, 디스플레이 및 터치 스크린을 갖는 사용자-조작되는전자 장치 상에서 수행되는 방법, 디스플레이 및 터치감지 입력 장치를 갖는 컴퓨팅 장치 상에서 수행되는 방법,컴퓨팅 시스템, 컴퓨팅 장치, 터치 감지 장치를 통해플로팅 컨트롤을 기동시키는 컴퓨터 구현 방법 및 컴퓨터구현 방법
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
CN104965621B (zh) * 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
US7791594B2 (en) * 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US8922502B2 (en) * 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US8547339B2 (en) * 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US8243038B2 (en) * 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US8928621B2 (en) * 2008-01-04 2015-01-06 Tactus Technology, Inc. User interface system and method
US8553005B2 (en) * 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US9557915B2 (en) * 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
US8115745B2 (en) * 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8659555B2 (en) * 2008-06-24 2014-02-25 Nokia Corporation Method and apparatus for executing a feature using a tactile cue
TW201005262A (en) * 2008-07-29 2010-02-01 Mitac Int Corp Navigation system
US20100060568A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Curved surface input device with normalized capacitive sensing
US10289199B2 (en) * 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
JP2010086236A (ja) 2008-09-30 2010-04-15 Casio Computer Co Ltd タッチパネル
US20100088532A1 (en) * 2008-10-07 2010-04-08 Research In Motion Limited Method and handheld electronic device having a graphic user interface with efficient orientation sensor use
CA2680666A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited An electronic device having a state aware touchscreen
US20100088632A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited Method and handheld electronic device having dual mode touchscreen-based navigation
EP2175343A1 (en) * 2008-10-08 2010-04-14 Research in Motion Limited A method and handheld electronic device having a graphical user interface which arranges icons dynamically
US8760413B2 (en) * 2009-01-08 2014-06-24 Synaptics Incorporated Tactile surface
US8279184B2 (en) * 2009-01-27 2012-10-02 Research In Motion Limited Electronic device including a touchscreen and method
KR102051180B1 (ko) * 2009-03-12 2019-12-02 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
EP2457142B1 (en) * 2009-07-22 2019-12-25 Immersion Corporation Interactive touch screen gaming metaphors with haptic feedback across platforms
US8421761B2 (en) * 2009-08-26 2013-04-16 General Electric Company Imaging multi-modality touch pad interface systems, methods, articles of manufacture, and apparatus
US8730199B2 (en) * 2009-09-04 2014-05-20 Atmel Corporation Capacitive control panel
US20110099498A1 (en) 2009-10-26 2011-04-28 Barkol Omer Graphical user interface hierarchy generation
JP5704428B2 (ja) * 2009-11-18 2015-04-22 株式会社リコー タッチパネル装置及びタッチパネル装置の制御方法
WO2011087817A1 (en) * 2009-12-21 2011-07-21 Tactus Technology User interface system
US8619035B2 (en) * 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
EP2846465B1 (en) * 2010-04-14 2017-11-29 Frederick Johannes Bruwer Pressure dependent capacitive sensing circuit switch construction
WO2011133605A1 (en) * 2010-04-19 2011-10-27 Tactus Technology Method of actuating a tactile interface layer
EP2561424B1 (en) * 2010-04-23 2019-02-20 Immersion Corporation Systems and methods for providing haptic effects
GB201011146D0 (en) * 2010-07-02 2010-08-18 Vodafone Ip Licensing Ltd Mobile computing device
US8963874B2 (en) * 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US8311514B2 (en) * 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
US20120105354A1 (en) * 2010-10-31 2012-05-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Tactile Feedback Cover Lens for a Capacitive Touchscreen System
US20120256862A1 (en) * 2011-04-11 2012-10-11 Kurt Wagner Touchscreen guide
US20120268386A1 (en) * 2011-04-19 2012-10-25 Karamath James Robert Touch-screen device including tactile feedback actuator
US20120284631A1 (en) * 2011-05-02 2012-11-08 German Lancioni Methods to adapt user interfaces and input controls
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US9671954B1 (en) * 2011-07-11 2017-06-06 The Boeing Company Tactile feedback devices for configurable touchscreen interfaces
US20120274596A1 (en) * 2011-07-11 2012-11-01 Ludwig Lester F Use of organic light emitting diode (oled) displays as a high-resolution optical tactile sensor for high dimensional touchpad (hdtp) user interfaces
US9778813B2 (en) * 2011-08-09 2017-10-03 Blackberry Limited Manipulating screen layers in multi-layer applications
JP5948074B2 (ja) * 2012-02-13 2016-07-06 株式会社日立ハイテクノロジーズ 画像形成装置及び寸法測定装置
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9471185B2 (en) * 2012-02-21 2016-10-18 Atmel Corporation Flexible touch sensor input device
CA2879180A1 (en) * 2012-03-07 2013-09-12 Snap Trends, Inc. Methods and systems of aggregating information of social networks based on geographical locations via a network
US9046972B2 (en) * 2012-03-23 2015-06-02 Nokia Technologies Oy Structure for a tactile display
WO2013173624A2 (en) 2012-05-16 2013-11-21 Tactus Technology, Inc. User interface and methods
JP5799908B2 (ja) * 2012-07-13 2015-10-28 株式会社デンソー タッチ式スイッチ装置
KR101916416B1 (ko) * 2012-07-30 2018-11-08 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 디스플레이 방법
KR101427917B1 (ko) * 2012-08-27 2014-08-08 현대자동차 주식회사 변형 가능한 터치 스크린
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US20140155690A1 (en) * 2012-12-05 2014-06-05 Ralph Clinton Morton Touchscreen Cunnilingus Training Simulator
US9323327B2 (en) * 2012-12-22 2016-04-26 Intel Corporation System and method for providing tactile feedback
KR102052153B1 (ko) * 2013-02-15 2019-12-17 삼성전자주식회사 보청기를 제어하는 휴대 단말 및 방법
KR102090964B1 (ko) * 2013-02-22 2020-03-19 삼성전자주식회사 터치 스크린에 디스플레이되는 아이콘을 제어하는 휴대 단말 및 방법
KR102154792B1 (ko) * 2013-02-28 2020-09-10 삼성전자주식회사 보호 케이스를 감지하는 방법 및 그 전자 장치
US9367938B2 (en) * 2013-02-28 2016-06-14 Nokia Technologies Oy Method and apparatus for automated real-time detection of overlapping painted markup elements
US9298324B1 (en) * 2013-03-11 2016-03-29 Amazon Technologies, Inc. Capacitive touch with tactile feedback
US9361074B2 (en) * 2013-03-15 2016-06-07 Keysight Technologies, Inc. Method for creating a user interface
EP2989525B1 (en) * 2013-04-26 2019-09-25 Immersion Corporation Simulation of tangible user interface interactions and gestures using array of haptic cells
US9470919B2 (en) * 2013-05-14 2016-10-18 Microsoft Technology Licensing, Llc Methods for producing a glass-based non planar digital display
KR20140137616A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 다자간 대화를 제어하는 휴대 단말 및 방법
US9182864B2 (en) * 2013-06-03 2015-11-10 Rajkumari Mohindra Pressure sensitive projected capacitive touch sensing
US10120447B2 (en) * 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
KR20150006235A (ko) * 2013-07-08 2015-01-16 삼성전자주식회사 결합된 ui 구성 요소를 제공하는 휴대 장치 및 그 제어 방법
US9092291B1 (en) * 2013-07-11 2015-07-28 Sprint Communications Company L.P. Dynamic updating and renaming virtual pre-installation stub applications
CN103455590B (zh) * 2013-08-29 2017-05-31 百度在线网络技术(北京)有限公司 在触屏设备中进行检索的方法和装置
US9176635B2 (en) * 2013-10-14 2015-11-03 Parade Technologies, Ltd. Virtual buttons for a touch interface
US20150109214A1 (en) * 2013-10-22 2015-04-23 Weidong Shi Methods and Apparatuses of touch-fingerprinting Display
US20150185946A1 (en) * 2013-12-30 2015-07-02 Google Inc. Touch surface having capacitive and resistive sensors
CN106407954A (zh) * 2014-01-28 2017-02-15 深圳市汇顶科技股份有限公司 一种指纹识别模组、指纹识别装置及具有其的移动终端
US10380933B2 (en) * 2014-02-07 2019-08-13 Samsung Electronics Company, Ltd. Display with high transparency
US10565925B2 (en) * 2014-02-07 2020-02-18 Samsung Electronics Co., Ltd. Full color display with intrinsic transparency
US10453371B2 (en) * 2014-02-07 2019-10-22 Samsung Electronics Co., Ltd. Multi-layer display with color and contrast enhancement
US10416801B2 (en) * 2014-04-08 2019-09-17 Atmel Corporation Apparatus, controller, and device for touch sensor hand-configuration analysis based at least on a distribution of capacitance values
US10031582B2 (en) * 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
WO2016002675A1 (ja) 2014-06-30 2016-01-07 日本電気株式会社 スイッチモジュール、電子機器、および、電子機器の製造方法
US9696806B2 (en) * 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
CN104156133B (zh) * 2014-09-01 2017-04-19 深圳市华星光电技术有限公司 一种单层互容式触摸面板及电容式触摸屏
US20160328065A1 (en) * 2015-01-12 2016-11-10 Rockwell Collins, Inc. Touchscreen with Dynamic Control of Activation Force
KR20160088764A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 플렉서블 디바이스 및 그 동작 방법
JP6251214B2 (ja) 2015-05-14 2017-12-20 株式会社東芝 電子機器、方法及びプログラム
US10416799B2 (en) * 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
CN105117245A (zh) 2015-08-04 2015-12-02 小米科技有限责任公司 卸载应用程序的方法和装置
US9798413B2 (en) * 2015-08-27 2017-10-24 Hand Held Products, Inc. Interactive display
US9874965B2 (en) * 2015-09-11 2018-01-23 Apple Inc. Transparent strain sensors in an electronic device
JP6569415B2 (ja) * 2015-09-15 2019-09-04 株式会社リコー 表示入力装置、画像形成装置及び電子機器と表示制御方法並びにプログラム
KR20170046912A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
US10386940B2 (en) * 2015-10-30 2019-08-20 Microsoft Technology Licensing, Llc Touch sensing of user input device
US9875625B2 (en) * 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US20170192457A1 (en) * 2015-12-31 2017-07-06 AAC Technologies Pte. Ltd. Touch panle, haptics touch display using same, and manufacturing method for making same
US9898903B2 (en) * 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
WO2017172635A1 (en) * 2016-03-31 2017-10-05 Osisoft, Llc Event based data collection, integration, and presentation
US9916032B2 (en) * 2016-05-18 2018-03-13 Honeywell International Inc. System and method of knob operation for touchscreen devices
US10488996B2 (en) * 2016-05-18 2019-11-26 Sensel, Inc. System for detecting and confirming a touch input
CN106200929B (zh) * 2016-06-30 2018-10-30 南京中电熊猫液晶显示科技有限公司 电容式触觉反馈显示装置、工作方法及其检测方法
US20180025200A1 (en) * 2016-07-20 2018-01-25 Ib Korea Ltd. Luminescent film with quantum dots
KR102579132B1 (ko) * 2016-08-02 2023-09-18 삼성전자주식회사 디스플레이를 구비한 전자 장치
KR102535056B1 (ko) * 2016-08-03 2023-05-22 삼성전자 주식회사 전자 장치 및 터치 인식 방법
KR102673041B1 (ko) * 2016-08-18 2024-06-07 한화비전 주식회사 이벤트 검색 시스템, 장치 및 방법
US10372214B1 (en) * 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10206044B2 (en) * 2016-09-08 2019-02-12 Microsoft Technology Licensing, Llc Display structure having a visual display and an audio output
KR102580327B1 (ko) * 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10216335B1 (en) * 2016-10-18 2019-02-26 Google Llc Reducing false sensing of touchscreen inputs
US10209804B2 (en) * 2017-01-10 2019-02-19 Rockwell Collins, Inc. Emissive Display over resistive touch sensor with force sensing
US20180275757A1 (en) * 2017-03-23 2018-09-27 Immersion Corporation Systems and methods for in-cell haptics
EP3385831A1 (en) * 2017-04-04 2018-10-10 Lg Electronics Inc. Mobile terminal
US11226604B2 (en) * 2018-11-19 2022-01-18 Johnson Controls Tyco IP Holdings LLP Building system with semantic modeling based configuration and deployment of building applications

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807372B (zh) * 2020-07-21 2023-07-01 美商酷比公司 虛擬化用戶介面設備
TWI846465B (zh) * 2023-05-12 2024-06-21 久正光電股份有限公司 具有表面觸覺回饋系統之顯示裝置

Also Published As

Publication number Publication date
KR20200071722A (ko) 2020-06-19
KR102556638B1 (ko) 2023-07-17
DE112018004686T5 (de) 2020-06-04
WO2019084082A1 (en) 2019-05-02
US10866697B2 (en) 2020-12-15
DE112018005206T5 (de) 2020-06-18
JP7269924B2 (ja) 2023-05-09
CN111164549B (zh) 2023-11-03
US10747404B2 (en) 2020-08-18
KR102627023B1 (ko) 2024-01-18
TWI816706B (zh) 2023-10-01
JP2021500677A (ja) 2021-01-07
TWI787372B (zh) 2022-12-21
WO2019084002A1 (en) 2019-05-02
KR20200071721A (ko) 2020-06-19
US20190121500A1 (en) 2019-04-25
CN111164549A (zh) 2020-05-15
US20190121435A1 (en) 2019-04-25
CN111052060A (zh) 2020-04-21
TW201931076A (zh) 2019-08-01
CN111052060B (zh) 2023-11-24
JP2021500667A (ja) 2021-01-07
JP7181929B2 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
TWI816706B (zh) 包括可組態虛擬介面工具集之觸敏使用者介面
TWI670639B (zh) 用於識別使用者介面元件之技術以及使用其之系統及裝置
US20140160030A1 (en) Sensor system and method for mapping and creating gestures
US20120249475A1 (en) 3d user interface control
US9547381B2 (en) Electronic device and touch sensing method thereof
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기
KR102205235B1 (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치
KR20210029175A (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치
KR20160107139A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기