JP7269924B2 - 触覚フィードバック構造体及び対応する仮想ユーザインターフェース要素を含むタッチスクリーン - Google Patents

触覚フィードバック構造体及び対応する仮想ユーザインターフェース要素を含むタッチスクリーン Download PDF

Info

Publication number
JP7269924B2
JP7269924B2 JP2020522695A JP2020522695A JP7269924B2 JP 7269924 B2 JP7269924 B2 JP 7269924B2 JP 2020522695 A JP2020522695 A JP 2020522695A JP 2020522695 A JP2020522695 A JP 2020522695A JP 7269924 B2 JP7269924 B2 JP 7269924B2
Authority
JP
Japan
Prior art keywords
touch
touchscreen
widget
user interface
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020522695A
Other languages
English (en)
Other versions
JP2021500667A5 (ja
JP2021500667A (ja
Inventor
ジェー． リドル、ウイリアム
ブルネット、サミュエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microchip Technology Inc
Original Assignee
Microchip Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microchip Technology Inc filed Critical Microchip Technology Inc
Publication of JP2021500667A publication Critical patent/JP2021500667A/ja
Publication of JP2021500667A5 publication Critical patent/JP2021500667A5/ja
Application granted granted Critical
Publication of JP7269924B2 publication Critical patent/JP7269924B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

（関連出願）
本出願は、（ａ）２０１７年１０月２４に出願された米国仮特許出願第６２／５７６，３８３号、及び（ｂ）２０１７年１０月２４に出願された米国仮特許出願第６２／５７６，５６３号に対する優先権を主張するものであり、これらの特許出願の全内容は、全ての目的のために参照により本明細書に組み込まれる。
（発明の分野）
本開示は、タッチ感応性ユーザインターフェース、例えば、タッチスクリーンに関し、より具体的には、触覚フィードバック構造体（例えば、物理的リッジ又は溝）及び対応する仮想ユーザインターフェース要素、例えば、ウィジェットを含むタッチスクリーンに関する。
タッチ感知を組み込んだタッチインターフェースは、例えば、タブレットコンピュータ、パーソナルコンピュータ、スマートフォン、及び他の消費者製品を含む、様々な用途に使用される。それらはまた、自動車、電化製品（例えば、冷蔵庫、オーブン、洗浄器／乾燥機など）、暖房及び空調制御システム、セキュリティシステム、並びに現金自動預払機（automatic teller machine、ＡＴＭ）のための制御パネルとしても使用される。これらの用途におけるタッチインターフェースは、例えば、タッチパッドとすることができるか、又はスクリーン及びグラフィカルユーザインターフェース（graphical user interface、ＧＵＩ）を組み込むことができる。
本開示のいくつかの実施形態は、概して、接触感応性スクリーン上に表示されるグラフィカルユーザインターフェース（ＧＵＩ）の要素を探索するための命令を作成する方法に関する。本方法は、ＧＵＩ定義を構文解析し、構文解析に応答するＧＵＩの要素を識別することと、識別した要素の入力を含むレコードを作成することと、識別した要素を同様に位置付けられた要素のグループと関連付けることと、識別した要素のレコードを木状構造に配置することと、同じグループ内の識別した要素を木状構造内で単一の葉に折り畳むことと、木状構造を最適化することと、木状構造に応答する探索命令リストを作成することと、を含む。
本開示のいくつかの実施形態は、概して、コンピュータがグラフィカルユーザインターフェース（ＧＵＩ）の要素を探索することを可能にするための実行可能命令を作成することを可能にするためのコンピュータプログラム製品に関する。プログラム製品は、コンピュータ可読媒体と、コンピュータ可読媒体上のソフトウェア命令と、を含むことができる。コンピュータ可読媒体上のソフトウェア命令は、コンピュータが、以下の動作：ＧＵＩ定義を構文解析し、構文解析したＧＵＩ定義に応答するＧＵＩの要素を識別することと、識別した要素の入力を含むレコードを作成することと、識別した要素を同様に位置付けられた要素のグループと関連付けることと、識別した要素のレコードを木状構造に配置することと、同じグループ内の識別した要素を木状構造内で単一の葉に折り畳むことと、木状構造を最適化することと、木状構造に応答する探索命令リストを作成することと、を行うことを可能にするように適合される。
本開示のいくつかの実施形態は、概して、グラフィカルユーザインターフェース（ＧＵＩ）を表示するように構成されたタッチスクリーンに動作可能に結合されたマイクロコントローラに関する。マイクロコントローラは、少なくとも１つのプロセッサと、非一時的記憶媒体に記憶された１つ以上の実行可能命令と、を含む。この命令は、プロセッサによって実行されたときに、プロセッサが、タッチスクリーンにおいて感知したタッチの場所を決定することと、感知したタッチに対応するタッチの場所と関連付けられたＧＵＩ要素を識別することと、を行うことを可能にするように適合される。
本開示のいくつかの実施形態は、概して、タッチスクリーンに表示されるグラフィカルユーザインターフェース（ＧＵＩ）の要素を識別する方法に関する。本方法は、タッチスクリーンにおいて感知したタッチの場所を決定することと、場所に応答する１つ以上の探索命令を実行することであって、１つ以上の探索命令のうちの各探索命令が、ＧＵＩ要素に対応し、実行されたときに探索結果を返すように適合される、実行することと、探索結果に応答するＧＵＩ要素を識別することと、を含む。
本開示のいくつかの実施形態は、概して、システムに関する。本システムは、ディスプレイサブシステムと、タッチサブシステムと、を含む。ディスプレイサブシステムは、ディスプレイを制御するように構成される。タッチサブシステムは、タッチセンサと、タッチコントローラと、を含む。タッチコントローラは、タッチセンサで感知したタッチの場所を決定することと、場所及び探索木に応答する１つ以上の探索命令を実行することであって、１つ以上の探索命令のうちの各探索命令が、ＧＵＩ要素に対応し、実行されたときに探索結果を返すように適合される、実行することと、探索結果に応答するＧＵＩ要素を識別することと、識別したＧＵＩ要素に応答する触覚制御メッセージを生成することと、を行うように構成される。
本開示のいくつかの実施形態は、仮想ウィジェットを利用する接触感応性ＧＵＩを含み、各々が、表示可能なＧＵＩスクリーン内に含まれる形状の集合（例えば、１つ以上のアクティブＵＩ要素を含む）を含む。例えば、仮想ウィジェットは、複数のインスタンス及び／又はタイプの仮想ボタン、スライダ、ノブ、ダイヤルなどの定義された集合体を含んでもよい。別の実施例として、仮想ウィジェットは、定義された機能を制御するためのインターフェースを集合的に画定する、定義されたアクティブ要素の集合体を含み得る。
いくつかの実施形態では、仮想ウィジェットが、タッチスクリーン上に表示されてもよいが、いくつかの実施形態では、タッチスクリーン構成モジュール／プロセスのコンテキスト内、及びタッチスクリーンディスプレイ上でのみ存在する。仮想ウィジェットは、ヘッドユニットに報告することができる。仮想ウィジェットの使用は、タッチ感応性ＧＵＩの物理的インターフェースの複雑性を低減することができる。例えば、仮想ウィジェットの使用は、ヘッドユニット上のオーバーヘッドを低減して、タッチ位置を処理することができ、例えば、加熱制御、無線制御、又は任意の他のタイプの制御のために、物理的ロータ、スライダなどのための別個のハードウェア又は電子機器を必要としない場合がある。
いくつかの実施形態は、仮想ウィジェット（例えば、ボタン、スライダ、ダイヤルなど）として操作されるタッチスクリーンの領域（例えば、構成されたスクリーンページ内の領域）を、構成可能な方法で、定義するためのシステム及び方法を提供する。タッチが、タッチスクリーン上で検出されるとき、タッチコントローラは、ユーザタッチに対応するウィジェットの位置又は状態（例えば、検出されたタッチ位置に対応する仮想スライダの線形位置又は仮想ダイヤルの回転位置）を判定することができ、タッチスクリーン上のタッチの位置を示す「タッチメッセージ」を報告する代わりに、又はそれに加えて、「ウィジェットメッセージ」内のこのような位置／状態情報をヘッドユニットに報告することができる。ウィジェットメッセージは、例えば、検出されたタッチ場所、力、及び／又はタッチスクリーン上の検出されたタッチの他の測定可能な態様に対応する、それぞれのウィジェット上のユーザ選定位置、回転、「タッチされた」状態、及び／又は検出されたタッチの数を示すことができる。
仮想ウィジェットを利用することにより、ヘッドユニットの必要とされる処理を単純化することができる。例えば、仮想ウィジェットの使用は、単一のスクリーン設計が複数のアプリケーションを有することを可能にし得る。例えば、１つのインターフェースが、好適な構成を介して、全ての製品バリアントを扱うことができる。
いくつかの実施形態は、人に触覚フィードバックを提供するためのタッチスクリーン表面に組み込まれた、例えば、物理的なリッジ、凹み、溝などの静的な物理的構造を含んでもよい。このような構造体は、本明細書では、「静的ウィジェット」と称される。いくつかの実施形態では、静的ウィジェットは、（ａ）仮想ウィジェット（例えば、仮想ウィジェットが、タッチスクリーン表面内の対応する静的ウィジェットと同時に位置付けられる）、及び／又は（ｂ）その位置を検出するために基礎となる仮想ウィジェットを使用する実際の物理的ウィジェット（例えば、回転ダイアルなど）と組み合わせて使用されてもよい。
静的ウィジェットは、タッチスクリーンで表示される、対応する仮想ウィジェット又は他のＵＩ要素に物理的「感触」を提供することができる。このため、静的ウィジェットは、ユーザが、タッチスクリーンを見ることなく感触によってタッチスクリーンＧＵＩにおいて入力を提供することを可能にし得、これは、ユーザの視覚的焦点が他の場所に方向付けられ得る、自動車用途又は他の用途において特に有用であり得る。いくつかの実施形態では、システムは、システムがウィジェット領域の特別なタッチ処理を提供し得るため、タッチされている静的ウィジェットの制御位置を、スクリーン上のタッチの位置座標に対するものとしてヘッドユニットに報告するように構成される。
静的ウィジェットは、従来のシステムと比較して、システムの堅牢性を増加させるために物理的移動部品を置き換えることができ、構成要素数及びプロセッサ間インターフェースを低減することができる。加えて、静的ウィジェットの１つ以上のタイプ又は形状の複数のインスタンスは、単一のスクリーン上に提供することができる。場合によっては、静的ウィジェットは、１つ以上のロータ（ダイヤル若しくはノブ）、スライダ、ボタン、スイッチ、又は任意の他のタイプの物理的インターフェースを置き換えるために使用されてもよい。
いくつかの静的ウィジェットは、タッチスクリーンカバーの本体に少なくとも部分的に埋め込まれるか、又は別様に物理的に結合されてもよく、このため、「埋め込まれた静的ウィジェット」と称される。いくつかの実施形態では、埋め込まれた静的ウィジェットは、タッチスクリーンカバーの本体（例えば、ガラス又はポリマー）とは異なる１つ以上の材料から形成されてもよい。例えば、埋め込まれた静的ウィジェットは、例えば、所望の静電容量タッチ感応性応答を提供するために、タッチスクリーンカバーの本体よりも高い又は低い誘電率（複数可）を有する材料（複数可）から形成されてもよい。
このため、一実施形態は、誘電率を有する第１の材料から形成されたタッチスクリーンカバー層と、タッチスクリーンカバー層に結合され、非平面的な表面テクスチャを画定する触覚構造体と、を含むタッチスクリーンシステムを提供し、触覚構造体が、タッチスクリーンカバー層の第１の材料とは異なる誘電率を有する少なくとも１つの第２の材料から形成される。
別の例示的な実施形態は、タッチスクリーンカバー層と、タッチスクリーンカバー層内に形成されるか又はタッチスクリーンカバー層に結合され、ユーザの指に触覚フィードバックを提供する非平面の表面テクスチャ（例えば、リッジ、他の隆起構造、溝、又は他の凹部として具現化される）を画定する触覚構造体と、を含む、タッチ感応性タッチスクリーンシステムを提供する。いくつかの実施形態では、触覚構造体は、タッチスクリーンカバー層とは異なる誘電率を有する少なくとも１つの材料から形成される。タッチスクリーンカバーの下に配置されたタッチスクリーン表示デバイスは、触覚構造体に対応する場所においてそれぞれの仮想ユーザインターフェース要素を含む、構成可能なグラフィカルユーザインターフェース（ＧＵＩ）を表示するように構成されてもよい。システムは、特定の仮想ユーザインターフェース要素の場所におけるタッチを感知することと、特定の仮想ユーザインターフェース要素を識別することと、仮想ユーザインターフェース要素に関連付けられたアクションを開始することと、を行うように構成された処理ユニットを含んでもよい。
本開示の例示的な態様及び実施形態は、以下の添付の図面と併せて以下に記載される。
探索タスクリストを生成及び使用して、ＧＵＩ内の接触したＵＩ要素を識別するプロセスを例示するスイム図である。 本開示の一実施形態による、探索タスクリストを生成するためのプロセスのフローチャートである。 本開示の一実施形態による、ＵＩ構成定義からＵＩ要素を抽出するためのプロセスのフローチャートである。 本開示の一実施形態による、中間探索木を生成するためのプロセスのフローチャートである。 本開示の一実施形態による、探索タスク木を生成するためのプロセスのフローチャートである。 本開示の一実施形態による、探索タスクリストを生成するためのプロセスのフローチャートである。 本開示の一実施形態による、ＵＩ要素内でタッチが生じたかどうかを判定するためのＵＩ要素／形状探索プロセスのフローチャートである。 ＵＩ要素から成る無線ＧＵＩの一実施形態を示す（カラーで利用可能）。 本開示の実施形態による、グループ化された図８の無線ＧＵＩのＵＩ要素を示す（カラーで利用可能）。 本開示の実施形態による、形成された木構造内のＵＩ要素を示す（カラーで利用可能）。 本開示の実施形態による、形成された木構造内のＵＩ要素を示す（カラーで利用可能）。 本開示の実施形態による、形成された木構造内のＵＩ要素を示す（カラーで利用可能）。 本開示の実施形態による、形成された木構造内のＵＩ要素を示す（カラーで利用可能）。 本開示の実施形態による、形成された木構造内のＵＩ要素を示す（カラーで利用可能）。 探索タスクリストを組み込んだシステムの一実施形態を示す。 無線ＧＵＩのＵＩ要素のうちの少なくともいくつかと関連付けられた特徴及びパラメータを含む無線ＧＵＩの一実施形態を示す（カラーで利用可能）。 サブシステムとして自動車のヘッドユニットに組み込まれた、図１１のシステムの一実施形態を例示する。 例示的な実施形態による、本明細書に開示される仮想ウィジェットを用いる、例示的なタッチスクリーンシステムを例示する。 １つの例示的な実施形態による、様々なグループのＵＩ要素を含む仮想ウィジェットの配置を含む、例示的なラジオタッチスクリーンＧＵＩを例示する。 例示的な実施形態による、リッジとして具現化された静的ウィジェット、及び、例えば、静電容量センサなどのタッチセンサを覆ってカバーガラス内に形成された、溝として具現化された別の静的ウィジェットを例示する。 例示的な実施形態による、円形の溝又はリッジとして具現化された２つの静的ウィジェットを含む、例示的なタッチスクリーンを例示する。 例示的な実施形態による、円形の溝又はリッジとして具現化された２つの静的ウィジェットを含む、例示的なタッチスクリーンを例示する。 静的ウィジェットが円形溝として具現化されている、図１７Ａ及び図１７Ｂに示される実施例の静的ウィジェットの角度付き側面図を例示する。 例示的な実施形態による、タッチスクリーン内に形成されたリッジタイプ静的ウィジェットの例示的な構造体を例示する。 例示的な実施形態による、タッチスクリーン内に形成された多構成要素のリッジタイプ静的ウィジェットの例示的な構造体を例示する。
以下の詳細な説明では、本明細書の一部をなし、本開示を実施し得る実施形態の具体例を例示として示す添付の図面を参照する。これらの実施形態は、当業者が本開示を実施することができるように十分に詳細に説明される。しかしながら、他の実施形態が用いられ得、本開示の範囲から逸脱することなく、構造、材料、及びプロセスの変更が行われ得る。本明細書に提示する図は、任意の特定の方法、システム、デバイス、又は構造の実際の図であることを意図するものではなく、本開示の実施形態を説明するために用いられる理想化した表現にすぎない。本明細書に提示する図面は、必ずしも縮尺どおりに描画されていない。様々な図面における類似の構造又は構成要素は、読者の便宜のために同一又は類似の付番を保持し得る。しかしながら、付番における類似性は、構造又は構成要素が必ずしもサイズ、組成、構成、又は任意の他の特性において同一のであることを意味するものではない。
本明細書で概して説明され、図面に例示される実施形態の構成要素は、多種多様な異なる構成で配置及び設計され得ることが容易に理解されるであろう。したがって、様々な実施形態の以下の説明は、本開示の範囲を限定することを目的とするものではなく、単に様々な実施形態を表すものである。実施形態の様々な態様が図面に提示され得るが、図面は、具体的に指示されていない限り、必ずしも尺度どおりに描画されていない。
以下の説明は、当業者が開示される実施形態を実施することを可能にするのを補助するための実施例を含み得る。「例示的な」、「例として」、「例えば」という用語の使用は、関連する説明が、説明的なものであることを意味し、本開示の範囲は、実施例及び法的等価物を包含することを意図するものであり、かかる用語の使用は、実施形態又は本開示の範囲を特定の構成要素、ステップ、特徴、機能などに限定することを意図するものではない。
更に、図示及び説明する具体的な実装形態は、単なる例であり、本明細書において別段の指定がない限り、本開示を実施する唯一の方法と解釈されるべきでない。要素、回路、及び機能は、不要に詳述して本開示を不明瞭にしないように、ブロック図の形態に示され得る。逆に、図示し、説明する具体的な実装形態は、単に例示的なものであり、本明細書において別段の指定がない限り、本開示を実施する唯一の方法と解釈されるべきではない。更に、様々なブロック間での論理のブロック定義及びパーティショニングは、例示的な具体的な実装形態である。当業者には、本開示が多数の他のパーティショニングソリューションによって実施され得ることが容易に明らかになるであろう。大部分については、タイミングの考察などに関する詳細は省略されており、かかる詳細は、本開示の完全な理解を得るために必要ではなく、当業者の能力の範囲内である。
当業者であれば、情報及び信号は、様々な異なる技術及び技法のいずれかを使用して表され得ることを理解するであろう。例えば、本明細書をとおして参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、及びチップは、電圧、電流、電磁波、磁場若しくは粒子、光場若しくは粒子、又はこれらの任意の組み合わせによって表されてもよい。いくつかの図面は、表示及び説明を明確にするために、単一の信号として信号を例示してもよい。当業者は、信号が信号のバスを表し得、このバスは様々なビット幅を有してもよく、本開示は、単一のデータ信号を含む任意の数のデータ信号で実施され得ることを理解するであろう。
本明細書に開示する実施形態に関連して記載する様々な例示的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、専用プロセッサ、デジタル信号プロセッサ（Digital Signal Processor、ＤＳＰ）、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）若しくは他のプログラマブル論理デバイス、別個のゲート若しくはトランジスタ論理、別個のハードウェア構成要素、又は本明細書に記載の機能を実行するように設計されている、これらの任意の組み合わせを用いて実施され得る、又は実行され得る。汎用プロセッサ（本明細書では、ホストプロセッサ又は単にホストとも称され得る）は、マイクロプロセッサであってもよいが、代替的に、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもあってもよい。プロセッサはまた、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、又は任意の他のかかる構成の組み合わせとして実装されてもよい。プロセッサを含む汎用コンピュータは専用コンピュータとみなされ、汎用コンピュータは、本開示の実施形態に関連するコンピューティング命令（例えば、ソフトウェアコード）を実行するように構成されている。
実施形態は、フローチャート、フロー図、構造図、又はブロック図として示すプロセスに関して説明され得る。フローチャートは、順次プロセスとして動作行為を説明し得るが、これらの行為の多くは、別の順序で、並行して、又は実質的に同時に実行できる。加えて、行為の順序は再調整され得る。
プロセスは、方法、スレッド、機能、手順、サブルーチン、サブプログラムなどに対応し得る。更に、本明細書に開示する方法は、ハードウェア、ソフトウェア、又はその両方において実施され得る。ソフトウェアで実施される場合、機能は、コンピュータ可読媒体上の１つ以上の命令又はコードとして記憶されてもよく、又は送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体及びコンピュータプログラムのある場所から別の場所への転送を容易にする任意の媒体など通信媒体の両方を含む。
「第１」、「第２」などの表記を使用した、本明細書の要素に対する任意の言及は、かかる制限が明示的に記載されていない限り、それらの要素の数量又は順序を限定しない。むしろ、これらの表記は、本明細書において、２つ以上の要素又は要素の例を区別する便利な方法として使用され得る。したがって、第１の要素及び第２の要素への言及は、２つの要素のみが用いられ得ること、又は何らかの方法で第１の要素が第２の要素に先行しなければならないことを意味するものではない。加えて、特に明記しない限り、要素のセットは、１つ以上の要素を含んでよい。
本明細書で使用されるとき、所与のパラメータ、特性、又は条件に言及する際の「実質的に（substantially）」という用語は、所与のパラメータ、特性、又は条件が、例えば許容可能な製造許容差の範囲内などの、小さいばらつきを満たすことを当業者が理解するであろう程度を意味し、かつ含む。一例として、実質的に満たされる特定のパラメータ、特性、又は条件に応じて、パラメータ、特性、又は条件は、少なくとも９０％満たされ得るか、少なくとも９５％満たされ得るか、更には少なくとも９９％満たされ得る。
本開示で説明される様々な実施形態は、概して、接触感応性ユーザインターフェース上で選択されたＵＩ要素を決定するための技法、及びそうした技法を使用して、１つ以上の触覚応答を提供することに関する。本明細書で説明される実施形態を理解する目的で、接触センサは、タッチインターフェースのタッチ領域と接触する物体（指若しくはスタイラスなど）に、又はこのタッチ領域に対する物体の近接性に応答することができる。本開示では、「接触」は、概して、物体の接触感応性領域との物理的接触を指すが、接触センサによって計測可能な応答を生成する、物体の近接性もまた包含し得る。更に、接触感応性領域は、接触センサが物体の接触に応答することができる、タッチインターフェース上の物理的領域を指す。
接触感応性ＧＵＩは、本明細書で使用するとき、ＧＵＩと統合されたタッチインターフェースを指す。例えば、ＧＵＩは、１つ以上のディスプレイ領域と、アクティブ／アクティブ領域と、を典型的に含む。本開示において、ディスプレイ領域は、情報をユーザに表示するユーザインターフェースの領域である。アクティブ領域は、ユーザがユーザインターフェースに対していくつかのアクションを取ることを可能にする、ボタン、スライダ、又はメニューなどのＧＵＩの領域である。いくつかのディスプレイ領域はまた、情報を表示し、いくつかのアクションが取られ得るアクティブ領域でもある。接触感応性ＧＵＩでは、アクティブ領域が表示されるタッチ感応性領域に接触する（例えば、タッチスクリーン上のＧＵＩボタンをタップする）ことで、その領域を起動させることができる。アクティブ領域は、全ての様々な形状及びサイズの、例えば、ボタン、スライダ、選択可能ペイン、メニューなどのＧＵＩ要素／オブジェクトとして表示することができる。
概して、接触感応性領域において接触が感知された場合、プロセスが、該当する場合に接触に対応するＧＵＩのアクティブ領域（複数可）を判定するために使用される。例えば、「ＥＮＴＥＲ」ボタンがタップされる場合、接触が測定され、アルゴリズムが実行されて、ＥＮＴＥＲボタンの場所において接触がなされたことを判定する。入力ボタンは、アクティブ領域であるので、タッチ感応性ＧＵＩ及び／又はＧＵＩを起動する基礎をなすアプリケーションプログラムにおいて、イベントが作成される。
更に、特定のＧＵＩ要素がアクティブ領域と関連付けられている場合は、タッチインターフェースと統合されたアクチュエータが、一般に触覚応答と称される１つ以上の物理的応答を提供することができる。これらは、力、振動、又は移動の形態とすることができ、また、表面テクスチャ、リッジ、エッジ、ボタンを押す／クリックするような相互作用、並びに他のシミュレーションした感覚及び応答を模倣することができる。ＧＵＩの場合、触覚応答は、ユーザが相互作用するＧＵＩ要素にローカライズすることができる。例えば、ユーザがＧＵＩボタンにタッチした場合、触覚応答は、あたかもボタンが押されたかのように、又は粗いテクスチャを有するように、エッジが隆起したボタンの感触をもたらすことができる。
以下で考察されるように、例えば、図１４及び図１５を参照すると、いくつかの実施形態では、接触感応性ＧＵＩは、表示可能なＧＵＩスクリーン内に含まれる形状の任意の集合体（例えば、１つ以上のアクティブなＧＵＩ要素／オブジェクトを含む）を含む、「仮想ウィジェット」を利用することができる。例えば、仮想ウィジェットは、複数のインスタンス及び／又はタイプの仮想ボタン、スライダ、ノブ、ダイヤルなどの定義された集合体を含んでもよい。別の実施例として、仮想ウィジェットは、定義された機能を制御するためのインターフェースを集合的に画定する、定義されたアクティブ要素の集合体を含み得る。例えば、スライダタイプの仮想ウィジェット又は回転可能なダイヤルタイプの仮想ウィジェットは、例えば、以下で考察される例示的な図１５に示される例示的な回転可能なダイヤルによって例示されるように、スライダ又は回転可能ダイヤルのための位置選択の範囲に関する定義されたＵＩ要素の集合からなってもよい。ＧＵＩ要素（ＵＩ要素とも称される）又は形状に関する本明細書の任意の開示は、仮想ウィジェットに同様に適用することを理解されたい。
本明細書で説明される様々な実施形態は、電子レコードを作成及び更新することを指す場合がある。電子レコードは、データファイルの形態とすることができ、電子レコードを更新することは、データ入力をレコードの１つ以上のフィールドに挿入又は削除することを含むことができる。代替的に、実行時には、記載されたレコードと一致する状態情報及び変数を有するクラスオブジェクト及びインスタンス化されたオブジェクトを指すことができる。どちらの状況も、本明細書で説明される様々な実施形態において想到される。
本開示の様々な実施形態は、接触感応性インターフェース上で接触したＧＵＩ要素を識別するための技法に関する。これらの技法及び関連する構造は、メモリ使用及び応答性に関して特に効率的である。
更に、他の技法と比較すると、インターフェースデータ記憶装置要件が少なく、ＵＩ要素を識別するための実行時間に行われるタスクの数がわずかである。
本開示のいくつかの実施形態は、接触感応性インターフェース上で接触したＧＵＩ要素を識別するために行うことができる、最適化された探索タスクのリストを作成するための方法に関する。このような探索は、本明細書では、ＵＩ要素探索又は「形状探索」と称され得る。探索タスクは、プロセッサ実行可能命令とすることができ、この命令は、実行されたときに、該当する場合、接触したＧＵＩの要素を探索しているサブシステムに成功又は失敗メッセージを返す。一実施形態では、探索タスクは、ＧＵＩ内の様々な要素及びその要素の場所をマップする定義ファイルに基づいて作成される。探索タスクは、様々な効率パラメータのために最適化され得る。
一実施形態では、探索タスクリストは、ディスプレイサブシステム（例えば、自動車用ヘッドユニット）内のＵＩ要素／形状探索を行うことができる、本開示の発明者らに知られている従来の接触感応性ＧＵＩと比較して、埋め込みデバイス、例えば、タッチコントローラによって実行され得る。タッチコントローラ内のＧＵＩ要素の探索を行うことは、ディスプレイサブシステムと通信する時間、並びにサブシステムが、例えば触覚フィードバックサブシステムと反応及び通信する時間を節約する。節約される時間は、従来の接触感応性ＧＵＩと比較して、接触感応性ＧＵＩの応答性を向上させ、また、ユーザの観点から、ユーザがスクリーンにタッチしたときから、ユーザがタッチに応答するフィードバックを受信したときまでの時間を短縮する。
更に、タスク探索リストの作成は、構成可能であり、ＧＵＩに応じて、共通の特徴のセットを、特定の用途のために最適化された実施のために選択することができる。例えば、いくつかの実施形態では、作成プロセスは、他のＧＵＩ要素、特定の形状の要素、又はＧＵＩ要素に接触したときに移動若しくは変形する要素を隠すページング、ドロップダウンメニュー、及びポップアップウインドウを含むＧＵＩのために最適化することができる。
図１は、本開示の様々な実施形態による、システムの全体的な動作を例示する。動作１１２では、ソフトウェアアプリケーションツール１０２は、ＵＩ定義ファイルを処理して、該当する場合、接触感応性スクリーン上で接触したＵＩ要素を識別するために、ＵＩ要素／形状探索を行うための条件付き実行可能命令の探索タスクリストを作成する（動作１０８）ように構成される。
探索タスクリストは、タッチシステムの一部である１つ以上のプロセッサによってアクセス可能である、非一時的格納メモリに記憶することができる（動作１１０）。タッチインターフェースで接触イベントが発生したとき、タッチセンサ１０６は、タッチを感知し（動作１１８）、１つ以上のタッチプロセッサ１０４に対するタッチを示す１つ以上の信号を提供することができる。タッチプロセッサ１０４は、接触が発生したタッチインターフェース上の場所を判定し（動作１１２）、該当する場合に、その判定に応答して、接触したＵＩ要素を探索し（動作１１４）、識別する。一実施形態では、タッチプロセッサ１０４は、探索結果をグラフィカルユーザインターフェースサブシステムに提供することができる（動作１１６）。
探索タスクリストを作成するためのプロセスの一実施形態は、図２～図７を参照して説明されることになる。本開示の実施形態は、木及びグリッド技法に従ってＵＩ要素を編成する、探索木構造を利用する。様々なＵＩ要素が、グリッドのように扱われる関連グループに分割され、探索木に編成され、次いで、様々な探索タスクが生成される。探索タスクは、命令を使用してＵＩ要素／形状探索の実行を最適化するように条件付けられる。当業者は、他のアルゴリズム、例えば分割統治法を使用して、スクリーン（複数可）が探索可能領域に分割され得ることを理解するであろう。
図２は、ＵＩ要素／形状探索を実行するための探索タスクリストを生成するプロセスの実施形態を例示する。動作２０２で、ＵＩのための構造定義を、ロードし、かつ構文解析して、スクリーン及びサブスクリーン上の、スクリーン、サブスクリーン、及びＵＩ要素を識別する。ＵＩ構成定義は、電子ファイル、データベース、生データなどであり得る。動作２０４で、ＵＩ要素をグループ化し、探索可能な領域を、ＵＩ要素グループを有する１つ以上の探索可能な領域に分割する。動作２０６で、ＵＩ要素グループを、探索可能な領域に基づいて木構造にリンクする。動作２０８で、探索タスクを探索木の枝及びノードと関連付けて、探索木を形成し、探索木を最適化する。動作２１０で、探索木の条件付きタスクを、プロセッサによって実行することができるタスクリストであるリストに記憶する。
一実施形態では、探索タスクリストを生成するソフトウェアアプリケーションツール１０２は、動作２０２、２０４、２０６、２０８、及び２１０のうちの１つ以上の結果を出力ファイルに書き込むように構成することができる。この出力ファイルは、デバッギングツールによって使用されて、プロセスの結果をレビューすることができる。同じデバッギングツールを、探索タスクリストのテキストバージョンを使用し、それを（例えば、ｄｏｓ実行可能な）仮想試験環境内で実行して、探索タスクリストが動作準備完了していることを検証するように構成することができる。
図３は、ＵＩ要素をＵＩ構成定義から抽出するためのプロセス３００の一実施形態を例示する。一実施形態では、ＵＩ構成定義は、アプリケーションツールの構成生成特徴によって変換されるディスプレイの一部のｘｍｌ定義である。アプリケーションツールは、構造定義を構文解析し、定義構造内で定義されたＵＩ要素をグラブする。動作３０２で、各ＵＩ要素をロードし、動作３０４で、このＵＩ要素が既知のＵＩ要素であるかどうかを判定する。既知のＵＩ要素でない（すなわち、この要素が構造定義で識別されたのが初めてである）場合、動作３０６で、プロセスは、そのタイプのＵＩ要素（例えば、ボタン、ノブ、スライダなど）の新しい要素定義を作成する。
新しい定義を作成した後に、又は要素が既知のＵＩ要素である場合は、動作３０８で、要素を既存のグループに割り当てるかどうかを判定する。一実施形態では、既存のグループに割り当てるかどうかの判定は、様々な所定のパラメータ、例えば、要素のタイプ、ＵＩ要素が表示されるスクリーンの場所、層の位置、要素と関連付けられた応答のタイプ（例えば、視覚、触覚、音声など）などの、要素の共通の特徴に基づく。要素を新しいグループに割り当てると判定する場合は、動作３１０で、要素に関連するパラメータを有する新しいグループレコードを作成する。
新しいグループレコードを作成した後に、又は要素を既存のグループに割り当てると判定する場合は、動作３１２で、新しい要素の入力をその新しい要素のグループレコードに挿入する。一実施形態では、入力は、要素ＩＤのフィールドと、要素の場所（すなわち、スクリーン上の要素の座標）と、を含む。動作３１４で、更なるＵＩ要素があるかどうかを判定し、更なるＵＩ要素がある場合は、ＵＩ構成定義で識別された残りの各ＵＩ要素についてプロセスを実行する。動作３１６で、プロセスは、要素（複数可）、要素定義（複数可）、及びグループ（複数可）を返す。
一実施形態では、ＵＩ構成定義が２つ以上のスクリーン定義を含む場合、そのような各スクリーンにＵＩ要素のパラメータであるスクリーンＩＤを割り当てる。また、各グループのパラメータとしても組み込むことができる。各スクリーンはまた、表示されたＧＵＩの定義された領域であるサブスクリーンも含むことができ、その中では、いくつかのＵＩ要素が動的に変化するが、そうした領域外にあるＵＩ要素は、変化しないままである。非限定的な例として、動的ＵＩ要素を有する領域としては、スワップ可能ペイン、スクロール可能メニュー、活性可能情報ペイン、ナビゲーションボタンなどが挙げられる。
図４は、本開示の一実施形態による、探索木を作成するためのプロセス４００を例示する。このプロセスでは、ＵＩ定義内で識別された各スクリーンを探索可能領域にどのように分割するかに関する判定を行い、各探索可能領域は、１つ以上のＵＩ要素のグループを含む。図４に示されるプロセスの例示的な実施形態では、ＵＩ要素のグループを分割する分割線（ｘ座標、ｙ座標）が選択され、よって、少なくとも１つのＵＩ要素グループが分割線の一方の側にあり、少なくとも１つの他ＵＩ要素グループが分割線の他方の側にある。
分割線は、分割線に沿った共有境界線を用いて、スクリーンを２つの探索可能領域に効果的に分割する。ＵＩ要素グループを更に分割することができなくなるまで、ＵＩ要素グループは、再帰的な様態で分割される。
別の実施形態では、スクリーン又は探索可能領域は、ｘ座標及びｙ座標方向の両方に同時に分割され、これは、最高４つのＵＩ要素グループのサブ分割をもたらし得る。この技法はまた、４つ未満のサブ分割、例えば、３つのＵＩ要素グループの分割及び１つの空の探索可能領域をもたらすこともができる。
更に他の実施形態では、スクリーンの一部分が探索可能領域にサブ分割されないように、円形、正方形、及び／又は多角形を使用して、その一部分を探索可能領域から除外するように定義することができる。
操作４０２では、第１の探索可能領域は、２つ以上のグループを有してロードされる。第１の繰り返しの場合、これは、全てのグループを含むスクリーン全体であってもよい。この実施形態では、初期探索可能領域レコードは、全てのＵＩ要素及びＵＩ要素グループを含む、スクリーン全体を包含するように定義された領域と共に存在する。動作４０４で、初期探索可能領域を、それぞれがグループのうちのいくつかを有する２つの探索可能領域に分割する、グリッド線を選択する。動作４０６で、新しいレコードを作成し、ＵＩ要素グループを初期レコードと新しいレコードとの間でソートし、これらのレコードをそれぞれの探索可能地域と共に更新する。分割線は、２つの探索可能領域のスプリット／ディビジョンとして記録される。第１の探索可能領域並びにその中のＵＩ要素グループ及びＵＩ要素は、ディビジョンにリンクされ、次にこれが新しい探索可能領域並びにその中のＵＩ要素グループ及びＵＩ要素にリンクされる。
実行時には、ＵＩ要素のクラスオブジェクト、ＵＩ要素グループのクラスオブジェクト、及びスプリット／ディビジョンのクラスオブジェクトが存在する。
２つ以上のＵＩ要素グループを含む各探索可能領域の場合は、プロセスを再帰的に実行して（動作４０８）、探索可能領域を分割する。
特に、一実施形態では、ＵＩ要素は、ＵＩ要素の定義（例えば、要素ＩＤ）及び本実施形態ではＵＩ要素の原点への移動に対する参照によって定義されるが、各ＵＩ要素を個々に定義する必要がないので、インターフェースメモリ要件を低減させる。
スクリーンが完全に分割されると、この時点で、ディビジョン／スプリット、ＵＩ要素及びＵＩ要素グループ、並びにそれらの間のリンクを含む中間探索木が存在する。
動作４１０で、各ＵＩ要素グループについてグループレベル探索タスクを作成する。グループレベルタスクは、プロセス工程又は一連のプロセス工程である。このタスクは、（ｉ）タッチ又は接触イベントがＵＩ要素内で（又はＵＩ要素外で）発生したかどうかを判定するためのタスク、（ｉｉ）何らかの方法で探索領域を修正するためのタスク、及び（ｉｉｉ）次のタスクを準備するためのタスク、を含むことができる。
各グループレベルタスクは、成功又は失敗が生じた場合に行われるべき次のタスクの指示を含むことができる。例えば、各タスクは、次のタスクアドレスへの「オフセット」を有するビットを含むことができる。更に、各グループレベルタスクは、それが実行されるときに引数を受け取ることができる。いくつかの実施形態では、以前のタスクは、引数を提供することができ、又はどの引数を次のタスクに利用できるかを示すための環境ビット／フラグを設定することができる。
一実施形態では、ＵＩ要素グループ座標（位置角）のオフセットを使用して、インデックスを生成することができる。探索可能領域内のあらゆるＵＩ要素は、構成された場合に、探索可能領域のベースＩＤからインデックスだけオフセットされた異なるＩＤを割り当てることができる。結果は、要素ＩＤ及びオフセット値である。応答（例えば、触覚）又は要素ＩＤのいずれかを修正するための別々のプロビジョンが存在する－よって、あるグループ要素は、単一の要素ＩＤであるが、多数の応答ＩＤを返し得、別のものは、いくつかの要素の違いについて１つの応答ＩＤを返し得る。
グループレベル探索タスクは、グループレコードに挿入すること、探索タスクリストに挿入すること、又は中間レコードに挿入することができる。グループレベル探索タスクが完了すると、動作４１２で、中間探索木を返す。
一実施形態では、各タスクについて環境変数を設定することができ、この環境変数は、該当する場合、タスクが実行される場合に、タスクが成功する場合に、及び最終タスクである場合に何を返すのかを示す。非限定的な例として、環境変数は、触覚ＩＤ、グループ形状内の要素について要素ＩＤ及び触覚ＩＤをどのように修正するのかを制御する値、などであり得る。また、次のタスクの説明を付随させるために送信されるべきデータを示す、環境フラグも設定することができる。特定の制約及び正しい環境変数を使用することで、例えば円の定義を７バイトから２バイトに低減させることができる。
図５は、中間探索木に対して行われる最適化プロセス５００の一実施形態を例示する。動作５０２で、共通の特徴によって全てのＵＩ要素をグループ化する。共通の特徴の例としては、ＵＩ要素タイプ、層内の位置、別の層内の別の要素に対する位置（例えば、全てが同じＵＩ要素の背面にある）、ディスプレイグループ、形状などが挙げられる。一実施形態では、共通の特徴を選択して、ＵＩ要素／形状探索プロセスを最適化することができる。例えば、探索木の最上部の最上層にＵＩ要素を有する層位置によってＵＩ要素がグループ化される場合は、それらが最初に探索される。別の例として、「ページング」が存在する（すなわち、ユーザインターフェースの層をスワイプして、下部の層を露出させること、又はある層を別の層の上に被せることができる）アプリケーションにおいて、ディスプレイグループによるグループ化は、単一の制御を使用して全てのディスプレイＵＩ要素を制御すること－例えば、ディスプレイグループ内の全てのＵＩ要素を探索すること、制御設定に応答するＵＩ要素に変更を適用すること、ディスプレイグループ内の全てのＵＩ要素をオン又はオフにすること、などを可能にする。様々な実施形態では、例えば層ＩＤ、位置ＩＤ、形状ＩＤなどの識別子を使用して、共通の特徴によって編成されたグループを識別することができる。
動作５０４で、探索タスクを、各要素の探索木に挿入し、分割して、中間探索タスク木を形成する。動作５０６で、各タスクについて、中間探索タスク木を再順序付けして、単一の通過を確実にする。動作５０８で、冗長又は非効率的な探索タスクを排除する。動作５１０で、最適化された探索タスク木を返す。
図６は、探索タスクリストを作成するためのプロセス６００の一実施形態を例示する。動作６０２で、探索タスク木のクラスオブジェクトをロードし、動作６０４で、命令語（すなわち、探索タスク）をクラスオブジェクトから作成し、命令語（すなわち、探索タスク）を探索タスクリストに挿入する。図６に示される実施形態では、命令語は、タスクコードフィールドと、ジャンプフィールドと、を含む。一実施形態では、命令は、データフィールドを含む。あらゆる失敗（すなわち、要素が異なる）及びあらゆる分割は、次のタスクがメモリ内の現在のタスクの直後でない限り、別の命令へのジャンプを必要とする。
動作６０６で、タスクコードをタスクコードフィールドに挿入し、動作６０８で、ジャンプ値をジャンプフィールドに挿入する。
いくつかの実施形態では、全てのタスクが探索タスクリストに挿入されるまで、ジャンプ値の一部又は全部を挿入しない。他の実施形態では、探索タスク木からジャンプ値を推定することができる。
動作６１０で、探索タスクリストの様々なタスクをメモリ内で連結して、全てのオブジェクトがリスト内にある場合に（動作６１２）動作６１４のプロセスによって返される、条件付き探索タスクリストを形成する。探索タスクリスト及び探索木は、メモリに記憶することができる。
タスク命令は、探索タスクリストが実装される特定の環境において利用可能なコンテナサイズ制限（すなわち、バイト制限）によって変動し得る。一実施形態では、各タスク命令と関連付けられたデータは、命令インターフェース要件（８ビット、１２ビットの、１６ビットなど）、利用可能なメモリなどを含むシステム条件に応じて変動し得る。非限定的な例として、八角形のＵＩ要素内で探索するという命令は、単にｘ座標及びｙ座標データ、並びに辺の数によって行うことができる。しかしながら、命令インターフェース及び他のメモリ要件が許可する場合は、追加データを含むことができる。
図７は、本開示の一実施形態による、ＵＩ要素内でタッチが発生したかどうかを判定するためのＵＩ要素／形状探索プロセスを例示する。探索木の探索は、提供されたデータ及び探索タスクリストを使用して行われる。動作７０２で、各タスクの実行可能命令を、各タスクのペイロードデータと共にプロセッサのインターフェースに連続的に提供し、動作７０４で実行する。探索木を探索するときに、動作７０６で、ＵＩ要素内でタッチが発生したかどうかを判定し、各タスクの結果は、ＵＩ要素内でタッチが発生したかどうかを示す、真／偽、成功／失敗である。動作７０８で、プロセッサによって、現在のタスクが成功であるという結果に応答する次のタスク命令及び関連データをロード及び受信する。すなわち、動作７０６の結果が成功である場合、タスクリスト内の次のタスクが実行される。
結果が失敗である場合、プロセッサによって、結果に応答する代替のタスク命令及び関連データをロード及び受信する。代替のタスクが存在する場合（動作７１４）、動作７１６で、代替のタスク場所を供給し、プロセスループの動作７０２に戻り、プロセッサの代替の場所からタスクをロードする。探索が終わるとき、ＵＩ要素は、発見又は未発見のいずれかである。ＵＩ要素が発見される場合、動作７１０で、発見の結果を返し、動作７１２で、その要素のＩＤ、並びに任意の環境設定／応答性パラメータを返す。動作が発見されない場合、動作７２０で、未発見の結果を返す。
一実施形態では、図７に示されるＵＩ要素／形状探索プロセスは、タッチプロセッサ（マイクロコントローラ）で実行するファームウェアアプリケーションとすることができる。タッチプロセッサは、フラッシュメモリに記憶した探索プロセスによって実行される１つ以上の探索タスクを有することができる。一実施形態では、探索タスクは、ディスプレイコントローラと関連付けられたＲＡＭに記憶することができ、探索タスクは、設定又はプロビジョニングプロセス中にタッチプロセッサに提供され、探索プロセスにアクセスできる状態に保つことができる。
記載された実施形態は、代替的なアプローチに勝るいくつかの利点を提供する。メモリ要件が大幅に－線形探索、ピュアグリッド法、又はピュア探索木方法から最高５０％低減され、それでも、組み合わせグリッド／木法を超えて改善される。これは、一部には、行われる探索動作の数が低減されるからである。探索動作の数が低減されるので、応答サイクルは、代替的な手法（従来の方法を含む）よりも大幅に短くなる。例えば、１２００×１２００の接触感応性ＧＵＩに関して、７２μｓ（ピュアグリッド）～１２００μｓ（線形）の範囲であった代替的な手法と比較して、３６μｓ未満のサイクル時間を達成した。この違いは、ユーザにとって極めて高い応答性のタッチインターフェースである。
このタッチインターフェースは、設計者にとって、異なる応答特性を有する数多くの要素を有して、より高度化することができる。
図８、図９、及び図１０Ａ～図１０Ｅは、本開示の実施形態と共に使用することができるＧＵＩの１つの非限定的な例として、無線用途のＧＵＩに関連して図２～図７を参照して例示及び説明したプロセスを例示する。図８に例示される無線ＧＵＩ８１０は、表８２０に要約される、８つのタイプのＵＩ要素と、合計１４４のＵＩ要素と、を含む。
図９は、図３を参照して説明した方法に従ってグループ化したＵＩ要素を示す。この実施形態では、グループ化した要素８３２、８３４、８３６、８３８、８４０、８４２、８４４、８４６、及び８４８は、類似するタッチ特性（例えば、タッチに応答する触覚フィードバック）、スクリーン上の物理的な場所、及び形状を有する。
図１０Ａ～図１０Ｅは、図４を参照して説明した木及びグリッド法を使用して形成した木構造８５０の一実施例を示す。
図１１は、本開示の一実施形態による、本明細書で説明されるＵＩ要素／形状探索方法を実施することができるシステム１０００及び関連するツール１０４０を例示する。システム１０００は、ＧＵＩ要素のためのＧＵＩ要素探索機能１０１２及び応答判定１０１４をその上に有する、マイクロコントローラファームウェア１０１０を含む。マイクロコントローラファームウェア１０１０を実行するプロセッサは、マイクロコントローラファームウェア１０１０から制御信号を受け取ることができ、続いて、接触感応性インターフェース１０２０の応答を駆動することができる応答ドライバ１０１８に結合される。一実施形態では、接触感応性インターフェース１０２０は、１つ以上のアクチュエータを含むタッチスクリーンであり、応答ドライバ１０１８は、アクチュエータを励起する制御信号を生成するように構成された触覚ドライバである。感知回路１０２２は、接触感応性インターフェース１０２０での接触に応答して、１つ以上の測定信号を生成することができる。接触測定及び処理１０１６は、検知回路１０２２からの測定信号に応答して、接触情報（例えば、場所、タイプなど）を決定し、この接触情報を、応答決定１０１４及びＧＵＩ要素探索機能１０１２に提供することができる。応答ドライバ１０１８で受信した制御信号は、例えば、接触情報に少なくとも部分的に基づくことができ、よって、触覚フィードバックが、接触感応性インターフェース１０２０上の右側の場所に提供される。
また、図１１には、ツール１０４０も示され、このツールは、本開示の一実施形態によって、探索リスト生成プロセスを実施し、要素探索タスクリスト及び要素応答情報を作成することができる。探索リスト作成アプリケーションプログラム１０４４は、図２～図６を参照して説明したプロセスを実施して、ＧＵＩ定義ＸＡＭＬファイル１０４２を処理して、要素探索タスクリストを生成するように構成される。アプリケーション１０４４は、要素探索タスクリスト１０４６及び要素応答情報１０４８をファイルとしてマイクロコントローラファームウェア１０１０に提供することができる。一実施形態では、このアプリケーションはまた、探索タスク内に組み込まれ得るが、探索木も提供することができる。
ファームウェアのいくつかの実施形態では、ファームウェアは、タッチイベントに関する力レベル情報を組み込むための、力測定及び処理機能を含むことができる。そうした実施形態では、要素探索機能によって返される力レベル情報及びＧＵＩ要素ＩＤ及び触覚応答の詳細は、触覚シーケンサを使用して、この力レベル、ＧＵＩ要素ＩＤ、及び触覚応答の詳細に応答する触覚制御信号を生成することができる。
図１１のシステムは、自動車を含む、タッチインターフェース及びタッチ制御パネルを利用する様々な消費者製品、電化製品、及び機械内に組み込むことができる。
図１２は、自動車用タッチ制御パネルのための無線ＧＵＩ１２１０の簡略化バージョンを例示する。３つの領域は、具体的には、領域１、領域２、及び領域３と称する。領域１は、温度調節のための回転ダイヤル１２１４の中央のボタン１２１２である。触覚プロファイルＩＤ＃４（振動）による触覚フィードバックは、強い力レベルを有するタッチイベントに応答して、提供される。領域２は、同じく温度調節のための回転ダイヤル１２１４である。弱い力レベルを有するタッチイベントに応答する、触覚プロファイルＩＤ＃３（摩擦）による触覚フィードバックが提供される。最後に、領域３は、自動車設定のためのメニューを提示するためのボタン１２１６である。強い力レベルを有するタッチイベントに応答する、触覚プロファイルＩＤ＃２（クリック）による触覚フィードバックが提供され、弱い力レベルを有するタッチイベントに応答する、触覚プロファイルＩＤ＃３（摩擦）による触覚フィードバックが提供される。
図１３は、ヘッドユニット１３１０によって命令される自動車用制御に組み込まれた図１１のシステム及び図１２のＧＵＩを例示し、ヘッドユニット１３１０の触覚効果は、マイクロコントローラによって制御される。この実施形態では、タッチコントローラ１３２０及びＵＩ要素／形状探索機能１３２４は、自動車サブシステムの一部であり、自動車用ヘッドユニット１３１０は、ヘッドユニットの処理回路の直接的な介入を伴わずに、触覚フィードバックによってタッチに応答する。タッチコントローラ１３２０は、タッチ位置及び力レベル情報から、タッチされたスクリーンボタンを識別し、触覚効果をトリガするためのボタン位置を含む、タッチ状態機械を動作させるように構成される。
この実施形態では、力処理１３２６及びタッチ処理１３２２は、１つのコントローラ構成要素１３２０に統合され、タッチスクリーン１３３２は、タッチコントローラ１３２０によって直接起動され、触覚デバイス１３５０によって行われる触覚効果の範囲を導き出すためにそれぞれ必要とされる、いくつかの幾何学的オブジェクト記述の定義（スクリーンディスプレイ設計１３３６、及び探索木定義１３３８）を含む。タッチコントローラ１３２０はまた、タッチコントローラ構成ユニット１３４０を介してそのような定義を受信してもよい。
例えば、ディスプレイ１３３０のタッチの後に、タッチコントローラ１３２０は、力処理１３２６及びタッチ処理１３２２からの力情報及びタッチ情報を受信する。この情報は、力センサ１３３４からの力測定値及びディスプレイ上のタッチ位置を含むことができる。ＵＩ要素／形状探索１３２４は、該当する場合、タッチが発生したディスプレイ１３３０に表示されるＵＩ要素に対応するＵＩ要素情報を提供する。ディスプレイ上の場所に対応するいかなるＵＩ要素も存在しない場合、ＵＩ要素／形状探索１３２４は、ヌルの探索結果を提供する。ＵＩ要素の形状情報を探索する間、ＵＩ要素／形状探索１３２４は、ヘッドユニット１３１０に記憶した定義を使用することができる。一実施形態では、ＵＩ要素／形状探索１３２４は、プロビジョニングプロセス中に、例えば、タッチコントローラ１３２０がヘッドユニット１３１０と統合されるときに、又はヘッドユニット１３１０の電源がオンになるときに、定義を受信することができる。
ＵＩ要素／形状探索１３２４が、ＵＩ要素を識別する場合、触覚制御１３２８によって触覚情報を使用して、触覚効果及び触覚効果の位置を含む触覚デバイス１３５０に、触覚起動メッセージを送信する。触覚起動メッセージは、触覚効果（例えば、弱、中、強）のレベルを表すパラメータを含むことができる。触覚デバイス１３５０は、触覚デバイスに記憶した触覚ライブラリ１３５２内の触覚効果定義を探索する。触覚デバイス１３５０は、次いで、ディスプレイの特定の領域が要求された触覚効果を呈するように、ディスプレイ１３３０のアクチュエータを制御する。特に、異なる触覚デバイスは、異なる触覚ライブラリを有し得るので、効果は、デバイス間で異なり得る。
この実施形態では、ＧＵＩ定義は、グラフィカルユーザインターフェースのためのＸＭＬ実装であるＸＡＭＬファイルである。ＸＡＭＬファイルは、ＧＵＩのＵＩのスクリーン要素のための描画命令の階層構造リストを含む。ＸＡＭＬファイルには、ＧＵＩ要素と関連付けられたタグが存在する。例えば、「Ｗｉｄｔｈ」、「Ｈｅｉｇｈｔ」、及び「Ｈｏｒｉｚｏｎｔａｌ Ａｌｉｇｎｍｅｎｔ」は全て、特定要素の有効なタグである。
仮想ウィジェット
上記で考察されたように、いくつかの実施形態では、接触感応性ＧＵＩ（ＧＵＩと統合されたタッチインターフェース）は、仮想ウィジェットを、例えば、上記で考察された特徴のいずれかと組み合わせて利用することができる。本明細書で使用されるとき、「仮想ウィジェット」は、表示可能なＧＵＩスクリーン内に含まれる形状の任意の集合体（例えば、１つ以上のアクティブＵＩ要素を含む）である。例えば、仮想ウィジェットは、複数のインスタンス及び／又はタイプの仮想ボタン、スライダ、ノブ、ダイヤルなどの定義された集合体を含んでもよい。別の実施例として、仮想ウィジェットは、定義された機能を制御するためのインターフェースを集合的に画定する、定義されたアクティブ要素の集合体を含み得る。例えば、スライダタイプの仮想ウィジェット又は回転可能なダイヤルタイプの仮想ウィジェットは、例えば、以下で考察される例示的な図１５に示される例示的な回転可能なダイヤルによって例示されるように、スライダ又は回転可能ダイヤルのための位置選択の範囲に関する定義されたＵＩ要素の集合からなってもよい。
仮想ウィジェットは、タッチスクリーン上に表示されてもよいが、いくつかの実施形態では、タッチスクリーン構成モジュール／プロセスのコンテキスト及びタッチスクリーンディスプレイ上にのみ存在する。仮想ウィジェットは、ヘッドユニットに報告することができる。仮想ウィジェットの使用は、タッチ感応性ＧＵＩの物理的インターフェースの複雑性を低減することができる。例えば、仮想ウィジェットの使用は、ヘッドユニット上のオーバーヘッドを低減して、タッチ位置を処理することができ、例えば、加熱制御、無線制御、又は任意の他のタイプの制御のために、物理的ロータ、スライダなどのための別個のハードウェア又は電子機器を必要としない場合がある。
いくつかの実施形態は、仮想ウィジェット（例えば、ボタン、スライダ、ダイヤルなど）として操作されるタッチスクリーンの領域（例えば、構成されたスクリーンページ内の領域）を、構成可能な方法で、定義するためのシステム及び方法を提供する。タッチが、タッチスクリーン上で検出されるとき、タッチコントローラは、ユーザタッチに対応するウィジェットの位置又は状態（例えば、検出されたタッチ位置に対応する仮想スライダの線形位置又は仮想ダイヤルの回転位置）を判定することができ、タッチスクリーン上のタッチの位置を示す「タッチメッセージ」を報告する代わりに、又はそれに加えて、「ウィジェットメッセージ」内のこのような位置／状態情報をヘッドユニットに報告する。ウィジェットメッセージは、例えば、検出されたタッチ場所、力、及び／又はタッチスクリーン上の検出されたタッチの他の測定可能な態様に対応する、それぞれのウィジェット上のユーザ選定位置、回転、「タッチされた」状態、及び／又は検出されたタッチの数を示すことができる。
いくつかの実施形態では、ウィジェットメッセージは、例えば、以下で考察される図１４に示される例示的な実施形態において、タッチメッセージから別個のストリームでヘッドユニットに伝達される。いくつかの実施形態では、タッチコントローラは、仮想ウィジェット上のタッチが検出されたとき、タッチメッセージをヘッドユニットに送信することを抑制し、別の言い方をすれば、タッチメッセージは、仮想ウィジェットとのタッチインタラクション中に、ウィジェットメッセージのお気に入りに吊るされてもよい。
このような仮想ウィジェットの使用は、仮想ＧＵＩ制御が、構成可能かつ動的な様式で、タッチスクリーン上の任意の場所に位置決めされることを可能にする。いくつかの実施形態では、スクリーン上に表示された仮想コントロールは、例えば、ＵＩ形状探索に関して上記で開示された技術に基づいて、スクリーン表示ＩＤを変更することによって変更及び／又は再位置決めされてもよい。
図１４は、１つの例示的な実施形態により、本明細書に開示されるような仮想ウィジェットを用いる例示的なＧＵＩタッチスクリーンシステム１４００を例示する。ＧＵＩタッチスクリーンシステム１４００は、接触感応性タッチスクリーン１４０２と、タッチコントローラ１４０４と、ヘッドユニット１４０６と、を含んでもよく、これらの各々は、上記で考察されたように、構成要素（例えば、タッチセンサ、マイクロコントローラ、マイクロコントローラファームウェア、プロセッサ、メモリ、触覚アクチュエータなど）のいずれかを提供し得、タッチスクリーン、タッチコントローラ、及びヘッドユニットによって提供される機能のいずれかを提供することができる。いくつかの実施形態では、タッチコントローラ１４０４は、マイクロコントローラ内のファームウェアによって具現化され得る。
システム１４００はまた、スクリーン設計モジュール１４１０及びタッチコントローラ構成モジュール１４１４を含んでもよい。スクリーン設計モジュール１４１０は、タッチスクリーン１４０２に選択的に表示され得る１つ以上の異なるスクリーン（ページとも称される）の各々についてスクリーン設計を定義又は構成してもよい。各スクリーンに関して、スクリーン設計モジュール１４１０は、スクリーン内に含めるための仮想ウィジェット、及び選択されたウィジェットの配置／レイアウトを選択してもよい。スクリーン設計モジュール１４１０は、スクリーン設計（複数可）を記憶のためにヘッドユニット１４０６に通信することができ、ヘッドユニット１４０６は、例えば、（例えば、ヘッドユニット１４０６によって提供されたスクリーン選択ステートマシンを使用して）ディスプレイのために現在選択されているスクリーンに適切に基づいて、スクリーンデザインをＧＵＩ要素探索エンジン１４２４に選択的に提供することができる。次いで、ヘッドユニット１４０６又は代替的に、タッチコントローラ構成モジュール１４１４は、例えば、仮想ウィジェットの様々な選択及び／又は配置を使用して、複数の異なるスクリーンのどれが現在表示されているかを制御することによって、タッチスクリーン上のディスプレイを制御することができる。
スクリーン設計モジュール１４１０はまた、スクリーン設計のいずれかに含まれる各仮想ウィジェットのパラメータ１４１２を定義し、記憶のために、対応のウィジェット定義１４１６をタッチコントローラ構成モジュール１４１４に通信してもよい。タッチコントローラ構成モジュール１４１４は、このため１つ又は複数のタイプの関連するＵＩ要素の定義された集合を含み得る、各仮想ウィジェットに対するウィジェット定義を記憶することができる。示されるように、タッチコントローラ構成モジュール１４１４は、現在表示されているスクリーン内に含まれるウィジェット定義を有するＧＵＩ要素探索エンジン１４２４を提供して、ＧＵＩ要素探索エンジン１４２４が、タッチスクリーン上の検出されたタッチに基づいて、仮想ウィジェットとのユーザ対話を検出することを可能にする。
上記で言及されたように、各仮想ウィジェットは、タッチスクリーン上に表示された形状の任意の集合体を含んでもよい。各仮想ウィジェットは、ウィジェットＩＤ及びスクリーン上の相対位置を有することができる。仮想ウィジェットは、例えば、ボタン番号（ボタンタイプウィジェット用）、ロータ位置／変化（ロータタイプウィジェット用）、又はスライダ位置／変化（スライダタイプウィジェット用）などのパラメータによって更に定義されてもよい。仮想ウィジェットはまた、例えば、ヘッドユニットによってページングされ得る形状構成によって画定されてもよい。
動作中、ユーザがタッチスクリーン１４０２にタッチ／接触するとき、タッチコントローラ１４０４の感知回路は、１４２０においてセンサ信号を測定し、タッチスクリーン１４０２において測定された接触に応答して１つ以上の測定信号を生成することができる。接触測定及び処理１４２０、１４２２は、タッチ情報（例えば、場所、タイプ、力など）を判定し、それにＧＵＩ要素探索エンジン（又は「形状探索」モジュール）１４２４を提供することができる。次いで、ＧＵＩ要素探索エンジン１４２４は、例えば、ウィジェット定義１４１６内に含まれるウィジェット場所及び形状パラメータに基づいて、タッチ場所が現在表示されている仮想ウィジェットに対応するかどうかを判定することができる。この判定は、ＵＩ要素タッチ検出について上記で考察された様々な技術のいずれかを用いることができる。
ＧＵＩ要素探索エンジン１４２４が、タッチ場所が現在表示されている仮想ウィジェットに対応すると判定する場合、探索エンジン１４２４は、ウィジェット内のＵＩ要素（複数可）がタッチされているか、及び／又は、タッチされる仮想ウィジェットに関する他の関連情報である、対応のウィジェットＩＤ、ウィジェット形状インデックスを含むウィジェット情報１４２６をウィジェット処理モジュール１４２８に通信してもよい。１４２８では、ウィジェット処理モジュール１４２８は、ＧＵＩ要素探索エンジン１４２４から受信したウィジェット情報１４２６、及び／又はウィジェット定義情報１４１６のいずれかを含むウィジェットメッセージ１４３０を、メッセージインターフェース１４３４に生成することができ、これはウィジェット処理モジュール１４２８からヘッドユニット１４０６への情報を含むイベント報告１４４０を転送することができる。
いくつかの実施形態では、ウィジェット処理モジュール１４２８は、各々の関連するウィジェットタッチイベントについてのイベント報告１４４０を生成することができ、これは、例えば、ウィジェット定義１４１６又はヘッドユニット１４０６及び／若しくはタッチコントローラ１４０４に生成されるか、ないしは別様にアクセス可能な他のロジックによって定義されるような、触覚応答又は他のユーザフィードバック若しくは制御機能をトリガする各ウィジェットタッチイベントを含み得る。例えば、関連するウィジェットタッチイベントは、例えば、それぞれの機能をオン／オフにするか、又は調節可能な制御パラメータ（例えば、音量、ファン速度、ディスプレイ輝度など）を増減させることによって、ウィジェットと関連付けられた設定を変更するウィジェット上のタッチイベントを含んでもよい。ウィジェット処理モジュール１４２８は、ＧＵＩ要素探索エンジン１４２４及び／又はウィジェット定義情報１４１６から受信したウィジェット情報１４２６から関連するウィジェットタッチイベントを識別することができる。
このため、ヘッドユニット１４０６は、メッセージインターフェース１４３４を介してウィジェット処理モジュール１４２８からウィジェット関連イベントレポート１４４０を受信し、タッチスクリーン１４０２で表示されたスクリーンの態様を制御することによって、及び／又は、タッチされる仮想ウィジェットと関連付けられた少なくとも１つの外部システム若しくはデバイス、例えば、ラジオ、インフォテインメントシステム、地図／ガイダンスシステム、光、ファン、モータ、エンジンなどを制御することによって、各イベントレポート１４４０に応答することができる。いくつかの実施形態では、ヘッドユニット１４０６は、それぞれのアクチュエータ（複数可）を制御して、例えば、ウィジェット定義情報１４１６によって定義されるように、タッチの場所において定義された触覚フィードバックをユーザに提供することができる。他の実施形態では、タッチスクリーン１４０２を介した触覚フィードバックは、ヘッドユニット１４０６ではなく、タッチコントローラ１４０４によって制御及び提供されてもよく、これはユーザにフィードバックを提供するための応答時間が増加し得る。
更に、図１４内の１４３２に示されるように、タッチコントローラ１４０４は、処理された全てのタッチ情報をメッセージインターフェース１４３４に転送するように構成されてもよく、イベント報告１４４０を介して、そのような情報をヘッドユニット１４０６に生成及び転送してもよい。いくつかの実施形態では、ウィジェット処理モジュール１４２８は、例えば、ウィジェット処理モジュール１４２８からヘッドユニット１４０６にウィジェットメッセージ１４３０／ウィジェット関連イベントレポート１４４０の生成及び転送中に、仮想ウィジェットタッチがＧＵＩ要素探索エンジン１４２４によって識別されるとき、このタッチ情報１４３２の転送を無効化又は中断するためのイネーブル／ディスエーブルスイッチ／ロジック１４４２を制御してもよい。
仮想ウィジェットを利用することは、ヘッドユニット１４０６の必要とされる処理を単純化することができる。例えば、仮想ウィジェットの使用は、単一のスクリーン設計が複数のアプリケーションを有することを可能にし得る。例えば、１つのインターフェースが、好適な構成を介して、全ての製品バリアントを扱うことができる。
図１５は、１つの例示的な実施形態による、タッチスクリーンＧＵＩ１５００上に表示された例示的なラジオスクリーン（又はページ）１５０２を示し、ラジオスクリーン／ページ１５０２は、ＵＩ要素の様々なグループを含む仮想ウィジェット１５０４の配置を含む。タッチスクリーンＧＵＩ１５００は、ラジオ及び／又は１つ以上の他のシステム若しくはデバイス（例えば、インフォテインメントシステム、地図／ガイダンスシステム、光、ファン、モータ、エンジンなど）を制御するために、任意の数及びタイプの異なるスクリーン／ページを選択的に表示するように構成されてもよい。
この実施例では、ラジオスクリーン／ページ１５０２は、ラジオウィジェット１５０４Ａ、１対のラジオモードウィジェット１５０４Ｂ及び１５０４Ｃ、チャネルプリセットウィジェット１５０４Ｄ、ステートウィジェット１５０４Ｅ、音量制御アクティブ化ウィジェット１５０４Ｆかつ音量調整ウィジェット１５０４Ｇ、チューナ制御アクティブ化ウィジェット１５０４Ｈ及びチューナ調節ウィジェット１５０４Ｉ、低音制御ウィジェット１５０４Ｊ、並びに高音制御ウィジェット１５０４Ｋを含む、様々な例示的な仮想ウィジェット１５０４を含む。
上記で考察された接触感応性ＧＵＩ（例えば、タッチスクリーン）は、任意の好適な製品又はシステム、例えば、家庭用電化製品、又は自動車制御装置に使用することができる。いくつかの実施形態では、タッチスクリーン制御は、個別のマイクロプロセッサ／チップを必要とせずに、例えば、マイクロコントローラ内で具現化されたファームウェアによって提供されてもよい。
ＧＵＩ（例えば、タッチスクリーン）は、構成を介して定義及び変更され得るため、同じＧＵＩハードウェアが、複数の異なる目的のために、及び／又は複数の異なるユーザ若しくは顧客によって使用され、かつ選択的に構成されてもよい。更に、同じＧＵＩハードウェアは、製品範囲にわたって複数の異なるインターフェースオプションを提供することができる。従来の手法は、典型的には、別個の制御を提供し、及び／又はヘッドユニットを使用して、タッチスクリーン上のボタン押下若しくは他の接触を判定し、これは開示されたシステムの柔軟性を提供することができず、付加的な処理リソース又は時間を必要とし得る。
タッチスクリーンの異なる部分に関する異なる特性及び応答を定義する能力は、上記で開示されたＵＩ要素／形状探索アルゴリズムによって主に提供され、センサ領域の可撓性定義を可能にする。これは、従来のタッチスクリーン設計の典型的な態様ではない。更に、ＵＩ要素／ウィジェットのための別個のメッセージングストリームの追加は、機能が、任意の物理デバイスを必要とせずに、そのようなロータ及びスライダを仮想的に作成することを可能にする。同じ機能により、任意の形状がそれ自体のＩＤで、仮想ウィジェットとして報告されることを可能にし、従来のタッチスクリーン処理をバイパスする。
静的ウィジェット
いくつかの実施形態は、人物に触覚フィードバックを提供するためのタッチスクリーン表面に組み込まれた、例えば、物理的なリッジ、凹み、溝などの静的な物理的構造を含んでもよい。このような構造体は、本明細書では、「静的ウィジェット」と称される。いくつかの実施形態では、静的ウィジェットは、仮想ウィジェット（上記で考察）と組み合わせて使用されてもよく、例えば、仮想ウィジェットは、タッチスクリーン表面内に物理的に統合された対応する静的ウィジェットと同時に位置付けられ、対応する形状を有してもよい。上記で考察されたように、仮想ウィジェットは、関連付けられたヘッドユニットに対して、位置、回転、「タッチされた」状態、報告されたタッチの数などを報告することができる。
静的ウィジェットは、タッチスクリーンで表示される対応する仮想ウィジェット又は他のＵＩ要素に物理的「感触」を提供することができる。このため、静的ウィジェットは、ユーザが、タッチスクリーンを見ることなく感触によってタッチスクリーンＧＵＩにおいて入力を提供することを可能にし得、これは、ユーザの視覚的焦点が他の場所に方向付けられ得る、自動車用途又は他の用途において特に有用であり得る。いくつかの実施形態では、システムは、システムがウィジェット領域の特別なタッチ処理を提供し得るため、タッチされている静的ウィジェットの制御位置を、スクリーン上のタッチの位置座標に対するものとしてヘッドユニットに報告するように構成される。
静的ウィジェットは、従来のシステムと比較して、システムの堅牢性を増加させるために物理的移動部品を置き換えることができ、構成要素数及びプロセッサ間インターフェースを低減することができる。加えて、静的ウィジェットの１つ以上のタイプ又は形状の複数のインスタンスは、単一のスクリーン上に提供することができる。場合によっては、静的ウィジェットは、１つ以上のロータ（ダイヤル又はノブ）、スライダ、ボタン、スイッチ、又は任意の他のタイプの物理的インターフェースを置き換えるために使用されてもよい。
図１６は、例示的な実施形態による、２つの例示的な静的ウィジェット１６００、特に両方がタッチセンサ１６０８、例えば、静電容量センサの上のカバーガラス層１６０４内に形成された、例示的なリッジタイプ静的ウィジェット１６００Ａ、及び例示的な溝タイプ静的ウィジェット１６００Ａを例示する。
いくつかの実施形態では、ヘッドユニットは、スクリーン内に提供された各静的ウィジェット１６００に対応するディスプレイ領域を制御することができる。例えば、ヘッドユニットは、例えば、それらの対応するウィジェットＩＤによって特定の仮想ウィジェットを動的に呼び出すことによって、各静的ウィジェット１６００において表示された仮想ウィジェットを動的に制御することができる。このため、例えば、異なる仮想ウィジェットは、それぞれの各静的ウィジェット１６００において選択的に表示されてもよい。いくつかの実施形態では、特定の静的ウィジェット１６００において選択的に表示可能な異なる仮想ウィジェットは、特定の静的ウィジェット１６００に対応する同じ形状を有してもよい。上記で考察されたように、仮想ウィジェットは、タッチスクリーンコントローラによって管理されてもよい。
図１７Ａ及び図１７Ｂは、例示的な実施形態により、各々円形の溝又はリッジとして具現化される２つの静的ウィジェット１７０２及び１７０４を含む、例示的なタッチスクリーン１７００の、２つの異なるモードにおける２つの図を例示する。図１７Ａでは、「チューナモード」が、現在選択されており、ヘッドユニット１７０８は、静的ウィジェット１７０２及び１７０４の場所において表示された第１の１対の仮想ウィジェット、すなわち、それぞれ、静的ウィジェット１７０２及び１７０４の場所において表示された円形の「音量」仮想ウィジェット１７１２、及び円形の「同調」仮想ウィジェット１７１４を含む、第１のスクリーン１７１０Ａをタッチスクリーン１７００において表示する。ユーザが「モード」ボタン１７２０を押すとき、ヘッドユニット１７０８は、静的ウィジェット１７０２及び１７０４の場所において表示された第２の１対の仮想ウィジェット、すなわち、それぞれ、静的ウィジェット１７０２及び１７０４の場所において表示された円形の「低音」仮想ウィジェット１７２２、及び円形の「高音」仮想ウィジェット１７２４を含み得る、「低音／高音」モードのための第２のスクリーン１７２０Ｂを呼び出すことができる。
図１８は、１つの例示的な実施形態による、タッチスクリーンカバー（例えば、ガラス層）１８０２内に形成された円形の物理的溝として具現化された、例示的な静的ウィジェット１８００の角度付き側面図を例示する。
上記で考察された図１４を参照すると、スクリーン設計モジュール及び／又はタッチコントローラ構成モジュールは、スクリーンの幾何学的形状に基づいて、各スクリーン（又はページ）及び／又は仮想ウィジェット若しくは各スクリーン／ページ内の他のＵＩ要素の構成／レイアウトを導出することができる。仮想ウィジェットは、スクリーンの物理的構造の下に存在してもよく、このため任意の静的ウィジェットの下に存在してもよく、上記で考察されたように、ウィジェットメッセージをヘッドユニットに送信することができる。いくつかの実施形態では、仮想ウィジェットは、例えば、ヘッドユニットから別個に実行され得る、ゲイン及び閾値問題を含む、複雑なタッチ報告を生成することができる。
埋め込まれた静的ウィジェット
いくつかの実施形態は、タッチスクリーンカバーの本体とは異なる１つ以上の材料から静的ウィジェット構造を形成することにより、上記で考察された静的ウィジェットの強化を提供することができる。このため、静的ウィジェットは、タッチスクリーンカバーの本体内に少なくとも部分的に埋め込まれるか、又は別様に物理的に結合されてもよく、このため、「埋め込まれた静的ウィジェット」と称される場合がある。以下で考察されるように、いくつかの実施形態では、埋め込まれた静的ウィジェットは、タッチスクリーンカバーの本体よりも高い誘電率を有する材料から形成されて、例えば、所望の性能に応じて、リッジにわたって一定のタッチ静電容量を提供し、又は強化された若しくは低減された静電容量を提供してもよい。
上記で考察されたように、静的ウィジェットは、ユーザに触覚フィードバックを提供することができ、例えば、移動部分を有しない、スクリーン内の静的リッジ又は溝として具現化されてもよい。更に、上記で考察されたように、同時に位置付けられた仮想ウィジェットは、タッチが検出されたときに、ウィジェットメッセージをヘッドユニットに送信することができ、このウィジェットメッセージは、位置、回転、「タッチされた」状態、報告されたタッチの数などを示すことができる。
加えて、上記で開示されたように、埋め込まれた静的ウィジェットの使用は、グローブを着用しているユーザの指の検出を強化することができる。
例えば、静電容量センサがカバーガラス内のリッジ又は溝の下に配置される、いくつかの静的ウィジェット設計によって、タッチ信号は、カバーガラスの厚み及びタッチサイズ（面積）に依存し得る。カバーガラスが薄く、タッチが平坦である場合、タッチベース静電容量は、以下の等式によって定義又は概算され得る。
Figure 0007269924000001
等式１ａによれば、２つの正積平行プレートの静電容量Ｃは、１つのプレートの面積（Ａ）の積、プレートを分離する厚み（ｔ）、及びプレートを分離する空間の誘電率（ε）である。合計誘電率εは、自由空間（εo）の誘電率及び材料の相対誘電率（εr）の積である。
代替的に、指が小さく見え、スクリーンから遠い場合、スクリーンノードが固定サイズを有することを所与として、タッチベース静電容量は、以下の等式によって概算され得る。
Figure 0007269924000002
典型的な実施形態及び状況では、真のタッチベース静電容量は、等式１ａと等式１ｂとの間に収まり得る
Figure 0007269924000003
 このため、リッジ又は他の物理的構造が厚みｔを倍にする場合、静電容量Ｃは、例えば、等式１ａ又は等式１ｂが特定の状況に適しているかどうかに応じて、２～４の因数だけ低減される。このため、システムは、例えば、タッチ検出などに関連するファームウェアの複雑化を引き起こすことなく、ユーザに触覚的な感触を提供するために、追加のタッチ処理を提供して、スクリーン内のリッジ、溝、及び他の物理的な構造に対して平衡させ、又は対処することができる。
このため、いくつかの実施形態は、タッチスクリーンカバー（例えば、ガラス又はポリマー）のベース材料とは異なる、リッジ又は他の静的ウィジェット構造のための材料を使用することができる。更に、仮想ウィジェットは、例えば、上記で考察されたように、ウィジェットメッセージを管理するために用いられてもよい。
図１９は、１つの例示的な実施形態による、静電容量センサ１９０４の上に配置されたタッチスクリーンカバー１９０２内の例示的なリッジタイプ静的ウィジェット１９００の例示的な構造を例示する。リッジタイプ静的ウィジェット１９００は、タッチスクリーンカバー１９０２内に形成された溝１９２０内に形成されたインサートとして具現化されてもよい。
上記等式１ａ及び等式１ｂにより、高誘電率の影響は、静電容量結合における変化である。
タッチが平坦に見える状況に関して、等式１ａに基づき、図１９内に示される例示的な構造を参照すると、タッチスクリーンカバーの基材は、誘電定数cを有し、リッジ材料は、誘電定数を有し、平均誘電率は以下のように表され得る。
Figure 0007269924000004
 これは、以下の場合、常に一定に維持することができる。
Figure 0007269924000005
しかしながら、タッチ応答が等式１ｂ：
Figure 0007269924000006
 （例えば、指が小さく見え、スクリーンから遠く離れている場合）の傾向がある場合、平均誘電率は、以下のように表され得る。
Figure 0007269924000007
 これは、以下の場合、常に一定に維持することができる。
Figure 0007269924000008
このため、誘電定数は、タッチが平坦である（等式１ａを適用する）か、否（等式１ｂを適用する）かに関わらず、常に一定に保つことができる。異なる誘電定数の存在は、所望に応じて、リッジインサート内で使用される（選択された誘電定数（複数可）を有する）特定の材料（複数可）を選択することによって、静的ウィジェットの領域内のタッチ応答を強化又は低減させるために使用され得る。
例えば、リッジタイプのウィジェットのカバー基材及びリッジ材料は、リッジ材料の誘電率が、カバー基材の誘電率c超、又はそれ未満であるように選択されてもよい。いくつかの実施形態では、スクリーンカバー材料、リッジ材料、リッジの形状、リッジの高さｒ、リッジの深さｈ、リッジの厚み（例えば、最も厚い点における厚みｔr＝ｈ＋ｒ）、ベースラインカバーの厚みｔcb、及び／又はリッジ下の低減されたカバーの厚みｔcbのうちのいずれかを含む静電容量に関するパラメータ一式は、リッジから除去されたスクリーンの基準領域（すなわち、厚みｔを有するカバー材料）と比較して、リッジ上の１つ以上の場所において、向上した、中性の、又は低減された静電容量性タッチ検出感度を提供するために集合的に選択され得る。
例えば、全ての静電容量関連パラメータのいずれも、リッジ上の全ての点／領域において、（基準領域と比較して）向上した静電容量又は低減された静電容量を提供するように選択されてもよい。別の実施例として、全ての静電容量関連パラメータのいずれも、リッジ上の選択された点／領域において、向上した静電容量を提供するように選択されてもよいが、リッジ上の他の点／領域では中性の又は低減された静電容量を提供するように選択されてもよく、逆もまた同様である。例えば、図１９を参照すると、カバー材料、ベースラインカバー厚みｔbr、低減されたカバー厚みｔcrリッジ材料、リッジ形状、及びリッジ厚みｔrは、１９１０で示された、リッジの中心点又は領域において向上した静電容量を提供するように選択されてもよいが、１９１２で示された、リッジの外側縁部付近に中性の又は低減された静電容量を提供するように選択されてもよい。
１つの例示的な実施形態では、図１９に示される例示的なリッジタイプ静的ウィジェット１９００は、スクリーンカバー１９０２よりも高い誘電率を有する材料（複数可）から形成されて、リッジ１９００にわたって一定の又は実質的に一定のタッチ静電容量を提供することができる。
一実施形態では、例えば、ロータを画定するリッジタイプ静的ウィジェットは、様々な角度付き誘電率を有してもよく、そのため、いくつかの場所では、タッチはより大きく見え（高い誘電率）、他の場所では、タッチはより小さく見え（低い誘電率）、異なるウィジェットの場所間の識別を強化する。
１つの例示的な実施形態では、タッチスクリーンカバー１９０２は、誘電定数c＝３．５を有するポリマーから形成され、リッジインサートは、約８（例えば、７～８．５）の誘電率を有するガラスから形成される。例えば、リッジインサートは、関連する処理速度で、例えば、Ｃｏｒｎｉｎｇ（登録商標）によるＧｏｒｉｌｌａ（登録商標）Ｇｌａｓｓ、又は７～８．５（例えば、７．７５）の誘電率を有する任意の類似のガラス製品などの、強化ガラスから形成されてもよい。
更に、いくつかの実施形態では、静的ウィジェットは、静的ウィジェットの全体的なタッチ感応性応答を制御するために、例えば、異なる誘電率を有する、複数の異なる材料から形成された複数の層、区分、又は領域を含んでもよい。例えば、静的ウィジェットは、（例えば、ガラス又はポリマーから形成される）ベースカバー層の上に形成されるか、ベースカバー層内に挿入されるか、又は別様にベースカバー層に固定されてもよく、第１の誘電率を有する第１の材料から形成された中央領域又は主領域と、第１の誘電率とは異なる（より大きい、又はそれ未満の）第２の誘電率を有する第２の材料から形成された１つ以上の二次領域と、を含み得、第１及び第２の誘電率の各々は、ベースカバー層材料と同じであってもよい。
図２０は、１つの例示的な実施形態による、静電容量センサ２００４の上に配置されたタッチスクリーンカバー２００２内の例示的なリッジタイプ静的ウィジェット２０００を例示する。リッジタイプ静的ウィジェット２０００は、図１９で示され、上記で考察されたリッジタイプ静的ウィジェット１９００と概して同様であってもよいが、１対の縁部リッジ構成要素又は領域２０１２Ａと２０１２Ｂとの間に形成された中央リッジ構成要素又は領域２０１０を含む、多構成要素インサートとして形成されてもよい。中央リッジ構成要素又は領域２０１０は、第１の誘電率を有する第１の材料から形成されてもよく、一方で縁部リッジ構成要素又は領域２０１２Ａ及び２０１２Ｂは、第１の誘電率とは異なる（より大きい、又はそれ未満の）第２の誘電率を有する第２の材料から形成されてもよい。第１及び第２の材料の各々は、ベースカバー層２００２の材料と同じであっても、又は異なっていてもよい。更に、第１及び第２の材料の第１及び第２の誘電率の各々は、ベースカバー層材料の誘電率と同じであっても、（より大きく、又はそれ未満に）異なっていてもよい。
図２０に示される例示的な実施形態では、タッチスクリーンカバー層２００２は、誘電定数c＝３．５を有するポリマーから形成され、リッジタイプ静的ウィジェット２０００は、（ｂ）ベースカバー層２００２と同じポリマーから形成され、したがって誘電定数1＝３．５を有する１対の外側部領域２０１２Ａ及び２０１２Ｂとの間に形成された、（ａ）強化ガラスから形成された中央リッジ構成要素２０１０（例えば、Ｃｏｒｎｉｎｇ（登録商標）によるＧｏｒｉｌｌａ（登録商標）Ｇｌａｓｓ、又は誘電率2＝約８（例えば、７～８．５）を有する上記で考察された任意の類似のガラス製品を含む、多構成要素インサートとして形成される。
他の実施形態では、多構成要素静的ウィジェットは、図１９及び図２０に示される実施例のように、横方向とは反対に、互いに対して垂直に（例えば、積層体形成で）配置された複数の層又は構成要素で形成されてもよい。
本明細書に記載の機能ユニットの多くは、それらの実施独立性をより具体的に強調するために、モジュール、スレッド、又はプログラミングコードの他のセグリゲーションとして図示、説明、又は標識化されてもよい。モジュールは、ある形態又は別の形態で、少なくとも部分的にハードウェアに実装されてもよい。例えば、モジュールは、カスタムＶＬＳＩ回路又はゲートアレイ、ロジックチップ、トランジスタ、又は他の別個の構成要素などの既製の半導体を備えるハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイ論理、プログラマブル論理デバイスなどプログラマブルハードウェアデバイスに実装されてもよい。
モジュールはまた、様々な種類のプロセッサによる実行のために、物理記憶デバイス（例えば、コンピュータ可読記憶媒体）、メモリ、又はそれらの組み合わせに記憶されたソフトウェア又はファームウェアを使用して実装されてもよい。
実行可能コードの識別されたモジュールは、例えば、例えば、スレッド、オブジェクト、プロシージャ、又は関数として編成され得るコンピュータ命令の１つ以上の物理ブロック又は論理ブロックを含んでよい。それにもかかわらず、実行可能な識別されたモジュールは、物理的に一緒に位置付けられる必要はないが、論理的に一緒に結合されたときにモジュールを含み、モジュールの規定の目的を達成する、異なる場所に記憶された異なる命令を含んでよい。
実際に、実行可能コードのモジュールは、単一の命令、又は多くの命令であってよく、異なるプログラムの間のいくつかの異なるコードセグメントにわたって、またいくつかの記憶装置又はメモリデバイスにわたって分散されてもよい。同様に、動作データは、モジュール内で識別され、本明細書に例示されてよく、任意の好適な形態で具現化され、任意の好適な種類のデータ構造内で編成されてもよい。動作データは、単一のデータセットとして収集されてもよく、又は異なる記憶デバイスにわたって異なる場所に分散されてもよく、少なくとも部分的には、単にシステム又はネットワーク上の電子信号として存在してもよい。モジュール又はモジュールの一部がソフトウェアに実装される場合、このソフトウェア部分は、本明細書でコンピュータ可読媒体と称される１つ以上の物理デバイスに記憶される。
いくつかの実施形態では、このソフトウェア部分は、このソフトウェア部分又はその表現がある期間にわたって同一の物理的位置に存続するように、非一時的状態で記憶される。更に、いくつかの実施形態では、このソフトウェア部分は、非一時的状態及び／又はこのソフトウェア部分を表す信号を記憶できるハードウェア要素を含む１つ以上の非一時的記憶デバイスに記憶される。ただし、非一時的記憶デバイスの他の部分は、信号の変更及び／又は送信を実行し得る。非一時的記憶デバイスの実施例は、フラッシュメモリ及びランダムアクセスメモリ（random-access memory、ＲＡＭ）を含む。非一時的記憶デバイスの別の例としては、ある期間にわたって、このソフトウェア部分を表す信号及び／又は状態を記憶できるリードオンリーメモリ（read-only memory、ＲＯＭ）が挙げられる。しかしながら、信号及び／又は状態を記憶する能力は、記憶された信号及び／又は状態と同一である、又はこれらを表す信号を送信する更なる機能によって低下しない。例えば、プロセッサは、対応するソフトウェア命令を実行するために、ＲＯＭにアクセスして記憶された信号及び／又は状態を表す信号を取得し得る。
本開示は、特定の例示される実施形態に関して本明細書に記載されているが、当業者は、本発明がそのように限定されないことを認識し、理解するであろう。むしろ、以下にそれらの法的等価物と共に特許請求されるような本発明の範囲から逸脱することなく、例示され、説明される実施形態に対して数多くの追加、削除、及び修正を行うことができる。加えて、ある実施形態の特徴は、本発明者らによって想到されるように、別の開示した実施形態の特徴と組み合わせることができるが、それでも、本開示の範囲内に包含される。

Claims (11)

  1. タッチスクリーンシステムであって、
    誘電率と表面を有する第１の材料から形成されたタッチスクリーンカバー層と、
    前記タッチスクリーンカバー層に結合され、指に触覚フィードバックを提供する非平面的な表面テクスチャを画定する、触覚構造体であって、前記触覚構造体の非平面的な表面テクスチャを画定する部分はタッチスクリーンカバー層の前記第１の材料とは異なる誘電率を有する少なくとも１つの第２の材料から形成され、前記タッチスクリーンカバー層の前記表面と前記非平面的な表面テクスチャはタッチ可能な外表面である、触覚構造体と、を備える、タッチスクリーンシステム。
  2. 前記タッチスクリーンカバー層の下に配置されており、前記触覚構造体上のタッチ、及び前記タッチスクリーンカバー層の他の領域上のタッチを検出するように構成されている、静電容量センサを更に備える、請求項１に記載のタッチスクリーンシステム。
  3. 前記タッチスクリーンカバー層の下にあり、かつ前記触覚構造体に対応する場所において仮想ユーザインターフェース要素を含むグラフィカルユーザインターフェースを表示するように構成されている、タッチスクリーン表示要素を更に備える、請求項１に記載のタッチスクリーンシステム。
  4. 前記タッチスクリーンカバー層の下にあり、かつ前記触覚構造体に対応する場所において仮想ウィジェットを含むグラフィカルユーザインターフェースを表示するように構成されている、タッチスクリーン表示要素を更に備える、請求項１に記載のタッチスクリーンシステム。
  5. 前記触覚構造体は、前記タッチスクリーンカバー層の前記第１の材料よりも高い誘電率を有する少なくとも１つの第２の材料から形成されている、請求項１に記載のタッチスクリーンシステム。
  6. 前記触覚構造体は、前記タッチスクリーンカバー層の前記第１の材料よりも低い誘電率を有する少なくとも１つの第２の材料から形成されている、請求項１に記載のタッチスクリーンシステム。
  7. 前記触覚構造体は、異なる誘電率を有する２つの異なる材料から形成されている、請求項１に記載のタッチスクリーンシステム。
  8. 前記触覚構造体は、リッジ又は凹みを画定する、請求項１に記載のタッチスクリーンシステム。
  9. 請求項１～８のいずれか一項に記載のタッチスクリーンシステムを有するユーザインターフェースシステムであって、
    前記タッチスクリーンカバー層の下にあり、かつ前記触覚構造体に対応する場所において仮想ユーザインターフェース要素を含むグラフィカルユーザインターフェース（ＧＵＩ）を表示するように構成されている、タッチスクリーン表示要素と、
    前記仮想ユーザインターフェース要素の場所におけるタッチを識別することと、前記仮想ユーザインターフェース要素を識別することと、前記仮想ユーザインターフェース要素と関連付けられたアクションを開始することと、を行うように構成されている、プロセッサと、を備える、ユーザインターフェースシステム。
  10. 前記プロセッサは、マイクロコントローラ内に提供される、請求項９に記載のユーザインターフェースシステム。
  11. 請求項１～１０に記載のシステムのいずれかによって実行される動作を含む、方法。
JP2020522695A 2017-10-24 2018-10-24 触覚フィードバック構造体及び対応する仮想ユーザインターフェース要素を含むタッチスクリーン Active JP7269924B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762576563P 2017-10-24 2017-10-24
US201762576383P 2017-10-24 2017-10-24
US62/576,383 2017-10-24
US62/576,563 2017-10-24
US16/165,241 2018-10-19
US16/165,241 US10747404B2 (en) 2017-10-24 2018-10-19 Touchscreen including tactile feedback structures and corresponding virtual user interface elements
PCT/US2018/057208 WO2019084082A1 (en) 2017-10-24 2018-10-24 TOUCH SCREEN COMPRISING TOUCH FEEDBACK STRUCTURES AND CORRESPONDING VIRTUAL USER INTERFACE ELEMENTS

Publications (3)

Publication Number Publication Date
JP2021500667A JP2021500667A (ja) 2021-01-07
JP2021500667A5 JP2021500667A5 (ja) 2021-12-02
JP7269924B2 true JP7269924B2 (ja) 2023-05-09

Family

ID=66169316

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020523241A Active JP7181929B2 (ja) 2017-10-24 2018-10-23 構成可能な仮想ウィジェットを含むタッチ感応性ユーザインターフェース
JP2020522695A Active JP7269924B2 (ja) 2017-10-24 2018-10-24 触覚フィードバック構造体及び対応する仮想ユーザインターフェース要素を含むタッチスクリーン

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020523241A Active JP7181929B2 (ja) 2017-10-24 2018-10-23 構成可能な仮想ウィジェットを含むタッチ感応性ユーザインターフェース

Country Status (7)

Country Link
US (2) US10866697B2 (ja)
JP (2) JP7181929B2 (ja)
KR (2) KR102556638B1 (ja)
CN (2) CN111052060B (ja)
DE (2) DE112018005206T5 (ja)
TW (2) TWI787372B (ja)
WO (2) WO2019084002A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
DE102017214941A1 (de) 2017-08-25 2019-02-28 Dometic Sweden Ab Freizeitfahrzeug, Kühlvorrichtung, Steuerungssystem und Verfahren zur Steuerung der Kühlvorrichtung
USD936665S1 (en) * 2018-11-21 2021-11-23 Biosense Webster (Israel) Ltd. Portion of a computer screen with a graphical user interface
US11126341B2 (en) * 2019-02-21 2021-09-21 Htc Corporation Object manipulating method, host device and computer readable storage medium
USD919633S1 (en) * 2019-05-14 2021-05-18 Rasimo Systems LLC Display screen with graphics
TWI807372B (zh) * 2020-07-21 2023-07-01 美商酷比公司 虛擬化用戶介面設備
WO2022054472A1 (ja) * 2020-09-08 2022-03-17 アルプスアルパイン株式会社 入力装置
US11385777B2 (en) 2020-09-14 2022-07-12 UiPath, Inc. User interface (UI) mapper for robotic process automation
EP3971691A1 (en) * 2020-09-18 2022-03-23 Dometic Sweden AB A recreational vehicle user interface
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback
CN114911383B (zh) * 2022-06-02 2024-10-11 亿咖通(湖北)技术有限公司 窗口显示方法和车载终端
TWI846465B (zh) * 2023-05-12 2024-06-21 久正光電股份有限公司 具有表面觸覺回饋系統之顯示裝置
CN117608424B (zh) * 2024-01-24 2024-04-12 江苏锦花电子股份有限公司 一种基于物联网的触摸式旋钮屏管控系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086236A (ja) 2008-09-30 2010-04-15 Casio Computer Co Ltd タッチパネル
WO2016002675A1 (ja) 2014-06-30 2016-01-07 日本電気株式会社 スイッチモジュール、電子機器、および、電子機器の製造方法
JP2016218509A (ja) 2015-05-14 2016-12-22 株式会社東芝 電子機器、方法及びプログラム
JP2017527932A (ja) 2015-08-04 2017-09-21 シャオミ・インコーポレイテッド アプリケーションプログラムをアンインストールする方法と装置

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221757A (ja) * 2003-01-10 2004-08-05 Renesas Technology Corp 動き検出装置及び探索領域形状可変動き検出器
GB0313808D0 (en) * 2003-06-14 2003-07-23 Binstead Ronald P Improvements in touch technology
KR100958490B1 (ko) * 2004-07-30 2010-05-17 애플 인크. 사용자 인터페이스 방법, 미디어 항목들을 통해 스크롤하는방법, 디스플레이 및 터치 스크린을 갖는 사용자-조작되는전자 장치 상에서 수행되는 방법, 디스플레이 및 터치감지 입력 장치를 갖는 컴퓨팅 장치 상에서 수행되는 방법,컴퓨팅 시스템, 컴퓨팅 장치, 터치 감지 장치를 통해플로팅 컨트롤을 기동시키는 컴퓨터 구현 방법 및 컴퓨터구현 방법
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
CN104965621B (zh) * 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
US7791594B2 (en) * 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US8922502B2 (en) * 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US8547339B2 (en) * 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US8243038B2 (en) * 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US8928621B2 (en) * 2008-01-04 2015-01-06 Tactus Technology, Inc. User interface system and method
US8553005B2 (en) * 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US9557915B2 (en) * 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
US8115745B2 (en) * 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8659555B2 (en) * 2008-06-24 2014-02-25 Nokia Corporation Method and apparatus for executing a feature using a tactile cue
TW201005262A (en) * 2008-07-29 2010-02-01 Mitac Int Corp Navigation system
US20100060568A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Curved surface input device with normalized capacitive sensing
US10289199B2 (en) * 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
US20100088532A1 (en) * 2008-10-07 2010-04-08 Research In Motion Limited Method and handheld electronic device having a graphic user interface with efficient orientation sensor use
CA2680666A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited An electronic device having a state aware touchscreen
US20100088632A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited Method and handheld electronic device having dual mode touchscreen-based navigation
EP2175343A1 (en) * 2008-10-08 2010-04-14 Research in Motion Limited A method and handheld electronic device having a graphical user interface which arranges icons dynamically
US8760413B2 (en) * 2009-01-08 2014-06-24 Synaptics Incorporated Tactile surface
US8279184B2 (en) * 2009-01-27 2012-10-02 Research In Motion Limited Electronic device including a touchscreen and method
KR102051180B1 (ko) * 2009-03-12 2019-12-02 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
EP2457142B1 (en) * 2009-07-22 2019-12-25 Immersion Corporation Interactive touch screen gaming metaphors with haptic feedback across platforms
US8421761B2 (en) * 2009-08-26 2013-04-16 General Electric Company Imaging multi-modality touch pad interface systems, methods, articles of manufacture, and apparatus
US8730199B2 (en) * 2009-09-04 2014-05-20 Atmel Corporation Capacitive control panel
US20110099498A1 (en) 2009-10-26 2011-04-28 Barkol Omer Graphical user interface hierarchy generation
JP5704428B2 (ja) * 2009-11-18 2015-04-22 株式会社リコー タッチパネル装置及びタッチパネル装置の制御方法
WO2011087817A1 (en) * 2009-12-21 2011-07-21 Tactus Technology User interface system
US8619035B2 (en) * 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
EP2846465B1 (en) * 2010-04-14 2017-11-29 Frederick Johannes Bruwer Pressure dependent capacitive sensing circuit switch construction
WO2011133605A1 (en) * 2010-04-19 2011-10-27 Tactus Technology Method of actuating a tactile interface layer
EP2561424B1 (en) * 2010-04-23 2019-02-20 Immersion Corporation Systems and methods for providing haptic effects
GB201011146D0 (en) * 2010-07-02 2010-08-18 Vodafone Ip Licensing Ltd Mobile computing device
US8963874B2 (en) * 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US8311514B2 (en) * 2010-09-16 2012-11-13 Microsoft Corporation Prevention of accidental device activation
US20120105354A1 (en) * 2010-10-31 2012-05-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Tactile Feedback Cover Lens for a Capacitive Touchscreen System
US20120256862A1 (en) * 2011-04-11 2012-10-11 Kurt Wagner Touchscreen guide
US20120268386A1 (en) * 2011-04-19 2012-10-25 Karamath James Robert Touch-screen device including tactile feedback actuator
US20120284631A1 (en) * 2011-05-02 2012-11-08 German Lancioni Methods to adapt user interfaces and input controls
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US9671954B1 (en) * 2011-07-11 2017-06-06 The Boeing Company Tactile feedback devices for configurable touchscreen interfaces
US20120274596A1 (en) * 2011-07-11 2012-11-01 Ludwig Lester F Use of organic light emitting diode (oled) displays as a high-resolution optical tactile sensor for high dimensional touchpad (hdtp) user interfaces
US9778813B2 (en) * 2011-08-09 2017-10-03 Blackberry Limited Manipulating screen layers in multi-layer applications
JP5948074B2 (ja) * 2012-02-13 2016-07-06 株式会社日立ハイテクノロジーズ 画像形成装置及び寸法測定装置
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9471185B2 (en) * 2012-02-21 2016-10-18 Atmel Corporation Flexible touch sensor input device
CA2879180A1 (en) * 2012-03-07 2013-09-12 Snap Trends, Inc. Methods and systems of aggregating information of social networks based on geographical locations via a network
US9046972B2 (en) * 2012-03-23 2015-06-02 Nokia Technologies Oy Structure for a tactile display
WO2013173624A2 (en) 2012-05-16 2013-11-21 Tactus Technology, Inc. User interface and methods
JP5799908B2 (ja) * 2012-07-13 2015-10-28 株式会社デンソー タッチ式スイッチ装置
KR101916416B1 (ko) * 2012-07-30 2018-11-08 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 디스플레이 방법
KR101427917B1 (ko) * 2012-08-27 2014-08-08 현대자동차 주식회사 변형 가능한 터치 스크린
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US20140155690A1 (en) * 2012-12-05 2014-06-05 Ralph Clinton Morton Touchscreen Cunnilingus Training Simulator
US9323327B2 (en) * 2012-12-22 2016-04-26 Intel Corporation System and method for providing tactile feedback
KR102052153B1 (ko) * 2013-02-15 2019-12-17 삼성전자주식회사 보청기를 제어하는 휴대 단말 및 방법
KR102090964B1 (ko) * 2013-02-22 2020-03-19 삼성전자주식회사 터치 스크린에 디스플레이되는 아이콘을 제어하는 휴대 단말 및 방법
KR102154792B1 (ko) * 2013-02-28 2020-09-10 삼성전자주식회사 보호 케이스를 감지하는 방법 및 그 전자 장치
US9367938B2 (en) * 2013-02-28 2016-06-14 Nokia Technologies Oy Method and apparatus for automated real-time detection of overlapping painted markup elements
US9298324B1 (en) * 2013-03-11 2016-03-29 Amazon Technologies, Inc. Capacitive touch with tactile feedback
US9361074B2 (en) * 2013-03-15 2016-06-07 Keysight Technologies, Inc. Method for creating a user interface
EP2989525B1 (en) * 2013-04-26 2019-09-25 Immersion Corporation Simulation of tangible user interface interactions and gestures using array of haptic cells
US9470919B2 (en) * 2013-05-14 2016-10-18 Microsoft Technology Licensing, Llc Methods for producing a glass-based non planar digital display
KR20140137616A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 다자간 대화를 제어하는 휴대 단말 및 방법
US9182864B2 (en) * 2013-06-03 2015-11-10 Rajkumari Mohindra Pressure sensitive projected capacitive touch sensing
US10120447B2 (en) * 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
KR20150006235A (ko) * 2013-07-08 2015-01-16 삼성전자주식회사 결합된 ui 구성 요소를 제공하는 휴대 장치 및 그 제어 방법
US9092291B1 (en) * 2013-07-11 2015-07-28 Sprint Communications Company L.P. Dynamic updating and renaming virtual pre-installation stub applications
CN103455590B (zh) * 2013-08-29 2017-05-31 百度在线网络技术（北京）有限公司 在触屏设备中进行检索的方法和装置
US9176635B2 (en) * 2013-10-14 2015-11-03 Parade Technologies, Ltd. Virtual buttons for a touch interface
US20150109214A1 (en) * 2013-10-22 2015-04-23 Weidong Shi Methods and Apparatuses of touch-fingerprinting Display
US20150185946A1 (en) * 2013-12-30 2015-07-02 Google Inc. Touch surface having capacitive and resistive sensors
CN106407954A (zh) * 2014-01-28 2017-02-15 深圳市汇顶科技股份有限公司 一种指纹识别模组、指纹识别装置及具有其的移动终端
US10380933B2 (en) * 2014-02-07 2019-08-13 Samsung Electronics Company, Ltd. Display with high transparency
US10565925B2 (en) * 2014-02-07 2020-02-18 Samsung Electronics Co., Ltd. Full color display with intrinsic transparency
US10453371B2 (en) * 2014-02-07 2019-10-22 Samsung Electronics Co., Ltd. Multi-layer display with color and contrast enhancement
US10416801B2 (en) * 2014-04-08 2019-09-17 Atmel Corporation Apparatus, controller, and device for touch sensor hand-configuration analysis based at least on a distribution of capacitance values
US10031582B2 (en) * 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
US9696806B2 (en) * 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
CN104156133B (zh) * 2014-09-01 2017-04-19 深圳市华星光电技术有限公司 一种单层互容式触摸面板及电容式触摸屏
US20160328065A1 (en) * 2015-01-12 2016-11-10 Rockwell Collins, Inc. Touchscreen with Dynamic Control of Activation Force
KR20160088764A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 플렉서블 디바이스 및 그 동작 방법
US10416799B2 (en) * 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US9798413B2 (en) * 2015-08-27 2017-10-24 Hand Held Products, Inc. Interactive display
US9874965B2 (en) * 2015-09-11 2018-01-23 Apple Inc. Transparent strain sensors in an electronic device
JP6569415B2 (ja) * 2015-09-15 2019-09-04 株式会社リコー 表示入力装置、画像形成装置及び電子機器と表示制御方法並びにプログラム
KR20170046912A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
US10386940B2 (en) * 2015-10-30 2019-08-20 Microsoft Technology Licensing, Llc Touch sensing of user input device
US9875625B2 (en) * 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US20170192457A1 (en) * 2015-12-31 2017-07-06 AAC Technologies Pte. Ltd. Touch panle, haptics touch display using same, and manufacturing method for making same
US9898903B2 (en) * 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
WO2017172635A1 (en) * 2016-03-31 2017-10-05 Osisoft, Llc Event based data collection, integration, and presentation
US9916032B2 (en) * 2016-05-18 2018-03-13 Honeywell International Inc. System and method of knob operation for touchscreen devices
US10488996B2 (en) * 2016-05-18 2019-11-26 Sensel, Inc. System for detecting and confirming a touch input
CN106200929B (zh) * 2016-06-30 2018-10-30 南京中电熊猫液晶显示科技有限公司 电容式触觉反馈显示装置、工作方法及其检测方法
US20180025200A1 (en) * 2016-07-20 2018-01-25 Ib Korea Ltd. Luminescent film with quantum dots
KR102579132B1 (ko) * 2016-08-02 2023-09-18 삼성전자주식회사 디스플레이를 구비한 전자 장치
KR102535056B1 (ko) * 2016-08-03 2023-05-22 삼성전자 주식회사 전자 장치 및 터치 인식 방법
KR102673041B1 (ko) * 2016-08-18 2024-06-07 한화비전 주식회사 이벤트 검색 시스템, 장치 및 방법
US10372214B1 (en) * 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10206044B2 (en) * 2016-09-08 2019-02-12 Microsoft Technology Licensing, Llc Display structure having a visual display and an audio output
KR102580327B1 (ko) * 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10216335B1 (en) * 2016-10-18 2019-02-26 Google Llc Reducing false sensing of touchscreen inputs
US10209804B2 (en) * 2017-01-10 2019-02-19 Rockwell Collins, Inc. Emissive Display over resistive touch sensor with force sensing
US20180275757A1 (en) * 2017-03-23 2018-09-27 Immersion Corporation Systems and methods for in-cell haptics
EP3385831A1 (en) * 2017-04-04 2018-10-10 Lg Electronics Inc. Mobile terminal
US11226604B2 (en) * 2018-11-19 2022-01-18 Johnson Controls Tyco IP Holdings LLP Building system with semantic modeling based configuration and deployment of building applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086236A (ja) 2008-09-30 2010-04-15 Casio Computer Co Ltd タッチパネル
WO2016002675A1 (ja) 2014-06-30 2016-01-07 日本電気株式会社 スイッチモジュール、電子機器、および、電子機器の製造方法
JP2016218509A (ja) 2015-05-14 2016-12-22 株式会社東芝 電子機器、方法及びプログラム
JP2017527932A (ja) 2015-08-04 2017-09-21 シャオミ・インコーポレイテッド アプリケーションプログラムをアンインストールする方法と装置

Also Published As

Publication number Publication date
KR20200071722A (ko) 2020-06-19
KR102556638B1 (ko) 2023-07-17
DE112018004686T5 (de) 2020-06-04
WO2019084082A1 (en) 2019-05-02
US10866697B2 (en) 2020-12-15
DE112018005206T5 (de) 2020-06-18
CN111164549B (zh) 2023-11-03
US10747404B2 (en) 2020-08-18
KR102627023B1 (ko) 2024-01-18
TWI816706B (zh) 2023-10-01
JP2021500677A (ja) 2021-01-07
TWI787372B (zh) 2022-12-21
WO2019084002A1 (en) 2019-05-02
KR20200071721A (ko) 2020-06-19
US20190121500A1 (en) 2019-04-25
CN111164549A (zh) 2020-05-15
TW201923544A (zh) 2019-06-16
US20190121435A1 (en) 2019-04-25
CN111052060A (zh) 2020-04-21
TW201931076A (zh) 2019-08-01
CN111052060B (zh) 2023-11-24
JP2021500667A (ja) 2021-01-07
JP7181929B2 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
JP7269924B2 (ja) 触覚フィードバック構造体及び対応する仮想ユーザインターフェース要素を含むタッチスクリーン
JP7303119B2 (ja) ユーザインターフェース要素を識別するための技術及びその技術を使用するシステム及びデバイス
JP6894540B2 (ja) タッチの種類の判別方法及びこれを遂行するタッチ入力装置
EP2818988A2 (en) Electronic device and touch sensing method thereof
US9563321B2 (en) Method for detecting background signals of capacitive sensing device
KR102124619B1 (ko) 터치종류 판별방법 및 이를 수행하는 터치 입력 장치
US11073946B2 (en) Dynamic exclusion zone for touchscreen physical controls
KR102318556B1 (ko) 입력장치 및 그 제어방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R150 Certificate of patent or registration of utility model

Ref document number: 7269924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150