JP6952942B2 - タッチパネル装置、操作識別方法、及び操作識別プログラム - Google Patents

タッチパネル装置、操作識別方法、及び操作識別プログラム Download PDF

Info

Publication number
JP6952942B2
JP6952942B2 JP2021543853A JP2021543853A JP6952942B2 JP 6952942 B2 JP6952942 B2 JP 6952942B2 JP 2021543853 A JP2021543853 A JP 2021543853A JP 2021543853 A JP2021543853 A JP 2021543853A JP 6952942 B2 JP6952942 B2 JP 6952942B2
Authority
JP
Japan
Prior art keywords
touch
pressing
threshold value
value
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021543853A
Other languages
English (en)
Other versions
JPWO2021044535A1 (ja
Inventor
壮平 大澤
壮平 大澤
佐々木 雄一
雄一 佐々木
晶仁 山本
晶仁 山本
森 健太郎
健太郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021044535A1 publication Critical patent/JPWO2021044535A1/ja
Application granted granted Critical
Publication of JP6952942B2 publication Critical patent/JP6952942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G06F3/04144Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position using an array of force sensing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Description

本発明は、タッチパネル装置、操作識別方法、及び操作識別プログラムに関する。
タッチ操作の押圧力を検知可能な圧力検知機能付きのタッチパネル装置が実用されている。このタッチパネル装置は、閾値未満の押圧力によるタッチ操作を通常タッチ操作と認識し、閾値以上の押圧力によるタッチ操作を押し込み操作(「押し込みタッチ操作」ともいう。)と認識する。しかし、このタッチパネル装置は、通常タッチ操作を意図して行われたタッチ操作を押し込み操作であると誤判定する場合、又は押し込み操作を意図して行われたタッチ操作を通常タッチ操作であると誤判定する場合がある。
誤判定を減らすために、タッチパネルを予め決められた複数の領域に分割し、各領域について押し込み操作の判定のための閾値を設定する技術が提案されている。例えば、特許文献1を参照。
特開2016−146035号公報
しかしながら、特許文献1に記載のタッチパネル装置は、予め決められた領域ごとに押し込み操作の判定のための閾値を設定しているため、各領域内において押圧力の閾値が異なる場合又は1つの操作ボタンが複数の領域に跨っている場合に、タッチ操作が通常タッチ操作であるのか押し込み操作であるのかについて、誤った判定をすることがある。誤った判定は、タッチパネル装置の操作性を低下させるという問題がある。
本発明は、上記課題を解決するためになされたものであり、操作性の高いタッチパネル装置、並びに操作性を向上させることができる操作識別方法及び操作識別プログラムを提供することを目的とする。
本発明の一態様に係るタッチパネル装置は、タッチパネルの操作面に対して行われるタッチ操作によって前記タッチパネルから出力される信号に基づいて、前記タッチ操作の位置を示す座標情報を生成する座標検出部と、前記タッチ操作によって前記タッチパネルの操作面に付与された押圧力に対応する押圧値を生成する押圧力検出部と、前記座標情報と前記押圧値を示す情報とを含むデータである操作ログであって、操作ログ収集部によって収集され保存された前記操作ログに含まれる複数のタッチ操作の位置を複数のグループに分割し、前記複数のグループの各々に対応するグループ領域を決定する領域決定部と、前記操作ログに基づいて、前記複数のグループ領域の各々における前記押圧値の閾値を決定する閾値決定部と、前記押圧値が前記閾値以上であれば、前記タッチ操作が押圧力を伴う押し込み操作であると判断し、前記押圧値が前記閾値未満であれば、前記タッチ操作が前記押し込み操作以外の通常タッチ操作であると判断する操作識別部とを有することを特徴とする。
本発明の他の態様に係る操作識別方法は、タッチパネルの操作面に対して行われるタッチ操作によって前記タッチパネルから出力される信号に基づいて、前記タッチ操作の位置を示す座標情報を生成するステップと、前記タッチ操作によって前記タッチパネルの操作面に付与された押圧力に対応する押圧値を生成するステップと、前記座標情報と前記押圧値を示す情報とを含むデータである操作ログを収集し、保存するステップと、前記操作ログに含まれる複数のタッチ操作の位置を複数のグループに分割し、前記複数のグループの各々に対応するグループ領域を決定するステップと、前記操作ログに基づいて、前記複数のグループ領域の各々における前記押圧値の閾値を決定するステップと、前記押圧値が前記閾値以上であれば、前記タッチ操作が押圧力を伴う押し込み操作であると判断し、前記押圧値が前記閾値未満であれば、前記タッチ操作が前記押し込み操作以外の通常タッチ操作であると判断するステップとを有することを特徴とする。
本発明を用いれば、タッチ操作が通常タッチ操作であるのか押し込み操作であるのかを正確に判定することができ、タッチパネルの操作性を高くすることができる。
本発明の実施の形態1に係るタッチパネル装置のハードウェア構成の例を示す図である。 実施の形態1に係るタッチパネル装置の内部構造を概略的に示す斜視図である。 (A)及び(B)は、図2に示されるタッチパネル装置の圧力センサを概略的に示す断面図である。 (A)及び(B)は、タッチパネル装置の圧力センサの他の例を概略的に示す断面図である。 実施の形態1に係るタッチパネル装置の構成を概略的に示す機能ブロック図である。 UI画面及びタッチ操作の例を示す図である。 UI画面及びタッチ操作の例を示す図である。 UI画面及びタッチ操作の例を示す図である。 (A)から(D)は、各操作ボタンおけるタッチ操作による操作ログの例を示す図である。 実施の形態1に係るタッチパネル装置の動作を示すフローチャートである。 (A)及び(B)は、操作ログ収集部によって収集される操作ログを示す図である。 領域決定部によって行われる処理を示す図である。 (A)及び(B)は、押圧値の頻度分布を示す図である。 (A)及び(B)は、押圧値の頻度分布を示す図である。 本発明の実施の形態2に係るタッチパネル装置の構成を概略的に示す機能ブロック図である。 本発明の実施の形態3に係るタッチパネル装置の構成を概略的に示す機能ブロック図である。 本発明の実施の形態4に係るタッチパネル装置の構成を概略的に示す機能ブロック図である。 UI画面の例を示す図である。 UI画面の例を示す図である。 本発明の実施の形態5に係るタッチパネル装置の構成を概略的に示す機能ブロック図である。 UI画面の例を示す図である。
以下に、本発明の実施の形態に係るタッチパネル装置、操作識別方法、及び操作識別プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《1》実施の形態1.
図1は、実施の形態1に係るタッチパネル装置1のハードウェア構成の例を示す図である。図1に示されるように、タッチパネル装置1は、タッチパネル20と、圧力センサ部30と、表示器50と、制御装置100とを有している。タッチパネル20は、ユーザによってタッチ操作が行われる操作面を有している。表示器50は、例えば、タッチパネル20と重なるように配置された液晶ディスプレイである。表示器50は、タッチパネル20と一体に構成されてもよい。表示器50は、制御装置100によって制御されて、操作用画面などを表示する。操作用画面は、アイコンなどの操作部品であるオブジェクトを含むユーザインタフェース(UI)画面である。タッチパネル20は、例えば、操作面における導体の接触箇所の静電容量が変化する静電容量式のタッチパネルである。タッチパネル20は、タッチ操作に対応する位置情報であるタッチ情報T0を制御装置100に出力する。
圧力センサ部30は、1個以上の圧力センサを有している。実施の形態1では、圧力センサ部30は、4個の圧力センサ30a,30b,30c,30dを有している。ユーザによってタッチパネル20の操作面に対して押圧力を付与するタッチ操作である押し込み操作が行われたときには、圧力センサ部30は、タッチパネル20に加えられた押圧力に基づく電気信号である検出信号D0を制御装置100に出力する。
制御装置100は、情報処理部としてのプロセッサ41と、情報を記憶する記憶部としてのメモリ42とを有している。制御装置100は、例えば、コンピュータである。メモリ42には、プログラムがインストールされている。プログラムは、例えば、ネットワークを経由して又は情報を記憶する記憶媒体からインストールされる。プログラムは、後述される操作識別方法を実行するための操作識別プログラムを含んでもよい。プロセッサ41は、メモリ42に記憶されているプログラムを実行することにより、タッチパネル装置1の全体の動作を制御する。制御装置100の全体又は一部は、半導体集積回路からなる制御回路である「System On Chip」などで構成されてもよい。メモリ42は、半導体記憶装置、ハードディスク装置、取り出し可能な記録媒体に情報を記録する装置などの各種の記憶装置を含んでもよい。
制御装置100は、タッチパネル20の操作面で入力されたタッチ操作に対応する処理を行う。制御装置100は、予め決められた閾値未満の押圧力でタッチパネル20の操作面に触れるタッチ操作である通常タッチ操作と、この閾値以上の押圧力でタッチパネル20の操作面に触れるタッチ操作である押し込み操作(「押し込みタッチ操作」ともいう。)とを識別することができる。具体的に言えば、制御装置100は、タッチパネル20の操作面で入力されたタッチ操作に対応するタッチパネル20における静電容量の変化と、操作面に加えられた押圧力に対応して圧力センサ部30から出力される検出信号D0とに基づく処理を行う。例えば、制御装置100は、タッチパネル20の操作面で入力されたタッチ操作に対応する制御信号を、タッチパネル装置1に接続された他の機器又はタッチパネル装置1と通信可能な他の機器に送信する。他の機器は、制御対象機器であり、例えば、生産設備、車両、又は家電機器などである。
図2は、タッチパネル装置1の内部構造の例を概略的に示す斜視図である。図2に示されるように、タッチパネル装置1は、表示器50と一体に構成された基板60と、タッチパネル20を基板60上に支持する圧力センサ30a〜30dとを有している。基板60は、タッチパネル装置1の筐体の一部であってもよい。また、図2では、制御装置100がタッチパネル20の外側に描かれているが、制御装置100は基板60の一部又は基板60に搭載された回路基板の一部であってもよい。図2では、圧力センサ30a〜30dが、タッチパネル20の4つの角部をそれぞれ支持している。図2における圧力センサ30a〜30dは、弾性材で構成されており、図1に示される圧力センサ部30を構成している。なお、圧力センサ30a〜30dは、タッチパネル20の角部以外の位置を支持してもよい。また、タッチパネル20の平面形状は、四角形以外の形状であってもよい。さらに、タッチパネル20を支持する圧力センサの個数は、3個以下又は5個以上であってもよい。
図2に示されるように、タッチパネル20は、ユーザによってタッチ操作される操作面21を有している。操作面21に導体が接触しているときには、導体の接触箇所の静電容量が変化する。導体は、例えば、ユーザの指80又はタッチペンなどの操作補助具である。制御装置100は、操作面21の各位置における静電容量を検出し、導体の接触箇所の位置、すなわち、操作面21における2次元座標を取得する。すなわち、制御装置100は、タッチパネル20の操作面21の各位置における静電容量に基づいて操作面21における導体の接触箇所の位置を示す位置座標を算出する。導体の接触箇所は、例えば、静電容量が予め定められた基準容量より大きい箇所である。導体の接触箇所の位置を示す位置座標は、「静電容量座標」とも言う。
タッチパネル20の操作面21に加えられた押圧力は、圧力センサ30a〜30dによって検出される。圧力センサ30a〜30dは、操作面21に加えられた押圧力F0と押圧位置とに応じた圧力検出信号である検出信号D0を出力する。制御装置100は、圧力センサ30a〜30dから出力される検出信号D0が示す値Fa〜Fdを加算することによって押圧力F0を算出することができる。また、制御装置100は、検出信号D0が示す値Fa〜Fdに基づいて操作面21における押圧位置を示す位置座標を算出することができる。検出信号D0に基づいて算出された位置座標、すなわち、押し込み操作が行われた位置の座標は、「圧力座標」とも言う。
図3(A)及び(B)は、図2に示されるタッチパネル装置1の圧力センサ部30の圧力センサを概略的に示す断面図である。図3(A)は、押し込み操作前の状態を示し、図3(B)は、押し込み操作中の状態を示す。この例では、圧力センサ部30を構成する圧力センサ30a〜30dは、弾性材で形成されており、タッチパネル20を支持している。図3(B)に示されるように、押し込み操作によって、圧力センサ30a〜30dが弾性変形して薄くなる。また、図3(A)に示されるように、押し込み操作を止めることによって、圧力センサ30a〜30dが元の状態に復元して、厚くなる。図3(B)に示されるように、圧縮された圧力センサ30a〜30dは、厚さの差に応じた値を示す検出信号D0を出力する。
図4(A)及び(B)は、タッチパネル装置1の圧力センサ部30の圧力センサの他の例を概略的に示す断面図である。図4(A)は、押し込み操作前の状態を示し、図4(B)は、押し込み操作中の状態を示す。この例では、圧力センサ部30を構成する圧力センサ30a〜30dは、タッチパネル20を支持している弾性材から成る支持部31とは別の構成である。この例では、圧力センサ30a〜30dは、押し込み操作によって変化する静電容量を検出し、静電容量に基づく検出信号D0を出力する。図4(B)に示されるように、押し込み操作によって、支持部31が弾性変形して薄くなると、圧力センサ30a〜30dが検出する静電容量は増加する。また、図4(A)に示されるように、押し込み操作を止めることによって、支持部31が元の状態に復元して厚くなると、圧力センサ30a〜30dが検出する静電容量は減少して初期値に戻る。図4(B)に示されるように、圧力センサ30a〜30dは、圧縮された支持部31の厚さの差に応じた値を示す検出信号D0を出力する。
図5は、実施の形態1に係るタッチパネル装置1の構成を概略的に示す機能ブロック図である。図5において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。図5に示されるように、制御装置100は、座標検出部101と、操作ログ収集部102と、領域決定部103と、押圧力検出部104と、操作識別部105と、閾値決定部106と、操作判定部107とを有している。
座標検出部101は、タッチ操作によってタッチパネル20から出力される信号としてのタッチ情報T0に基づく座標情報T1を生成する。具体的に言えば、座標検出部101は、タッチパネル20の操作面21の各位置における静電容量を検出することで、操作面21への導体の接触の有無を検出する。座標検出部101は、静電容量の検出値が予め定められた基準容量より大きい箇所である導体の接触箇所の座標を示す座標情報T1を算出する。座標検出部101は、座標情報T1を操作ログ収集部102及び操作判定部107に提供する。
押圧力検出部104は、タッチ操作によってタッチパネル20の操作面21に付与される押圧力F0に対応する押圧値D1を示す情報を出力する。具体的に言えば、押圧力検出部104は、圧力センサ部30を構成する圧力センサ30a〜30dから出力される検出信号D0を受け取り、検出信号D0に基づく押圧値D1を示す情報を出力する。圧力センサ30a〜30dから出力される検出信号D0が示す値がFa〜Fdである場合、押圧値D1は、値Fa〜Fdの合計値又は平均値などである。
操作ログ収集部102は、情報を記憶する記憶部を有し、座標情報T1と押圧値D1を示す情報とを含むデータである操作ログを収集し、保存する。ただし、記憶部は、操作ログ収集部102の外部の記憶装置であってもよい。
領域決定部103は、操作ログ収集部102に保存されている操作ログG1を受け取り、操作ログG1に含まれる複数のタッチ操作の位置をクラスタリングによって複数のグループに分割し、複数のグループに対応する複数のグループ領域を決定する。グループ領域の決定方法の詳細は、後述される。
閾値決定部106は、操作ログ収集部102から受け取った操作ログG3と領域決定部103から受け取ったグループ領域を示す情報G2とに基づいて、前記複数のグループ領域の各々における押圧力の閾値THを決定する。閾値THの決定方法の詳細は、後述される。
操作識別部105は、タッチ操作が、閾値TH未満の押圧力によって行われる通常タッチ操作又は閾値TH以上の押圧力によって行われる押し込み操作のいずれであるかを識別する。操作識別部105は、複数の閾値を設定することによって、タッチ操作を、通常タッチ操作、押し込み操作、及び強い押し込み操作など、3種類以上に識別してもよい。
操作判定部107は、座標検出部101で生成された座標情報T1、押圧力検出部104で生成された押圧値D1、及び操作識別部105による識別の結果D2に基づいて、タッチ操作によって入力された操作情報を判定する。操作判定部107は、タッチ操作に対応する処理を実行する。操作判定部107は、例えば、タッチ操作に対応する制御信号を、制御対象機器(図示せず)に出力する。操作判定部107は、タッチ操作に対応する画像信号又は音声信号を表示器50に提供する機能を備えてもよい。
図6から図8は、UI画面及びタッチ操作の例を示す図である。UI画面は、通常タッチ操作用の入力オブジェクトである操作ボタン71,73と、押し込み操作用の入力オブジェクトである操作ボタン72,74と、押圧値と押し込み操作の閾値とを表示する表示オブジェクトであるインジケータ75とによって構成される。図6から図8は、通常タッチ操作領域の操作ボタン71を含むグループ領域で閾値が低く設定され、通常タッチ操作が押し込み操作と判定される場合(図6及び図7)に、閾値を変更した場合(図8)を示している。通常タッチ操作時に、タッチパネル20の閾値が低いために、押し込み操作と判定される場合には、その他の操作領域の操作と押圧値の操作ログに基づいて現在の押圧値に対する操作を推定し、閾値を適宜変更する。また、図9(A)から(D)は、操作ボタン71から74におけるタッチ操作による操作ログの例を示す図である。
図10は、実施の形態1に係るタッチパネル装置1の動作を示すフローチャートである。
〈ステップST1〉
ステップST1において、座標検出部101及び押圧力検出部104は、検出処理を開始する。
〈ステップST2〉
ステップST2において、座標検出部101は、タッチパネル20から出力されたタッチ情報T0を受け取る。タッチ情報T0は、例えば、タッチ位置の座標であるタッチ座標、タッチ操作による接触の状態、タッチ箇所の静電容量の検出値、などを含む。また、押圧力検出部104は、圧力センサ部30から出力された圧力情報を示す検出信号D0を受け取る。
〈ステップST3〉
ステップST3において、座標検出部101は、タッチ情報T0に基づいて、タッチパネル20におけるタッチ位置を示す座標情報T1を生成する。押圧力検出部104は、検出信号D0に基づいて、タッチパネル20に付与された押圧力F0を示す圧力情報である押圧値D1を算出する。
〈ステップST4〉
ステップST4において、操作ログ収集部102は、操作データを収集し、操作ログとして保存する。
図11(A)及び(B)は、収集される操作ログを示す図である。図11(A)は、通常タッチ操作の押圧値の時間変化を示し、図11(B)は、押し込み操作の押圧値の時間変化を示す。操作ログ収集部102は、例えば、タッチ操作によってタッチパネル20の操作面21に接触した指を予め決められた一定時間内でタッチパネル20の操作面21から離す操作があった場合、この操作データを収集して操作ログに保存する。操作ログ収集部102は、タッチ操作によってタッチパネル20に接触した指が、予め決められた一定距離以上動いた場合には、この操作データを操作ログに含めないことも可能である。操作ログ収集部102は、1回のタッチ操作の開始から終了までの間における最大の押圧値と、最大の押圧値を検出したときのタッチ座標とを収集して、保存する。
〈ステップST5〉
ステップST5において、領域決定部103は、操作ログ収集部102に保存されている操作ログのタッチ座標を、階層的クラスタリングを用いて複数のグループに分割し(「以下「グルーピング」ともいう。)、各グループを囲む領域であるグループ領域を生成する。
図12は、領域決定部103によって行われる処理を示す図である。操作ログ収集部102は、タッチ操作が行われた位置(すなわち、タッチ座標)であるタッチ点が予め決められた一定数蓄積されるまで操作ログを収集する。操作ログが一定数蓄積されたときに、領域決定部103は、階層的クラスタリングによるグルーピングを行うことで、グループ領域を生成する。グループ間の距離は、例えば、X,Y座標のユークリッド距離を用いる凝集型階層的クラスタリングとして知られているウォード(Ward)法により求めることができる。また、階層数の決定は、例えば、クラスター数自動決定法として知られているUpper Tail法を用いて行うことができる。以上の処理によって、複数のグループが得られ、複数のグループ領域が得られる。
その後、領域決定部103は、各グループの中心位置(Xave,Yave)と、各グループに属するタッチ座標の中心位置からの距離の標準偏差σとを求め、操作ボタン領域に対応するグループ領域を生成する。グループ領域は、例えば、中心位置(Xave,Yave)を中心点とし、標準偏差σを半径とした、円形状の領域である。
新たなタッチ点が発生した場合、領域決定部103は、新たなタッチ点が複数のグループ領域のいずれかの中に入っているか否かを判定する。この判定は、「領域判定」とも呼ばれる。新たなタッチ点がいずれかのグループ領域の中に入っている場合、領域決定部103は、グループの中心位置(Xave,Yave)と、各グループに属するタッチ座標の中心位置からの距離の標準偏差σとを更新することによって、グループ領域を更新する。新たなタッチ点が複数のグループ領域のいずれにも含まれない場合、領域決定部103は、新たなタッチ点を含む新たなグループ領域を定義する。この新たなグループ領域の中心位置は、新たなタッチ点の位置となる。
図12には、新たなグループ領域601,602が示されている。領域決定部103は、新たなグループを囲む円形状のグループ領域が、他の円形状のグループ領域と重ならないようにするために、σnew≦σaveを満たすように、新たなグループ領域の大きさを調整する。ここで、σnewは、新たなグループ領域に含まれるタッチ座標の標準偏差を示し、σaveは、他のグループに属するタッチ座標の標準偏差の平均を示す。図12の例では、新たなグループ領域602は、σnew≦σaveの条件を満たしている。また、図12の例では、新たなグループ領域601では、σnew=σaveである。
領域決定部103は、グループ領域内に入る操作ログが検出される度に、グループ領域の中心位置を示す平均座標(Xave,Yave)と標準偏差σaveとを更新する。
更新後に、領域決定部103は、複数のグループ領域のいずれかに重畳が検出された場合、グループ領域同士が重畳しないように標準偏差σ、すなわち、グループ領域の半径を調整する。領域決定部103は、上記の処理を繰り返すことで、タッチ点を得る度にグループ領域を更新する。
また、領域決定部103は、操作ログが増加して、操作ログの数が再クラスタリングのための予め決められた一定数に達した時点で、予め決められた数の操作ログのデータに対して、再度、階層的クラスタリングを行ってグルーピングを行ってもよい。
また、領域決定部103は、X,Y座標として示されるタッチ座標のほかに、Z座標として示される押圧値D1を利用したXYZ座標でのユークリッド距離の計算を行ってもよい。ただし,押圧値D1を元にしたZ軸はタッチ座標X,Y軸とは等価ではないため、適宜重み付けをしたD1を利用したZ座標を利用することが望ましい。また、領域決定部103は、ユークリッド距離の代わりに、コサイン距離又はマハラノビス(Mahalanobis)距離などを用いて、複数の特徴量で構成される特徴ベクトル同士の距離を算出してもよい。
タッチパネル20の画面の遷移などに伴い操作ボタンの配置が変更されたときには、変更前の操作ログと変更後の操作ログとが、同じグループ領域のデータとして混在する状況が発生する可能性がある。また、操作ボタンなどの操作対象の領域は、サイズの違いはあるものの、レイアウト上の理由から一定のサイズ以上に大きなサイズとはならないことが知られている。そのため、階層的クラスタリングにおける距離の計算で、2つのグループがマージされることで、分散σが予め決められた一定値を超える場合には、領域決定部103は、グループ間の距離が長い値になるようにするために、グループ間の距離の計算値にペナルティを課す処理を行ってもよい。
また、領域決定部103は、グループ領域の最大の標準偏差σmaxを予め規定し、最大の標準偏差σmaxを超えるグループ領域が現れた場合、クラスタリングを停止するように動作してもよい。
また、領域決定部103は、距離を用いたクラスタリングの代わりに、タッチ点を頂点(すなわち、ノード)とし、一定距離内のタッチ点を辺(すなわち、エッジ)としたグラフ構造を用いる方法である、Modular度を用いたクラスタリング手法又はk平均法(k−means method)を用いてもよい。
また、図10のステップST5において、タッチパネル20の操作面21に沿って指を動かし続けるなぞり操作があった場合、操作ログ収集部102は、なぞり操作が行われた領域上の複数のタッチ点のそれぞれについて領域判定を行い、グループ領域内にタッチ点があった場合、このタッチ点における押圧値に基づいて、グループに属するタッチ座標の標準偏差の平均σaveを更新して保存してもよい。
〈ステップST6〉
図10のステップST6において、閾値決定部106は、グループ領域である通常タッチ操作領域の押圧値と、グループ領域である押し込み操作領域の押圧値とに基づいて、各グループ領域における新しい閾値を設定する。閾値決定部106は、通常タッチ操作のM個の操作ログ又は押し込みタッチ操作のM個の操作ログを収集した際に、押圧値の頻度分布の傾向に基づいて、押圧値のガウス分布の平均μと3σとを予想し、通常タッチ操作と押し込み操作との境界となる閾値を更新する。ここで、σは標準偏差を示し、Mは正の整数を示す。
ただし、各グループ領域に対するタッチ操作には、通常タッチ操作と押し込み操作とが混在している可能性がある。タッチ操作による押圧値は、ユーザにより異なる傾向を持つことから、通常タッチ操作の分布と押し込み操作の分布とが混ざった操作ログが得られる可能性がある。また、押し込み操作の操作ログの合計数は、通常タッチ操作の操作ログの合計数よりも少ないことが想定される。この場合、図13(A)及び(B)に示されるような押圧値の頻度分布が得られる。
通常タッチ操作と押し込み操作との切り分けを行うために、閾値決定部106は、なぞり操作、フリック操作、などの押し込みを伴わない通常タッチ操作時の押圧値を基準値として設定する。閾値決定部106は、上記基準値に基づいて一定範囲内(±Δμ)の押圧値を平均し、押圧値の頻度分布の形状にあったガウス分布N(μto,σ to)(図13(A)に示される)を求める。なお、N(μ,σ)は、平均μ、分散σのガウス分布を示す。
そして、閾値決定部106は、μto(図13(B)に示される)よりも大きい範囲で、ガウス分布から外れている押圧値が無いか探索する。これにより、閾値決定部106は、ガウス分布N(μto,σ to)の値と押圧値の頻度が最も大きく異なるμpr(図13(B)に示される)を得る。
次に、閾値決定部106は、μprを得た後、押圧値の頻度分布の形状に最もあうように、標準偏差σtoと標準偏差σprの値を調整する。上記のようにして求めたガウス分布N(μto,σ to)は、通常タッチ操作の押圧値の頻度分布を示しており、μprが現状の閾値を示していると言える。
なお、閾値決定部106は、μtoの探索において、なぞり操作、フリック操作などの操作が得られない場合は、通常タッチ操作の頻度の方が多いことをヒントに、タッチ操作全体の平均値を基に探索を行ってもよい。閾値決定部106は、通常タッチ操作のガウス分布N(μto,σ to)、押し込み操作のμprに基づいて、閾値を以下の式(1)で更新する。
(閾値)
=(1−W)*(前回更新された閾値)
+V*W*(μpr−P*σpr)+(1−V)*W*(μto+3σto
…(1)
Wは、N(μto,σ to)+N(μpr,σ pr)が、得られた頻度分布と一致する場合に1.0となる、分布の信頼度を表す重み係数である。閾値決定部106は、頻度分布がガウス分布で誤差なく記述できる場合、頻度分布の値を用いて新たな閾値を定める。
Vは、μprの信頼度を表す重み係数である。重み係数Vは、(前回更新された閾値)からμprの値が違うほど、標準偏差σprの値が大きいほど、小さい値になる。
(−P*σpr)は、押し込み操作の閾値を高い値に更新することでユーザがより強く押し込み操作を行い、ユーザによる強い押し込み操作によってμprが大きい値になり、次回の閾値の更新時に閾値が高くなり過ぎることを防ぐパラメータである。Pは、正の係数である。
(μto+3σto)を更新することで、通常タッチ操作の操作ログに基づいて、意図せずに押し込み操作が行われることが回避される。
また、(μto+3σto)の代わりに、予めμtoに対して予め決められた乗数αをかけた値(αμto+3σto)を用いてもよい。ここで、αは、事前に実験的に求めた係数である。
式(1)は、閾値の決定方法の一例であり、操作ログの頻度分布の形状に基づいて式(1)を変更することが可能である。
図10のステップST6において、閾値決定部106は、操作ログの頻度分布におけるμprの頻度値がガウス分布N(μto,σ to)の分布で求めた頻度値に対し、違いが一定頻度以上現れない場合(すなわち、複数のガウス分布の存在が認められない場合)、通常タッチ操作及び押し込み操作の操作ログのいずれか一方は、頻度分布に含まれなかったものと見なす。そのため、閾値決定部106は、次の領域判定時に、通常タッチ操作又は押し込み操作のいずれの操作ログであるかを判定する。
まず、閾値決定部106は、グループ領域内に、なぞり操作又はフリック操作の操作ログがあった場合、その操作の押圧値の平均値と、頻度分布が最大である押圧値とを比較する。図14(A)に示されるように、これらの差Uが、予め決められた一定値以内である場合(すなわち、一定範囲R内である場合)、閾値決定部106は、このときの操作ログを、通常タッチ操作の操作ログであると見なす。図14(B)に示されるように、差Uが、一定値を超える場合(すなわち、一定範囲R外である場合)は、閾値決定部106は、操作ログを、押し込み操作の操作ログであると見なす。
閾値決定部106は、得られた頻度分布が通常タッチ操作の操作ログの頻度分布であると判断した場合、式(1)においてV=0として得られる、以下の式(2)で押し込み操作の閾値を更新する。
(閾値)=(1−W)*(前回更新された閾値)+W*(μto+3σto
…(2)
閾値決定部106は、得られた頻度分布が押し込み操作の操作ログの頻度分布であると判断した場合、μpr=μtoとして、以下の式(3)で押し込み操作の閾値を更新する。
(閾値)=(1−W)*(前回更新された閾値)+W*μpr …(3)
また、閾値決定部106は、なぞり操作及びフリック操作の頻度分布がいずれの操作ログの頻度分布であるかを判断できない場合、押し込み操作の閾値を更新しない。
〈ステップST7〉
グループ領域をクラスタリングにより自動的に生成した場合、いくつかのグループ領域には、十分に多くの個数の操作ログが蓄積されていない可能性がある。そこで、図10のステップST7において、閾値決定部106は、十分に多くの個数の操作ログが得られていないグループ領域については、他のグループ領域の閾値の更新量を反映させてもよい。例えば、閾値決定部106は、グループ領域同士の距離をLとしたときに、それぞれのグループ領域についての影響度F(L)を、以下の式(4)ように規定する。
F(L)=K*exp(−(L−A)2/B) …(4)
ここで、A,B,Kは、パラメータである。パラメータは、実験的に求めることができる。影響度F(L)は、距離Lが大きいほど小さくなる。影響度F(L)の最大値は、1.0である。
例えば、閾値決定部106は、なぞり操作又はフリック操作の操作ログが得られず、操作ログが、通常タッチ操作又は押し込み操作のいずれの操作ログであるかを判断できないグループ領域、又は、操作ログの個数が少ないため頻度分布について一定以上の信頼度が得られていないグループ領域については、最も近い位置にある他のグループ領域までの距離Lを求め、以下の式(5)のように、押し込み操作の閾値を更新する。
(閾値)=(1−F(L))*(前回更新された閾値)
+F(L)*(最も近いグループ領域における閾値)…(5)
以上に説明したように、実施の形態1に係るタッチパネル装置1、操作識別方法、及び操作識別プログラムを用いれば、操作ログを基に動的にグループ領域を生成することで、様々な環境下において使われる産業用途のタッチパネル装置における押し込み操作の閾値を自動的に調整することができる。
《2》実施の形態2.
実施の形態1に係るタッチパネル装置1は、タッチパネル20で行われたタッチ操作の操作ログに基づいて操作領域に対応するグループ領域を推定し、各グループ領域における押圧値の頻度分布を取得し、取得された頻度分布に基づいて押し込み操作の閾値を更新する。これに対し、実施の形態2に係るタッチパネル装置2は、表示器50に表示されているUI画面であるGUI(Graphical User Interface)を構成するオブジェクトを示すオブジェクト情報を利用することで、操作領域の推定の精度を向上させている。ここで、GUIを構成するオブジェクトは、アイコンなどの操作部品である。
図15は、実施の形態2に係るタッチパネル装置2の構成を概略的に示す機能ブロック図である。図15において、図5に示される構成要素と同一又は対応する構成要素には、図5に示される符号と同じ符号が付される。実施の形態2に係るタッチパネル装置2は、制御装置200がオブジェクト検出部207を有する点において、実施の形態1に係るタッチパネル装置1と異なる。また、実施の形態2に係るタッチパネル装置2は、操作ログ収集部202、領域決定部203、及び閾値決定部206が行う処理の点において、実施の形態1に係るタッチパネル装置1と異なる。
オブジェクト検出部207は、UI画面の遷移が実行される度に、オブジェクトの操作領域の情報を取得する。操作ログ収集部202は、座標検出部101から得たタッチ座標が、オブジェクト検出部207が取得した操作領域内である場合、そのタッチ操作をオブジェクトと対応付けて保存する。保存する操作ログの対象は、図10のステップST4の説明で示したものと同様である。
オブジェクトと操作ログが対応付けられた後、閾値決定部206は、押し込み操作の閾値を決定する。押し込み操作の閾値を決定する際に、オブジェクトごとに押し込み操作の閾値を決定すると、ほとんど操作されていないオブジェクトである操作ボタンの操作性が不安定になる可能性がある。そこで、操作ログ収集部202は、予め決められた一定数以上の操作ログを収集した後に、オブジェクトに紐づけられた操作ログを1つのグループとし、図10のステップST5と同様の方法でクラスタリングを実行する。操作ログ収集部202は、クラスタリングで求められたグループと、オブジェクトとを対応付けて、保存する。
クラスタリングによってグループ領域が生成された後、閾値決定部206は、図10のステップST6と同様の方法で、押し込み操作の閾値を設定する。また、閾値決定部206は、クラスタリングしても、十分に多くの個数の操作ログが得られないグループ領域については、図10のステップST7と同様の方法によって、押し込み操作の閾値を最も近いグループ領域の閾値を用いて更新する。
なお、オブジェクト検出部207は、UI画面のオブジェクトの操作領域の情報を取得するだけでなく、押し込み操作に対応するオブジェクトであるか、通常タッチ操作に対応するオブジェクトであるか、についての情報を取得してもよい。通常タッチ操作にだけ対応しているオブジェクトの場合、図11(A)に示されるような頻度分布の操作ログが得られ、押し込み操作にだけ対応しているオブジェクトの場合、その領域には、図11(B)に示されるような頻度分布の操作ログが得られることが予想される。この場合、閾値決定部206は、図10のステップST7に記載した複数の分布が重なったような場合である図12の状態を考慮せずに、グループ領域の数が1個であることを前提として、押し込み操作の閾値を決定することができる。
以上に説明したように、実施の形態2に係るタッチパネル装置2、操作識別方法、及び操作識別プログラムを用いれば、表示器50に表示されているオブジェクトを示すオブジェクト情報を利用することで、操作領域の推定の精度を向上させることができる。
上記以外の点について、実施の形態2は実施の形態1と同じである。
《3》実施の形態3.
産業用のタッチパネル装置においては、ある特定のパターンのタッチ操作が繰り返し行われる場合がある。このような操作は、「流れ操作」と呼ばれる。流れ操作は、主に、操作に熟練したユーザによって頻繁に実行される。流れ操作では、流れ操作以外における押圧力とは異なる押圧力でタッチ操作が行われる傾向がある。
例えば、ユーザは、タッチパネル装置で2回のタッチ操作を順に行うことで各種の設定作業を行い、設定作業の完了後に、設定内容を反映させるための押し込み操作を多数回行う場合がある。閾値は、押し込み操作によって更新されるので、最後の押し込み操作を実行するときの閾値が、押し込み操作による平均的な押圧値よりも小さくなることが想定される。もしも押し込み操作の閾値が高めに設定されていると、ユーザが想定よりも強い押圧力で押し込み操作を行う必要が生じるため、押し込み操作のやり直しが必要になることが想定される。この場合には、操作性が低下し、作業効率が下がる。
そこで、実施の形態3に係るタッチパネル装置3では、閾値決定部は、流れ操作を検知して、流れ操作時には、流れ操作に適した押し込み操作の閾値に更新する。
図16は、本発明の実施の形態3に係るタッチパネル装置3の構成を概略的に示す機能ブロック図である。図16において、図15に示される構成要素と同一又は対応する構成要素には、図15に示される符号と同じ符号が付される。実施の形態3に係るタッチパネル装置3は、制御装置300が流れ操作検知部308を有する点において、実施の形態2に係るタッチパネル装置2と異なる。また、実施の形態3に係るタッチパネル装置3は、操作ログ収集部302及び閾値決定部306が行う処理の点において、実施の形態2に係るタッチパネル装置2と異なる。
図16において、流れ操作検知部308は、操作ログ収集部302に記憶されている操作ログとオブジェクト検出部307によって検出された操作領域データとに基づいて、操作の流れと流れ作業時における押圧値の変動とを検知し、最後の閾値を適切に下げるように、閾値決定部306に指示を送る。流れ作業による押し込み操作の閾値の下げ方は、例えば、以下の方法1から方法3のいずれかである。
方法1では、閾値決定部306は、流れ操作時の直前のH回のタッチ操作の押圧値を参照し、その平均値との差分で決定する。
(新しい閾値)=直前H回の通常タッチ操作の押圧値の平均+α
ここで、αは、予め実験などで決められた値であり、Hは、正の整数である。
方法2では、閾値決定部306は、流れ操作時の直前H回の通常タッチ操作の押圧値を参照し、その変動に基づいて最後の押圧値を推定し、押し込み操作の閾値を決定する。
方法3では、閾値決定部306は、操作ログに基づいて流れ操作時の押し込み操作の押圧値の分布を算出し、分布の傾向、すなわち、μ、3σ、ワイブル分布(Weibull distribution)を求める。
以上に説明したように、実施の形態3に係るタッチパネル装置3、操作識別方法、及び操作識別プログラムを用いれば、流れ操作が検知されたときに、押し込み操作の閾値を下げるので、高い操作性を実現できる。
上記以外の点について、実施の形態3は実施の形態2と同じである。
《4》実施の形態4.
実施の形態2に係るタッチパネル装置2を使用するユーザは、押し込み操作用の複数のオブジェクトを使用する際に、各オブジェクトに必要な押圧値がどの程度であるのかが分からなくなることがあり得る。また、ユーザは、押し込み操作の閾値を変更したい場合に、閾値をどの程度の値に設定すればよいのかが分からない場合がある。そこで、実施の形態4に係るタッチパネル装置4は、操作面21の操作領域が押下されたときに、押圧値、オブジェクトごとの操作履歴としての各押圧値に対する操作回数、頻度分布、押し込み操作の閾値などを、インジケータ表示する。
図17は、本発明の実施の形態4に係るタッチパネル装置4の構成を概略的に示す機能ブロック図である。図17において、図15に示される構成要素と同一又は対応する構成要素には、図15に示される符号と同じ符号が付される。実施の形態4に係るタッチパネル装置3は、制御装置400が押込指示器表示部としての表示制御部408及びオブジェクト検出部407を有する点において、実施の形態2に係るタッチパネル装置2と異なる。
図18及び図19は、UI画面の例を示す図である。図18に示されるように、UI画面は、設定値を表示する表示オブジェクト411及び412、通常タッチ操作入力用のオブジェクト413、並びに押し込み操作入力用のオブジェクト414を含んでいる。タッチパネル装置4は、押し込み操作入力用のオブジェクト414が押下されている最中に、表示器50に(すなわち、タッチパネル20に)、押圧値、オブジェクトごとの操作履歴としての各押圧値に対する操作回数、頻度分布、押し込み操作の閾値を示すインジケータが表示される。
以上に説明したように、実施の形態4に係るタッチパネル装置4、操作識別方法、及び操作識別プログラムを用いれば、ユーザは、押し込み操作用の複数のオブジェクトを使用する際に、インジケータ表示によって押し込み操作の閾値を知ることができるので、高い操作性を実現できる。
上記以外の点について、実施の形態4は実施の形態2と同じである。
《5》実施の形態5
実施の形態1〜3に係るタッチパネル装置1〜3は、十分に多い個数の操作ログを収集するために、ユーザによる多数回の操作を必要としている。このため、押し込み操作の閾値の更新が繰り返されて、閾値が適切な値になるまでには、或る程度の時間が必要である。閾値が適切な値になるまでの時間を短縮するために、事前モデルを用いた実験又は事前モデルのシミュレーションなどを行い、その結果に基づいて押し込み操作の閾値を設定することも考えられる。しかし、タッチパネル装置を設置する実環境によって、押し込み操作の好適な閾値は変わるので、事前モデルのみによって押し込み操作の閾値を適切に設定することは困難である。さらに、製品の個体差によって押し込み操作の閾値の適切な値が変動することも考えられる。
そこで、実施の形態5に係るタッチパネル装置5は、製品の出荷後の初回の起動時に専用のキャリブレーション画面を表示し、このキャリブレーション画面を用いて操作ログを収集し、収集された操作ログを用いて押し込み操作の閾値を決定する。
また、実施の形態5に係るタッチパネル装置5は、実験などにより予め押圧値の正常な分布を求め、実験によって求められた分布と専用キャリブレーション画面で検出した分布とを比較し、分布が過度に異なる場合は、製品に不具合が無いかどうかの調査を実行する機能、又はユーザに注意を通知する機能を備えてもよい。
図20は、本発明の実施の形態5に係るタッチパネル装置5の構成を概略的に示す機能ブロック図である。図20において、図5に示される構成要素と同一又は対応する構成要素には、図5に示される符号と同じ符号が付される。実施の形態5に係るタッチパネル装置5は、制御装置500が押圧力分布検出部507と表示制御部508とを有する点において、実施の形態1に係るタッチパネル装置1と異なる。
押圧力分布検出部507は、製品の初回の起動時にキャリブレーションを促すための制御信号を、表示制御部508に送る。表示制御部508は、表示器50にキャリブレーション画面を表示させる。キャリブレーション画面におけるタッチ操作で操作ログ収集部102に入力されたデータは、押圧力分布検出部507で検出され、閾値決定部106に渡される。具体的には、押圧力分布検出部507は、図10のステップST4におけるキャリブレーションによる感度分布データを閾値決定部106に提供する。なお、押圧力分布検出部507は、初回の起動時以外であっても、ユーザの指示によってキャリブレーション画面を表示させることができる。
図21は、UI画面であるキャリブレーション画面の例を示す図である。キャリブレーション画面は、タッチ操作を行うための複数個のタッチ操作用のオブジェクト510を含んでいる。タッチ操作用のオブジェクト510は、押し込み操作用のオブジェクトであってもよい。タッチ操作用のオブジェクト510の個数及び配置は、図21の例に限定されない。ユーザは、オブジェクト510に対して通常タッチ操作又は押し込み操作を行う。押圧力分布検出部507は、オブジェクト510ごとに事前に持っていた図14(A)及び(B)に示されるような押圧値の頻度分布に基づいて、得られた押圧値の検証を行う。例えば、押圧力分布検出部507は、ユーザの通常タッチ操作の押圧値が図14(B)に示される(μto±σto)の範囲に入っているか否かを確認し、ユーザの押し込み操作の押圧値が図14(B)に示される(μpr±σpr)の範囲に入っているかを確認する。
押圧値が予め決められた範囲に入らない場合、押圧力分布検出部507は、表示制御部508に再度の入力要求を通知する。押圧力分布検出部507は、通常タッチ操作又は押し込み操作を予め決められた回数を繰り返す。通常タッチ操作の押圧値が(μto±σto)の範囲に入らず且つ押し込み操作の押圧値が(μpr±σpr)の範囲に入らない場合、押圧力分布検出部507は、表示制御部508を通じて表示器50に警告を表示させる。この警告は、例えば、以下のメッセージである。
「押し込み操作の閾値を自動決定しますが、よろしいですか?」
警告に対する回答が「はい」の場合、閾値決定部106は、キャリブレーション画面で取得した通常タッチ操作の押圧値と押し込み操作の押圧値とに基づいて、押し込み操作の閾値を決定する。警告に対する回答が「いいえ」である場合、押圧力分布検出部507は、キャリブレーション画面を再度表示して、ユーザに押し込み操作を数回実施させ、閾値決定部106は、この時の押圧値に基づいて押し込み操作の閾値を決定する。
次に、通常タッチ操作の押圧値は(μto±σto)の範囲に入っているが、押し込み操作の押圧値が(μpr±σpr)の範囲に入らない場合、押圧力分布検出部507は、ユーザの押し込み操作の大小関係に応じて、メッセージを出す。押し込み操作の押圧値が大きい場合は、押圧力分布検出部507は、例えば、以下のメッセージを表示させる。
「押し込み操作は、過剰に強く押されている可能性があります。押し込み操作の閾値を強く押した場合にのみ反応するように設定し直しますか?」
押し込み操作の押圧値が小さい場合は、押圧力分布検出部507は、例えば、以下のメッセージを表示させる。
「押し込み操作は、想定よりも弱く押されている可能性があります。押し込み操作の閾値を弱く押した場合にのみ反応するように設定し直しますか?」
このメッセージに対する回答が「はい」である場合、閾値決定部106は、押し込み操作の平均値を新たな閾値として設定する。このメッセージに対する回答が「いいえ」である場合、閾値決定部106は、平均値μprを押し込み操作の閾値に設定する。
また、押し込み操作の押圧値は(μpr±σpr)の範囲に入っているが、通常タッチ操作の押圧値が(μto±σto)の範囲に入っていない場合、押圧力分布検出部507は、以下のメッセージを表示させる。
「通常タッチ操作が想定よりも軽荷重で行われているようです。押し込み操作の閾値は、推奨値に近い状態ですが、閾値を通常タッチ操作から調整しますか?」又は
「通常タッチ操作が想定よりも強く行われているようです。押し込み操作の閾値は、推奨値に近い状態ですが、閾値を通常タッチ操作から調整しますか?」
このメッセージに対する回答が「はい」である場合、閾値決定部106は、(通常タッチ操作の押圧値の平均値+3σto)を押し込み操作の閾値に設定する。
以上に説明したように、実施の形態5に係るタッチパネル装置5、操作識別方法、及び操作識別プログラムを用いれば、キャリブレーション画面を表示することで、設置環境が想定通りか否かを使用前に確認することができる。
また、実施の形態5に係るタッチパネル装置5、操作識別方法、及び操作識別プログラムを用いれば、タッチ操作の押圧値の閾値が過小又は過大に設定されないようにすることができる。
また、実施の形態5に係るタッチパネル装置5、操作識別方法、及び操作識別プログラムを用いれば、十分に多くの個数の操作ログが蓄積されるまでの間であっても、押し込み操作の閾値を適切な値にすることができる。
また、実施の形態5に係るタッチパネル装置5、操作識別方法、及び操作識別プログラムを用いれば、サイドマウント、コンプレッションマウント、立て置き、などの設置環境に応じて、初回の起動時における押圧値の閾値を切り替えてもよい。
また、操作ログ収集部102は、基本的には、一定範囲内の座標を一定期間動かさずにタッチして離す通常タッチ操作又は押し込み操作を操作ログとして収集することが望ましい。しかし、通常タッチ操作を多数回繰り返す以外に、なぞり操作又はフリック操作をユーザに実行させ、この押圧値を操作ログとして収集してもよい。
上記以外の点について、実施の形態5は実施の形態1と同じである。
《6》変形例
上記実施の形態1から5のタッチパネル装置1から5の構成を適宜組み合わせることが可能である。
1〜5 タッチパネル装置、 20 タッチパネル、 21 操作面、 30 圧力センサ部、 30a〜30d 圧力センサ、 31 支持部、 41 プロセッサ、 42 メモリ、 50 表示器、 80 指、 100,200,300,400,500 制御装置、 101 座標検出部、 102,202,302 操作ログ収集部、 103,203,303 領域決定部、 104 押圧力検出部、 105 操作識別部、 106,206,306 閾値決定部、 107 操作判定部、 207,307,407 オブジェクト検出部、 308 流れ操作検知部、 408,508 表示制御部、 507 押圧力分布検出部。

Claims (9)

  1. タッチパネルの操作面に対して行われるタッチ操作によって前記タッチパネルから出力される信号に基づいて、前記タッチ操作の位置を示す座標情報を生成する座標検出部と、
    前記タッチ操作によって前記タッチパネルの操作面に付与された押圧力に対応する押圧値を生成する押圧力検出部と、
    前記座標情報と前記押圧値を示す情報とを含むデータである操作ログであって、操作ログ収集部によって収集され保存された前記操作ログに含まれる複数のタッチ操作の位置を複数のグループに分割し、前記複数のグループの各々に対応するグループ領域を決定する領域決定部と、
    前記操作ログに基づいて、前記複数のグループ領域の各々における前記押圧値の閾値を決定する閾値決定部と、
    前記押圧値が前記閾値以上であれば、前記タッチ操作が押圧力を伴う押し込み操作であると判断し、前記押圧値が前記閾値未満であれば、前記タッチ操作が前記押し込み操作以外の通常タッチ操作であると判断する操作識別部と、
    を有することを特徴とするタッチパネル装置。
  2. 前記領域決定部は、前記操作ログに含まれる複数のタッチ操作の位置をクラスタリングによって前記複数のグループに分割することを特徴とする請求項1に記載のタッチパネル装置。
  3. 特定のパターンのタッチ操作の繰り返しである流れ操作を検知する流れ操作検知部をさらに有し、
    前記閾値決定部は、前記流れ操作を検知したときに、前記流れ操作の直前の通常タッチ操作の押圧値に基づいて前記閾値を決定する
    ことを特徴とする請求項1又は2に記載のタッチパネル装置。
  4. 表示器に表示されるユーザインタフェース画面のオブジェクトを検出するオブジェクト検出部をさらに有し、
    前記操作ログ収集部は、
    前記座標情報と前記押圧値を示す情報とに、前記オブジェクトを対応付けた操作ログを保存する
    ことを特徴とする請求項1から3のいずれか1項に記載のタッチパネル装置。
  5. 表示器にユーザインタフェース画面を表示させる表示制御部と、
    前記ユーザインタフェース画面のオブジェクトを検出するオブジェクト検出部と、
    をさらに有し、
    前記表示器に、前記オブジェクトの押圧値、前記オブジェクトに対する操作回数、前記押圧値の頻度分布、及び前記押し込み操作の閾値のうちの1つ以上を示すインジケータが表示される
    ことを特徴とする請求項1から3のいずれか1項に記載のタッチパネル装置。
  6. 表示器にキャリブレーション画面を表示させる表示制御部と、
    キャリブレーション画面におけるタッチ操作で操作ログ収集部に入力されたデータを検出する押圧力分布検出部と、
    をさらに有し、
    前記閾値決定部は、キャリブレーション画面におけるタッチ操作に基づいて閾値を設定する
    ことを特徴とする請求項1から3のいずれか1項に記載のタッチパネル装置。
  7. 前記閾値決定部は、前記複数のグループ領域の各々に操作ログの個数が予め決められた値に達していないときに、他のグループ領域における他の閾値の更新量を用いて、前記グループ領域の閾値を更新することを特徴とする請求項1から6のいずれか1項に記載のタッチパネル装置。
  8. タッチパネルの操作面に対して行われるタッチ操作によって前記タッチパネルから出力される信号に基づいて、前記タッチ操作の位置を示す座標情報を生成するステップと、
    前記タッチ操作によって前記タッチパネルの操作面に付与された押圧力に対応する押圧値を生成するステップと、
    前記座標情報と前記押圧値を示す情報とを含むデータである操作ログを収集し、保存するステップと、
    前記操作ログに含まれる複数のタッチ操作の位置を複数のグループに分割し、前記複数のグループの各々に対応するグループ領域を決定するステップと、
    前記操作ログに基づいて、前記複数のグループ領域の各々における前記押圧値の閾値を決定するステップと、
    前記押圧値が前記閾値以上であれば、前記タッチ操作が押圧力を伴う押し込み操作であると判断し、前記押圧値が前記閾値未満であれば、前記タッチ操作が前記押し込み操作以外の通常タッチ操作であると判断するステップと、
    を有することを特徴とする操作識別方法。
  9. コンピュータに、
    タッチパネルの操作面に対して行われるタッチ操作によって前記タッチパネルから出力される信号に基づいて、前記タッチ操作の位置を示す座標情報を生成する処理と、
    前記タッチ操作によって前記タッチパネルの操作面に付与された押圧力に対応する押圧値を生成する処理と、
    前記座標情報と前記押圧値を示す情報とを含むデータである操作ログを収集し、保存する処理と、
    前記操作ログに含まれる複数のタッチ操作の位置を複数のグループに分割し、前記複数のグループの各々に対応するグループ領域を決定する処理と、
    前記操作ログに基づいて、前記複数のグループ領域の各々における前記押圧値の閾値を決定する処理と、
    前記押圧値が前記閾値以上であれば、前記タッチ操作が押圧力を伴う押し込み操作であると判断し、前記押圧値が前記閾値未満であれば、前記タッチ操作が前記押し込み操作以外の通常タッチ操作であると判断する処理と、
    を実行させることを特徴とする操作識別プログラム。
JP2021543853A 2019-09-04 2019-09-04 タッチパネル装置、操作識別方法、及び操作識別プログラム Active JP6952942B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034687 WO2021044535A1 (ja) 2019-09-04 2019-09-04 タッチパネル装置、操作識別方法、及び操作識別プログラム

Publications (2)

Publication Number Publication Date
JPWO2021044535A1 JPWO2021044535A1 (ja) 2021-10-21
JP6952942B2 true JP6952942B2 (ja) 2021-10-27

Family

ID=74852198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021543853A Active JP6952942B2 (ja) 2019-09-04 2019-09-04 タッチパネル装置、操作識別方法、及び操作識別プログラム

Country Status (6)

Country Link
US (1) US11726615B2 (ja)
JP (1) JP6952942B2 (ja)
CN (1) CN114270299A (ja)
DE (1) DE112019007585B4 (ja)
TW (1) TW202111500A (ja)
WO (1) WO2021044535A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022083296A (ja) * 2020-11-24 2022-06-03 シャープ株式会社 タッチパネルシステム、表示装置及びタッチパネルシステムの制御方法
JP2022166512A (ja) 2021-04-21 2022-11-02 シャープディスプレイテクノロジー株式会社 タッチパネルシステム及び表示装置
CN113268162A (zh) * 2021-06-02 2021-08-17 广州绿怡信息科技有限公司 屏幕更换检测方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034216A (ja) * 2009-07-30 2011-02-17 Canon Inc 選択オブジェクト決定方法、オブジェクトの前後関係の決定方法及びその装置
JP2013161208A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法およびプログラム
CN102722238B (zh) * 2012-04-20 2016-04-27 深圳市汇顶科技股份有限公司 一种触摸终端识别确认型触摸手势的方法及系统
JP2013246482A (ja) * 2012-05-23 2013-12-09 Sharp Corp 操作入力装置
JP2015052819A (ja) * 2013-09-05 2015-03-19 シャープ株式会社 電子機器
JP6038202B2 (ja) 2015-02-06 2016-12-07 京セラドキュメントソリューションズ株式会社 入力装置および電子機器
US10222889B2 (en) * 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
CN106325574B (zh) * 2015-06-26 2019-11-15 小米科技有限责任公司 在触摸屏上监测触摸的方法及装置
JP6462519B2 (ja) * 2015-07-23 2019-01-30 シャープ株式会社 情報処理装置、情報処理プログラムおよび情報処理方法
CN106708310A (zh) * 2015-12-31 2017-05-24 深圳市汇顶科技股份有限公司 通过压力检测有效触摸点的方法及装置
JP2017138644A (ja) * 2016-02-01 2017-08-10 東洋インキScホールディングス株式会社 センサ装置、タッチ・プッシュ判定方法及びタッチ・プッシュ判定プログラム
DE112016007545T5 (de) * 2016-12-26 2019-09-19 Mitsubishi Electric Corporation Tastfeld-eingabeeinrichtung, tastgesten-beurteilungseinrichtung, tastgesten-beurteilungsverfahren und tastgesten-beurteilungs-programm
CN109656493A (zh) * 2017-10-10 2019-04-19 中兴通讯股份有限公司 控制方法及装置
WO2019150468A1 (ja) * 2018-01-31 2019-08-08 三菱電機株式会社 タッチパネル装置

Also Published As

Publication number Publication date
CN114270299A (zh) 2022-04-01
TW202111500A (zh) 2021-03-16
US11726615B2 (en) 2023-08-15
WO2021044535A1 (ja) 2021-03-11
US20220155901A1 (en) 2022-05-19
DE112019007585B4 (de) 2023-10-12
JPWO2021044535A1 (ja) 2021-10-21
DE112019007585T5 (de) 2022-04-14

Similar Documents

Publication Publication Date Title
JP6952942B2 (ja) タッチパネル装置、操作識別方法、及び操作識別プログラム
CN107690609B (zh) 力输入和光标控制
JP5598104B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN105556443B (zh) 使用动态阈值对压感板的点击检测的方法和设备
KR101424259B1 (ko) 휴대단말에서 입력 피드백 제공 방법 및 장치
KR100259452B1 (ko) 터치스크린용 가상 포인팅 디바이스
KR100255284B1 (ko) 가상 포인팅 디바이스를 생성하기 위한 컴퓨터 장치, 컴퓨터 시스템의 지시 방법 및 컴퓨터 사용가능 매체를 구비한 제조 물품
KR100260866B1 (ko) 터치스크린포인팅디바이스의분리를위한방법및시스템
KR100255285B1 (ko) 가상 포인팅 디바이스를 생성하기 위한 컴퓨터 시스템, 컴퓨터 시스템의 지시 방법, 및 컴퓨터 사용가능 매체를 구비한 제조 물품
US7737955B2 (en) Electronic device and method providing a touch-based interface for a display control
US20090066659A1 (en) Computer system with touch screen and separate display screen
KR20140145579A (ko) 사용자 입력 의도 분류 기법
KR20100129424A (ko) 터치스크린의 접촉위치 및 접촉힘의 세기를 이용한 사용자 인터페이스 제공 방법 및 장치
WO2005022372A1 (en) Method and device for recognizing a dual point user input on a touch based user input device
KR19980032332A (ko) 터치스크린 포인팅 디바이스의 분리 및 합체
US9405393B2 (en) Information processing device, information processing method and computer program
KR20170061560A (ko) 사용자 입력을 획득하기 위한 방법 및 전자장치
CN107179849B (zh) 终端及其输入控制方法、计算机可读存储介质
CN107037874B (zh) 重压和移动手势
CN107980116B (zh) 悬浮触控感测方法、悬浮触控感测系统及悬浮触控电子设备
US9134843B2 (en) System and method for distinguishing input objects
CN106126099B (zh) 信息处理方法及电子设备
KR100859882B1 (ko) 터치 기반 사용자 입력 장치상의 듀얼 포인트 사용자입력을 인지하기 위한 방법 및 장치
CN107949825B (zh) 针对降落-抬起事件的位置过滤
CN103064557A (zh) 基于触屏坐标与加速度向电子设备输入信息的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210730

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210928

R150 Certificate of patent or registration of utility model

Ref document number: 6952942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150