JP6353982B2 - タッチインタラクション処理方法、装置及びシステム - Google Patents

タッチインタラクション処理方法、装置及びシステム Download PDF

Info

Publication number
JP6353982B2
JP6353982B2 JP2017520458A JP2017520458A JP6353982B2 JP 6353982 B2 JP6353982 B2 JP 6353982B2 JP 2017520458 A JP2017520458 A JP 2017520458A JP 2017520458 A JP2017520458 A JP 2017520458A JP 6353982 B2 JP6353982 B2 JP 6353982B2
Authority
JP
Japan
Prior art keywords
touch
start time
electromyogram signal
hand gesture
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017520458A
Other languages
English (en)
Other versions
JP2017534980A (ja
Inventor
▲強▼ 丁
▲強▼ 丁
小榕 高
小榕 高
肖山 黄
肖山 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2017534980A publication Critical patent/JP2017534980A/ja
Application granted granted Critical
Publication of JP6353982B2 publication Critical patent/JP6353982B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明の実施例は、マンマシーンインタラクションの分野に関し、特にタッチインタラクション処理方法、装置及びシステムに関する。
タッチ技術はマンマシーンインタラクションの重要な技術の１つであり、タッチポイントの数に応じてシングルタッチ技術とマルチタッチ技術に分類される。シングルタッチ技術は、毎回１本の指だけを使用して実行されるタップ又はタッチを識別し、サポートすることができる。マルチタッチ技術は、マルチタッチ及びマルチポイント検知技術とも呼ばれ、５本の指を同時に使用することによって実行されたタップ又はタッチ動作の識別及びサポートを実現するため、同時にマルチポイント信号を収集してジェスチャを識別することができる。タッチ操作は便利であって、自然であって、ユーザフレンドリであるため、タッチ操作は様々な分野に広く適用されている。
従来技術では、インタフェース上のタッチポイントを検出することによってタッチ命令が識別され、１つのタッチポイントはシングルタッチ操作を示し、複数のタッチポイントはマルチタッチ操作を示しているが、タッチ操作を実行するユーザと、タッチ操作を実行するのに使用される手及び指とは識別することはできない。１人のユーザが片手でマルチタッチ操作を実行するとき、指は識別できないため、少数のマルチタッチ指示しか識別できず、例えば、人差し指と親指を使用することによって実行された動きと、中指と親指を使用することによって実行された動きとの双方が、スケーリング操作として識別される。１人のユーザが両手でタッチ操作を実行するとき、左手と右手は識別できないため、混乱しやすいタッチ指示が容易に生じ、例えば、左手の１本の指と右手の１本の指の同時の動きは、片手の人差し指と親指を使用することによって実行されるスケーリング操作として誤って識別される。複数のユーザがタッチ操作を実行するとき、ユーザは識別できないため、複数のユーザが同時に同じ領域でタッチ操作を実行することは実現できない。
結論として、従来技術は以下の短所を有する。１人のユーザが両手でタッチ操作を実行するとき、又は、複数のユーザが同じ領域において同時にタッチ操作を実行するとき、混乱しやすいタッチ指示が容易に生じる。
本発明の実施例は、１人のユーザが両手でタッチ操作を実行し、又は複数のユーザが同じ領域においてタッチインタラクション操作を同時に実行することを実現するため、タッチインタラクション処理方法、装置及びシステムを提供する。
第１の態様によると、本発明の実施例は、タッチインタラクション処理方法であって、
筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するステップであって、前記第１の情報は、前記筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間であり、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されるスタート時間である、受信するステップと、
前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断された場合、タッチ指示を生成するステップであって、前記タッチ指示は、前記筋電図信号収集装置の前記装置識別子、前記ハンドジェスチャ及び各タッチポイントの前記座標情報を含む、生成するステップと、
前記タッチ指示に対応するインタラクション処理を実行するステップと、
を有する方法を提供する。
第１の態様を参照して、第１の態様の第１の可能な実現方式では、当該方法は更に、
前記ユーザが前記タッチを実行し、前記筋電図信号収集装置によって送信された前記ハンドジェスチャと、前記位置キャプチャリング装置によって送信された各タッチポイントの前記座標情報とを継続的に受信し、前記タッチ指示を更新するステップを有する。
第１の態様を参照して、第１の態様の第２の可能な実現方式では、前記第１の情報は更に、前記ユーザが前記タッチを実行する操作力を含み、前記タッチ指示は更に、前記操作力を含む。
第１の態様の第２の可能な実現方式を参照して、第１の態様の第３の可能な実現方式では、当該方法は更に、前記筋電図信号収集装置によって送信される、前記ユーザが前記タッチを実行する前記ハンドジェスチャ及び前記ユーザが前記タッチを実行する前記操作力と、前記位置キャプチャリング装置によって送信される各タッチポイントの前記座標情報とを持続的に受信し、前記タッチ指示を更新するステップを有する。
第１の態様の第３の可能な実現方式を参照して、第１の態様の第４の可能な実現方式では、当該方法は更に、前記操作力が第２の所定の閾値未満であると判断された場合、前記タッチ指示を削除するステップを有する。
第２の態様によると、本発明の実施例は、タッチインタラクション処理方法であって、
筋電図信号収集装置が、複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するステップと、
前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、前記ハンドジェスチャによる第１のタッチスタート時間を判断するステップであって、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間である、判断するステップと、
前記筋電図信号収集装置が、第１の情報を処理装置に送信するステップであって、前記処理装置は、位置キャプチャリング装置によって送信される前記第１の情報及び第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、前記第１の情報は、前記筋電図信号収集装置の装置識別子、前記ハンドジェスチャ及び前記第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されたスタート時間である、送信するステップと、
を有する方法を提供する。
第２の態様を参照して、第２の態様の第１の可能な実現方式では、前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断するステップは、前記筋電図信号収集装置が、ハンドジェスチャのタイプに基づき前記表面筋電図信号Ｓ１のものである振幅及び周波数に従って前記ハンドジェスチャを判断するステップを含む。
第２の態様を参照して、第２の態様の第２の可能な実現方式では、当該方法は更に、前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、前記ユーザが前記タッチを実行した操作力を判断するステップであって、前記第１の情報は更に前記操作力を含み、前記ハンドジェスチャに従って第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することである、判断するステップを更に有する。
第２の態様の第２の可能な実現方式を参照して、第２の態様の第３の可能な実現方式では、前記ユーザが前記タッチを実行した操作力を判断するステップは、前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによって前記シングルチャネル筋電図信号Ｓ２の平均振幅を計算し、前記操作力Ｓとして前記シングルチャネル筋電図信号Ｓ２の平均振幅を使用するステップを含む。
第２の態様の第２の可能な実現方式を参照して、第２の態様の第４の可能な実現方式では、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断するステップは、前記ハンドジェスチャ及び前記操作力を取得した後、テーブルを検索することによって前記第１のタッチスタート時間を判断するステップであって、各ハンドジェスチャに対応する操作力の第１の所定の閾値は前記テーブルに予め記憶される、判断するステップと、前記表面筋電図信号Ｓ１に従って取得された前記操作力が前記第１の所定の閾値より大きい場合、現在のシステム時間を取得し、前記第１のタッチスタート時間として前記現在のシステム時間を使用するステップとを含む。
第２の態様又は第２の態様の第１〜４の可能な実現方式の何れか１つを参照して、第２の態様の第５の可能な実現方式では、前記処理装置が前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断した後、前記処理装置は前記タッチ指示を生成することを含む。
第３の態様によると、本発明の実施例は、処理装置であって、
筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するよう構成される情報受信モジュールであって、前記第１の情報は、前記筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間であり、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されるスタート時間である、情報受信モジュールと、
前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断された場合、タッチ指示を生成するよう構成される指示生成モジュールであって、前記タッチ指示は、前記筋電図信号収集装置の前記装置識別子、前記ハンドジェスチャ及び各タッチポイントの前記座標情報を含む、指示生成モジュールと、
前記タッチ指示に対応するインタラクション処理を実行するよう構成される指示実行モジュールと、
を有する処理装置を提供する。
第３の態様を参照して、第３の態様の第１の可能な実現方式では、前記指示生成モジュールは更に、前記ユーザが前記タッチを実行し、前記筋電図信号収集装置によって送信され、前記情報受信モジュールによって継続的に受信される前記ハンドジェスチャと、前記位置キャプチャリング装置によって送信された各タッチポイントの前記座標情報とに従って、前記タッチ指示を更新するよう構成される。
第３の態様を参照して、第３の態様の第２の可能な実現方式では、前記第１の情報は更に、前記ユーザが前記タッチを実行する操作力を含み、前記タッチ指示は更に、前記操作力を含む。
第３の態様の第２の可能な実現方式を参照して、第３の態様の第３の可能な実現方式では、前記指示生成モジュールは更に、前記筋電図信号収集装置によって送信され、前記情報受信モジュールによって継続的に受信される、前記ユーザが前記タッチを実行する前記ハンドジェスチャ及び前記ユーザが前記タッチを実行する前記操作力と、前記位置キャプチャリング装置によって送信される各タッチポイントの前記座標情報とに従って、前記タッチ指示を更新するよう構成される。
第３の態様の第３の可能な実現方式を参照して、第３の態様の第４の可能な実現方式では、前記指示生成モジュールは更に、前記操作力が第２の所定の閾値未満であると判断された場合、前記タッチ指示が終了したと判断し、前記タッチ指示を削除するよう構成される。
第４の態様によると、本発明の実施例は、筋電図信号収集装置であって、
複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するよう構成される収集モジュールと、
前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、前記ハンドジェスチャによる第１のタッチスタート時間を判断するよう構成される処理モジュールであって、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間である、処理モジュールと、
第１の情報を処理装置に送信するよう構成される送信モジュールであって、前記処理装置は、前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、前記第１の情報は、前記筋電図信号収集装置の装置識別子、前記ハンドジェスチャ及び前記第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されたスタート時間である、送信モジュールと、
を有する収集装置を提供する。
第４の態様を参照して、第４の態様の第１の可能な実現方式では、処理モジュールが、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断することは、前記処理モジュールが、ハンドジェスチャのタイプに基づき前記表面筋電図信号Ｓ１のものである振幅及び周波数に従って前記ハンドジェスチャを判断することを含む。
第４の態様を参照して、第４の態様の第２の可能な実現方式では、前記処理モジュールは更に、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、前記ユーザが前記タッチを実行した操作力を判断するよう構成され、前記第１の情報は更に前記操作力を含み、前記ハンドジェスチャに従って第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することである。
第４の態様の第２の可能な実現方式を参照して、第４の態様の第３の可能な実現方式では、前記処理モジュールが、前記ユーザが前記タッチを実行した操作力を判断することは、前記処理モジュールが、前記表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによって前記シングルチャネル筋電図信号Ｓ２の平均振幅を計算し、前記操作力Ｓとして前記シングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含む。
第４の態様の第３の可能な実現方式を参照して、第４の態様の第４の可能な実現方式では、前記処理装置が、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力を取得した後、前記処理モジュールが、テーブルを検索することによって前記第１のタッチスタート時間を判断し、各ハンドジェスチャに対応する操作力の第１の所定の閾値は前記テーブルに予め記憶され、前記表面筋電図信号Ｓ１に従って取得された前記操作力が前記第１の所定の閾値より大きい場合、現在のシステム時間を取得し、前記第１のタッチスタート時間として前記現在のシステム時間を使用することを含む。
第４の態様又は第４の態様の第１〜４の可能な実現方式の何れか１つを参照して、第４の態様の第５の可能な実現方式では、前記処理装置が前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断した後、前記処理装置は前記タッチ指示を生成することを含む。
第５の態様によると、本発明の実施例は、タッチ処理システムであって、位置キャプチャリング装置と、第３の態様又は第３の態様の第１〜４の可能な実現方式の何れか１つによる処理装置と、第４の態様又は第４の態様の第１〜５の可能な実現方式の何れか１つによる少なくとも１つの筋電図信号収集装置とを有し、前記筋電図信号収集装置と前記位置キャプチャリング装置との双方は、前記処理装置に通信接続されるタッチ処理システムを提供する。
本発明の実施例において提供されるタッチインタラクション処理方法、装置及びシステムによると、タッチ指示は、筋電図信号収集装置によって送信される第１の情報と、位置キャプチャリング装置によって送信される第２の情報とに従って生成され、対応するインタラクション処理が実行される。筋電図信号収集装置に対応する装置識別子が、異なるユーザによって実行されるタッチ操作の１つと、左手と右手とを使用することによって同一ユーザによって実行されるタッチ操作とを区別するのに利用されてもよいため、混乱しやすいタッチ指示を生じさせることなく、１人のユーザが両手によりタッチ操作を実行するか、又は複数のユーザが同じ領域でタッチ操作を同時に実行することが実現される。
本発明の実施例又は従来技術における技術的解決策をより明確に説明するため、以下は、実施例又は従来技術を説明するのに必要な添付図面を簡単に紹介する。明らかに、以下の説明における添付図面は本発明のいくつかの実施例を示し、当業者は、創作的な努力なく、これらの添付図面から他の図面を依然として導出してもよい。
図１は、本発明によるタッチインタラクション処理方法の第１実施例のフローチャートである。 図２は、本発明によるタッチインタラクション処理方法の第２実施例のフローチャートである。 図３は、本発明による処理装置の第１実施例の概略的な構成図である。 図４は、本発明による筋電図信号収集装置の第１実施例の概略的な構成図である。 図５は、本発明によるタッチ処理システムの第１実施例の概略的な構成図である。 図６は、本発明による処理装置の第１実施例の概略的な構成図である。 図７は、本発明による筋電図信号収集装置の第１実施例の概略的な構成図である。 図８は、本発明によるタッチ処理システムの第２実施例の概略的な構成図である。
本発明の実施例の課題、技術的解決策及び効果をより明確にするため、以下は、本発明の実施例における添付図面を参照して、本発明の実施例における技術的解決策を明確且つ完全に説明する。明らかに、説明される実施例は本発明の実施例の全てでなく一部である。創作的な努力なく本発明の実施例に基づき当業者により取得される他の全ての実施例は、本発明の保護範囲内に属する。
図１は、本発明によるタッチインタラクション処理方法の第１実施例のフローチャートである。タッチインタラクション処理方法は、チップ又はモバイル端末などの処理装置によって実行されてもよい。処理装置は処理装置に統合されてもよく、処理装置は、モバイル端末、コンピュータ、サーバなどであってもよく、チップは、モバイル端末、コンピュータなどに統合されてもよい。処理装置及び処理装置は、本発明の本実施例において限定されない記憶又は計算機能を有する装置及び何れかの装置であってもよい。図１に示されるように、タッチインタラクション処理方法は以下を含むものであってもよい。
ステップ１０１：筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信する。
第１の情報は、筋電図（ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｉｃ、略してＥＭＧ）信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されるスタート時間である。
本実施例では、筋電図信号収集装置と位置キャプチャリング装置は、同一のタッチ操作領域におけるユーザのタッチ操作イベントを別々に識別してもよい。筋電図信号収集装置は、マルチチャネル表面筋電図（ｓｕｒｆａｃｅ ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｉｃ、略してｓＥＭＧ）信号を収集可能な何れかの装置であってもよいことに留意すべきである。好ましくは、筋電図信号収集装置は、ユーザの腕に配置され、位置キャプチャリング装置は、ユーザのタッチ操作を識別可能な何れかの装置であってもよい。筋電図信号収集装置によって識別されるユーザのタッチ操作イベントは、筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義されてもよい。位置キャプチャリング装置によって識別されるユーザのタッチ操作イベントは、トラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓとして定義されてもよい。筋電タッチイベントＴｏｕｃｈ＿ＥＭＧは、それぞれ筋電図信号収集装置の装置識別子（ｄｅｖｉｃｅ ＩＤ）、ユーザがタッチを実行するハンドジェスチャ（Ｇ）、及び第１のタッチスタート時間（Ｔ１）である３つのパラメータを含む。トラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓは、それぞれユーザがタッチを実行したタッチポイントの数（Ｎ２）、第２のタッチスタート時間（Ｔ２）、及び各タッチポイントの座標情報（Ｌ）である３つのパラメータを含む。
装置ＩＤは、筋電図信号収集装置を一意的に区別するために使用されてもよい。装置ＩＤは、数字、文字又は他の何れかの形式であってもよく、本発明の本実施例では限定されない。例えば、２人のユーザが同時にタッチ操作を実行し、ユーザＡが左手と右手の両方を用いてタッチ操作を実行し、ユーザＢが右手のみを用いてタッチ操作を実行するとき、筋電図信号収集装置は、ユーザの各腕に配置される必要がある。装置ＩＤ２１０を有する筋電図信号収集装置は、ユーザＡの左手のマルチチャネル表面筋電図信号を収集し、装置ＩＤ２１１を有する筋電図信号収集装置は、ユーザＡの右手のマルチチャネル表面筋電図信号を収集し、装置ＩＤ２２０を有する筋電図信号収集装置は、ユーザＢの右手のマルチチャネル表面筋電図信号を収集する。装置ＩＤ２１０、装置ＩＤ２１１及び装置ＩＤ２２０は、異なる筋電図信号収集装置を一意的に区別するのに利用されてもよいため、左手を利用することによってユーザＡによって実行されるタッチ操作、右手を利用することによってユーザＡによって実行されるタッチ操作、及び右手を利用することによってユーザＢによって実行されるタッチ操作が識別されてもよい。従って、筋電図信号収集装置の装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を用いることによって同一のユーザによって実行されるタッチ操作とを区別するのに利用可能であり、これにより、混同しうるタッチ操作を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域においてタッチ操作を同時に実行することが実現できる。
ユーザがタッチを実行するハンドジェスチャＧは、片手の１本の指のハンドジェスチャであってもよいし、又は片手の複数の指のハンドジェスチャであってもよい。タッチポイントの対応する数（Ｎ１）は、ハンドジェスチャＧに従って決定されてもよい。例えば、片手の１本の指のハンドジェスチャは、親指、人差し指又は薬指のハンドジェスチャであってもよく、この場合、ハンドジェスチャＧに対応するタッチポイントの数Ｎ１は１であり、片手の複数の指のハンドジェスチャは人差し指と薬指の組み合わせのハンドジェスチャであってもよく、この場合、ハンドジェスチャＧに対応するタッチポイントの数Ｎ１は２である。任意的に、筋電図信号収集装置は、ハンドジェスチャセットを予め定義し、当該セットにおけるハンドジェスチャのみが識別可能である。セットにおけるハンドジェスチャは、当該技術分野において一般的なハンドジェスチャを含むことができ、又は所定の新しいハンドジェスチャであってもよく、本発明の本実施形態では限定されない。
第１のタッチスタート時間Ｔ１は、筋電タッチイベントＴｏｕｃｈ＿ＥＭＧのスタート時間を表し、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である。第２のタッチスタート時間Ｔ２は、トラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓのスタート時間を表し、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されるスタート時間である。
各タッチポイントの座標情報Ｌは、タッチ領域において位置キャプチャリング装置によって識別されるＮ２個のタッチポイントの位置座標を表し、Ｌ＝｛ｌ１，ｌ２，．．．，ｌＮ２｝であり、ここで、ｌｉ（ｉ＝１，２，．．．，Ｎ２）は、位置キャプチャリング装置によって識別される各タッチポイントの２次元座標を表す。
ステップ１０３：第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断された場合、タッチ指示を生成し、ここで、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む。
所定の閾値Ｔ＿ｔｈは、必要に応じて設定されてもよい。
具体的には、筋電図信号収集装置によって識別される筋電タッチイベントＴｏｕｃｈ＿ＥＭＧにおける第１のタッチスタート時間Ｔ１と、位置キャプチャリング装置によって識別されるトラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓにおける第２のタッチスタート時間Ｔ２との間の時間差Ｔ＿ｇａｐは、｜Ｔ１−Ｔ２｜に等しい。時間差Ｔ＿ｇａｐが所定の閾値Ｔ＿ｔｈ未満であり、筋電タッチイベントＴｏｕｃｈ＿ＥＭＧにおけるハンドジェスチャＧに対応するタッチポイントの数Ｎ１が、トラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓにおいてユーザがタッチを実行したタッチポイントの数Ｎ２と同じであるとき、すなわち、Ｔ＿ｇａｐ＝｜Ｔ１−Ｔ２｜＜Ｔ＿ｔｈであって、Ｎ１＝Ｎ２であるとき、それは、筋電図信号収集装置によって識別された筋電タッチイベントＴｏｕｃｈ＿ＥＭＧと、位置キャプチャリング装置によって識別されたトラックタッチイベントＴｏｕｃｈ＿ＴｒａｃｋＳｙｓとが、同じタッチ操作イベントであることを示し、タッチ操作に応じてタッチ指示Ｔｏｕｃｈ＿ｅｆｆが生成されてもよい。タッチ指示Ｔｏｕｃｈ＿ｅｆｆは、それぞれ筋電図信号収集装置の装置識別子（ｄｅｖｉｃｅ ＩＤ）、ユーザがタッチを実行したハンドジェスチャ（Ｇ）、及び各タッチポイントの座標情報（Ｌ）である３つのパラメータを含む。
任意的には、タッチ指示Ｔｏｕｃｈ＿ｅｆｆは、選択、移動、スケーリング又は回転などの一般的なタッチ指示であってもよいし、又はユーザにより定義されたライン描画又はボリューム調整などの新しく追加されたタッチ指示であってもよく、本発明の本実施例では限定されない。
ステップ１０５：タッチ指示に対応するインタラクション処理を実行する。
具体的には、タッチ指示Ｔｏｕｃｈ＿ｅｆｆが生成された後、タッチ指示Ｔｏｕｃｈ＿ｅｆｆに対応するインタラクション処理が実行される。
なお、タッチ指示Ｔｏｕｃｈ＿ｅｆｆはハンドジェスチャＧを含み、タッチ指示Ｔｏｕｃｈ＿ｅｆｆに含まれる情報を充実させるため、追加的な特徴がハンドジェスチャＧについて定義されてもよいことが留意されるべきである。例えば、ハンドジェスチャＧが片手の１本の指のジェスチャであるとき、異なる指に従って異なるタッチ指示Ｔｏｕｃｈ＿ｅｆｆが生成されてもよく、親指がオブジェクトパニングを表し、人差し指がタッピングによる選択を表すなどが定義されてもよく、ハンドジェスチャＧが片手の１本の指のジェスチャであり、生成されたタッチ指示がライン描画であるとき、異なる指が異なる色又はラインタイプを表すことが定義されてもよいし、又は、ハンドジェスチャＧが片手の複数の指のジェスチャであるとき、異なる指の組み合わせに従って異なるタッチ指示Ｔｏｕｃｈ＿ｅｆｆが生成されてもよく、親指プラス人差し指がスケーリングを表し、親指プラス薬指が明るさ調整を表し、人差し指プラス薬指がボリューム調整を表すなどが定義されてもよい。ハンドジェスチャＧの具体的な定義は、本発明の本実施例では限定されない。
さらに、ステップ１０５の後、当該方法は更に以下を含んでもよい。
ステップ１０７：ユーザがタッチを実行し、筋電図信号収集装置によって送信されたハンドジェスチャと、位置キャプチャリング装置によって送信された各タッチポイントの座標情報とを継続的に受信し、タッチ指示を更新する。
本発明の本実施例において提供されるタッチインタラクション処理方法によると、タッチ指示が、筋電図信号収集装置によって送信される第１の情報と、位置キャプチャリング装置によって送信される第２の情報とに従って生成され、対応するインタラクション処理が実行される。筋電図信号収集装置の装置識別子は異なるユーザにより実行されるタッチ操作の１つと、左手と右手とを使用することによって同一のユーザによって実行されるタッチ操作とを区別するのに利用されてもよいため、混乱させるタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域でタッチ操作を同時に実行することが実現可能である。
任意的には、上記の実施例では、第１の情報は更に、ユーザがタッチを実行する操作力を含み、タッチ指示は更に操作力を含む。
ユーザがタッチ操作を実行する操作力（Ｓ）は、ユーザがタッチを実行したハンドジェスチャＧに対応し、ユーザがタッチ操作を実行した操作力のレベルを表す。有効なタッチ操作は操作力が必要であると理解されてもよく、操作力が過度に軽い場合、タッチ操作はタッチ領域において偶然にユーザによって実行されたタッチであり、有効なタッチ操作ではないことが理解されうる。任意的に、筋電図信号収集装置は、各ハンドジェスチャＧに対応する第１の所定の閾値Ｓ＿ｔｈ（Ｇ）を予め定義する。ハンドジェスチャＧに対応する操作力Ｓが、ハンドジェスチャＧに対応する第１の所定の閾値Ｓ＿ｔｈ（Ｇ）より大きいとき、ハンドジェスチャＧは有効なハンドジェスチャであると考えられ、タッチ操作は筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義される。第１の所定の閾値Ｓ＿ｔｈ（Ｇ）は、必要に応じて設定されてもよい。
なお、タッチ指示Ｔｏｕｃｈ＿ｅｆｆは操作力Ｓを含んでもよく、タッチ指示Ｔｏｕｃｈ＿ｅｆｆに含まれる情報を充実させるため、操作指示Ｓについて追加的な特徴が定義されてもよい。例えば、生成されたタッチ指示Ｔｏｕｃｈ＿ｅｆｆがライン描画であるとき、操作力Ｓの値はラインの幅を表すことが定義されてもよく、生成されたタッチ指示Ｔｏｕｃｈ＿ｅｆｆがボリューム調整であるとき、操作力Ｓの値はボリュームの値を表すことが定義されてもよい。操作力Ｓの具体的な定義は、本発明の本実施例では限定されない。
さらに、上記の実施例では、ステップ１０５の後、当該方法は更に以下を含んでもよい。
ステップ１０９：筋電図信号収集装置によって送信される、ユーザがタッチを実行するハンドジェスチャ及びユーザがタッチを実行する操作力と、位置キャプチャリング装置によって送信される各タッチポイントの座標情報とを持続的に受信し、タッチ指示を更新する。
ステップ１１１：操作力が第２の所定の閾値未満であると判断された場合、タッチ指示を削除する。
処理装置は、各ハンドジェスチャＧに対応する第２の所定の閾値Ｓ２＿ｔｈ（Ｇ）を予め定義してもよい。ハンドジェスチャＧに対応する操作力Ｓが、ハンドジェスチャＧに対応する第２の所定の閾値Ｓ２＿ｔｈ（Ｇ）未満であるとき、タッチ指示Ｔｏｕｃｈ＿ｅｆｆは終了したと考えられ、タッチ指示Ｔｏｕｃｈ＿ｅｆｆが削除される。第２の所定の閾値Ｓ２＿ｔｈ（Ｇ）は、必要に応じて設定されてもよい。
任意的に、ステップ１１１は、ステップ１０９の前に実行されてもよい。
任意的に、上記の実施例では、当該方法は更に、タッチ指示を記憶するため、タッチ指示リストを維持することを含んでもよい。新しいタッチ指示が生成されると、当該タッチ指示はタッチ指示リストに追加され、タッチ指示が終了したと判断されると、タッチ指示リストからタッチ指示は削除される。
図２は、本発明によるタッチインタラクション処理方法の第２実施例のフローチャートである。タッチインタラクション処理方法は、筋電図信号収集装置、例えば、複数の筋電図信号収集電極プレート、又はリストストラップ型の筋電図信号収集装置によって実行されてもよい。筋電図信号収集装置は、本発明の本実施例では限定されないマルチチャネル表面筋電図信号を収集することができる何れかの装置であってもよい。本実施例では、筋電図信号収集装置は、ユーザのタッチ操作イベントを識別し、ユーザのタッチ操作イベントを筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義してもよい。図２に示されるように、タッチインタラクション処理方法は以下を含むものであってもよい。
ステップ２０１：筋電図信号収集装置が、複数のチャネルから表面筋電図信号Ｓ１を周期的に収集する。
筋電図信号収集装置は、表面筋電図信号を収集することができる複数の電極を含んでもよく、各電極は、１つのチャネルから表面筋電図信号を収集する。ユーザがマルチタッチ操作を実行すると、筋電図信号収集装置は、複数のチャネルから周期的に表面筋電図信号Ｓ１を収集する。収集期間は、必要に応じて設定されてもよい。任意的に、前処理が、複数のチャネルからの表面筋電図信号Ｓ１に対して実行されてもよい。前処理は、複数のチャネルから収集された表面筋電図信号Ｓ１に対して、信号増幅処理、電力周波数干渉及びトラッピング処理、フィルタリング処理などを実行することを含むものであってもよい。
好ましくは、筋電図信号収集装置は、ユーザの腕に配置されてもよい。ユーザの左手と右手の両方がタッチ操作を実行するのに使用される場合、筋電図信号収集装置は、各腕に配置される必要がある。各筋電図信号収集装置は、筋電図信号収集装置に対応する装置識別子（ｄｅｖｉｃｅ ＩＤ）を有する。装置ＩＤは、筋電図信号収集装置を一意的に区別するのに使用されてもよい。装置ＩＤは、数字、文字又は他の形式であってもよく、本発明の本実施例では限定されない。ユーザがマルチタッチ操作を実行すると、筋電図信号収集装置の装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手とを使用して同じユーザによって実行されるタッチ操作とを区別するのに利用可能であり、これにより、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが混乱するタッチ操作を生じさせることなく同じ領域においてタッチ操作を同時に実行することが実現可能である。
ステップ２０３：筋電図信号収集装置が、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、ハンドジェスチャによる第１のタッチスタート時間を判断する。第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である。
任意的には、筋電図信号収集装置が、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行するハンドジェスチャ（Ｇ）を判断することは、具体的には以下を含んでもよい。
筋電図信号収集装置は、ハンドジェスチャのタイプに基づき、表面筋電図信号Ｓ１のものである振幅及び周波数に従ってハンドジェスチャＧを判断する。具体的には、ハンドジェスチャＧのタイプは、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ、略してＬＤＡ）アルゴリズム又はサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、略してＳＶＭ）アルゴリズムを使用することによって決定される。ハンドジェスチャのタイプを判断する方法は、本発明の本実施例では限定されない。
ハンドジェスチャＧのタイプは、片手の１本の指のハンドジェスチャであってもよいし、又は、片手の複数の指のハンドジェスチャであってもよい。ハンドジェスチャＧの各タイプは、ハンドジェスチャＧのタイプに対応するタッチポイントの数Ｎ１を有する。例えば、片手の親指のジェスチャに対応するタッチポイントの数Ｎ１は１であり、片手のものある人差し指と薬指の組み合わせのジェスチャに対応するタッチポイントの数Ｎ１は２である。ハンドジェスチャＧのタイプは、本発明の本実施例では限定されない。任意的には、ハンドジェスチャを識別するため、ハンドジェスチャセットが予め定義され、当該セットにおけるハンドジェスチャのみが識別可能である。セットにおけるハンドジェスチャは、当該技術分野において一般的なハンドジェスチャを含むものであってもよいし、又は、予め定義された新たなハンドジェスチャであってもよく、本発明の本実施例では限定されない。
任意的には、ハンドジェスチャＧによる第１のタッチスタート時間（Ｔ１）の決定は、具体的には、ハンドジェスチャＧを取得した後、筋電図信号収集装置は、タッチ操作を筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義し、現在のシステム時間を取得し、現在のシステム時間を筋電タッチイベントＴｏｕｃｈ＿ＥＭＧにおける第１のタッチスタート時間Ｔ１として使用する。
ステップ２０５：筋電図信号収集装置が、第１の情報を処理装置に送信し、これにより、処理装置は、第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行する。第１の情報は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されたスタート時間である。
本発明の本実施例において提供されるタッチインタラクション処理方法によると、筋電図信号収集装置は、複数のチャネルから表面筋電図信号を周期的に収集し、タッチ操作のハンドジェスチャを判断し、ハンドジェスチャに従って第１のタッチスタート時間を判断する。筋電図信号収集装置は、装置識別子、ハンドジェスチャ及び第１のタッチスタート時間を含む第１の情報を処理装置に送信し、これにより、処理装置は、第１の情報及び位置キャプチャリング装置によって送信された第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行する。筋電図信号収集装置の装置識別子は異なるユーザにより実行されるタッチ操作の１つと、左手と右手とを使用することによって同一のユーザによって実行されるタッチ操作とを区別するのに利用されてもよいため、混乱させるタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域でタッチ操作を同時に実行することが実現可能である。
任意的には、上記の実施例では、当該方法は更に、筋電図信号収集装置が、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行した操作力を判断することを含むものであってもよい。第１の情報は更に操作力を含む。ハンドジェスチャに従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することである。
任意的には、ユーザがタッチを実行した操作力（Ｓ）を判断することは、具体的には、
筋電図信号収集装置が、表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによってシングルチャネル筋電図信号Ｓ２の平均振幅を計算し、操作力Ｓとしてシングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含むものであってもよい。
スライディング時間ウィンドウは、スライディング時間ウィンドウの幅Ｉと、スライディング時間ウィンドウのスライディングステップＪとを含む。パラメータの値は、必要に応じて設定されてもよい。任意的には、スライディング時間ウィンドウは、スライディング時間ウィンドウの計算回数Ｋをさらに含んでもよく、ここで、Ｋは１より大きい整数である。スライディング時間ウィンドウの幅Ｉは、シングルチャネル筋電図信号Ｓ２のＩ値に対して平均化を実行することによって、平均振幅Ｚ１を取得することを表す。スライディング時間ウィンドウのスライディングステップＪは、一定時間間隔Ｊでシングルチャネル筋電図信号Ｓ２のＩ値の平均振幅を計算することを表す。スライディング時間ウィンドウの計算回数Ｋは、Ｋ個の計算結果に対して平均化を実行することによって平均振幅Ｚ２を取得することを表す。平均振幅Ｚ１又は平均振幅Ｚ２は、操作力Ｓとして利用されてもよい。例えば、Ｉが５秒であり、Ｊが１秒であり、Ｋが３であることが設定される。スライディング時間ウィンドウを使用することによってシングルチャネル筋電図信号Ｓ２の平均振幅を計算し、操作力Ｓとしてシングルチャネル筋電図信号Ｓ２の平均振幅を使用する具体的なステップは、５秒でシングルチャネル筋電図信号Ｓ２の平均振幅Ｚ１を計算し、毎秒平均振幅Ｚ１を計算し、３つの連続する平均振幅Ｚ１に対して平均化を実行することによって平均振幅Ｚ２を取得し、操作力Ｓとして平均振幅Ｚ２を使用することである。
任意的には、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することは、具体的には、
ハンドジェスチャＧ及び操作力Ｓを取得した後、テーブルを検索することによって第１のタッチスタート時間Ｔ１を判断し、ここで、各ハンドジェスチャＧに対応する操作力の第１の所定の閾値Ｓ＿ｔｈ（Ｇ）はテーブルに予め記憶され、表面筋電図信号Ｓ１に従って取得された操作力Ｓが第１の所定の閾値Ｓ＿ｔｈ（Ｇ）より大きい場合、現在のシステム時間を取得し、第１のタッチスタート時間Ｔ１として現在のシステム時間を使用することを含むものであってもよい。
予め定義されたハンドジェスチャセットにおいて、各ハンドジェスチャＧについて対応する第１の所定の閾値Ｓ＿ｔｈ（Ｇ）が予め定義される。第１の所定の閾値Ｓ＿ｔｈ（Ｇ）は、必要に応じて設定されてもよい。ハンドジェスチャＧ及び対応する操作力Ｓが取得された後、操作力ＳがハンドジェスチャＧに対応する第１の所定の閾値Ｓ＿ｔｈ（Ｇ）より大きい、すなわち、Ｓ＞Ｓ＿ｔｈ（Ｇ）であると判断された場合、タッチ操作は有効なタッチ操作であると考えられ、タッチ操作は筋電タッチイベントＴｏｕｃｈ＿ＥＭＧとして定義され、現在のシステム時間が取得され、筋電タッチイベントＴｏｕｃｈ＿ＥＭＧの第１のタッチスタート時間Ｔ１として使用される。
任意的には、上記の実施例では、処理装置が第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断した後、処理装置はタッチ指示を生成することを含む。タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含むものであってもよい。任意的には、タッチ指示は更に、ユーザがタッチを実行する操作力を含むものであってもよい。
なお、タッチ指示はハンドジェスチャＧを含み、タッチ指示に含まれる情報を充実させるため、ハンドジェスチャＧに対して追加的な特徴が定義されてもよいことが留意されるべきである。例えば、ハンドジェスチャが片手の１本の指のジェスチャであるとき、異なるタッチ指示が異なる指に従って生成されてもよく、親指がオブジェクトパニングを表し、人差し指がタッピングによる選択を表すなどが定義されてもよく、ハンドジェスチャが片手の１本の指のジェスチャであり、生成されたタッチ指示がライン描画であるとき、異なる指が異なる色又はラインタイプを表すことが定義されてもよいし、又はハンドジェスチャが片手の複数の指のジェスチャであるとき、異なるタッチ指示が異なる指の組み合わせに従って生成されてもよく、親指プラス人差し指がスケーリングを表し、人差し指プラス薬指がボリューム調整を表し、親指プラス薬指が明るさ調整を表すことが定義されてもよい。ハンドジェスチャＧの具体的な定義は、本発明の本実施例では限定されない。
なお、タッチ指示は更に操作力Ｓを含んでもよく、タッチ指示に含まれる情報を充実させるため、操作力Ｓについて追加的な特徴が定義されてもよいことが留意されるべきである。例えば、生成されたタッチ指示がライン描画であるとき、操作力の値がラインの幅を表し、生成されたタッチ指示がボリューム調整であるとき、操作力の値がボリュームの値を表すことが定義されてもよい。操作力Ｓの具体的な定義は、本発明の本実施例では限定されない。
図３は、本発明による処理装置の第１実施例の概略的な構成図である。図３に示されるように、処理装置は、
筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するよう構成される情報受信モジュール１１であって、第１の情報は、筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、第２の情報は、ユーザがタッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間であり、第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されるスタート時間である、情報受信モジュール１１と、
第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断された場合、タッチ指示を生成するよう構成される指示生成モジュール１３であって、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む、指示生成モジュール１３と、
タッチ指示に対応するインタラクション処理を実行するよう構成される指示実行モジュール１５と、を有してもよい。
さらに、指示生成モジュール１３は更に、ユーザがタッチを実行し、筋電図信号収集装置によって送信され、情報受信モジュールによって継続的に受信されるハンドジェスチャと、位置キャプチャリング装置によって送信された各タッチポイントの座標情報とに従って、タッチ指示を更新するよう構成される。
任意的には、第１の情報は更に、ユーザがタッチを実行する操作力を含んでもよく、タッチ指示は更に操作力を含んでもよい。
任意的には、指示生成モジュール１３は更に、筋電図信号収集装置によって送信され、情報受信モジュールによって継続的に受信される、ユーザがタッチを実行するハンドジェスチャ及びユーザがタッチを実行する操作力と、位置キャプチャリング装置によって送信される各タッチポイントの座標情報とに従って、タッチ指示を更新するよう構成される。
任意的には、指示生成モジュール１３は更に、操作力が第２の所定の閾値未満であると判断された場合、タッチ指示が終了したと判断し、タッチ指示を削除するよう構成される。
任意的に、筋電図信号収集装置は更に、タッチ指示リストを維持するよう構成され、タッチ指示を記憶するよう構成される記憶モジュール１７を含んでもよい。
なお、処理装置の形態は本発明の本実施例では限定されないことが留意されるべきである。処理装置は、チップ、スマートフォン、コンピュータ、サーバなどであってもよく、計算又は記憶能力を有する他の装置であってもよい。
本発明の本実施例において提供される処理装置によると、情報受信モジュールは、筋電図信号収集装置によって送信された第１の情報と、位置キャプチャ装置によって送信された第２の情報とを受信し、指示生成モジュールはタッチ指示を生成し、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含み、指示実行モジュールは、タッチ指示に対応するインタラクション処理を実行する。筋電図信号収集装置の装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を使用することによって同じユーザによって実行されるタッチ操作とを区別するために使用されてもよいため、混乱するタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域において同時にタッチ操作を実行することが実現可能である。
図４は、本発明による筋電図信号収集装置の第１実施例の概略的な構成図である。図４に示されるように、筋電図信号収集装置は、
複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するよう構成される収集モジュール２１と、
表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、ハンドジェスチャによる第１のタッチスタート時間を判断するよう構成される処理モジュール２３であって、第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である、処理モジュール２３と、
第１の情報を処理装置に送信するよう構成される送信モジュール２５であって、処理装置は、第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行する送信モジュール２５とを有してもよい。第１の情報は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されたスタート時間である。
任意的には、処理モジュール２３が、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断することは、処理モジュール２３が、ハンドジェスチャのタイプに基づき表面筋電図信号Ｓ１のものである振幅及び周波数に従ってハンドジェスチャを判断することを含む。
任意的には、処理モジュール２３は更に、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行した操作力を判断するよう構成されてもよい。第１の情報は更に操作力を含む。従って、ハンドジェスチャに従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することである。
任意的には、処理モジュール２３が、ユーザがタッチを実行した操作力を判断することは、処理モジュール２３が、表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによってシングルチャネル筋電図信号Ｓ２の平均振幅を計算し、操作力Ｓとしてシングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含むものであってもよい。
任意的には、処理モジュール２３が、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力を取得した後、処理モジュール２３が、テーブルを検索することによって第１のタッチスタート時間を判断し、各ハンドジェスチャに対応する操作力の第１の所定の閾値はテーブルに予め記憶され、表面筋電図信号Ｓ１に従って取得された操作力が第１の所定の閾値より大きい場合、現在のシステム時間を取得し、第１のタッチスタート時間として現在のシステム時間を使用することを含むものであってもよい。
任意的には、処理装置が第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断した後、処理装置はタッチ指示を生成することを含むものであってもよい。タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含むものであってもよい。任意的には、タッチ指示は更に、ユーザがタッチを実行した操作力を含むものであってもよい。
なお、筋電図信号収集装置の形態は本発明の本実施例に限定されないことが留意されるべきである。筋電図信号収集装置は、リストストラップ又は腕時計などのウェアラブル装置の形態であってもよく、表面筋電図信号を収集することが可能な複数の電極であってもよい。
本発明の本実施例において提供される筋電図信号収集装置によると、収集モジュールが、複数のチャネルから表面筋電図信号Ｓ１を収集し、処理モジュールが、ユーザがタッチを実行したハンドジェスチャ及び第１のタッチスタート時間を決定し、送信モジュールが、第１の情報を処理装置に送信し、これにより、処理装置は、第１の情報及び位置キャプチャリング装置によって送信された第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、ここで、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む。筋電図信号収集装置に対応する装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を使用することによって同じユーザによって実行されるタッチ操作とを区別するのに使用されてもよいため、混乱するタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行したり、又は複数のユーザが同じ領域において同時にタッチ操作を実行することが実現可能である。
図５は、本発明によるタッチ処理システムの第１実施例の概略的な構成図である。図５に示されるように、タッチ処理システムは、位置キャプチャリング装置１０５、処理装置１０３及び少なくとも１つの筋電図信号収集装置１０１を含んでもよい。位置キャプチャリング装置１０５は、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得可能な何れか既存の装置であってもよい。処理装置１０３は、図３における装置の実施例の構成を使用してもよく、従って、図１における方法の実施例の技術的解決策を実行してもよい。筋電図信号収集装置１０１は、図４における装置の実施例の構成を使用してもよく、従って、図２における方法の実施例の技術的解決策を実行してもよい。
筋電図信号収集装置１０１及び位置キャプチャリング装置１０５の双方は、処理装置１０３に通信可能に接続される。筋電図信号収集装置１０１及び位置キャプチャリング装置１０５は、有線ネットワーク、無線ネットワーク、ブルートゥース、ＷｉＦｉなどを使用することによって、処理装置１０３と別々に通信してもよい。
任意的には、位置キャプチャリング装置１０５は、容量検知モジュール１０３１、赤外線検知モジュール１０３３及び超音波検知モジュール１０３５を含んでもよい。容量検知モジュール１０３１は、容量タッチスクリーンを使用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。赤外線検知モジュール１０３３は、赤外線タッチ検知システムを利用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。超音波検知モジュール１０３５は、超音波タッチ検知システムを利用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。
任意的には、位置キャプチャリング装置１０５及び処理装置１０３は、統合されていてもよいし、独立に配置されてもよい。
任意的には、タッチ処理システムは更に、タッチ指示の実行結果を表示するよう構成されるユーザフィードバック装置１０７を有してもよく、例えば、ユーザフィードバック装置１０７は、ＬＥＤ表示画面、プロジェクタ表示装置、ラウドスピーカ又は触覚フィードバック装置である。任意的には、ユーザフィードバック装置１０７は、表示モジュール１０７１、音声モジュール１０７３及び触覚フィードバックモジュール１０７５を含んでもよい。
なお、本発明の本実施例において提供されるタッチ処理システムは、タッチ携帯電話又はタッチコンピュータなどの従来の電子タッチ装置に適用されてもよいし、又は教育、企業オフィス、エンターテイメント及び広告ディスプレイなどの複数の分野に適用されてもよいことが留意されるべきであり、例えば、机のデスクトップは美術教育に使用され、机のデスクトップは絵画用紙として使用され、指は絵画ペンとして使用され、また、複数の生徒は絵画用紙上で１つの絵を完成させる。
図６は、本発明による処理装置の第１実施例の概略的な構成図である。図６に示されるように、処理装置は、受信機３１、第１のメモリ３３及びプロセッサ３５を有してもよく、ここで、受信機３１及び第１のメモリ３３は、バスを使用することによってプロセッサ３５に別々に接続される。
受信機３１は、筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するよう構成される。第１の情報は、筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されるスタート時間である。
第１のメモリ３３は、指示を記憶するよう構成される。
プロセッサ３５は、以下のステップを実行するため、第１のメモリ３３に記憶された指示を実行するよう構成される。
第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断された場合、タッチ指示を生成し、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含み、
タッチ指示に対応するインタラクション処理を実行する。
任意的には、プロセッサ３５は更に、以下の、ユーザがタッチを実行し、筋電図信号収集装置によって送信され、情報受信モジュールによって継続的に受信されるハンドジェスチャと、位置キャプチャリング装置によって送信された各タッチポイントの座標情報とに従って、タッチ指示を更新するステップを実行するよう構成されてもよい。
任意的には、第１の情報は更に、ユーザがタッチを実行する操作力を含んでもよく、タッチ指示は更に操作力を含んでもよい。
任意的には、プロセッサ３５は更に、筋電図信号収集装置によって送信され、情報受信モジュールによって継続的に受信される、ユーザがタッチを実行するハンドジェスチャ及びユーザがタッチを実行する操作力と、位置キャプチャリング装置によって送信される各タッチポイントの座標情報とに従って、タッチ指示を更新するよう構成されてもよい。
任意的には、プロセッサ３５は更に、操作力が第２の所定の閾値未満であると判断された場合、タッチ指示が終了したと判断し、タッチ指示を削除するよう構成されてもよい。
任意的には、処理装置は更に、タッチ指示リストを維持するよう構成される第２のメモリ３７を有してもよく、タッチ指示はタッチ指示リストに記憶される。第２のメモリ３７は、バスを使用することによってプロセッサ３５に接続される。
なお、処理装置の形態は本発明の本実施例では限定されないことが留意されるべきである。処理装置は、チップ、スマートフォン、コンピュータ、サーバなどであってもよく、計算又は記憶能力を有する他の装置であってもよい。
本発明の本実施例において提供される処理装置によると、受信機は、筋電図信号収集装置によって送信された第１の情報と、位置キャプチャ装置によって送信された第２の情報とを受信し、プロセッサはタッチ指示を生成し、タッチ指示に対応するインタラクション処理を実行し、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む。筋電図信号収集装置の装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を使用することによって同じユーザによって実行されるタッチ操作とを区別するために使用されてもよいため、混乱するタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行するか、又は複数のユーザが同じ領域において同時にタッチ操作を実行することが実現可能である。
図７は、本発明による筋電図信号収集装置の第１実施例の概略的な構成図である。図７に示されるように、筋電図信号収集装置は、プロセッサ４１、送信機４３及び第３のメモリ４５を有してもよく、ここで、送信機４３及び第３のメモリ４５は、バスを使用することによってプロセッサ４１に別々に接続される。
第３のメモリ４５は、指示を記憶するよう構成される。
プロセッサ４１は、以下のステップを実行するため、第３のメモリ４５に記憶される指示を実行するよう構成され、
複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するステップと、
表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、ハンドジェスチャによる第１のタッチスタート時間を判断するステップであって、第１のタッチスタート時間は、ユーザがタッチ操作を実行し、筋電図信号収集装置によって識別されるスタート時間である、判断するステップと、
である。
任意的には、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断することは、ハンドジェスチャのタイプに基づき表面筋電図信号Ｓ１のものである振幅及び周波数に従ってハンドジェスチャを判断することを含むものであってもよい。
送信機４３は、第１の情報を処理装置に送信するよう構成され、処理装置は、第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行する。第１の情報は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び第１のタッチスタート時間を含む。第２の情報は、ユーザがタッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含む。第２のタッチスタート時間は、ユーザがタッチ操作を実行し、位置キャプチャリング装置によって識別されたスタート時間である。
任意的には、プロセッサ４１は更に、以下の、表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行した操作力を判断するステップを実行するよう構成されてもよい。第１の情報は更に操作力を含む。従って、ハンドジェスチャに従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することである。
任意的には、ユーザがタッチを実行した操作力を判断することは、表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによってシングルチャネル筋電図信号Ｓ２の平均振幅を計算し、操作力Ｓとしてシングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含むものであってもよい。
任意的には、ハンドジェスチャ及び操作力に従って第１のタッチスタート時間を判断することは、ハンドジェスチャ及び操作力を取得した後、テーブルを検索することによって第１のタッチスタート時間を判断し、各ハンドジェスチャに対応する操作力の第１の所定の閾値はテーブルに予め記憶され、表面筋電図信号Ｓ１に従って取得された操作力が第１の所定の閾値より大きい場合、現在のシステム時間を取得し、第１のタッチスタート時間として現在のシステム時間を使用することを含むものであってもよい。
任意的には、処理装置が第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、第１のタッチスタート時間と第２のタッチスタート時間との間の時間差が所定の閾値未満であり、ハンドジェスチャに対応するタッチポイントの数が第２の情報に含まれるタッチポイントの数と同じであると判断した後、処理装置はタッチ指示を生成することを含むものであってもよい。タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含むものであってもよい。任意的には、タッチ指示は更に、ユーザがタッチを実行した操作力を含むものであってもよい。
なお、筋電図信号収集装置の形態は本発明の本実施例に限定されないことが留意されるべきである。筋電図信号収集装置は、リストストラップ又は腕時計などのウェアラブル装置の形態であってもよく、表面筋電図信号を収集することが可能な複数の電極であってもよい。
本発明の本実施例において提供される筋電図信号収集装置によると、プロセッサが、複数のチャネルから表面筋電図信号Ｓ１を収集し、ユーザがタッチを実行したハンドジェスチャ及び第１のタッチスタート時間を決定し、送信機が、第１の情報を処理装置に送信し、これにより、処理装置は、第１の情報及び位置キャプチャリング装置によって送信された第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、ここで、タッチ指示は、筋電図信号収集装置の装置識別子、ハンドジェスチャ及び各タッチポイントの座標情報を含む。筋電図信号収集装置に対応する装置識別子は、異なるユーザによって実行されるタッチ操作の１つと、左手と右手を使用することによって同じユーザによって実行されるタッチ操作とを区別するのに使用されてもよいため、混乱するタッチ指示を生じさせることなく、１人のユーザが両手でタッチ操作を実行したり、又は複数のユーザが同じ領域において同時にタッチ操作を実行することが実現可能である。
図８は、本発明によるタッチ処理システムの第２実施例の概略的な構成図である。図８に示されるように、タッチ処理システムは、位置キャプチャリング装置２０５、処理装置２０３及び少なくとも１つの筋電図信号収集装置２０１を含んでもよい。位置キャプチャリング装置２０５は、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得可能な何れか既存の装置であってもよい。処理装置２０３は、図６における装置の実施例の構成を使用してもよく、従って、図１における方法の実施例の技術的解決策を実行してもよい。筋電図信号収集装置２０１は、図７における装置の実施例の構成を使用してもよく、従って、図２における方法の実施例の技術的解決策を実行してもよい。
筋電図信号収集装置２０１及び位置キャプチャリング装置２０５の双方は、処理装置２０３に通信可能に接続される。筋電図信号収集装置２０１及び位置キャプチャリング装置２０５は、有線ネットワーク、無線ネットワーク、ブルートゥース、ＷｉＦｉなどを使用することによって、処理装置２０３と別々に通信してもよい。
任意的には、位置キャプチャリング装置２０５は、容量センサ２０３１、赤外線センサ２０３３及び超音波センサ２０３５を含んでもよい。容量センサ２０３１は、容量タッチスクリーンを使用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。赤外線センサ２０３３は、赤外線タッチ検知システムを利用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。超音波センサ２０３５は、超音波タッチ検知システムを利用することによって、タッチ操作のタッチポイントの数、タッチスタート時間及びタッチポイントの座標を取得するよう構成される。
任意的には、位置キャプチャリング装置２０５及び処理装置２０３は、統合されていてもよいし、独立に配置されてもよい。
任意的には、タッチ処理システムは更に、タッチ指示の実行結果を表示するよう構成されるユーザフィードバック装置２０７を有してもよく、例えば、ユーザフィードバック装置２０７は、ＬＥＤ表示画面、プロジェクタ表示装置、ラウドスピーカ又は触覚フィードバック装置である。任意的には、ユーザフィードバック装置２０７は、表示装置２０７１、音声装置２０７３及び触覚フィードバック装置２０７５を含んでもよい。
なお、本発明の本実施例において提供されるタッチ処理システムは、タッチ携帯電話又はタッチコンピュータなどの従来の電子タッチ装置に適用されてもよいし、又は教育、企業オフィス、エンターテイメント及び広告ディスプレイなどの複数の分野に適用されてもよいことが留意されるべきであり、例えば、机のデスクトップは美術教育に使用され、机のデスクトップは絵画用紙として使用され、指は絵画ペンとして使用され、また、複数の生徒は絵画用紙上で１つの絵を完成させる。
最後に、上記の実施例は本発明を限定するためのものでなく、本発明の技術的解決策を説明することを単に意図していることが留意されるべきである。本発明が上記の実施例を参照して詳細に説明されるが、当業者は、本発明の実施例に技術的解決策の範囲から逸脱することなく、上記の実施例において説明された技術的解決策に修正を行うか、又はその一部又はすべての技術的特徴に等価な置換を依然として行ってもよいことを理解すべきである。

Claims (23)

  1. タッチインタラクション処理方法であって、
    筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するステップであって、前記第１の情報は、前記筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間であり、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されるスタート時間である、受信するステップと、
    前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断された場合、タッチ指示を生成するステップであって、前記タッチ指示は、前記筋電図信号収集装置の前記装置識別子、前記ハンドジェスチャ及び各タッチポイントの前記座標情報を含む、生成するステップと、
    前記タッチ指示に対応するインタラクション処理を実行するステップと、
    を有する方法。
  2. 当該方法は更に、
    前記ユーザが前記タッチを実行し、前記筋電図信号収集装置によって送信された前記ハンドジェスチャと、前記位置キャプチャリング装置によって送信された各タッチポイントの前記座標情報とを継続的に受信し、前記タッチ指示を更新するステップを有する、請求項１記載の方法。
  3. 前記第１の情報は更に、前記ユーザが前記タッチを実行する操作力を含み、前記タッチ指示は更に、前記操作力を含む、請求項１記載の方法。
  4. 当該方法は更に、
    前記筋電図信号収集装置によって送信される、前記ユーザが前記タッチを実行する前記ハンドジェスチャ及び前記ユーザが前記タッチを実行する前記操作力と、前記位置キャプチャリング装置によって送信される各タッチポイントの前記座標情報とを持続的に受信し、前記タッチ指示を更新するステップを有する、請求項３記載の方法。
  5. 当該方法は更に、
    前記操作力が第２の所定の閾値未満であると判断された場合、前記タッチ指示を削除するステップを有する、請求項４記載の方法。
  6. タッチインタラクション処理方法であって、
    筋電図信号収集装置が、複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するステップと、
    前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、前記ハンドジェスチャによる第１のタッチスタート時間を判断するステップであって、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間である、判断するステップと、
    前記筋電図信号収集装置が、第１の情報を処理装置に送信するステップであって、前記処理装置は、前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、前記第１の情報は、前記筋電図信号収集装置の装置識別子、前記ハンドジェスチャ及び前記第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されたスタート時間である、送信するステップと、
    を有する方法。
  7. 前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断するステップは、
    前記筋電図信号収集装置が、ハンドジェスチャのタイプに基づき前記表面筋電図信号Ｓ１のものである振幅及び周波数に従って前記ハンドジェスチャを判断するステップを含む、請求項６記載の方法。
  8. 前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、前記ユーザが前記タッチを実行した操作力を判断するステップであって、前記第１の情報は更に前記操作力を含み、前記ハンドジェスチャに従って第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することである、判断するステップを更に有する、請求項６記載の方法。
  9. 前記ユーザが前記タッチを実行した操作力を判断するステップは、
    前記筋電図信号収集装置が、前記表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによって前記シングルチャネル筋電図信号Ｓ２の平均振幅を計算し、前記操作力Ｓとして前記シングルチャネル筋電図信号Ｓ２の平均振幅を使用するステップを含む、請求項８記載の方法。
  10. 前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断するステップは、
    前記ハンドジェスチャ及び前記操作力を取得した後、テーブルを検索することによって前記第１のタッチスタート時間を判断するステップであって、各ハンドジェスチャに対応する操作力の第１の所定の閾値は前記テーブルに予め記憶される、判断するステップと、
    前記表面筋電図信号Ｓ１に従って取得された前記操作力が前記第１の所定の閾値より大きい場合、現在のシステム時間を取得し、前記第１のタッチスタート時間として前記現在のシステム時間を使用するステップと、
    を含む、請求項８記載の方法。
  11. 前記処理装置が前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断した後、前記処理装置は前記タッチ指示を生成することを含む、請求項６乃至１０何れか一項記載の方法。
  12. 処理装置であって、
    筋電図信号収集装置によって送信された第１の情報と位置キャプチャリング装置によって送信された第２の情報とを受信するよう構成される情報受信モジュールであって、前記第１の情報は、前記筋電図信号収集装置の装置識別子、ユーザがタッチを実行するハンドジェスチャ及び第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行するタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間であり、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されるスタート時間である、情報受信モジュールと、
    前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断された場合、タッチ指示を生成するよう構成される指示生成モジュールであって、前記タッチ指示は、前記筋電図信号収集装置の前記装置識別子、前記ハンドジェスチャ及び各タッチポイントの前記座標情報を含む、指示生成モジュールと、
    前記タッチ指示に対応するインタラクション処理を実行するよう構成される指示実行モジュールと、
    を有する処理装置。
  13. 前記指示生成モジュールは更に、
    前記ユーザが前記タッチを実行し、前記筋電図信号収集装置によって送信され、前記情報受信モジュールによって継続的に受信される前記ハンドジェスチャと、前記位置キャプチャリング装置によって送信された各タッチポイントの前記座標情報とに従って、前記タッチ指示を更新するよう構成される、請求項１２記載の処理装置。
  14. 前記第１の情報は更に、前記ユーザが前記タッチを実行する操作力を含み、前記タッチ指示は更に、前記操作力を含む、請求項１２記載の処理装置。
  15. 前記指示生成モジュールは更に、前記筋電図信号収集装置によって送信され、前記情報受信モジュールによって継続的に受信される、前記ユーザが前記タッチを実行する前記ハンドジェスチャ及び前記ユーザが前記タッチを実行する前記操作力と、前記位置キャプチャリング装置によって送信される各タッチポイントの前記座標情報とに従って、前記タッチ指示を更新するよう構成される、請求項１４記載の処理装置。
  16. 前記指示生成モジュールは更に、
    前記操作力が第２の所定の閾値未満であると判断された場合、前記タッチ指示が終了したと判断し、前記タッチ指示を削除するよう構成される、請求項１５記載の処理装置。
  17. 筋電図信号収集装置であって、
    複数のチャネルから表面筋電図信号Ｓ１を周期的に収集するよう構成される収集モジュールと、
    前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断し、前記ハンドジェスチャによる第１のタッチスタート時間を判断するよう構成される処理モジュールであって、前記第１のタッチスタート時間は、前記ユーザがタッチ操作を実行し、前記筋電図信号収集装置によって識別されるスタート時間である、処理モジュールと、
    第１の情報を処理装置に送信するよう構成される送信モジュールであって、前記処理装置は、前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成し、対応するインタラクション処理を実行し、前記第１の情報は、前記筋電図信号収集装置の装置識別子、前記ハンドジェスチャ及び前記第１のタッチスタート時間を含み、前記第２の情報は、前記ユーザが前記タッチを実行したタッチポイントの数、第２のタッチスタート時間及び各タッチポイントの座標情報を含み、前記第２のタッチスタート時間は、前記ユーザが前記タッチ操作を実行し、前記位置キャプチャリング装置によって識別されたスタート時間である、送信モジュールと、
    を有する収集装置。
  18. 処理モジュールが、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、ユーザがタッチを実行したハンドジェスチャを判断することは、
    前記処理モジュールが、ハンドジェスチャのタイプに基づき前記表面筋電図信号Ｓ１のものである振幅及び周波数に従って前記ハンドジェスチャを判断することを含む、請求項１７記載の収集装置。
  19. 前記処理モジュールは更に、前記表面筋電図信号Ｓ１の時間周波数領域特徴に従って、前記ユーザが前記タッチを実行した操作力を判断するよう構成され、前記第１の情報は更に前記操作力を含み、前記ハンドジェスチャに従って第１のタッチスタート時間を判断することは、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することである、請求項１７記載の収集装置。
  20. 前記処理モジュールが、前記ユーザが前記タッチを実行した操作力を判断することは、
    前記処理モジュールが、前記表面筋電図信号Ｓ１に対して重畳及び平均化を実行することによってシングルチャネル筋電図信号Ｓ２を取得し、スライディング時間ウィンドウを使用することによって前記シングルチャネル筋電図信号Ｓ２の平均振幅を計算し、前記操作力Ｓとして前記シングルチャネル筋電図信号Ｓ２の平均振幅を使用することを含む、請求項１９記載の収集装置。
  21. 前記処理装置が、前記ハンドジェスチャ及び前記操作力に従って前記第１のタッチスタート時間を判断することは、
    前記ハンドジェスチャ及び前記操作力を取得した後、前記処理モジュールが、テーブルを検索することによって前記第１のタッチスタート時間を判断し、各ハンドジェスチャに対応する操作力の第１の所定の閾値は前記テーブルに予め記憶され、
    前記表面筋電図信号Ｓ１に従って取得された前記操作力が前記第１の所定の閾値より大きい場合、現在のシステム時間を取得し、前記第１のタッチスタート時間として前記現在のシステム時間を使用することを含む、請求項１９記載の収集装置。
  22. 前記処理装置が前記第１の情報及び位置キャプチャリング装置によって送信される第２の情報に従ってタッチ指示を生成することは、前記第１のタッチスタート時間と前記第２のタッチスタート時間との間の時間差が所定の閾値未満であり、前記ハンドジェスチャに対応するタッチポイントの数が前記第２の情報に含まれる前記タッチポイントの数と同じであると判断した後、前記処理装置は前記タッチ指示を生成することを含む、請求項１７乃至２１何れか一項記載の収集装置。
  23. タッチ処理システムであって、
    位置キャプチャリング装置と、
    請求項１２乃至１６何れか一項記載の処理装置と、
    請求項１７乃至２２何れか一項記載の少なくとも１つの筋電図信号収集装置と、
    を有し、
    前記筋電図信号収集装置と前記位置キャプチャリング装置との双方は、前記処理装置に通信接続されるタッチ処理システム。
JP2017520458A 2014-10-16 2015-05-29 タッチインタラクション処理方法、装置及びシステム Active JP6353982B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410549003.0A CN105573536B (zh) 2014-10-16 2014-10-16 触控交互的处理方法、装置和系统
CN201410549003.0 2014-10-16
PCT/CN2015/080243 WO2016058387A1 (zh) 2014-10-16 2015-05-29 触控交互的处理方法、装置和系统

Publications (2)

Publication Number Publication Date
JP2017534980A JP2017534980A (ja) 2017-11-24
JP6353982B2 true JP6353982B2 (ja) 2018-07-04

Family

ID=55746078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017520458A Active JP6353982B2 (ja) 2014-10-16 2015-05-29 タッチインタラクション処理方法、装置及びシステム

Country Status (7)

Country Link
US (1) US10372325B2 (ja)
EP (1) EP3200051B1 (ja)
JP (1) JP6353982B2 (ja)
KR (1) KR101875350B1 (ja)
CN (1) CN105573536B (ja)
BR (1) BR112017007752B1 (ja)
WO (1) WO2016058387A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
JP6504256B2 (ja) 2015-09-25 2019-04-24 株式会社リコー 電子黒板、電子黒板の画像処理方法、及び電子黒板のプログラムを記録した記録媒体
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11049053B2 (en) * 2018-03-29 2021-06-29 Ricoh Company, Ltd. Communication terminal, sharing system, communication method, and non-transitory recording medium storing program
WO2020061451A1 (en) * 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
CN109542278B (zh) * 2018-09-27 2022-02-11 江苏特思达电子科技股份有限公司 触摸数据的处理方法、装置及触摸设备
US10908783B2 (en) 2018-11-06 2021-02-02 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects and providing feedback
CN111338516B (zh) * 2020-02-26 2022-05-10 业成科技（成都）有限公司 手指触控的检测方法和装置、电子设备、存储介质
CN111783056B (zh) * 2020-07-06 2024-05-14 诺百爱（杭州）科技有限责任公司 一种基于肌电信号识别用户身份的方法、装置和电子设备
CN112506379A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 触控事件的处理方法、装置、设备以及存储介质
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113126771A (zh) * 2021-05-07 2021-07-16 浙江柔灵科技有限公司 一种具有反馈信息功能的肌电手势识别系统
CN114642440B (zh) * 2022-05-23 2022-08-12 博睿康科技（常州）股份有限公司 获取刺激系统预设时长的方法、刺激系统及其调控方法
CN116243825B (zh) * 2023-05-06 2023-07-25 成都市芯璨科技有限公司 一种基于电容检测的触控检测芯片及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
JP2004534974A (ja) * 2000-10-27 2004-11-18 エロ・タッチシステムズ・インコーポレイテッド 複数のタッチセンサを利用した接触確認式タッチスクリーン
JP4099117B2 (ja) * 2003-07-22 2008-06-11 シャープ株式会社 仮想キーボードシステム
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8022941B2 (en) 2006-10-12 2011-09-20 Disney Enterprises, Inc. Multi-user touch screen
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US20100310136A1 (en) 2009-06-09 2010-12-09 Sony Ericsson Mobile Communications Ab Distinguishing right-hand input and left-hand input based on finger recognition
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
KR20110032640A (ko) 2009-09-23 2011-03-30 삼성전자주식회사 멀티 터치 인식 디스플레이 장치
CN102117150A (zh) * 2011-03-30 2011-07-06 汉王科技股份有限公司 字符后处理方法及系统
CN102184056B (zh) * 2011-04-26 2013-02-13 广东威创视讯科技股份有限公司 多触摸点识别方法及装置
US8692799B1 (en) 2011-07-05 2014-04-08 Cypress Semiconductor Corporation Single layer multi-touch capacitive sensor
CN103930858A (zh) * 2012-01-05 2014-07-16 索尼爱立信移动通讯有限公司 调整触摸输入的坐标
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9201546B2 (en) 2012-03-09 2015-12-01 Elo Touch Solutions, Inc. Acoustic touch apparatus with multi-touch capability
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
US9011232B2 (en) 2012-05-18 2015-04-21 Universal Entertainment Corporation Gaming machine and gaming method
JP5929572B2 (ja) * 2012-07-09 2016-06-08 コニカミノルタ株式会社 操作表示装置およびプログラム
US9223459B2 (en) 2013-01-25 2015-12-29 University Of Washington Through Its Center For Commercialization Using neural signals to drive touch screen devices

Also Published As

Publication number Publication date
KR101875350B1 (ko) 2018-07-05
EP3200051A1 (en) 2017-08-02
EP3200051A4 (en) 2017-09-20
US20170220245A1 (en) 2017-08-03
WO2016058387A1 (zh) 2016-04-21
EP3200051B1 (en) 2018-12-12
CN105573536B (zh) 2018-09-07
KR20170067873A (ko) 2017-06-16
JP2017534980A (ja) 2017-11-24
BR112017007752B1 (pt) 2023-01-31
US10372325B2 (en) 2019-08-06
CN105573536A (zh) 2016-05-11
BR112017007752A2 (pt) 2018-02-06

Similar Documents

Publication Publication Date Title
JP6353982B2 (ja) タッチインタラクション処理方法、装置及びシステム
US9978261B2 (en) Remote controller and information processing method and system
CN102662462B (zh) 电子装置、手势识别方法及手势应用方法
CN104850341B (zh) 一种移动终端及移动终端的应用图标显示方法
US9946395B2 (en) User interface method and apparatus
US20160034058A1 (en) Mobile Device Input Controller For Secondary Display
US20180253163A1 (en) Change of active user of a stylus pen with a multi-user interactive display
KR20160110992A (ko) 정보 처리를 위한 방법, 장치, 및 디바이스
CN104049874B (zh) 触控笔的触摸笔迹生成方法和系统
JP7213923B2 (ja) ペアリング方法及び位置検出システム
CN113467647B (zh) 皮肤与皮肤接触检测
KR20110116463A (ko) 인터페이스 방법 및 장치
CN105302302A (zh) 一种应用控制的方法及装置
CN103135852B (zh) 一种触摸屏设备及数据输入方法
CN107273009A (zh) 一种移动终端快速截屏的方法及系统
JP2015088180A (ja) 電子機器、その制御方法、及び制御プログラム
CN104363345A (zh) 一种显示方法和电子设备
JP2015215840A (ja) 情報処理装置及び入力方法
US20140143726A1 (en) Method of choosing software button
CN111176421B (zh) 可穿戴设备及其操控方法、操控系统和存储装置
CN103150054B (zh) 一种触摸屏设备及触摸与鼠标相结合的数据输入方法
CN104484117A (zh) 人机交互方法及装置
CN207965847U (zh) 一种触控控制设备
US20210055861A1 (en) Method for recognizing multiple capacitive styluses, touch control unit, touch panel and system
TW201839549A (zh) 腳趾控制裝置及其控制方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R150 Certificate of patent or registration of utility model

Ref document number: 6353982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250