JP6712843B2 - 皮膚を媒介したインタラクションのための触覚フィードバックを生成するシステム及び方法 - Google Patents

皮膚を媒介したインタラクションのための触覚フィードバックを生成するシステム及び方法 Download PDF

Info

Publication number
JP6712843B2
JP6712843B2 JP2015135963A JP2015135963A JP6712843B2 JP 6712843 B2 JP6712843 B2 JP 6712843B2 JP 2015135963 A JP2015135963 A JP 2015135963A JP 2015135963 A JP2015135963 A JP 2015135963A JP 6712843 B2 JP6712843 B2 JP 6712843B2
Authority
JP
Japan
Prior art keywords
haptic
output device
different skin
input
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015135963A
Other languages
English (en)
Other versions
JP2016021234A (ja
Inventor
レベスク，ヴィンセント
マヌエル クルス−ヘルナンデス，ファン
マヌエル クルス−ヘルナンデス，ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2016021234A publication Critical patent/JP2016021234A/ja
Application granted granted Critical
Publication of JP6712843B2 publication Critical patent/JP6712843B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/0404—Electrodes for external use
    • A61N1/0408—Use-related aspects
    • A61N1/0452—Specially adapted for transcutaneous muscle stimulation [TMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、皮膚を媒介したインタラクションのための触覚フィードバックを生成するシステム及び方法に関する。
人間の皮膚を、電子装置に入力を供給するためのインタラクション面として使用することを提案する研究プロジェクトがいくつか進められている。例えば、２０１０年４月１０−１５日にアトランタ、ジョージアで開催された計算機学会（Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙ：ＡＣＭ）のコンピュータシステムにおけるヒューマン・ファクターについての会議（ＣＨＩ ２０１０）において、様々な体の部位（例えば、指、腕及び上腕）をインタラクション面として使用する「スキンプット（Ｓｋｉｎｐｕｔ）」と呼ばれる技術が報告された。人の指が当該皮膚表面を移動することによって生じる皮膚を伝播する振動を測定することにより、身体の部位の皮膚表面上でのタッチ入力を検出している。カリフォルニア、サンタバーバラで２０１１年１０月１６−１９日に開催された計算機学会（ＡＣＭ）のユーザインターフェースソフトウェア技術についての会議（“ＵＩＳＴ’１１”）では、ユーザの手の掌をインタラクション面として使用し、デプスカメラ及び画像処理技術を用いてユーザの掌上のタッチ入力を検出する技術が報告された。
イギリス、セントアンドリュースで２０１３年１０月８−１１日に開催された計算機学会（ＡＣＭ）のユーザインターフェースソフトウェア技術についての会議（“ＵＩＳＴ’１３”）では、ユーザの人差し指の指腹の皮膚をタッチ面として使用して、親指を当該タッチ面に対して移動し、つまむ動作を行うことによって入力を行う「フィンガーパッド」と呼ばれる技術が報告された。入力の追跡は、人差し指及び親指に取り付けられた磁気トラッカーを使用して行われる。また、ＵＩＳＴ’１３では、ユーザの前腕の皮膚表面をインタラクション面として使用する「ＳｅｎＳｋｉｎ」と称される技術が報告されており、この技術では、前腕に巻かれた２つのアームバンド付近の皮膚の変形を赤外線センサを使用して検出して、前腕の皮膚上のタッチ入力を追跡する。
上記のような皮膚を媒介したインタラクションに対して触覚フィードバックを提供することにより、ユーザが皮膚上に与えた入力が電子装置によって受信されたことを知ることができるようにすることが望ましい。
本発明の一側面によれば、皮膚表面における入力を検出するセンサと、前記センサから出力信号を受信し、前記出力信号に基づいて触覚制御信号を生成するプロセッサと、前記触覚制御信号に基づいて触覚効果を生成する触覚出力装置とを備えるシステムが提供される。
一実施形態において、前記センサは、前記システムのユーザの前記皮膚表面における入力を検出するように構成され、前記触覚出力装置は、前記システムの前記ユーザに対して前記触覚効果を生成するように構成される。
一実施形態において、前記触覚出力装置は、ウェアラブル装置により搭載されるように構成されている。一実施形態において、前記ウェアラブル装置は、指輪を含む。一実施形態において、前記ウェアラブル装置は、リストバンド又はブレスレットを含む。
一実施形態において、前記触覚出力装置は、アクチュエータを有し、前記触覚効果は、振動を含む。
一実施形態において、前記触覚出力装置は、電源に接続された少なくとも一つの電極を有する。
一実施形態において、前記触覚効果は、電気触覚的な刺激を含む。
一実施形態において、前記触覚効果は、筋肉刺激を含む。
一実施形態において、前記触覚出力装置は、前記皮膚を伸ばす又は引っ張るように構成された機械的装置を有する。
一実施形態において、前記触覚出力装置は、前記ユーザのインタラクションする２つの皮膚表面の間に引力又は斥力を生じさせるように構成された一対の電磁石を有する。
一実施形態において、前記触覚出力装置は、空気渦を生成するように構成される。
本発明の一態様によれば、皮膚表面における入力を検出する工程と、前記検出された入力に基づいて触覚制御信号を生成する工程と、前記触覚制御信号に基づいて、触覚出力装置を用いて触覚効果を生成する工程と、を備える方法が提供される。
一実施形態において、前記触覚効果は、振動を含む。
一実施形態において、前記触覚効果は、電気触覚的な刺激を含む。
一実施形態において、前記触覚効果は、筋肉刺激を含む。
一実施形態において、前記触覚効果は、前記皮膚を伸ばす又は引っ張ることを含む。
一実施形態において、前記触覚効果は、前記ユーザのインタラクションする２つの皮膚表面の間に引力又は斥力を生じさせることを含む。
一実施形態において、前記触覚効果は、超音波又は空気渦を含む。
一実施形態において、前記方法は、前記皮膚表面の、前記触覚効果に対する感度を下げる工程を更に備える。
一実施形態において、前記ユーザからの前記入力を検出する工程の前に、前記皮膚表面に対して表面麻酔薬を塗布することにより、前記皮膚表面の前記感度を下げる。
一実施形態において、前記皮膚表面の温度を下げることにより、前記皮膚表面の前記感度を下げる。
一実施形態において、前記ユーザからの前記入力を検出する工程の前に、前記皮膚表面に対して振動を与えることにより、前記皮膚表面の前記感度を下げる。
本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。
以下の図面の構成要素は、本開示の一般的な原理を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照符号は、必要に応じ、複数の図面にわたって繰り返し用いられる。
本発明の一実施形態にかかるシステムを模式的に示す。
図１のシステムのプロセッサを模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
図１のシステムの触覚出力装置の一実施形態を模式的に示す。
本発明の一実施形態に係る方法を示したフローチャートである。
図１は、本発明の一実施形態にかかるシステム１００を模式的に示す。システム１００は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、電子ワークブック、電子ハンドヘルド装置（例えば、携帯電話、スマートフォン、ゲーム装置、携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ：「ＰＤＡ」）、携帯用電子メール装置、携帯用インターネット・アクセス装置、電卓など）、ゲーム・コントローラ、又は、ヘッドマウントディスプレイ、指輪若しくはリストバンドのようなウェアラブルデバイス等の電子装置の一部であってもよい。図示されるように、システム１００は、プロセッサ１１０、記憶装置１２０、及び、入出力装置１３０を備えており、これらはバス１４０を介して相互に接続されている。一実施形態において、入出力装置１３０は、少なくとも一つのセンサ１５０及び少なくとも一つの触覚出力装置１６０及び／又はその他の人間コンピュータインターフェース装置を備えてもよい。
プロセッサ１１０は、汎用又は特殊用途プロセッサ、あるいはシステム１００の動作及び機能を管理又は制御するマイクロ・コントローラである。例えば、プロセッサ１１０は、触覚効果を提供するために、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、入力／出力装置１３０のドライバへの出力信号を制御するように特別に設計されてもよい。プロセッサ１１０は、プロセッサ１１０が受信した又は決定した触覚信号に基づいてどのような触覚効果が生成されるべきか、当該触覚効果がどのような順序で生成されるべきか、及び、どの程度の大きさ、頻度、持続時間の触覚効果とすべきか、及び／又は、触覚効果のその他のパラメータについて、所定の因子に基づいて決定してもよい。また、プロセッサ１１０は、特定の触覚効果を提供するために触覚出力装置１６０を駆動するのに使用することができるストリーミング・コマンドを提供するように構成されてもよい。実施形態によっては、プロセッサ１１０は実際には複数のプロセッサを含み、当該プロセッサの各々が電子装置１００の内部で特定の機能を果たすように構成されている。プロセッサ１１０についての詳細は後述する。
メモリデバイス１２０としては、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェア・コードなどのいかなる組合せをも記憶し得るように構成されている。より具体的には、記憶ユニットは、触覚効果のプロフィール、入出力装置１３０の触覚出力装置１６０がいかにして駆動されるかを指示する命令、又は触覚効果を生成するためのその他の情報を含む。
バス１４０は、システム１００の様々な構成要素間の信号通信を可能とし、例えば、ネットワークを介して、リモートコンピュータ又はサーバからの情報にアクセス可能に構成されてもよい。ネットワークは、例えば、インターネット、イントラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ネットワーク、セルラー通信ネットワーク、公衆交換電話網、及び／又はこれら以外のネットワークの一又は複数である。
センサ１５０は、以下に詳細に説明するように、例えば、ユーザの指が、当該ユーザの皮膚の表面上を移動するのを検出するように構成された任意の好適な入力装置として構成されてもよい。当該センサ１５０は、容量結合、抵抗結合、又は誘導結合によって人の皮膚の存在を検出することができるが、検出方法はこれらの技術には限られない。一実施形態において、センサ１５０は、電磁センサ、容量センサ及び／又は生体用音響センサであってもよい。一実施形態において、センサ１５０は、デプスカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）及び当該デプスカメラで撮像した画像を処理するためのプロセッサを備えてもよい。センサ１５０の様々な実施形態について以下に説明する。
触覚出力装置１６０は、システム１００のユーザに対して触覚フィードバックを提供するように構成される。具体的には、触覚出力装置１６０は、ユーザの指に触覚フィードバックを提供して、以下に詳細に説明するように、入力を確認するものとして触覚効果を与えてもよい。システム１００とのインタラクションが発生する時のユーザエクスペリエンスを向上させるのに、触覚効果を使用してもよい。
触覚効果は、触覚を生成する任意の方法を使用して生成されてもよく、例えば、静電摩擦又は超音波摩擦、変形、振動、力覚等が利用できる。一実施形態において、触覚出力装置１６０は、非機械的又は非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又はエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。一実施形態において、触覚出力装置１６０が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、又は圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、及び／又は触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。異なる複数の触覚効果を生成させるのに、複数の触覚出力装置１６０を使用してもよく、それにより、テクスチャ、ボタンクリック、状態変化等の幅広い種類の効果を生成させることができる。
図２は、プロセッサ１１０の一実施形態をより詳細に例示している。プロセッサ１１０は、一又は複数のコンピュータ・プログラム・モジュールを実行するように構成されてもよい。当該一又は複数のコンピュータ・プログラム・モジュールは、センサモジュール１１２、判定モジュール１１４、触覚出力装置制御モジュール１１６、及び／又はこれら以外のモジュールの一又は複数を備えることができる。プロセッサ１１０は更に、メモリデバイス１２０と同じであってもよい電子記憶装置１１８を備えてもよい、又は、メモリデバイス１２０に加えて当該電子記憶装置を備えてもよい。プロセッサ１１０は、モジュール１１２、１１４、及び／又は１１６を実行する際に、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、及び／又はファームウェア、及び／又はプロセッサ１１０の処理能力を構成する他の機構を用いてもよい。
図２においてモジュール１１２、１１４及び１１６は単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ１１０が複数の処理装置を含む実施形態においては、モジュール１１２、１１４及び／又は１１６のうちの一又は複数が他のモジュールから離れて配置されてもよい。以下の異なるモジュール１１２、１１４、及び／又は１１６によって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュール１１２、１１４、及び／又は１１６はいずれも記述されるよりも多くの、又は少ない機能を提供してもよい。例えば、モジュール１１２、１１４、及び／又は１１６のうちの一又は複数を取り除き、その機能の一部又はすべてを、モジュール１１２、１１４、及び／又は１１６のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール１１２、１１４、及び／又は１１６のうちの１つに帰せられる機能の一部又はすべてを実行する１つ又は複数の追加的なモジュールを実行するように、プロセッサ１１０が構成されてもよい。
センサモジュール１１２は、センサ１５０がシステム１００のユーザの皮膚表面におけるユーザ入力を検出すると生成されるセンサ１５０からの入力信号を受信するように構成される。一実施形態において、前記皮膚表面は、ユーザ入力を提供するユーザと同一のユーザの皮膚表面であってもよい。一実施形態において、前記皮膚表面は、ユーザ入力を提供するユーザとは異なる、システムのユーザの皮膚表面であってもよい。ユーザ入力は、インタラクション面上の仮想ボタンを押すような、一回のタッチの形態であってもよいし、複数のタッチ及び／又はタッチするジェスチャであってもよい。センサモジュール１１２はまた、更なる処理のために信号を判定モジュール１１４へと送信するように構成される。
判定モジュール１１４は、どのような種類の入力をユーザが意図しているか、当該入力に従ってシステム１００がどの種類のアクションをとるべきか、及び、触覚出力装置１６０によって生成されるべき触覚フィードバックの種類は何か、を判定するように構成される。一実施形態において、ユーザは、例えば、電話をかけるといった特定のアクションをシステム１００が実行することを希望することを示す特定のジェスチャを、インタラクション皮膚表面に対して提供してもよい。判定モジュール１１４は、複数の予め定められたジェスチャをライブラリとしてプログラムしていてもよく、ユーザが面の特定の場所をタッチすると、又は、ユーザが面に対してあるジェスチャを行うと、判定モジュール１１４が、対応する出力を判定してもよい。加えて、判定モジュール１１４は、触覚出力装置制御モジュール１１６に信号を出力して、好適な触覚効果をユーザに提供してもよい。
触覚出力装置制御モジュール１１６は、判定モジュール１１４が生成する信号に基づいて、触覚出力装置１６０によって生成されるべき触覚効果を決定するように構成される。触覚効果を決定することは、所望の効果がユーザに提供されるような触覚効果の振幅、周波数、期間等を含む１つ又は複数のパラメータを決定することを含んでもよい。
図１に示すように、一実施形態において、センサ１５０は、ユーザの指及び親指に搭載されて、ユーザの指の皮膚表面がタッチパッドとして機能し、ユーザの親指がタッチスタイラスとして機能するように構成されてもよい。センサ１５０の上記のような一実施形態の詳細は、Ｌｉｗｅｉ Ｃｈａｎ他、ＵＩＳＴ１３、２０１３年１０月６−９日、２５５−２６０ページ、「ＦｉｎｇｅｒＰａｄ：Ｐｒｉｖａｔｅ ａｎｄ Ｓｕｂｔｌｅ Ｉｎｔｅｒａｃｔｉｏｎ Ｕｓｉｎｇ Ｆｉｎｇｅｒｔｉｐｓ」に記載されており、参照により本明細書に組み込まれる。
一実施形態において、センサ１５０は、ユーザの前腕に取り付けられ、２つのアームバンドを備えるように構成されてもよく、２つのアームバンドの間の皮膚表面がタッチ入力面として使用されるように当該２つのアームバンドが互いに離間して配置される。このようなセンサ１５０の一実施形態の詳細は、Ｍａｓａ Ｏｇａｔａ他、ＵＩＳＴ’１３、２０１３年１０月８−９日、５３９−５４３ページ、「ＳｅｎＳｋｉｎ：Ａｄａｐｔｉｎｇ Ｓｋｉｎ ａｓ ａ Ｓｏｆｔ Ｉｎｔｅｒｆａｃｅ」に記載されており、参照により本明細書に組み込まれる。
一実施形態において、センサ１５０は、例えば、ユーザの前腕であるユーザの腕、又は、一の若しくは複数の指に取り付けられるように構成され、アームバンド、リストバンド又は指輪といったウェアラブル装置に取り付けられた複数の振動センサを含んでもよい。このようなセンサ１５０の一実施形態の詳細は、Ｃｈｒｉｓ Ｈａｒｒｉｓｏｎ他、ＣＨＩ２０１０、２０１０年４月１０−１５日、４５３−４６２ページ、「Ｓｋｉｎｐｕｔ： Ａｐｐｒｏｐｒｉａｔｉｎｇ ｔｈｅ Ｂｏｄｙ ａｓ ａｎ Ｉｎｐｕｔ Ｓｕｒｆａｃｅ」に記載されており、参照により本明細書に組み込まれる。
一実施形態において、センサ１５０は、例えば、ユーザの手の掌がインタラクション面に触れた時に、当該掌の上のタッチ入力を捉えるように構成されたデプスカメラのようなカメラを備えてもよい。このようなセンサ１５０の一実施形態の詳細は、Ｓｅａｎ Ｇｕｓｔａｆｓｏｎ他、ＵＩＳＴ１１、２０１１年１０月１６−１９日、２８３−２９２ページ、「Ｉｍａｇｉｎａｒｙ Ｐｈｏｎｅ：Ｌｅａｒｎｉｎｇ Ｉｍａｇｉｎａｒｙ Ｉｎｔｅｒｆａｃｅｓ ｂｙ Ｔｒａｎｓｆｅｒｒｉｎｇ Ｓｐａｔｉａｌ Ｍｅｍｏｒｙ ｆｒｏｍ ａ Ｆａｍｉｌｉａｒ Ｄｅｖｉｃｅ」に記載されており、参照により本明細書に組み込まれる。
上記で示したセンサに限定することを意図していない。皮膚表面におけるユーザによる入力を検出するように構成されたその他の種類のセンサを、本発明の実施形態に使用してもよい。
図１のシステムの触覚出力装置１６０として使用してもよい触覚出力装置３１０を備えるウェアラブル装置３００の一実施形態が図３に示されている。一実施形態において、ウェアラブル装置３００は、システム１００に入力を供給するインタラクティブパッドとして使用される皮膚表面と相互作用するユーザに指に装着されるように構成された指輪の形態であってもよい。ウェアラブル装置３００は、ユーザの指が皮膚表面に接触すると、触覚フィードバック又は触覚効果を提供するように構成されてもよい。振動又は締め付ける動作の形態の触覚効果を、ウェアラブル装置３００が備える触覚出力装置３１０によって生成してもよい。一実施形態において、触覚出力装置３１０は、上記したようなアクチュエータのうちの一つのような、アクチュエータを備えてもよい又はアクチュエータの形態であってもよい。
ユーザの指が肌表面と接触する接触点付近に、触覚フィードバックを適用してもよい。例えば、ウェアラブル装置３００は、インタラクションを行う指の爪上又は付近に装着されてもよいし、図３に示すようにインタラクションを行う指の別の部分に装着されてもよい。一実施形態では、ウェアラブル装置３００は、インタラクティブパッドとして使用される皮膚表面が存在する腕の手首に、若しくは、インタラクションを行う指の側の腕に装着されるリストバンド又はブレスレットの形態であってもよい。リストバンド又はブレスレットは、ユーザに触覚効果を提供するべく、手首に振動を与える又は手首を締め付けるように構成されてもよい。
図１のシステムにおける触覚出力装置１６０として使用してもよい触覚出力装置４００が図４に示されている。触覚出力装置４００は、ユーザの指に電気的に接続される電源４１０を備える。システム１００に対する入力として、ユーザがジェスチャを提供するインタラクション面として使用される皮膚表面４２０は接地される。インタラクションを行う指が、電源４１０と電気的に接続されると、インタラクション面として使用される皮膚表面４２０が接地されて、皮膚に電流が流れ、触覚感覚が生じる。
一実施形態において、所定の電圧を指腹及び皮膚表面に印加して、これらが接触した時に、電気触覚的な刺激（ｅｌｅｃｔｒｏｔａｃｔｉｌｅ ｓｔｉｍｕｌａｔｉｏｎ）を印加してもよい。例えば、ウェアラブルなパッチの形態である第１電極４２０を、ユーザの上腕に適用し、ウェアラブルなパッチの形態である第２電極４３０をユーザの指に適用して、当該２つの電極４２０、４３０が異なる電圧に保持されるようにしてもよい。ユーザの指腹がユーザの上腕と接触すると、回路が形成されて電流が流れ、ユーザの皮膚の機械受容器（ｍｅｃｈａｎｏｒｅｃｅｐｔｏｒ）を刺激する。一実施形態において、電気触覚的な刺激は、他方を接地させることなく、一方の表面のみに蓄電させることによって生成されてもよい。
本発明の実施形態において、触覚出力装置１６０は、筋肉を電気的に刺激して、筋肉を収縮させるように構成された電極を備えてもよい。例えば、指腹をタッチ表面として使用する場合、インタラクションを行う指に向かって又はインタラクションを行う指から離れるように当該指腹を押すべく、指の筋肉が刺激されるように構成してもよい。上腕をタッチ面として使用する場合、上腕の筋収縮によって、当該タッチ表面の固さを変化させてもよい又は当該タッチ表面を振動させてもよい。
体の特定の部位に電極を取り付けて、一の又は複数の筋肉を刺激して、これらを収縮させてもよい。インタラクション表面の硬さを増すのに、筋収縮を利用してもよい。例えば、指腹を上腕に押し付けると当該上腕が硬くなるようにして、触知型（ｔａｃｔｉｌｅ）フィードバックの形態の触覚効果を生成してもよい。この硬さを動的に変化させることにより、ボタンの物理的な動きを擬似的に生成する、又は、振動と同様な効果を生成してもよい。また、硬さを位置によって変化させてもよく、それにより、例えば、ボタン、スライダといった仮想的な制御部の存在を示したり、これらの状態（例えば、オン又はオフ、感度を有する又は有さない等）を示すことができる。
電極によって引き起こす筋収縮を利用して、動きを生じさせてもよい。例えば、インタラクション面として使用される指腹に筋収縮を起こして当該指腹を曲げて、インタラクションを行う指を押すようにすることができる。例えば、指腹が仮想ボタンを押した場合、プロセッサによってこのアクションが登録され、触覚出力信号が電極に接続された電源に印加されて、当該指が押し返されるようにしてもよい。
筋収縮により皮膚が伸張されることから、インタラクション面の硬さを間接的に変化させてもよい。例えば、親指を手から引き離すことにより、母指球又は親指と人差し指との間の水かき部分を硬くさせることができる。同様に、筋収縮により、インタラクション面の皮膚を、一方向に引き離すことができる。例えば、手首の皮膚は、手首を曲げることにより、横向きに引っ張ることができる。
電気的刺激によって筋肉を不随意に収縮させる技術は周知であり、一般的には、「Ｅｌｅｃｔｒｉｃａｌ Ｍｕｓｃｌｅ Ｓｔｉｍｕｌａｔｉｏｎ（ＥＭＳ：電気的筋肉刺激）」又は「Ｆｕｎｃｔｉｏｎａｌ Ｅｌｅｃｔｒｉｃａｌ Ｓｔｉｍｕｌａｔｉｏｎ（ＦＥＳ：機能的電気刺激）」と称される。例えば、２０１１年米国、ニューヨークで開催されたＡＣＭ、ＳＩＧＣＨＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ （ＣＨＩ’１１）、玉城絵美、味八木崇、暦本純一著、「ＰｏｓｓｅｓｓｅｄＨａｎｄ：ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｃｏｎｔｒｏｌｌｉｎｇ ｈｕｍａｎ ｈａｎｄｓ ｕｓｉｎｇ ｅｌｅｃｔｒｉｃａｌ ｍｕｓｃｌｅｓ ｓｔｉｍｕｌｉ」、及び、２０１３年米国ニューヨークで開催されたＡＣＭ、ＳＩＧＣＨＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ （ＣＨＩ’１３）、Ｐｅｄｒｏ Ｌｏｐｅｓ及びＰａｔｒｉｃｋ Ｂａｕｄｉｓｃｈ著、「Ｍｕｓｃｌｅ−ｐｒｏｐｅｌｌｅｄ ｆｏｒｃｅ ｆｅｅｄｂａｃｋ： ｂｒｉｎｇｉｎｇ ｆｏｒｃｅ ｆｅｅｄｂａｃｋ ｔｏ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ」には、ヒューマン−コンピュータインタラクションのために手指の動きをトリガするのに筋肉刺激が利用されている例が示されており、これらの内容は参照により本明細書に組み込まれる。このような技術は、体の特定の部位に電極を配置して、電流が流れると筋肉が収縮することを利用している。接着剤を使用して電極を皮膚に貼り付けてもよく、例えば、導電性ゲルを使用して、皮膚との密着性を改善してもよい。
図１のシステム１００における触覚出力装置１６０として使用してもよい触覚出力装置５００の一実施形態が図５に示されている。触覚出力装置５００は、第１電極５１０及び第２電極５２０、並びに、第１電極５１０及び第２電極５２０に接続された電源５３０を備える。図に示すように、第１電極５１０及び第２電極５２０が、ユーザの上腕の皮膚表面に取り付けられる。ユーザが、上腕の仮想ボタン５４０の位置をタップすると、センサ１５０が入力を検出して、上記したように入力信号をプロセッサ１１０に送信する。プロセッサ１１０は、入力に基づいて、生成すべき触覚効果を決定し、触覚制御信号を電源５３０に送信する。それにより、皮膚に取り付けられた２つの電極５１０、５２０が、前腕の筋肉に電気パルスを送信し、筋肉が硬直する。筋収縮の形態の触覚効果により、ボタン押下の入力がプロセッサ１１０によって受信されたことをユーザが確認することができる。
図１のシステム１００における触覚出力装置１６０として使用してもよい触覚出力装置６００の一実施形態が図６に示されている。図に示すように、触覚出力装置６００は、電源６３０に接続された第１電極６１０及び第２電極６２０を備える。第１電極６１０及び第２電極６２０は、図に示すように、親指の付け根付近のユーザの手に配置される。センサ１５０は、例えば、ユーザの反対側の手の人差し指が、当該ユーザの親指に位置する２つの仮想ボタン６４０、６５０のうちのどちらが押下されたかを判定するように構成されてもよい。ユーザの人差し指が、２つの仮想ボタン６４０、６５０のうちの一方を押すと、電極６１０、６２０により掌に電流が流れて、親指が内側に移動して触覚フィードバックを付与して、ユーザはプロセッサ１１０によって入力が受信されたことを確認することができる。
図１のシステム１００における触覚出力装置１６０として使用してもよい触覚出力装置７００の一実施形態が図７に示されている。図に示すように、触覚出力装置７００は、電源７３０に接続された第１電極７１０及び第２電極７２０を備える。第１電極７１０及び第２電極７２０は、図に示すように、ユーザの掌の上に配置される。この実施形態では、ユーザは、親指と人差し指との間の皮膚を押すことにより、例えば、ユーザの電話の一機能を起動させることができてもよい。ユーザが皮膚を押すと、電極７１０、７２０間を流れる電流によって筋肉が刺激されて、ユーザの親指が強制的に手から離れる方向に移動し、ユーザの親指と人差し指の間の水かきの部分の皮膚が伸ばされることにより、ユーザの入力を確認することができてもよい。
図１のシステム１００における触覚出力装置１６０として使用してもよい触覚出力装置８００の一実施形態が図８に示されている。図に示すように、触覚出力装置８００は、電源８３０に接続された第１電極８１０及び第２電極８２０を備える。第１電極８１０及び第２電極８２０は、図に示すように、ユーザの腕に配置される。この実施形態では、ユーザは、前腕の手首付近の内側の皮膚にタッチする。ユーザが皮膚を押圧すると、電極８１０、８２０に供給される電気パルスにより、筋肉が刺激され、手が後方へと僅かに曲げられる。この動きにより、手首の皮膚が手に向かって引っ張られることとなり、ユーザに対して方向キュー（ｃｕｅ）を提供できる。
当業者であれば理解できるように、図５から図８は、本発明の実施形態の概略図であり、図に描かれた電極の位置は、実装時の正確な位置を示していない場合がある。電極の正確な位置は、所望の効果を得るべく電極でどの筋肉を刺激するかによって異なる。
本発明の実施形態によれば、異なる複数の機械を使用して、タッチ面又はインタラクション面として使用される皮膚を伸ばす又は引っ張ってもよく、それにより、タッチ面又はインタラクション面の硬さが変化して、当該皮膚とのインタラクションに応答して触覚効果を生成することができる。例えば、皮膚の硬さを高めることにより、当該皮膚がインタラクションを行う指を押し返すようにすることができる。知覚可能な触覚フィードバック又は方向を示す効果を生成するべく、皮膚を一方向に引っ張ってもよい。例えば、一実施形態では、前腕に取り付けられた複数のストラップを互いに離れる方向に引っ張って、皮膚を引き伸ばしてもよい。このような実施形態では、皮膚及び／又はその他の組織を変形させて、インタラクション面に変化を引き起こすように構成された機械的な装置を使用してもよい。
例えば、図９に示すように、触覚出力装置９００は、前腕にきつく巻かれたバンドによって取り付けられる第１ローラ９１０及び第２ローラ９２０を備えてもよく、例えば、プロセッサ１１０からの触覚制御信号の受信に応答して、これらローラによって皮膚を掴み互いに反対方向へと皮膚を引っ張るように構成することができる。ローラ９１０、９２０によるこのような動きによって、ローラ９１０、９２０間に位置する皮膚の部分を硬くすることができる。図１０には、前腕の側部を両側から押して、前腕の組織を隆起させる又は硬くするように構成されたアームバンド１０１０を備える触覚出力装置１０００が示されている。図１１には、スマート材料アクチュエータ（ＳＭＡ）１１１０のグリッドを備える触覚出力装置１１００が示されており、ＳＭＡ１１１０のグリッドが前腕の皮膚に取り付けられて、アクチュエータが起動すると前腕の皮膚が引き伸ばされる又は押されるように構成されている。ＳＭＡ１１１０のグリッドは、皮膚表面に適用される触覚タトゥー（ｈａｐｔｉｃ ｔａｔｔｏｏ）の形態であってもよいし、好適な接着剤によって皮膚表面に貼り付けられてもよい。図９〜図１１に示した実施形態において、触覚出力装置９００、１０００、１１００によって生成される刺激は、インタラクションを行う指だけでなく、インタラクション面として使用される皮膚で知覚可能であってもよい。一部の実施形態では、ユーザがインタラクションに注意を払うことによって、インタラクションを行っている指に主にフィードバックが存在するという錯覚を抱かせることができる。
本発明の実施形態では、タッチ面として使用される皮膚を、振動が伝播するようにしてもよい。例えば、振動アクチュエータを直接皮膚に取り付ける、又は、より良好な伝導性を得るべく骨の近くに取り付けてもよい。図１２には、振動を生成するように構成された第１アクチュエータ１２１０、及び、振動を生成するように構成された第２アクチュエータ１２２０を備える触覚出力装置１２００の一実施形態が示されている。アクチュエータ１２１０、１２２０はそれぞれ、ユーザの腕のインタラクション面の周辺に取り付けられる。アクチュエータ１２１０、１２２０の間のインタラクション面にユーザがタッチすると、アクチュエータ１２１０、１２２０が起動されて、インタラクション面上の接点に存在するインタラクションを行う指に振動が伝播する。理想的には、インタラクション面の皮膚は、この振動を感じないことが望ましい。振動がインタラクション面では感じられず、インタラクションを行う指が振動の大部分を知覚するように、当該振動の特性を設定してもよい。例えば、触知感度の違いにより、振動が前腕ではほとんど知覚できないがインタラクションを行う指では明らかに感じることができるように、当該振動の周波数及び振幅を調整してもよい。しかしながら、多くの場合、インタラクション面の皮膚と指腹との両方で振動を感じることになるが、ユーザの注目がインタラクションに集中することにより、インタラクションを行う指に感覚が主に感じられるようにすることができと考えられる。
本発明の実施形態において、触覚出力装置１６０は、指が、タッチ感知皮膚表面に触れると、インタラクションを行う指を引き付ける又は遠ざけるのに利用可能な磁力を生成するように構成されてもよい。例えば、触覚出力装置１６０は、引力又は斥力を生じさせるように構成された電磁石を備えてもよい。センサ１５０が、上記したフィンガーパッドを備える一実施形態では、２つの指に取り付けられた装置を電磁石を使用して拡張して、インタラクション面がインタラクションを行う指を引き付ける又は遠ざけるようにしてもよい。図１３には、インタラクション面として使用される親指の後ろに取り付けられるように構成された第１電磁石１３１０と、第１電磁石１３１０と反対の極性を有し、同じ手又はその他の手の人差し指に取り付けられるように構成された第２電磁石１３２０とを備える触覚出力装置１３００の一実施形態が示されている。人差し指が親指に近づくと、ユーザが引力を感じるように電磁石１３１０、１３２０が作用するようにしてもよい。
上記したように、タッチ感知皮膚表面は、インタラクションを行う指を対象とした触覚フィードバックを感じるように構成されてもよい。本発明の実施形態では、皮膚表面の感覚を鈍くして触覚フィードバックが減衰するようにして、タッチパッドとして動作する皮膚表面が、インタラクションを行う指を対象とした触覚フィードバックを感じないようにしてもよい。例えば、前腕が時間が経過すると慣れて、もはや感じることがなくなるような振動を生成することにより、振動フィードバックをマスクすることができる。これは、タッチ入力の前に皮膚を刺激して、当該刺激に慣れさせることにより行ってもよい。一実施形態では、例えば、皮膚の温度を、ペルチェセル（Ｐｅｌｔｉｅｒ ｃｅｌｌ）を用いて低下させて、触覚効果に対する皮膚の感度を下げてもよい。一実施形態において、触覚効果に対する皮膚の感度を下げる又は鈍くさせるのに、化学薬品を使用してもよいが、この場合、ユーザはこの皮膚の無感覚を触覚効果と感じる可能性もある。当該無感覚が意図した触覚効果でない限り、無感覚又はしびれの感覚が続くことにより、そのうち気にならなくなると考えられる。
図１４には、インタラクションが開始する前に、表面麻酔薬１４１０を吹き付けるように構成されたリストバンド１４００の一実施形態が示されている。麻酔薬が吹き付けられた皮膚は無感覚となり、インタラクションを行う指を対象とした触覚フィードバックを感じなくなる。図１５には、振動を生成するように構成されたアクチュエータ１５１０を備えるリストバンド１５００が示されており、インタラクションの前の一定期間リストバンドが振動することにより、皮膚が当該振動に慣れるようにしている。
本発明の実施形態では、触覚出力装置１６０は、インタラクションを行う指に向かって、超音波又は空気渦を発射するように構成されてもよい。センサ１５０が上記した「ＳｅｎＳｋｉｎ」を備える一実施形態では、２つのアームバンドのうちの少なくとも一方が、タッチ入力を捉えるのに使用される当該２つのアームバンドの間に空気渦を発射するように構成されてもよく、それにより触覚フィードバックをインタラクションを行う指に対して生じさせるようにしてもよい。図１６には、リストバンド１６１０から離れたところで発射される空気渦を生成するように構成された空気砲１６２０を有するリストバンド１６１０を備える触覚出力装置１６００が示されている。ユーザが、インタラクション面上の仮想ボタンを押下すると、例えば、空気渦が指に向かって発射されて、確認フィードバックを生成することができる。一実施形態において、触覚出力装置１６００は、超音波を生成する超音波装置を備えてもよい。
図１７は本発明の実施形態にかかる方法１７００を示す。図示するように、この方法は工程１７１０から開始する。工程１７２０において、上記したシステム１００のユーザは、指先を使用して、例えば、別の指腹、前腕、手の掌のような皮膚表面を、タップ、なでる又は変形させて、タッチ入力を行ってもよい。当該タッチ入力は、上記したセンサのうちの一つのようなセンサによって捉えられる又は検出される。一実施形態において、変形される皮膚表面は、入力を行うユーザの皮膚表面である。一実施形態において、変形される皮膚表面は、入力を行うユーザとは異なる、システムを使用する第２のユーザの皮膚表面である。センサは、上記したプロセッサ１１０のような、プロセッサに信号を出力し、信号の処理が行われる。工程１７３０において、プロセッサは、上記した触覚出力装置のうちの一つのような触覚出力装置により、どのような触覚フィードバックを出力させるべきかを決定し、前記センサが捉えた検出されたタッチ入力に基づいて、触覚制御信号を生成する。そしてプロセッサは、触覚制御信号を、触覚出力装置に出力する。工程１７４０において、触覚出力装置は、触覚制御信号に基づいて、触覚効果を生成する。一実施形態において、生成される触覚効果は、入力のために変形された皮膚表面を有するユーザに提供される。一実施形態において、触覚効果は、入力を提供するユーザに対して生成される。上記した実施形態のうちの少なくとも一つに従って、指先又は体の別の部位に対して、触覚効果が生成されてもよい。方法１７００は工程１７５０において終了する。
本明細書に記載された実施形態は、実施可能な実装例及び実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。上記した実施形態では、ユーザの前腕、親指、指又は手の掌の皮膚をインタラクション面として使用する場合を説明した。しかしながら、２０１３年４月２７日から５月２日、フランス、パリで開催されたＣＨＩ ２０１３の追加アブストラクト、１３２３−１３２８ページに記載されるＲｏｍａｎ Ｌｉｓｓｅｒｍａｎ他著、「ＥａｒＰｕｔ： Ａｕｇｍｅｎｔｉｎｇ Ｂｅｈｉｎｄ−ｔｈｅ−Ｅａｒ Ｄｅｖｉｃｅｓ ｆｏｒ Ｅａｒ−ｂａｓｅｄ Ｉｎｔｅｒａｃｔｉｏｎ」に記載されるように、耳及び耳たぶのようなその他の皮膚表面を使用することができ、上記文献の内容は、参照により本明細書に組み込まれる。また、２０１４年４月２６日から５月１日にカナダ、トロントで開催されたＣＨＩ２０１４、「Ｅｘｐｌｏｒｉｎｇ ｔｈｅ Ｕｓｅ ｏｆ Ｈａｎｄ−ｔｏ−Ｆａｃｅ Ｉｎｐｕｔ ｆｏｒ Ｉｎｔｅｒａｃｔｉｎｇ ｗｉｔｈ Ｈｅａｄ−Ｗｏｒｎ Ｄｉｓｐｌａｙｓ」に記載されるように、額及び頬のような顔の部分の皮膚表面を使用することができ、上記文献の内容は、参照により本明細書に組み込まれる。
加えて、上記したように、システムは、一人のユーザが使用してもよいし、複数のユーザが使用してもよい。例えば、一実施形態では、上記したシステムの実施形態の一ユーザは、当該ユーザ自身の皮膚表面を使用して入力を供給してもよいし、別の人の皮膚表面を使用して入力を供給してもよい。同様に、生成される触覚効果は、入力を供給するユーザに提供されてもよいし、別の人に提供されてもよい。例えば、一実施形態において、医師又は外科医は、例えば、当該患者に直接情報を投影するコンピュータシステムのようなコンピュータシステムとやり取りを行うべく、患者の体の皮膚表面を利用して入力を供給してもよい。そして、触覚効果が、前記医師及び／又は患者に提供されてもよい。
むしろ、これら実施形態には、当該技術分野における当業者に理解できるような様々な変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

Claims (23)

  1. 異なる皮膚表面の間における入力を検出するセンサと、
    前記センサが前記異なる皮膚表面の間における前記入力を検出したことに応じて前記センサから出力信号を受信し、前記出力信号に基づいて触覚制御信号を生成するプロセッサと、
    前記触覚制御信号に基づいて、前記センサによって検出された前記異なる皮膚表面の間における前記入力に対応する近似場所に、触覚効果を生成する触覚出力装置と、を備えるシステム。
  2. 前記センサは、前記システムのユーザの前記異なる皮膚表面間における入力を検出するように構成され、
    前記触覚出力装置は、前記システムの前記ユーザに対して前記触覚効果を生成するように構成される、請求項１に記載のシステム。
  3. 前記触覚出力装置は、ウェアラブル装置により搭載されるように構成されている、請求項１に記載のシステム。
  4. 前記ウェアラブル装置は、指輪を含む、請求項３に記載のシステム。
  5. 前記ウェアラブル装置は、リストバンド又はブレスレットを含む、請求項３に記載のシステム。
  6. 前記触覚出力装置は、アクチュエータを有し、
    前記触覚効果は、振動を含む、請求項１に記載のシステム。
  7. 前記触覚出力装置は、電源に接続された少なくとも一つの電極を有する、請求項１に記載のシステム。
  8. 前記触覚効果は、電気触覚的な刺激を含む、請求項７に記載のシステム。
  9. 前記触覚効果は、筋肉刺激を含む、請求項７に記載のシステム。
  10. 前記触覚出力装置は、前記異なる皮膚表面の間を伸ばす又は引っ張るように構成された機械的装置を有する、請求項１に記載のシステム。
  11. 前記触覚出力装置は、前記異なる皮膚表面の間に引力又は斥力を生じさせるように構成された一対の電磁石を有する、請求項１に記載のシステム。
  12. 前記触覚出力装置は、超音波又は空気渦を生成するように構成されている、請求項１に記載のシステム。
  13. 異なる皮膚表面の間における入力を検出する工程と、
    前記異なる皮膚表面の間において検出された入力に基づいて触覚制御信号を生成する工程と、
    前記触覚制御信号に基づいて、前記異なる皮膚表面の間において検出された前記入力に対応する近似場所に、触覚出力装置を用いて触覚効果を生成する工程と、を備える方法。
  14. 前記触覚効果は、振動を含む、請求項１３に記載の方法。
  15. 前記触覚効果は、電気触覚的な刺激を含む、請求項１３に記載の方法。
  16. 前記触覚効果は、筋肉刺激を含む、請求項１３に記載の方法。
  17. 前記触覚効果は、前記皮膚を伸ばすこと又は前記異なる皮膚表面を引っ張ることを含む、請求項１３に記載の方法。
  18. 前記触覚効果は、前記異なる皮膚表面の間に引力又は斥力を生じさせることを含む、請求項１３に記載の方法。
  19. 前記触覚効果は、超音波又は空気渦を含む、請求項１３に記載の方法。
  20. 前記異なる皮膚表面の、前記触覚効果に対する感度を下げる工程を更に備える、請求項１３に記載の方法。
  21. 前記入力を検出する工程の前に、前記異なる皮膚表面に対して表面麻酔薬を塗布することにより、前記異なる皮膚表面の前記感度を下げる、請求項２０に記載の方法。
  22. 前記異なる皮膚表面の温度を下げることにより、前記異なる皮膚表面の前記感度を下げる、請求項２０に記載の方法。
  23. 前記入力を検出する工程の前に、前記異なる皮膚表面に対して振動を与えることにより、前記異なる皮膚表面の前記感度を下げる、請求項２０に記載の方法。
JP2015135963A 2014-07-15 2015-07-07 皮膚を媒介したインタラクションのための触覚フィードバックを生成するシステム及び方法 Expired - Fee Related JP6712843B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/331,592 US9600083B2 (en) 2014-07-15 2014-07-15 Systems and methods to generate haptic feedback for skin-mediated interactions
US14/331,592 2014-07-15

Publications (2)

Publication Number Publication Date
JP2016021234A JP2016021234A (ja) 2016-02-04
JP6712843B2 true JP6712843B2 (ja) 2020-06-24

Family

ID=53682530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015135963A Expired - Fee Related JP6712843B2 (ja) 2014-07-15 2015-07-07 皮膚を媒介したインタラクションのための触覚フィードバックを生成するシステム及び方法

Country Status (5)

Country Link
US (3) US9600083B2 (ja)
EP (2) EP3413171A1 (ja)
JP (1) JP6712843B2 (ja)
KR (1) KR20160008978A (ja)
CN (1) CN105278680A (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111909A2 (en) * 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
US10031582B2 (en) 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
US9600083B2 (en) * 2014-07-15 2017-03-21 Immersion Corporation Systems and methods to generate haptic feedback for skin-mediated interactions
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US10635171B2 (en) * 2014-09-10 2020-04-28 Sony Corporation Detection device, detection method, control device, and control method
US20180101277A9 (en) * 2014-09-24 2018-04-12 Evan John Kaye Skin Touchpad
US10101811B2 (en) 2015-02-20 2018-10-16 Ultrahaptics Ip Ltd. Algorithm improvements in a haptic system
KR102515997B1 (ko) 2015-02-20 2023-03-29 울트라햅틱스 아이피 엘티디 햅틱 시스템에서의 인식
JP6445921B2 (ja) * 2015-04-21 2018-12-26 任天堂株式会社 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US9928696B2 (en) 2015-12-30 2018-03-27 Immersion Corporation Externally-activated haptic devices and systems
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
US10556175B2 (en) * 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US20190129508A1 (en) * 2016-06-23 2019-05-02 Carnegie Mellon University Method and System for Interacting with a Wearable Electronic Device
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
US10115274B1 (en) * 2017-12-07 2018-10-30 Immersion Corporation Systems, devices and methods for wirelessly delivering haptic effects
WO2019122916A1 (en) 2017-12-22 2019-06-27 Ultrahaptics Limited Minimizing unwanted responses in haptic systems
US11360546B2 (en) 2017-12-22 2022-06-14 Ultrahaptics Ip Ltd Tracking in haptic systems
KR20200099574A (ko) * 2017-12-22 2020-08-24 울트라햅틱스 아이피 엘티디 공중 햅틱 시스템들과의 인간 상호작용들
US10824235B2 (en) 2018-01-08 2020-11-03 Facebook Technologies, Llc Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
CN111936959A (zh) 2018-03-23 2020-11-13 脸谱科技有限责任公司 用于在用户身上显示用户界面并检测触摸手势的方法、设备和系统
CN112384310A (zh) 2018-05-02 2021-02-19 超级触觉资讯处理有限公司 用于改进的声传输效率的挡板结构体
US10564841B2 (en) 2018-05-03 2020-02-18 International Business Machines Corporation Enhancing interaction with a wearable device
WO2019229698A1 (en) 2018-05-31 2019-12-05 Purple Tambourine Limited Interacting with a virtual environment using a pointing controller
US10831316B2 (en) * 2018-07-26 2020-11-10 At&T Intellectual Property I, L.P. Surface interface
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
KR102188851B1 (ko) * 2018-10-31 2020-12-11 한국과학기술연구원 가상 객체와의 상호작용에 따른 손등 촉감 피드백 전달 장치
US11550395B2 (en) 2019-01-04 2023-01-10 Ultrahaptics Ip Ltd Mid-air haptic textures
EP3928187A1 (en) 2019-02-18 2021-12-29 Arkh Litho Holdings, LLC Interacting with a smart device using a pointing controller
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US11067687B2 (en) 2019-04-25 2021-07-20 Elwha, Llc Multipath acoustic holography and virtual haptics
US11009959B1 (en) 2019-05-09 2021-05-18 Facebook Technologies, Llc Haptic vibrotactile actuators on inflatable bladders and related systems and methods
US10916107B1 (en) * 2019-07-29 2021-02-09 Elwha Llc Time-domain and frequency-domain enhancements for acoustic haptography
CA3154040A1 (en) 2019-10-13 2021-04-22 Benjamin John Oliver LONG Dynamic capping with virtual microphones
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
US11169610B2 (en) 2019-11-08 2021-11-09 Ultraleap Limited Tracking techniques in haptic systems
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
FR3110006B1 (fr) * 2020-04-27 2024-03-29 Actronika Dispositif haptique auto-adhésif
FR3109649A1 (fr) * 2020-04-27 2021-10-29 Actronika Dispositif haptique auto-adhésif
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
JP2022022568A (ja) * 2020-06-26 2022-02-07 沖電気工業株式会社 表示操作部および装置
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons
USD1009861S1 (en) 2020-09-25 2024-01-02 Arkh, Inc. Smart ring
KR102436938B1 (ko) * 2021-01-29 2022-08-29 한국과학기술연구원 사용자에게 3차원 햅틱 피드백을 제공하는 햅틱 시스템
US11763647B2 (en) 2021-08-16 2023-09-19 City University Of Hong Kong Multimode haptic patch and multimodal haptic feedback interface
DE102023001175A1 (de) 2023-03-27 2023-06-07 Mercedes-Benz Group AG Vorrichtung zur Erzeugung haptischer Rückmeldungen einer berührungssensitiven Benutzerschnittstelle

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4655673A (en) * 1983-05-10 1987-04-07 Graham S. Hawkes Apparatus providing tactile feedback to operators of remotely controlled manipulators
EP2158454B1 (en) * 2007-05-18 2018-08-22 University of Southern California Biomimetic tactile sensor for control of grip
US20110155044A1 (en) * 2007-12-21 2011-06-30 David Burch Kinesthetically concordant optical, haptic image sensing device
WO2010009152A1 (en) * 2008-07-15 2010-01-21 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US8780054B2 (en) * 2008-09-26 2014-07-15 Lg Electronics Inc. Mobile terminal and control method thereof
JP2010204724A (ja) * 2009-02-27 2010-09-16 Denso Corp 入力システム及び電気機器
US20100289740A1 (en) 2009-05-18 2010-11-18 Bong Soo Kim Touchless control of an electronic device
GB0919568D0 (en) * 2009-11-09 2009-12-23 Owen Mumford Ltd Skin stimulus
US10908686B2 (en) * 2010-03-16 2021-02-02 Immersion Corporation Systems and methods for pre-touch and true touch
WO2011161562A1 (en) * 2010-06-22 2011-12-29 Koninklijke Philips Electronics N.V. System and method of delivering vestibular stimulation customizable to individual subjects
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
CN101964133A (zh) * 2010-09-21 2011-02-02 东南大学 触觉酒驾控制器
US9733746B2 (en) * 2011-05-10 2017-08-15 Northwestern University Touch interface device having an electrostatic multitouch surface and method for controlling the device
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
KR20140092319A (ko) * 2011-10-19 2014-07-23 심파라 메디컬 인코포레이티드 고혈압을 치료하기 위한 방법 및 디바이스
US9827420B2 (en) * 2013-03-29 2017-11-28 Neurometrix, Inc. Transcutaneous electrical nerve stimulator with user gesture detector and electrode-skin contact detector, with transient motion detector for increasing the accuracy of the same
KR101871714B1 (ko) * 2012-04-02 2018-06-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8988373B2 (en) * 2012-04-09 2015-03-24 Sony Corporation Skin input via tactile tags
US8994672B2 (en) * 2012-04-09 2015-03-31 Sony Corporation Content transfer via skin input
US9317123B2 (en) * 2012-06-13 2016-04-19 University Of Utah Research Foundation Skin stretch feedback devices, systems, and methods
US9244549B2 (en) * 2012-06-28 2016-01-26 Samsung Electronics Co., Ltd. Apparatus and method for user input
KR101978206B1 (ko) * 2012-06-29 2019-05-14 엘지전자 주식회사 이동 단말기
EP2703947B1 (de) * 2012-08-27 2019-02-27 Siemens Aktiengesellschaft Bedieneinrichtung für ein technisches System
CN102805900B (zh) * 2012-08-30 2015-08-19 上海交通大学 用于产生人工电触觉的电刺激系统
JP2014081716A (ja) * 2012-10-15 2014-05-08 Denso Corp フォースフィードバック装置およびユーザインターフェースシステム
US9030446B2 (en) * 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US9836150B2 (en) * 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
KR101933637B1 (ko) * 2012-12-20 2018-12-28 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9299248B2 (en) * 2013-02-22 2016-03-29 Thalmic Labs Inc. Method and apparatus for analyzing capacitive EMG and IMU sensor signals for gesture control
JP6644466B2 (ja) * 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
US9600083B2 (en) * 2014-07-15 2017-03-21 Immersion Corporation Systems and methods to generate haptic feedback for skin-mediated interactions

Also Published As

Publication number Publication date
US10176679B2 (en) 2019-01-08
CN105278680A (zh) 2016-01-27
EP3413171A1 (en) 2018-12-12
JP2016021234A (ja) 2016-02-04
US20190172326A1 (en) 2019-06-06
KR20160008978A (ko) 2016-01-25
US9600083B2 (en) 2017-03-21
US20170186286A1 (en) 2017-06-29
US20160019762A1 (en) 2016-01-21
EP2975495B1 (en) 2018-09-12
EP2975495A1 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
JP6712843B2 (ja) 皮膚を媒介したインタラクションのための触覚フィードバックを生成するシステム及び方法
US9529435B2 (en) Systems and methods for providing haptic notifications
US9639158B2 (en) Systems and methods for generating friction and vibrotactile effects
US9619033B2 (en) Interactivity model for shared feedback on mobile devices
US8847741B2 (en) System and method for display of multiple data channels on a single haptic display
CN105045381B (zh) 带有柔性地衬托的触觉输出设备的可穿戴设备
US8624864B2 (en) System and method for display of multiple data channels on a single haptic display
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
US20140247227A1 (en) Haptic device with linear resonant actuator
JP2003288158A (ja) タクタイル・フィードバック機能を持つ携帯型機器
US10475302B2 (en) Systems, devices and methods for wirelessly delivering haptic effects
JP4229162B2 (ja) タクタイル・フィードバック機能を持つ携帯型機器
KR102188851B1 (ko) 가상 객체와의 상호작용에 따른 손등 촉감 피드백 전달 장치
Farooq et al. Haptic user interface enhancement system for touchscreen based interaction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200122

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200602

R150 Certificate of patent or registration of utility model

Ref document number: 6712843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees