JP6325216B2 - センサ入力を触覚的に表すためのシステム - Google Patents

センサ入力を触覚的に表すためのシステム Download PDF

Info

Publication number
JP6325216B2
JP6325216B2 JP2013178409A JP2013178409A JP6325216B2 JP 6325216 B2 JP6325216 B2 JP 6325216B2 JP 2013178409 A JP2013178409 A JP 2013178409A JP 2013178409 A JP2013178409 A JP 2013178409A JP 6325216 B2 JP6325216 B2 JP 6325216B2
Authority
JP
Japan
Prior art keywords
haptic
actuator
sensor
input
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013178409A
Other languages
English (en)
Other versions
JP2014049136A (ja
Inventor
デイヴィッド バーンバウム
デイヴィッド バーンバウム
クリストファー ジェイ． ウルリッチ
クリストファー ジェイ． ウルリッチ
ダニー グラント
ダニー グラント
アリ モダレス
アリ モダレス
ユアン マヌエル クルス−エルナンデス
ユアン マヌエル クルス−エルナンデス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48900764&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6325216(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2014049136A publication Critical patent/JP2014049136A/ja
Application granted granted Critical
Publication of JP6325216B2 publication Critical patent/JP6325216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Educational Administration (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

一実施形態は、概して、デバイス、より具体的にはハプティック効果を生成するデバイスに関する。
ハプティック（触覚的）は、力、振動、および変形などのハプティックフィードバック効果（すなわち「ハプティック効果」）をユーザに適用することにより、ユーザの触覚を利用する触知性および力フィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータなどのデバイスは、ユーザにとってより実体験のように感じる経験を提供するように、ハプティック効果を生成するように構成され得る。例えば、ユーザが、例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または一部の他のコントロールを使用してデバイスと相互作用する場合、ハプティック信号が生成され得、そのハプティック信号は、そのデバイスに適切なハプティック効果を生成させる。ユーザはハプティック効果を経験でき、デバイスとのユーザの相互作用を向上できる。
一実施形態は、ハプティック効果を生成するハプティック表現システムである。そのシステムはセンサから入力を受信する。そのシステムは受信した入力をハプティック信号にマッピングする。そのシステムはさらに、ハプティック信号をアクチュエータに送信して、ハプティック効果を生成する。
さらなる実施形態、詳細、利点、および修飾は、添付の図面と共に好ましい実施形態の以下の詳細な説明から明らかになるであろう。
図１は、本発明の一実施形態に係る、ハプティック表現システムのブロック図を示す。 図２は、本発明の一実施形態に係る、センサ入力およびハプティック出力を有するデバイスの例を示す。 図３は、本発明の一実施形態に係る、振動触覚効果および／または運動触覚効果を提供できるデバイスのブロック図を示す。 図４は、出力デバイスでプレイした場合、本発明の一実施形態に係る、出力効果を生成する、出力信号に対するセンサ入力の例示的なマッピングの図を示す。 図５は、本発明の一実施形態に係る、ハプティック表現モジュールの機能のフローチャートを示す。 図６は、本発明の一実施形態に係る、知覚を増大させるためにハプティック効果を生成できるデバイスのブロック図を示す。 図７は、本発明の一実施形態に係る、ディスプレイスクリーン内に表示される視覚情報を増大させるためにハプティック効果を生成できるデバイスのブロック図を示す。 図８は、アクチュエータでプレイした場合、本発明の一実施形態に係る、力ハプティック効果を生成する、力ハプティック信号に対するセンサ入力の例示的なマッピングの図を示す。 図９は、アクチュエータでプレイした場合、本発明の一実施形態に係る、変形ハプティック効果を生成する、変形ハプティック信号に対するセンサ入力の例示的なマッピングの図を示す。 図１０は、アクチュエータでプレイした場合、本発明の一実施形態に係る、インピーダンスハプティック効果を生成する、インピーダンスハプティック信号に対するセンサ入力の例示的なマッピングの図を示す。 図１１は、本発明の別の実施形態に係る、ハプティック表現モジュールの機能のフローチャートを示す。
一実施形態は、センサによって生成され、ハプティック表現システムにより受信される入力を表すハプティック効果を生成できるハプティック表現システムである。特定の実施形態において、受信した入力は高感度（ｅｘｔｒａ−ｓｅｎｓｏｒｙ）情報を含み、その高感度情報は、電磁場、赤外線光、紫外線光、放射線、または温度のわずかな変化などの、通常、ヒトにより認識できない情報である。一部の実施形態において、ハプティック効果は変形アクチュエータにより生成される変形ハプティック効果であり、変形ハプティック効果は、変形アクチュエータに作動可能に接続されるコンポーネントの形状および／またはサイズの変化を含む。特定の実施形態において、変形アクチュエータにより生成される変形ハプティック効果は、センサにより生成される受信した入力に含まれる高感度情報に基づいて生成される。
以下により詳細に記載するように、「振動効果」または「振動ハプティック効果」は振動を生成する効果である。「振動アクチュエータ」は振動ハプティック効果を生成するように構成されるアクチュエータである。「力効果」または「力ハプティック効果」は力を生成する効果である。「力アクチュエータ」は力ハプティック効果を生成するように構成されるアクチュエータである。「変形効果」または「変形ハプティック効果」は構造または形状を変形する効果である。「変形アクチュエータ」は変形ハプティック効果を生成するように構成されるアクチュエータである。「インピーダンス効果」または「インピーダンスハプティック効果」は、適用される力に対する抵抗力または対向力を生成する効果である。「インピーダンスアクチュエータ」はインピーダンスハプティック効果を生成するように構成されるアクチュエータである。
図１は、本発明の一実施形態に係るハプティック表現システム１０のブロック図を示す。一実施形態において、システム１０はデバイス（例えば図２に示したデバイス２００であり、そのデバイス２００は以下により詳細に記載する）の一部であり、システム１０はデバイスのためのハプティック表現機能を提供する。単一のシステムとして示されるが、システム１０の機能は分散システムとして実装されてもよい。システム１０は、情報を通信するためのバス１２または他の通信機構、および情報を処理するためのバス１２に連結されるプロセッサ２２を含む。プロセッサ２２は汎用または特定目的のプロセッサのいずれの種類であってもよい。システム１０はさらに、情報を記憶するためのメモリ１４およびプロセッサ２２により実行される命令を含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、磁気ディスクもしくは光ディスクなどの静的記憶デバイス、または任意の他の種類のコンピュータ可読媒体の任意の組み合わせから構成されてもよい。
コンピュータ可読媒体は、プロセッサ２２によりアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体および非揮発性媒体の両方、リムーバルおよびノンリムーバル媒体、通信媒体、ならびに記憶媒体を含んでもよい。通信媒体は、搬送波または他の搬送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、当該技術分野において公知の任意の他の形態の情報送信媒体を含んでもよい。記憶媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラマブルリードオンリメモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルリードオンリメモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハードディスク、リムーバルディスク、コンパクトディスクリードオンリメモリ（「ＣＤ−ＲＯＭ」）、または当該技術分野において公知の任意の他の形態の記憶媒体を含んでもよい。
一実施形態において、メモリ１４は、プロセッサ２２により実行される場合、機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム１０のためのオペレーティングシステム機能を提供するオペレーティングシステム１５、ならびに一実施形態におけるモバイルデバイスの残りを含む。モジュールはさらに、以下により詳細に開示されるように受信した入力を表すハプティック効果を生成するハプティック表現モジュール１６を含む。特定の実施形態において、ハプティック表現モジュール１６は複数のモジュールを含んでもよく、各個々のモジュールは受信した入力を表すハプティック効果を生成するための特定の個々の機能を提供する。システム１０は典型的に、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標）Ｈａｐｔｉｃ Ｄｅｖｅｌｏｐｍｅｎｔ Ｐｌａｔｆｏｒｍなどの追加の機能を含むように１つ以上の追加のアプリケーションモジュール１８を含む。
リモートソースからデータを送信および／または受信する実施形態において、システム１０はさらに、赤外線、無線、Ｗｉ−Ｆｉ、またはセルラーネットワーク通信などの移動無線ネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス２０を含む。他の実施形態において、通信デバイス２０は、イーサネット（登録商標）接続またはモデムなどの有線ネットワーク接続を提供する。
プロセッサ２２はさらに、バス１２を介して、グラフィック表現を表示するための液晶ディスプレイ（「ＬＣＤ」）などのディスプレイ２４またはユーザに対するユーザインターフェースに接続される。ディスプレイ２４は、プロセッサ２２から信号を送信し、受信するように構成される、タッチスクリーンなどのタッチセンサ入力デバイスであってもよく、マルチタッチのタッチスクリーンであってもよい。
一実施形態において、システム１０はさらに、アクチュエータ２６を含む。プロセッサ２２は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ２６に送信してもよく、次いで振動触覚ハプティック効果および変形ハプティック効果などのハプティック効果を出力する。アクチュエータ２６はアクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転モータ（「ＥＲＭ」）、線形共鳴アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域アクチュエータ、電気活性ポリマー（「ＥＡＰ」）アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器であってもよい。代替の実施形態において、システム１０は、アクチュエータ２６に加えて１つ以上の追加のアクチュエータを含んでもよい（図１に示さず）。他の実施形態において、システム１０とは別個のデバイスが、ハプティック効果を生成するアクチュエータを含み、システム１０は、生成されたハプティック効果信号を、通信デバイス２０を介して、そのデバイスに送信する。
一実施形態において、システム１０はさらに、センサ２８を含む。センサ２８は、エネルギーの形態、または限定されないが、加速度、生体信号、距離、流量、力／圧力／歪／屈曲、湿度、線形位置、配向／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などの他の物理特性を検出するように構成されてもよい。センサ２８はさらに、検出されたエネルギーまたは他の物理特性を、電気信号または仮想センサ情報を表す任意の信号に変換するように構成されてもよい。センサ２８は、限定されないが、加速度計、心電図、脳電図、筋電図、眼電図、電子口蓋図（ｅｌｅｃｔｒｏｐａｌａｔｏｇｒａｐｈ）、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ（ｆｌｅｘｉｏｎ ｓｅｎｓｏｒ）（または屈曲センサ（ｂｅｎｄ ｓｅｎｓｏｒ））、力感応抵抗器、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ２１５５、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計（またはスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁性タグ（または無線周波数識別タグ）、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オン・オフスイッチ、温度センサ（例えば温度計、熱電対、抵抗温度検出器、サーミスタ、および温度変換集積回路）、マイクロホン、光度計、高度計、温度計、生物学的モニタ、または光依存性抵抗器などの任意のデバイスであってもよい。
図２は、本発明の一実施形態に係る、センサ入力およびハプティック出力を有する、デバイス２００の例を示す。上記のように、一実施形態において、デバイス２００は、ハプティック出力としてセンサ入力を表し得るハプティック表現システム（例えば図１に示すハプティック表現システム１０など）を含んでもよい。実施形態によれば、デバイス２００はユーザの手の中で持ち運ぶことができるモバイル機器である。デバイス２００はセンサ（例えば図１のセンサ２８）（そのセンサは図２に示さず）、拡張部２１０および２２０、ならびにディスプレイ２３０を含んでもよい。センサは感覚情報および高感度情報を検出するように構成されてもよく、その感覚情報は、通常、ヒトにより認識できる情報であり、その高感度情報は、通常、ヒトにより認識できない情報である。センサはさらに、検出した情報に基づいてセンサ入力を生成するように構成されてもよい。拡張部２１０および２２０は各々、アクチュエータ（図２に示さず）に接続されてもよい。アクチュエータは振動アクチュエータまたは変形アクチュエータであってもよい。振動アクチュエータは、拡張部２１０および２２０を、センサにより生成されるセンサ入力に基づいて振動させてもよい。変形アクチュエータは、拡張部２１０および２２０を、センサにより生成されるセンサ入力に基づいて変形させてもよい。振動アクチュエータおよび変形アクチュエータの詳細をさらに詳細に記載する。ディスプレイ２３０はセンサにより生成されるセンサ入力に基づいて視覚情報を表示してもよい。
図３は、本発明の一実施形態に係る、振動触覚効果（「振動ハプティック効果」としても識別される）および／または運動感覚効果（「変形ハプティック効果」としても識別される）を提供できるデバイス３００のブロック図を示す。デバイス３００は、ハウジング３０２、ディスプレイ３０４、キーパッド３０６、ならびに拡張部３０８−０および３０８−１を備える。別の実施形態において、キーパッド３０６はタッチスクリーンディスプレイ３０４の一部である。一実施形態において、デバイス３００は、無線オーディオ／ビデオ通信、モバイルデータ通信、リモートゲーム機などを提供できる携帯無線システムである。例えば、デバイス３００は、情報を処理でき、ならびにハプティックフィードバックを提供できる、携帯電話、ＰＤＡ、スマートフォン、ラップトップコンピュータ、ゲーム機、および／または携帯電子デバイスであってもよい。
作動モードに従って、ユーザの手にハプティックフィードバックを提供するために、デバイス３００は、アプリケーションの性質に応答してその外側エンクロージャまたはハウジング３０２（拡張部３０８を含む）を肉眼的に変化させることができる。アプリケーションに応じて、拡張部３０８は（図３の矢印により示すように）拡張または収縮してもよく、それにより、ハウジング３０２の形状および／またはサイズが肉眼的に変化する。一実施形態において、形状は、その変化が例えば視覚または触覚によりユーザに検出され得る程度まで変化する場合、「肉眼的」に変化する。例えば、外側のエンクロージャの形状を変化できる携帯電話またはスマートフォンデバイス（「形状が変化するデバイス」）が、２人のユーザ間で握手を模倣するように使用されてもよい。握手を伝えるために、第１のユーザおよび第２のユーザが、第１の形状が変化するデバイスおよびその第１の形状が変化するデバイスに接続されている第２の形状が変化するデバイスを介する、通話などの通信状態である場合、第２のユーザの第２の形状が変化するデバイスのパルスまたは圧力を引き起こすために、第１のユーザは例えばその第１の形状が変化するデバイスを手で強く握ってもよい。つまり、形状入力または形状信号が、第１の形状が変化するデバイスから第２の形状が変化するデバイスまで送信され、第２のデバイスが、そのハプティック機構を起動して握手を模倣するようにその形状を変化することが示される。他の実施形態において、ディスプレイ３０４、または入力要素（例えばキーパッド３０６）などの、ハウジング３０２以外のデバイス３００の追加部分もまた、形状を変化させてもよい。
デバイス３００などのシステムは、形状が変化する効果を模倣するために振動触覚効果（振動ハプティック効果としても識別される）および／または運動感覚効果（変形ハプティック効果としても識別される）を利用してもよい。振動触覚効果は、例えば携帯用デバイスを介してユーザに対してハプティックフィードバックを導入するために使用されてもよい。そのようなハプティックフィードバック効果は、比較的高い周波数（例えば約１６０〜２２０Ｈｚ）および比較的わずかな変位（例えば約５０〜５００マイクロメートル）振動により特徴付けられてもよい。さらに、ボタンクリックおよびアラートの確認などの異なるタイプのハプティック情報も搬送されてもよい。他方で、運動感覚効果が、比較的大きな変位（例えば約１〜１０ｍｍ）および比較的低い周波数（例えば約０〜４０Ｈｚ）動作により特徴付けられてもよい。変形可能またはフレキシブルな表面が、アプリケーションまたは作動特性に応じて肉眼的に変化する表面特性などの運動触覚効果の効果的な模倣のために使用されてもよい。
運動触覚効果は変形可能なハプティック表面を使用して効果的に模倣されてもよい。例えば、運動触覚効果は、携帯用デバイスを、指向性ナビゲーションツールとして使用できるようにしてもよい。この例において、携帯用デバイス上の異なる位置における変形可能な表面の作動が指向性情報のハプティック表示として使用されてもよい。別の例において、運動触覚効果は、仮想テレビの存在（ｖｉｒｔｕａｌ ｔｅｌｅ−ｐｒｅｓｅｎｃｅ）および／またはソーシャルネットーワークアプリケーションに有益であり得る、特定の効果（例えば拍動、心拍など）の実施を可能にする。一例において、あるヒトの心拍が、通話により接続されている別のヒトの携帯電話の側部における変形可能なパッドを拡張および収縮させることによって模倣されてもよい。別の例において、通話中の一方の側で携帯電話を強く握ることにより、通話中の他方の側で他方の携帯電話を握手の感覚のように模倣できる。
力ハプティック効果または「力効果」は、限定されないが、ＥＲＭなどのハプティックアクチュエータを駆動するために種々のタイプの入力信号を使用して模倣されてもよい。特定のタイプの入力信号が、十分な一定の力効果（押すまたは引く力効果）に対向する種々のインパルス力効果または「グイと引っ張る感覚（ｊｅｒｋ ｓｅｎｓａｔｉｏｎ）」を提供するために使用されてもよい。一例において、そのようなインパルス力効果は指によりつつかれることを模倣してもよい。一例において、そのようなインパルス力効果は、例えばゴルフクラブがゴルフボールを打つ衝撃を模倣してもよい。一例において、そのようなインパルス力効果は、ラケットがテニスボールを打つことを模倣してもよい。インパルス力効果は他のゲーム環境を模倣するために使用されてもよい。
一実施形態において、デバイス３００は、ユーザにより単に操作されることとは対照的に、作動モード（例えばアプリケーション、作動特性など）に基づいて形状を変化させることができる。種々のハプティック材料および／またはアクチュエータはデバイス３００のフレキシブルな表面の形状を変化させるようにハプティック機構において使用されてもよい。例えば、ＥＡＰが、コントロール信号の作動に基づいて形状を変化させるハプティック機構において１つ以上のアクチュエータを形成するために使用されてもよい。他の実施形態において、圧電素子、プログラマブルゲル、または形状記憶合金の繊維（「ＳＭＡ」）がアクチュエータとして使用されてもよい。
一実施形態において、作動特性およびアプリケーションなどのデバイス作動モードの指標はハプティック機構の規定のパターンを作動できる。そのようなパターンは次いで、変形機構を使用してデバイス３００のフレキシブルな表面に適用されてもよい。複数のアクチュエータを含むハプティック基板がパターンを規定または形成するために表面に適用されてもよい。例えば、ＥＡＰがハプティック機構において１つ以上のアクチュエータを形成するために利用されてもよく、それにより、ハプティック機構により受信される作動信号がフレキシブルな表面の形状を伝えてもよい。ハプティック基板は、微小電気機械システム（「ＭＥＭＳ」）素子、熱流体ポケット、ＭＥＭＳポンプ、共鳴デバイス、可変多孔性膜、層流変調などから形成されてもよい。
拡張部３０８は、変位、ならびに任意の拍動または他の適切な効果および／もしくはパターンに関して制御可能であってもよい。例えば、１人のユーザが第１のデバイスを強く握ることができ、通話中で第１のデバイスに接続されている第２のデバイスは、物理的な握手を伝えるために第２のユーザの手にパルスを生じてもよいか、または第２のユーザの手を強く握ってもよい。このように、信号は、第２のデバイスが握手を模倣するために形状を変化すべきこと（例えば低い周波数の力または手を強く握るような圧力）を示すために第１のデバイスから第２のデバイスに送信されてもよい。この様式において、内在するハプティック機構、基板、および／またはアクチュエータコントロールにより支持可能な任意の所定の形状変化特性またはパターンが利用されてもよい。
形状変化または変形ハプティック効果を生成できるデバイスのさらなる詳細は、本明細書に参照として組み込まれる、２０１０年５月７日に出願された米国特許出願第１２／７７６，１２１号に記載されている。
図４は、出力デバイスでプレイした場合、本発明の一実施形態に係る、出力効果を生成する、出力信号に対するセンサ入力の例示的なマッピングの図を示す。より具体的には、図４はセンサ４００を示す。センサ４００は図１のセンサ２８と同一であってもよい。センサ４００は情報を検出するように構成されるセンサであってもよい。特定の実施形態において、センサ４００は高感度情報を検出するように構成されるセンサであってもよく、その高感度情報は、通常、ヒトにより認識できない情報である。例えば、一実施形態において、センサ４００は電磁場を検出するように構成される磁気探知器であってもよい。別の実施形態において、センサ４００は、赤外線光周波数などのヒトの眼の範囲外である光周波数を検出するように構成される光センサであってもよい。別の実施形態において、センサ４００は、温度変化が、通常、ヒトにより検出できない場合であっても、温度の変化を検出するように構成される温度センサであってもよい。検出した高感度情報に基づいて、センサはセンサ入力を生成でき、そのセンサ入力は検出した高感度情報を表す。他の実施形態において、センサ４００は感覚情報を検出するように構成されるセンサであってもよく、その感覚情報は、通常、ヒトにより認識できる情報である。
図４はまた、表現モジュール４１０を示す。プロセッサ（図４に示さず）により実行される場合、表現モジュール４１０は、センサ４００からセンサ入力を受信してもよく、センサ入力を出力信号にマッピングしてもよく、出力信号を出力デバイス４２０に送信してもよい。実施形態によれば、表現モジュール４１０はセンサ入力を出力信号にマッピングするアルゴリズムを含んでもよく、その出力信号は、出力デバイス４２０でプレイされる場合、出力効果を生成するように構成される。このように、特定の実施形態において、表現モジュール４１０は、出力デバイス４２０でプレイされ得る出力効果（したがって、ヒトにより認識できる）として、センサ４００により検出される高感度情報（通常、ヒトにより認識できない）を表してもよい。このように、表現モジュール４１０により、ヒトが、通常、認識できないセンサ４００により検出される高感度情報が認識できるようになり得る。他の実施形態において、表現モジュール４１０は、出力デバイス４２０でプレイされ得る出力効果として、センサ４００により検出される感覚情報を表してもよい。このように、表現モジュール４１０は、センサ４００により検出される感覚情報の通常のヒトの認識を増大できる。
特定の実施形態において、表現モジュール４１０は、図１のハプティック表現モジュール１６などのハプティック表現モジュールであってもよい。これらの実施形態において、プロセッサにより実行される場合、表現モジュール４１０は、センサ４００からセンサ入力を受信してもよく、センサ入力をハプティック信号にマッピングしてもよく、ハプティック信号を出力デバイス４２０に送信してもよく、その出力デバイス４２０は、図１のアクチュエータ２６などのアクチュエータである。実施形態によれば、表現モジュール４１０はセンサ入力をハプティック信号にマッピングするアルゴリズムを含んでもよく、そのハプティック信号は、出力デバイス４２０でプレイされる場合、ハプティック効果を生成するように構成される。このように、表現モジュール４１０は、出力デバイス４２０でプレイされ得るハプティック効果（したがって、ヒトにより認識できる）として、センサ４００により検出される高感度情報（通常、ヒトにより認識できない）を表してもよい。
例えば、センサ４００が磁気探知器である実施形態において、表現モジュール４１０は、磁気探知器からの入力を、アクチュエータのための変形ハプティック信号または振動ハプティック信号にマッピングできる。変形ハプティック信号は変形ハプティック効果を生成するためにアクチュエータでプレイされてもよい。振動ハプティック信号は、振動ハプティック効果を生成するためにアクチュエータでプレイされてもよい。別の例として、センサ４００が光センサである実施形態において、表現モジュール４１０は、光センサからの入力を、ディスプレイスクリーンに表示され得るビデオ信号、またはスピーカーでプレイされ得るオーディオ信号にマッピングしてもよい。さらに別の例として、センサ４００が放射線センサである実施形態において、表現モジュール４１０は、放射線センサからの入力を、アクチュエータのための変形ハプティック信号または振動ハプティック信号のいずれかにマッピングしてもよい。
特定の実施形態において、センサ４００は表現モジュール４１０に対して局所的であってもよい（すなわち、センサ４００および表現モジュール４１０は単一のデバイス内に位置してもよい）。他の実施形態において、センサ４００は表現モジュール４１０とは別のデバイスに位置し、センサ入力はネットワークを通して表現モジュール４１０に送信される。
特定の実施形態において、表現モジュール４１０において実施されるマッピングは、受信したセンサ入力が特定の閾値（すなわち「規定値」）を超えるかどうかを決定することを含む。受信したセンサ入力が規定値を超える場合、対応する出力信号（例えばハプティック信号）が生成され、受信したセンサ入力は生成した出力信号にマッピングされる。受信したセンサ入力が規定値を超えない場合、出力信号は生成されない。
代替の実施形態において、表現モジュール４１０において実施されるマッピングは、受信したセンサ入力を対応する出力信号（例えばハプティック信号）に数学的に変換することを含む。これは、センサ入力が受信される場合、連続的に行われてもよく、それにより、対応する出力信号が連続的に調節されてもよい。出力信号が連続的に調節される場合、生成される対応する出力効果（例えばハプティック効果）もまた、連続的に調節されてもよい。
図４はまた、出力デバイス４２０を示す。出力デバイス４２０は、表現モジュール４１０により送信される出力信号を受信してもよく、出力信号に基づいた出力効果を生成してもよい。特定の実施形態において、出力デバイス４２０は、図１のアクチュエータ２６などのアクチュエータであってもよい。これらの実施形態の一部において、出力デバイス４２０は振動ハプティック効果を生成するように構成される振動アクチュエータであってもよい。他の実施形態において、出力デバイス４２０は変形ハプティック効果を生成するように構成される変形アクチュエータであってもよい。これらの実施形態において、出力デバイス４２０は、表現モジュール４１０により送信されるハプティック信号を受信してもよく、出力信号に基づいたハプティック効果を生成してもよい。ハプティック信号が振動ハプティック信号である実施形態において、出力デバイス４２０は振動ハプティック効果を生成してもよい。ハプティック信号が変形ハプティック信号である実施形態において、出力デバイス４２０は変形ハプティック効果を生成してもよい。他の実施形態において、出力デバイス４２０は、ディスプレイスクリーンなどのビデオ効果を生成するように構成される出力デバイス、またはスピーカーなどのオーディオ効果を生成するように構成される出力デバイスであってもよい。
例えば、センサ４００が磁気探知器であり、出力デバイス４２０がアクチュエータ（例えば振動アクチュエータまたは変形アクチュエータ）である実施形態において、出力デバイス４２０は、電磁場の存在、電磁場の強度、または電磁場の他の特性に従って変形および／または振動してもよい。より具体的には、センサ４００は、電磁場を検出し、電磁場の１つ以上の特性に基づいてセンサ入力を生成してもよい。表現モジュール４１０は、センサ４００により生成されるセンサ入力を、振動ハプティック信号、変形ハプティック信号、またはそれらの組み合わせにマッピングしてもよい。振動ハプティック信号、変形ハプティック信号、またはそれらの組み合わせに基づいて、出力デバイス４２０は、（振動することにより）振動ハプティック効果、（変形することにより）変形ハプティック効果、またはそれらの組み合わせを生成してもよい。
別の例として、センサ４００が光センサであり、出力デバイス４２０が表示スクリーンである実施形態において、出力デバイス４２０は、赤外線光（または紫外線光）の検出に基づいて視覚表現を表示してもよい。より具体的には、センサ４００は、赤外線光（または紫外線光）を検出してもよく、赤外線光（または紫外線光）の１つ以上の性質に基づいてセンサ入力を生成してもよい。表現モジュール４１０は、センサ４００により生成されるセンサ入力をビデオ信号にマッピングしてもよい。ビデオ信号に基づいて、出力デバイス４２０はビデオ効果（例えば検出した光の視覚表現）を生成してもよい。代替の実施形態において、出力デバイス４２０はディスプレイスクリーン以外のアクチュエータであってもよい。この実施形態において、表現モジュール４１０は、センサ４００により生成されるセンサ入力を、振動ハプティック信号または変形ハプティック信号にマッピングしてもよい。振動ハプティック信号、または変形ハプティック信号に基づいて、出力デバイスは、検出した光を表す、振動ハプティック効果、または変形ハプティック効果を生成してもよい。例えば、センサ４００が有意な量の赤外線光を検出する場合、出力デバイス４２０は検出した赤外線光の量を反映する量で変形してもよい。
このように、特定の実施形態に従って、ユーザが、通常、認識するのが困難または不可能である環境の特性を認識できるように、ユーザの感覚が増大され得る。
図５は、本発明の一実施形態に係る、ハプティック表現モジュール（例えば図１のハプティック表現モジュール１６）の機能のフローチャートを示す。一実施形態において、図５の機能、同様に以下により詳細に記載する図１１の機能は、メモリまたは別のコンピュータ可読媒体もしくは有形的表現媒体に記憶され、プロセッサにより実行されるソフトウェアにより実装される。他の実施形態において、機能は、ハードウェア（例えば特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などの使用により）、またはハードウェアおよびソフトウェアの任意の組み合わせにより実施されてもよい。さらに、代替の実施形態において、機能は同様のコンポーネントを使用してハードウェアにより実施されてもよい。
フローが開始し、５１０に進む。５１０において、入力がセンサから受信される。入力は高感度情報を含んでもよく、その高感度情報は、通常、ヒトにより認識できない情報である。特定の実施形態において、入力は１つ以上の相互作用パラメータを含んでもよく、各々の相互作用パラメータは値を含んでもよい。特定の実施形態において、センサは、磁気探知器が検出する電磁場に基づいて入力を生成するように構成される磁気探知器であってもよい。他の実施形態において、センサは、光センサが検出するエネルギーに基づいて入力を生成するように構成される光センサであってもよい。エネルギーは紫外線光を含んでもよい。あるいは、エネルギーは赤外線光を含んでもよい。他の実施形態において、センサは、放射線センサが検出する放射線に基づいて入力を生成するように構成される放射線センサであってもよい。フローは５２０に進む。
５２０において、受信した入力はハプティック信号にマッピングされる。特定の実施形態において、少なくとも１つの相互作用パラメータの値が規定値を超える場合、受信した入力をハプティック信号にマッピングすることは、ハプティック信号を生成することを含む。他の実施形態において、受信した信号をハプティック信号にマッピングすることは、少なくとも１つの相互作用パラメータの値の連続更新に基づいてハプティック信号を連続的に調節することを含む。フローは５３０に進む。
５３０において、ハプティック効果を生成するために、ハプティック信号はアクチュエータに送信される。特定の実施形態において、アクチュエータは振動アクチュエータであり、振動アクチュエータにより生成されるハプティック効果は振動ハプティック効果である。他の実施形態において、アクチュエータは変形アクチュエータであり、変形アクチュエータにより生成されるハプティック効果は変形ハプティック効果である。次いでフローは終了する。
特定の実施形態において、ハプティックデバイスはセンサ入力に基づいた種々の種類の情報を出力してもよい。例としては、磁気探知器からの入力に基づいてハプティック効果を出力すること、「地理上のフェンス（ｇｅｏｆｅｎｃｅ）」を作成するためにデバイスのディスプレイに変形ハプティック効果を出力すること、変形ハプティック効果を出力することにより知覚を増大すること、変形ハプティック効果を出力することにより通常の知覚を向上させること、およびユーザの気分、周囲の認識、またはバイオフィードバックのいずれかに基づいてハプティック効果を出力することが挙げられる。
さらに、特定の実施形態において、ハプティックデバイスの変形アクチュエータは、複数の相互作用モードのうちの１つを使用して変形ハプティック効果を出力してもよい。相互作用モードの例としては、ユーザの身体に圧力を適用すること、形状を変化させること（形状変化は、ハプティックデバイスのマクロ形状の変化またはハプティックデバイスの触感の変化を含んでもよい）、およびインピーダンスハプティック効果を出力すること（ハプティックデバイスがユーザ入力を評価し、ユーザ入力に基づいて１つ以上のハプティック効果を出力する）が挙げられる。
図６は、本発明の一実施形態に係る、知覚を増大させるためにハプティック効果を生成できるデバイス６００のブロック図を示す。デバイス６００はセンサ６１０を含んでもよい。センサ６１０は図１のセンサ２８と同一であってもよい。センサ６１０は情報を検出するように構成されるセンサであってもよい。検出した情報に基づいて、センサはセンサ入力を生成してもよく、そのセンサ入力は検出した情報を表す。特定の実施形態において、センサ６１０は高感度情報を検出するように構成されるセンサであってもよく、その高感度情報は、通常、ヒトにより認識できない情報である。
デバイス６００はさらに、ハウジング６２０を含んでもよい。デバイス６００の外側エンクロージャとしても識別されるハウジング６２０は、アクチュエータ６３０に作動可能に接続されてもよい。ハウジング６２０はまた、ハウジング６２０の少なくとも一部と重なるハプティック表面を含んでもよい。特定の実施形態において、ハプティック表面は、アクチュエータ６３０により生成される力ハプティック効果に応答して力を適用するように構成されてもよい。これらの実施形態において、アクチュエータ６３０は力ハプティック効果を生成するように構成され得る力アクチュエータであってもよい。他の特定の実施形態において、ハプティック表面は、アクチュエータ６３０により生成される変形ハプティック効果に応答してその物理的形状を肉眼的に変化するように構成されてもよい。これらの実施形態において、アクチュエータ６３０は変形ハプティック効果を生成するように構成され得る変形アクチュエータであってもよい。他の特定の実施形態において、ハプティック表面は、アクチュエータ６３０により生成されるインピーダンスハプティック効果に応答して機械インピーダンスを生成するように構成されてもよい。これらの実施形態において、アクチュエータ６３０はインピーダンスハプティック効果を生成するように構成され得るインピーダンスアクチュエータであってもよい。したがって、特定の実施形態において、アクチュエータ６３０は、デバイス６００のハウジング６２０に、センサ６１０により検出した高感度情報を含む、センサ６１０により検出した情報を反映させてもよい。
一実施形態において、センサ６１０は気圧を検出するように構成されるセンサであってもよく、アクチュエータ６３０は、検出した気圧に基づいて、ハウジング６２０に力を適用させてもよく、変形させてもよく、または機械インピーダンスを生成させてもよい。したがって、この実施形態において、デバイス６００は検出した気圧の増加または低下に起因して天候パターンの起こり得る差し迫った変化を示してもよい。別の実施形態において、センサ６１０は電磁場を検出するように構成される磁気探知器であってもよく、アクチュエータ６３０は、電磁場の存在、電磁場の強度、または電磁場の周波数などの検出した電磁場の１つ以上の特性に基づいて、ハウジング６２０に力を適用させてもよく、変形させてもよく、または機械インピーダンスを生成させてもよい。例えば、ユーザは、コード周囲の交流電磁場の存在下で、力を適用し、変形を適用し、または機械インピーダンスを生成するデバイス６００のハウジング６２０に応答して電気コードが電源に接続されているかどうかを決定するために電気コードの近くにデバイス６００を保持してもよい。
別の実施形態において、センサ６１０は放射線を検出するように構成される放射線センサであってもよく、アクチュエータ６３０は、検出した放射線に基づいて、ハウジング６２０に力を適用させてもよく、変形させてもよく、または機械インピーダンスを生成させてもよい。例えば、デバイス６００はセンサ６１０を使用して環境内の周囲放射線のレベルを検出してもよく、アクチュエータ６３０は、周囲放射線の検出したレベルに基づいて、ハウジング６２０に力を適用させてもよく、変形させてもよく、または機械インピーダンスを生成させてもよい。別の実施形態において、センサ６１０はグローバルポジショニングシステム（「ＧＰＳ」）により送信される信号を検出するように構成されるようにセンサであってもよく、その信号はデバイス６００の位置を表してもよく、アクチュエータ６３０は、検出した信号（すなわち、デバイス６００の検出した位置）に基づいて、ハウジング６２０に力を適用させてもよく、変形させてもよく、または機械インピーダンスを生成させてもよい。したがって、デバイス６００は地理上のフェンス（すなわち、現実世界の地理的領域についての仮想境界）を作成してもよい。
別の実施形態において、センサ６１０はユーザの皮膚の電気伝導度を検出するように構成される電気皮膚反応センサであってもよく、アクチュエータ６３０は、気分、周囲認知度、およびバイオフィードバックなどのユーザの皮膚の検出した電気伝導度から識別したユーザの特性に基づいて、ハウジング６２０に力を適用させてもよく、変形させてもよく、または機械インピーダンスを生成させてもよい。したがって、デバイス６００は、ユーザの識別した状態を反映するために、力を適用し、変形し、または機械インピーダンスを生成してもよい。
図７は、本発明の一実施形態に係る、ディスプレイスクリーン内に表示される視覚情報を増大するためにハプティック効果を生成できるデバイス７００のブロック図を示す。デバイス７００はセンサ７１０を含んでもよい。センサ７１０は図１のセンサ２８と同一であってもよい。センサ７１０は情報を検出するように構成されるセンサであってもよい。検出した情報に基づいて、センサはセンサ入力を生成してもよく、そのセンサ入力は検出した情報を表す。特定の実施形態において、センサ７１０は高感度情報を検出するように構成されるセンサであってもよく、その高感度情報は、通常、ヒトにより認識できない情報である。デバイス７００はさらにディスプレイ７２０を含んでもよい。ディスプレイ７２０は視覚映像を表示するように構成されてもよい。ディスプレイ７２０はアクチュエータ７３０に作動可能に連結されてもよい。ディスプレイ７２０は、アクチュエータ７３０により生成される変形ハプティック出力効果に応答してその物理的形状を肉眼的に変化させるように構成されてもよい。特定の実施形態において、アクチュエータ７３０は変形ハプティック効果を生成するように構成され得る変形アクチュエータであってもよい。したがって、これらの実施形態において、デバイス７００は、ディスプレイ７２０のスクリーンの少なくとも一部の変形によりディスプレイ７２０内に表示される視覚映像を重ね合わせるように構成されてもよく、その変形はアクチュエータ７３０により生成され、センサ７１０により検出される情報に基づく。例えば、ディスプレイ７２０はシーンを表示してもよく、さらに、ディスプレイ７２０内のスクリーン表面特性／変形としてシーンの目に見えない特徴を表示してもよい。したがって、７２０内に表示される目に見えるシーンは、通常、実際の見え方とは変わらない。
一実施形態において、センサ７１０は、ヒトの眼の範囲内の光周波数を含み、また、ヒトの眼の範囲外の光周波数も含む、光周波数を検出するように構成される光センサであってもよく、センサ７１０は、シーンのフルスペクトル写真をキャプチャするように構成されてもよい。実施形態によれば、ヒトの眼の範囲内の光周波数を表す視覚映像は、ディスプレイ７２０内に表示されてもよく、ヒトの眼の範囲外の光周波数を表すディスプレイ７２０のスクリーンの少なくとも一部の変形が生成されてもよく、その変形は、アクチュエータ７３０により生成され、センサ７１０により検出された情報に基づく。したがって、ディスプレイ７２０内に表示される視覚映像は保存されるが、センサ７１０により検出されるヒトの眼の範囲外の光周波数がユーザにより認識され得る。
図８は、アクチュエータでプレイされた場合、本発明の一実施形態に係る、力ハプティック効果を生成する、力ハプティック信号に対するセンサ入力の例示的なマッピングの図を示す。より具体的には、図８はセンサ８００を示す。センサ８００は図１のセンサ２８と同一であってもよい。センサ８００は情報を検出するように構成されるセンサであってもよい。特定の実施形態において、センサ８００は高感度情報を検出するように構成されるセンサであってもよく、その高感度情報は、通常、ヒトにより認識できない情報である。他の実施形態において、センサ８００は感覚情報を検出するように構成されるセンサであってもよく、その感覚情報は、通常、ヒトにより認識できる情報である。
図８はまた、ハプティック表現モジュール８１０を示す。プロセッサ（図８に示さず）により実行される場合、ハプティック表現モジュール８１０はセンサ８００からセンサ入力を受信してもよく、センサ入力を力ハプティック信号にマッピングしてもよく、力ハプティック信号をアクチュエータ８２０に送信してもよい。実施形態によれば、ハプティック表現モジュール８１０はセンサ入力を力ハプティック信号にマッピングするアルゴリズムを含んでもよく、その力ハプティック信号は、アクチュエータ８２０でプレイされた場合、力ハプティック効果を生成するように構成される。したがって、特定の実施形態において、ハプティック表現モジュール８１０は、アクチュエータ８２０でプレイされ得る力ハプティック効果としてセンサ８００により検出される情報（感覚情報または高感度情報を含んでもよい）を表してもよい。
特定の実施形態において、センサ８００はハプティック表現モジュール８１０に対して局所的であってもよい（すなわち、センサ８００およびハプティック表現モジュール８１０は単一のデバイス内に位置してもよい）。他の実施形態において、センサ８００はハプティック表現モジュール８１０とは別のデバイスに位置し、センサ入力はネットワークを通じてハプティック表現モジュール８１０に送信される。
特定の実施形態において、ハプティック表現モジュール８１０において実施されるマッピングは、受信したセンサ入力が特定の閾値（すなわち「規定値」）を超えるかどうかを決定することを含む。受信したセンサ入力が規定値を超える場合、対応する力ハプティック信号が生成され、受信したセンサ入力は、生成した力ハプティック信号にマッピングされる。受信したセンサ入力が規定値を超えない場合、力ハプティック信号は生成されない。
代替の実施形態において、ハプティック表現モジュール８１０において実施されるマッピングは、受信したセンサ入力を対応する力ハプティック信号に数学的に変換することを含む。これは、センサ入力が受信される場合、連続的に行われてもよく、それにより、対応する力ハプティック信号が連続的に調節されてもよい。力ハプティック信号が連続的に調節される場合、生成される対応する力ハプティック効果もまた、連続的に調節されてもよい。
図８はまた、アクチュエータ８２０を示す。アクチュエータ８２０は図１のアクチュエータ２６と同一であってもよい。アクチュエータ８２０はハプティック表現モジュール８１０により送信された力ハプティック信号を受信してもよく、力ハプティック信号に基づいて力ハプティック効果を生成してもよい。一部の実施形態において、アクチュエータ８２０は力ハプティック効果を生成するように構成される力アクチュエータであってもよい。
したがって、特定の実施形態において、アクチュエータ８２０は、デバイスに、そのデバイスのユーザに対して静的力（圧力など）を適用させてもよい。例えば、デバイスは、ユーザがそのデバイスを保持する場合、ユーザに対して静的力を適用してもよい。別の例として、デバイスがユーザのポケット内にある間、デバイスはユーザに静的力を適用してもよい。静的力は、その静的力により、デバイスが変形または形状を変化させるのに十分な程度であり得る。ユーザは、デバイスがユーザの身体の一部と静的接触することによってデバイスの変形を感じることができる。一部の実施形態において、デバイスが、見られないが、変形を感じることができる程度のみ変形するように、デバイスは静的力を適用してもよい。他の実施形態において、デバイスが、ユーザが同様に変形の状態を視覚的に評価できるのに十分な程度まで変形するように、デバイスは静的力を適用してもよい。特定の実施形態において、アクチュエータ８２０は、デバイスに、そのデバイスのユーザに対して動的力（圧力など）を適用させてもよく、そのデバイスは、一定期間、律動的または周期的な方法で力を連続的に適用する。
図９は、アクチュエータでプレイした場合、本発明の一実施形態に係る、変形ハプティック効果を生成する、変形ハプティック信号に対するセンサ入力の例示的なマッピングの図を示す。より具体的には、図９はセンサ９００を示す。センサ９００は図１のセンサ２８と同一であってもよい。センサ９００は情報を検出するように構成されるセンサであってもよい。特定の実施形態において、センサ９００は高感度情報を検出するように構成されるセンサであってもよく、その高感度情報は、通常、ヒトにより認識できない情報である。他の実施形態において、センサ９００は感覚情報を検出するように構成されるセンサであってもよく、その感覚情報は、通常、ヒトにより認識できる情報である。
図９はまた、ハプティック表現モジュール９１０を示す。プロセッサ（図９に示さず）により実行される場合、ハプティック表現モジュール９１０は、センサ９００からセンサ入力を受信してもよく、センサ入力を変形ハプティック信号にマッピングしてもよく、変形ハプティック信号をアクチュエータ９２０に送信してもよい。実施形態によれば、ハプティック表現モジュール９１０は変形ハプティック信号に対してセンサ入力をマッピングするアルゴリズムを含んでもよく、その変形ハプティック信号は、アクチュエータ９２０でプレイされた場合、変形ハプティック効果を生成するように構成される。したがって、特定の実施形態において、ハプティック表現モジュール９１０は、アクチュエータ９２０でプレイされ得る変形ハプティック効果として、センサ９００により検出される情報（感覚情報または高感度情報を含んでもよい）を表してもよい。
特定の実施形態において、センサ９００はハプティック表現モジュール９１０に対して局所的であってもよい（すなわち、センサ９００およびハプティック表現モジュール９１０は単一のデバイス内に位置してもよい）。他の実施形態において、センサ９００はハプティック表現モジュール９１０とは別のデバイスに位置し、センサ入力はネットワークを通じてハプティック表現モジュール９１０に送信される。
特定の実施形態において、ハプティック表現モジュール９１０において実施されるマッピングは、受信したセンサ入力が特定の閾値（すなわち「規定値」）を超えるかどうかを決定することを含む。受信したセンサ入力が規定値を超える場合、対応する変形ハプティック信号が生成され、受信したセンサ入力は、生成した変形ハプティック信号にマッピングされる。受信したセンサ入力が規定値を超えない場合、変形ハプティック信号は生成されない。
代替の実施形態において、ハプティック表現モジュール９１０において実施されるマッピングは、受信したセンサ入力を対応する変形ハプティック信号に数学的に変換することを含む。これは、センサ入力が受信される場合、連続して行われることができ、それにより、対応する変形ハプティック信号が連続的に調節されてもよい。変形ハプティック信号が連続的に調節される場合、生成される対応する変形ハプティック効果もまた、連続的に調節されてもよい。
図９はまた、アクチュエータ９２０を示す。アクチュエータ９２０は図１のアクチュエータ２６と同一であってもよい。アクチュエータ９２０は、ハプティック表現モジュール９１０により送信された変形ハプティック信号を受信してもよく、変形ハプティック信号に基づいて変形ハプティック効果を生成してもよい。一部の実施形態において、アクチュエータ９２０は、変形ハプティック効果を生成するように構成される変形アクチュエータであってもよい。
したがって、特定の実施形態において、アクチュエータ９２０は、デバイスを変形または形状を変化させてもよい。一部の実施形態において、デバイスは、変形が、見られないが、感じることができる程度にのみ変形してもよい。例えば、デバイスがユーザのポケット内にある場合、ユーザは彼のポケット内に手を入れて、デバイスに触り、デバイスの形状を評価できる。一例において、デバイスのハウジングが平坦である場合、ユーザはボイスメールメッセージを受信していない。しかしながら、デバイスのハウジングが拡張される（すなわち、アクチュエータ９２０がデバイスのハウジングを変形させ、拡張（伸張）させる）場合、ユーザはボイスメッセージを受信している。他の実施形態において、デバイスは、ユーザが同様に変形の状態を視覚的に評価できるのに十分な程度まで変形してもよい。特定の実施形態において、アクチュエータ９２０は、デバイスを、一定期間、律動的または周期的の方法で連続的に変形させてもよい。例えば、デバイスの側部は呼吸パターンを模倣するようにパルスしてもよい。この例において、デバイスはまた、「呼吸（息づかい）」の激しさの程度または速さの程度に応じてその内部状態についての情報を表示してもよい。別の例として、デバイスの変形は心拍を模倣してもよく、デバイスは、「呼吸（息づかい）」の激しさの程度または速さの程度に応じてその内部状態についての情報を表示してもよい。さらに、デバイスは１つ以上の変形を互いに重ね合わせてもよい。一例として、デバイスは、呼吸パターンを模倣するように変形してもよく、同時に心拍パターンを模倣するように変形してもよいが、ユーザは同時に起こるパターンを識別できる。
図１０は、アクチュエータでプレイされた場合、本発明の一実施形態に係る、インピーダンスハプティック効果を生成する、インピーダンスハプティック信号に対するセンサ入力の例示的なマッピングの図を示す。より具体的には、図１０はセンサ１０００を示す。センサ１０００は図１のセンサ２８と同一であってもよい。センサ１０００は、ユーザによりデバイスに適用される圧力などの情報を検出するように構成されるセンサであってもよい。
図１０はまた、ハプティック表現モジュール１０１０を示す。プロセッサ（図１０に示さず）により実行される場合、ハプティック表現モジュール１０１０はセンサ１０００からのセンサ入力を受信してもよく、センサ入力をインピーダンスハプティック信号にマッピングしてもよく、インピーダンスハプティック信号をアクチュエータ１０２０に送信してもよい。実施形態によれば、ハプティック表現モジュール１０１０はセンサ入力をインピーダンスハプティック信号にマッピングするアルゴリズムを含んでもよく、そのインピーダンスハプティック信号は、アクチュエータ１０２０でプレイされた場合、インピーダンスハプティック効果を生成するように構成されてもよい。したがって、特定の実施形態において、ハプティック表現モジュール１０１０は、アクチュエータ１０２０でプレイされ得るインピーダンスハプティック効果としてセンサ１０００により検出される情報（感覚情報または高感度情報を含んでもよい）を表してもよい。
特定の実施形態において、センサ１０００はハプティック表現モジュール１０１０に局所的であってもよい（すなわち、センサ１０００およびハプティック表現モジュール１０１０は単一のデバイス内に位置してもよい）。他の実施形態において、センサ１０００はハプティック表現モジュール１０１０とは別のデバイスに位置し、センサ入力はネットワークを通じてハプティック表現モジュール１０１０に送信される。
特定の実施形態において、ハプティック表現モジュール１０１０で実施されるマッピングは、受信したセンサ入力が特定の閾値（すなわち「規定値」）を超えるかどうかを決定することを含む。受信したセンサ入力が規定値を超える場合、対応するインピーダンスハプティック信号が生成され、受信したセンサ入力は、生成したインピーダンスハプティック信号にマッピングされる。受信したセンサ入力が規定値を超えない場合、インピーダンスハプティック信号は生成されない。
図１０はまた、アクチュエータ１０２０を示す。アクチュエータ１０２０は図１のアクチュエータ２６と同一であってもよい。アクチュエータ１０２０はハプティック表現モジュール１０１０により送信されるインピーダンスハプティック信号を受信してもよく、インピーダンスハプティック信号に基づいてインピーダンスハプティック効果を生成してもよい。一部の実施形態において、アクチュエータ１０２０はインピーダンスハプティック効果を生成するように構成されるインピーダンスアクチュエータであってもよい。
したがって、特定の実施形態において、アクチュエータ１０２０は、デバイスに、ユーザによりデバイスに適用される圧力などのユーザ入力に応答するインピーダンスハプティック効果を生成させてもよい。例えば、ユーザは、手または指でデバイスの外形を触覚的に調べることによって、デバイスの形状を見出すためにデバイスに「クエリー（問い合わせ）」を行うことができる。別の例において、ユーザは、インピーダンスまたは変形能を感じるようにデバイスを強く握る。このように、アクチュエータ１０２０は、デバイスのハウジングに、変形の形態ではなく、機械インピーダンスの形態でユーザに対して情報を表示させてもよい。例えば、ユーザはデバイスを強く握ることができ、デバイスが「柔らかい」と感じる場合、ユーザは緊急のボイスメッセージを有していない。しかしながら、ユーザがまた、デバイスを強く握ることができ、デバイスが「硬い」と感じる場合、ユーザは緊急のボイスメールメッセージを有している。したがって、情報は、デバイスに圧力を適用することにより、直感的に、ユーザにより目立たずにクエリーされてもよく、そのユーザは感じる機械インピーダンスの量を確認する。
上記の実施形態は、個々の力ハプティック効果、変形ハプティック効果、またはインピーダンスハプティック効果を含むが、代替の実施形態において、アクチュエータは、デバイスに、力ハプティック効果、変形効果、およびインピーダンスハプティック効果、ならびに振動触覚効果または任意の他のハプティック効果の種々の組み合わせを生成させてもよい。
図１１は、本発明の一実施形態に係る、ハプティック表現モジュール（例えば図１のハプティック表現モジュール１６）の機能のフローチャートを示す。フローは開始し、１１１０に進む。１１１０において、入力はセンサから受信される。入力は高感度情報を含んでもよく、その高感度情報は、通常、ヒトにより認識できない情報である。特定の実施形態において、入力は１つ以上の相互作用パラメータを含んでもよく、各々の相互作用パラメータは値を含んでもよい。
また、特定の実施形態において、センサは気圧を検出するように構成されるセンサであってもよい。他の実施形態において、センサは電磁場を検出するように構成される磁気探知器であってもよい。他の実施形態において、センサは放射線を検出するように構成される放射線センサであってもよい。他の実施形態において、センサはＧＰＳにより送信される信号を検出するように構成されるセンサであってもよく、その信号はデバイスの位置を表してもよい。他の実施形態において、センサはユーザの皮膚の電気伝導度を検出するように構成される電気皮膚反応センサであってもよい。他の実施形態において、センサは、ヒトの眼の範囲内である光周波数、およびまた、ヒトの眼の範囲外である光周波数を含む、光周波数を検出するように構成される光センサであってもよい。フローは１１２０に進む。
１１２０において、受信した入力はハプティック信号にマッピングされる。特定の実施形態において、受信した入力をハプティック信号にマッピングすることは、少なくとも１つの相互作用パラメータの値が規定値を超える場合、ハプティック信号を生成することを含む。他の実施形態において、受信した入力をハプティック信号にマッピングすることは、少なくとも１つの相互作用パラメータの値の連続更新に基づいてハプティック信号を連続的に調節することを含む。ハプティック信号は力ハプティック信号であってもよい。ハプティック信号は変形ハプティック信号であってもよい。ハプティック信号はインピーダンスハプティック信号であってもよい。ハプティック信号は、力ハプティック信号、変形ハプティック信号、またはインピーダンスハプティック信号の任意の組み合わせであってもよい。フローは１１３０に進む。
１１３０において、ハプティック効果を生成するためにハプティック信号はアクチュエータに送信される。ハプティック信号が力ハプティック信号である実施形態において、ハプティック効果は力ハプティック効果である。ハプティック信号が変形ハプティック信号である実施形態において、ハプティック効果は変形ハプティック効果である。ハプティック信号がインピーダンスハプティック信号である実施形態において、ハプティック効果はインピーダンスハプティック効果である。ハプティック効果が力ハプティック効果である一部の実施形態において、力ハプティック効果により、デバイスは、ユーザに対する静的力を適用してもよい。ハプティック効果が力ハプティック効果である他の実施形態において、力ハプティック効果により、デバイスは、ユーザに対する動的力を適用してもよい。ハプティック効果が力ハプティック効果である特定の実施形態において、力ハプティック効果により、デバイスは、ユーザの身体に対して圧力を適用してもよい。ハプティック効果が変形ハプティック効果である特定の実施形態において、変形ハプティック効果により、デバイスは変形してもよい。ハプティック効果が変形ハプティック効果である他の実施形態において、変形ハプティック効果により、デバイスは一定期間連続的に変化してもよい。ハプティック効果が変形ハプティック効果である特定の実施形態において、変形ハプティック効果により、デバイスは、そのデバイスのマクロ形状またはそのデバイスの触感の少なくとも１つを変化してもよく、そのデバイスの変形は、視覚変形、ハプティック変形、準静的変形、または動的変形の少なくとも１つを含んでもよい。ハプティック効果がインピーダンスハプティック効果である実施形態において、インピーダンスハプティック効果により、デバイスは、ユーザ入力に応答して機械インピーダンスを生成してもよい。ハプティック効果がインピーダンスハプティック効果である特定の実施形態において、インピーダンスハプティック効果により、ユーザによりデバイスに適用される圧力に応答してデバイスは硬化してもよい。
センサが気圧を検出するように構成されるセンサである実施形態において、アクチュエータにより生成されるハプティック効果により、検出された気圧に基づいてデバイスは変形してもよい。センサが電磁場を検出するように構成される磁気探知器である実施形態において、アクチュエータにより生成されるハプティック効果により、検出された電磁場の１つ以上の特性に基づいてデバイスは変形してもよい。センサが放射線を検出するように構成される放射線センサである実施形態において、アクチュエータにより生成されるハプティック効果により、検出された放射線に基づいてデバイスは変形してもよい。センサがＧＰＳにより送信される信号を検出するように構成されるセンサであり、センサがデバイスの位置を表す実施形態において、アクチュエータにより生成されるハプティックにより、検出された信号に基づいてデバイスは変形してもよい。センサがユーザの皮膚の電気伝導度を検出するように構成される電気皮膚反応センサである実施形態において、アクチュエータにより生成されるハプティック効果により、デバイスは、ユーザの皮膚の検出した電気伝導度から識別されるユーザの１つ以上の特徴に基づいて変形してもよい。センサが、ヒトの眼の範囲内の光周波数、およびまたはヒトの眼の範囲外の光周波数を含む、光周波数を検出するように構成される光センサである実施形態において、アクチュエータにより生成されるハプティック効果により、ヒトの眼の範囲外の検出した光周波数に基づいてデバイスのディスプレイを変形させてもよい。次いでフローは終了する。
このように、１つ以上のハプティック効果としてセンサ入力を表すハプティック表現システムが提供される。ハプティック表現システムは、ユーザにとって、より豊かで、より情報を提供する、より相互作用的な経験を可能にし得る。ハプティック表現システムは、軍部、医療、自動車、および携帯品などの広範囲の使用の事例を有する。
本明細書全体にわたって記載した本発明の特徴、構造、または特性は、１つ以上の実施形態において任意の適切な形式で組み合わされてもよい。例えば、本明細書全体にわたって、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、または他の同様の言語の使用は、実施形態と併せた記載した特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれてもよいことを指す。したがって、本明細書全体にわたって、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」という用語、または他の同様の言語の出現は、必ずしも全て実施形態の同じ群を指すわけではなく、記載した特徴、構造、または特性は、１つ以上の実施形態において任意の適切な形式で組み合わされてもよい。
当業者は、上記の本発明が、異なる順序のステップで、および／または開示されるものとは異なる構造の要素と共に実施されてもよいことを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載しているが、本発明の精神および範囲内のままで、特定の修飾、変更、および代替の構造が明らかになることは当業者には明らかであろう。したがって、本発明の境界および範囲を決定するために、添付の特許請求の範囲を参照すべきである。

Claims (12)

  1. ハプティック効果を生成するためのコンピュータにより実装された方法であって、前記コンピュータにより実装された方法は、
    センサから入力を受信するステップであって、前記入力は高感度情報を含み、前記入力は、一又は複数の相互作用パラメータをさらに含み、それぞれの相互作用パラメータは、値を含むステップと、
    受信した前記入力をハプティック信号にマッピングするステップと、
    前記ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信するステップと、
    を含み、
    前記受信した入力を前記ハプティック信号にマッピングするステップは、新たな入力が受信された場合に、前記ハプティック信号を調節するステップであって、受信した前記新たな入力は、前記受信した入力の少なくとも１つの相互作用パラメータの少なくとも１つの値の更新を含むステップをさらに含み、
    前記ハプティック効果を生成するために前記ハプティック信号を前記アクチュエータに送信するステップは、生成された前記ハプティック効果を連続的に調節するために、調節された前記ハプティック信号を前記アクチュエータに送信するステップをさらに含む、
    コンピュータにより実装された方法。
  2. 受信した前記入力をハプティック信号にマッピングするステップが、少なくとも１つの相互作用パラメータの値が規定値を超える場合、前記ハプティック信号を生成することをさらに含む、請求項１に記載のコンピュータにより実装された方法。
  3. 前記アクチュエータが振動アクチュエータを含み、前記振動アクチュエータにより生成されたハプティック効果が振動ハプティック効果を含む、請求項１に記載のコンピュータにより実装された方法。
  4. 前記アクチュエータが変形アクチュエータを含み、前記変形アクチュエータにより生成されたハプティック効果が変形ハプティック効果を含む、請求項１に記載のコンピュータにより実装された方法。
  5. ハプティック表現モジュールを記憶するように構成されるメモリと、
    前記メモリに記憶された前記ハプティック表現モジュールを実行するように構成されるプロセッサと、
    １つ以上のハプティック効果を出力するように構成されるアクチュエータと、
    を含み、
    前記ハプティック表現モジュールはセンサからの入力を受信するように構成され、前記入力は高感度情報を含み、前記入力は、一又は複数の相互作用パラメータをさらに含み、それぞれの相互作用パラメータは、値を含み、
    前記ハプティック表現モジュールは、受信した前記入力をハプティック信号にマッピングするようにさらに構成され、
    前記ハプティック表現モジュールは、前記ハプティック効果を生成するために、前記ハプティック信号をアクチュエータに送信するようにさらに構成され、
    前記ハプティック表現モジュールは、新たな入力が受信された場合に、前記ハプティック信号を調節するようにさらに構成され、前記新たな入力は、前記受信した入力の少なくとも１つの相互作用パラメータの少なくとも１つの値の更新を含み、
    前記ハプティック表現モジュールは、生成された前記ハプティック効果を調節するために、連続的に調節された前記ハプティック信号を前記アクチュエータに送信するようにさらに構成される、
    ハプティック表現システム。
  6. 前記ハプティック表現モジュールが、少なくとも１つの相互作用パラメータの値が規定値を超える場合、前記ハプティック信号を生成するようにさらに構成される、請求項５に記載のハプティック表現システム。
  7. 前記アクチュエータが振動アクチュエータを含み、前記振動アクチュエータにより生成されたハプティック効果が振動ハプティック効果を含む、請求項５に記載のハプティック表現システム。
  8. 前記アクチュエータが変形アクチュエータを含み、前記変形アクチュエータにより生成されたハプティック効果が変形ハプティック効果を含む、請求項５に記載のハプティック表現システム。
  9. プロセッサにより実行された場合、前記プロセッサにハプティック効果を生成させる、記憶された命令を有するコンピュータ可読媒体であって、前記ハプティック効果を生成させることが、
    センサから入力を受信するステップであって、前記入力が高感度情報を含み、前記入力は、一又は複数の相互作用パラメータをさらに含み、それぞれの相互作用パラメータは、値を含むステップと、
    受信した前記入力をハプティック信号にマッピングするステップと、
    前記ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信するステップと、
    を含み、
    前記受信した入力を前記ハプティック信号にマッピングするステップは、新たな入力が受信された場合に、前記ハプティック信号を調節するステップであって、受信した前記新たな入力は、前記受信した入力の少なくとも１つの相互作用パラメータの少なくとも１つの値の更新を含むステップをさらに含み、
    前記ハプティック効果を生成するために前記ハプティック信号を前記アクチュエータに送るステップは、生成された前記ハプティック効果を調節するために、連続的に調節された前記ハプティック信号を前記アクチュエータに送信するステップをさらに含む、
    コンピュータ可読媒体。
  10. 受信した前記入力をハプティック信号にマッピングするステップが、少なくとも１つの相互作用パラメータの値が規定値を超える場合、前記ハプティック信号を生成することをさらに含む、
    請求項９に記載のコンピュータ可読媒体。
  11. 前記アクチュエータが振動アクチュエータを含み、前記振動アクチュエータにより生成されたハプティック効果が振動ハプティック効果を含む、請求項９に記載のコンピュータ可読媒体。
  12. 前記アクチュエータが変形アクチュエータを含み、前記変形アクチュエータにより生成されたハプティック効果が変形ハプティック効果を含む、請求項９に記載のコンピュータ可読媒体。
JP2013178409A 2012-08-29 2013-08-29 センサ入力を触覚的に表すためのシステム Active JP6325216B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/597,300 US9116546B2 (en) 2012-08-29 2012-08-29 System for haptically representing sensor input
US13/597,300 2012-08-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018076624A Division JP6568257B2 (ja) 2012-08-29 2018-04-12 センサ入力を触覚的に表すためのシステム

Publications (2)

Publication Number Publication Date
JP2014049136A JP2014049136A (ja) 2014-03-17
JP6325216B2 true JP6325216B2 (ja) 2018-05-16

Family

ID=48900764

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013178409A Active JP6325216B2 (ja) 2012-08-29 2013-08-29 センサ入力を触覚的に表すためのシステム
JP2018076624A Expired - Fee Related JP6568257B2 (ja) 2012-08-29 2018-04-12 センサ入力を触覚的に表すためのシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018076624A Expired - Fee Related JP6568257B2 (ja) 2012-08-29 2018-04-12 センサ入力を触覚的に表すためのシステム

Country Status (5)

Country Link
US (5) US9116546B2 (ja)
EP (1) EP2703952A3 (ja)
JP (2) JP6325216B2 (ja)
KR (1) KR20140029259A (ja)
CN (2) CN109725718A (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102045165B1 (ko) 2008-07-15 2019-11-14 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법
US11064910B2 (en) 2010-12-08 2021-07-20 Activbody, Inc. Physical activity monitoring system
US9710061B2 (en) 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US10133849B2 (en) 2012-06-19 2018-11-20 Activbody, Inc. Merchandizing, socializing, and/or gaming via a personal wellness device and/or a personal wellness platform
US9230064B2 (en) 2012-06-19 2016-01-05 EZ as a Drink Productions, Inc. Personal wellness device
US10102345B2 (en) 2012-06-19 2018-10-16 Activbody, Inc. Personal wellness management platform
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9152247B2 (en) * 2012-10-24 2015-10-06 Google Inc. Computing device with force-triggered non-visual responses
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
CN104049787B (zh) * 2013-03-14 2017-03-29 联想(北京)有限公司 一种电子设备和控制方法
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
KR20140122433A (ko) * 2013-04-10 2014-10-20 삼성디스플레이 주식회사 휴대 단말기 및 휴대 단말기의 형상 변형 방법
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9229476B2 (en) 2013-05-08 2016-01-05 EZ as a Drink Productions, Inc. Personal handheld electronic device with a touchscreen on a peripheral surface
US9262064B2 (en) * 2013-07-09 2016-02-16 EZ as a Drink Productions, Inc. Handheld computing platform with integrated pressure sensor and associated methods of use
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US10124246B2 (en) 2014-04-21 2018-11-13 Activbody, Inc. Pressure sensitive peripheral devices, and associated methods of use
CN103984411B (zh) * 2014-04-25 2017-07-18 深圳超多维光电子有限公司 触觉力反馈系统和触觉力反馈系统实现方法
KR101578489B1 (ko) * 2014-04-28 2015-12-18 주식회사 프레스토솔루션 골절 정복 로봇용 사용자 조종 장치
KR101576798B1 (ko) * 2014-04-28 2015-12-14 (주)트리엔 골절 정복 로봇 시스템
US9692860B2 (en) * 2014-05-15 2017-06-27 Apple Inc. One layer metal trace strain gauge
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
US9690381B2 (en) * 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR102398389B1 (ko) * 2014-11-12 2022-05-16 엘지디스플레이 주식회사 햅틱 객체로부터 햅틱 신호를 모델링하는 방법, 디스플레이 장치 및 이의 구동 방법
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9478109B2 (en) * 2014-12-29 2016-10-25 Immersion Corporation Virtual sensor in a virtual environment
WO2016148182A1 (ja) * 2015-03-18 2016-09-22 株式会社ニコン 電子機器、およびプログラム
US10372212B2 (en) * 2015-05-29 2019-08-06 Google Llc Techniques for simulated physical interaction between users via their mobile computing devices
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
EP3361350A4 (en) * 2015-10-05 2018-10-17 Alps Electric Co., Ltd. Haptic reproduction device
CN105373748B (zh) * 2015-12-22 2018-09-21 广东小天才科技有限公司 一种设备防摔方法和装置
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
JP2017176198A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017182106A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
US10440488B2 (en) * 2016-06-27 2019-10-08 International Business Machines Corporation Intelligent audio control
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US10049538B2 (en) * 2016-08-31 2018-08-14 Apple Inc. Electronic device including haptic actuator driven based upon audio noise and motion and related methods
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10436769B2 (en) * 2016-11-03 2019-10-08 Dräger Safety AG & Co. KGaA Method, apparatus, and computer program for monitoring breath
US9949390B1 (en) * 2016-12-22 2018-04-17 Apple Inc. Electronic device including movable magnet based actuator for deforming a display and related methods
CN106775130A (zh) * 2017-02-10 2017-05-31 业成科技（成都）有限公司 震动触觉控制系统及其方法
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US10475354B2 (en) 2017-04-17 2019-11-12 Facebook, Inc. Haptic communication using dominant frequencies in speech signal
US10464569B2 (en) * 2017-04-28 2019-11-05 Nxp B.V. Vibration sensor
EP3639083A4 (en) * 2017-06-14 2021-01-27 Hewlett-Packard Development Company, L.P. DISPLAY SETTINGS
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
CN108230730B (zh) * 2017-11-16 2020-12-04 湖南深拓智能设备股份有限公司 停车管理系统及车位管理方法
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
CN209946856U (zh) * 2018-04-13 2020-01-14 苹果公司 用于触觉界面的驱动机构和触觉机构
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US10540016B1 (en) 2018-06-08 2020-01-21 Jeffrey Thomas Johnson Unlimited reach and touch tablet
US10395489B1 (en) * 2018-06-15 2019-08-27 Immersion Corporation Generation and braking of vibrations
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10748391B2 (en) * 2018-12-27 2020-08-18 Immersion Corporation Haptic signal conversion system
EP3850469A4 (en) * 2019-01-15 2021-11-10 Huawei Technologies Co., Ltd. SYSTEMS AND PROCEDURES FOR HAPTIC STIMULATION
US11094483B2 (en) * 2019-03-21 2021-08-17 Apple Inc. Keyboard with adjustable feedback
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3715741A (en) * 1971-02-09 1973-02-06 Gulf & Western Ind Prod Co Airport lighting monitoring system and system components
US3787867A (en) * 1971-04-12 1974-01-22 Automatic Power Division Pennw Navigational aid system
US3828334A (en) * 1973-04-13 1974-08-06 Univ Iowa State Res Found Inc System for remote monitoring of tower lighting system
US4024491A (en) * 1975-07-18 1977-05-17 Tideland Signal Corporation Wireless marine navigational aid system
US4754416A (en) * 1986-09-08 1988-06-28 Automatic Power, Inc. Universal synchronous marine navigation light system
US5552767A (en) * 1994-02-14 1996-09-03 Toman; John R. Assembly for, and method of, detecting and signalling when an object enters a work zone
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
DE69733390T2 (de) * 1996-04-10 2005-10-13 Seiko Epson Corp. Beleuchtungseinheit, lichtquellen- und projektionsanzeigevorrichtung
US6024700A (en) * 1998-07-16 2000-02-15 Nemirovski; Guerman G. System and method for detecting a thought and generating a control instruction in response thereto
US6320506B1 (en) * 1999-10-02 2001-11-20 Joseph C. Ferraro Current detector flood light lamp removal alarm
WO2003025886A1 (en) * 2001-09-18 2003-03-27 Research Foundation Of The City University Of New York Tactile graphic-based interactive overlay assembly and computer system for the visually impaired
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
AUPS157702A0 (en) * 2002-04-05 2002-05-16 King, Quentin System for providing tactile stimulation
JP2003330618A (ja) * 2002-05-16 2003-11-21 Sony Corp 入力方法及び入力装置
US8830161B2 (en) 2002-12-08 2014-09-09 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
AU2003293449A1 (en) 2002-12-08 2004-06-30 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US8059088B2 (en) * 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP2005066133A (ja) 2003-08-26 2005-03-17 Sony Computer Entertainment Inc 情報端末
JP4478436B2 (ja) * 2003-11-17 2010-06-09 ソニー株式会社 入力装置、情報処理装置、リモートコントロール装置および入力装置の制御方法
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US20050234561A1 (en) * 2004-04-20 2005-10-20 Michael Nutt Surface treatment for implants
US7522152B2 (en) * 2004-05-27 2009-04-21 Immersion Corporation Products and processes for providing haptic feedback in resistive interface devices
US7764268B2 (en) * 2004-09-24 2010-07-27 Immersion Corporation Systems and methods for providing a haptic device
KR100682901B1 (ko) * 2004-11-17 2007-02-15 삼성전자주식회사 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
DE202006020369U1 (de) * 2005-03-04 2008-05-21 Apple Inc., Cupertino Multifunktionale handgehaltene Vorrichtung
CN101133385B (zh) * 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
US20060223547A1 (en) * 2005-03-31 2006-10-05 Microsoft Corporation Environment sensitive notifications for mobile devices
US20070016425A1 (en) * 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
JP4640973B2 (ja) * 2005-09-16 2011-03-02 株式会社リコー 情報表示装置、情報表示方法、その方法をコンピュータに実行させるプログラム、および画像形成装置
US7696860B2 (en) * 2005-10-14 2010-04-13 University Of Central Florida Research Foundation, Inc Electromagnetic field tactile display interface and biosensor
US20070106457A1 (en) * 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
DE102006047893A1 (de) * 2005-12-01 2007-06-06 Volkswagen Ag Eingabevorrichtung, insbesondere für ein Kraftfahrzeug
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US8378964B2 (en) * 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
US7788032B2 (en) * 2007-09-14 2010-08-31 Palm, Inc. Targeting location through haptic feedback signals
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US20100253525A1 (en) * 2007-12-20 2010-10-07 Honeywell International Inc. Systems and methods for human performance augmentation
US20090167567A1 (en) * 2008-01-02 2009-07-02 Israeli Aerospace Industries Ltd. Method for avoiding collisions and a collision avoidance system
US20090174672A1 (en) * 2008-01-03 2009-07-09 Schmidt Robert M Haptic actuator assembly and method of manufacturing a haptic actuator assembly
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US7898396B2 (en) * 2008-01-24 2011-03-01 Immersion Corporation Actuating a tactile sensation in response to a sensed event
US20090267846A1 (en) * 2008-04-28 2009-10-29 Johnson Michael P Electromagnetic Field Power Density Monitoring System and Methods
US8362883B2 (en) * 2008-06-10 2013-01-29 Design Interactive, Inc. Method and system for the presentation of information via the tactile sense
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US8077020B2 (en) * 2008-07-10 2011-12-13 International Business Machines Corporation Method and apparatus for tactile haptic device to guide user in real-time obstacle avoidance
KR102045165B1 (ko) * 2008-07-15 2019-11-14 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법
US20100086204A1 (en) * 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
KR101570369B1 (ko) * 2008-10-14 2015-11-20 엘지전자 주식회사 텔레매틱스 단말기 및 텔레매틱스 단말기의 이동체 제어 방법
US20100097228A1 (en) * 2008-10-21 2010-04-22 Schultz Paul T System and method for monitoring and/or notifying wireless device users of radiation exposure
US8301249B2 (en) * 2008-10-23 2012-10-30 Pacesetter, Inc. Systems and methods for exploiting the tip or ring conductor of an implantable medical device lead during an MRI to reduce lead heating and the risks of MRI-induced stimulation
US8004391B2 (en) * 2008-11-19 2011-08-23 Immersion Corporation Method and apparatus for generating mood-based haptic feedback
US8362882B2 (en) * 2008-12-10 2013-01-29 Immersion Corporation Method and apparatus for providing Haptic feedback from Haptic textile
US20100152620A1 (en) * 2008-12-12 2010-06-17 Immersion Corporation Method and Apparatus for Providing A Haptic Monitoring System Using Multiple Sensors
US9727139B2 (en) * 2008-12-12 2017-08-08 Immersion Corporation Method and apparatus for providing a haptic monitoring system using multiple sensors
US7843277B2 (en) * 2008-12-16 2010-11-30 Immersion Corporation Haptic feedback generation based on resonant frequency
US20110148626A1 (en) * 2009-01-12 2011-06-23 Acevedo William C GPS Device and Portal
JP5343871B2 (ja) * 2009-03-12 2013-11-13 株式会社リコー タッチパネル装置、これを含むタッチパネル付き表示装置、及びタッチパネル装置の制御方法
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
WO2010124272A2 (en) * 2009-04-24 2010-10-28 Anthrotronix, Inc. Haptic automated communication system
US9489046B2 (en) 2009-05-04 2016-11-08 Immersion Corporation Method and apparatus for providing haptic feedback to non-input locations
EP2427879B1 (en) 2009-05-07 2015-08-19 Immersion Corporation Method and apparatus for providing a haptic feedback shape-changing display
US8803798B2 (en) * 2009-05-07 2014-08-12 Immersion Corporation System and method for shape deformation and force display of devices
US20100308999A1 (en) * 2009-06-05 2010-12-09 Chornenky Todd E Security and monitoring apparatus
EP2270627A1 (en) * 2009-06-30 2011-01-05 Research In Motion Limited Method and apparatus for providing tactile feedback
US20100328074A1 (en) * 2009-06-30 2010-12-30 Johnson Erik J Human presence detection techniques
US20100328229A1 (en) * 2009-06-30 2010-12-30 Research In Motion Limited Method and apparatus for providing tactile feedback
KR101565995B1 (ko) * 2009-07-16 2015-11-05 삼성전자주식회사 듀얼-입력 듀얼-출력의 필터를 이용한 멀티-대역의 라디오 주파수 신호 송수신 시스템
KR101602500B1 (ko) * 2009-09-08 2016-03-10 엘지전자 주식회사 이동 단말기 및 그 진동 패턴 제어 방법
JP2011043925A (ja) * 2009-08-19 2011-03-03 Nissha Printing Co Ltd 撓み振動型アクチュエータ及びこれを用いた触感フィードバック機能付タッチパネル
US8487758B2 (en) * 2009-09-02 2013-07-16 Medtronic Minimed, Inc. Medical device having an intelligent alerting scheme, and related operating methods
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8253589B2 (en) * 2009-10-20 2012-08-28 GM Global Technology Operations LLC Vehicle to entity communication
US9417694B2 (en) * 2009-10-30 2016-08-16 Immersion Corporation System and method for haptic display of data transfers
US8542105B2 (en) * 2009-11-24 2013-09-24 Immersion Corporation Handheld computer interface with haptic feedback
US8747775B2 (en) * 2009-12-11 2014-06-10 Food Technologies International, LLC Food safety indicator
US8493177B2 (en) * 2010-01-29 2013-07-23 Immersion Corporation System and method of haptically communicating vehicle information from a vehicle to a keyless entry device
US8638236B2 (en) * 2010-02-25 2014-01-28 Qualcomm Incorporated Methods and apparatus for applying tactile pressure sensors
US9361018B2 (en) * 2010-03-01 2016-06-07 Blackberry Limited Method of providing tactile feedback and apparatus
US8570161B2 (en) * 2010-03-16 2013-10-29 Immersion Corporation Systems and methods for haptic information preview
KR20130141344A (ko) * 2010-04-19 2013-12-26 택투스 테크놀로지, 아이엔씨. 촉각 인터페이스층의 구동 방법
US8810407B1 (en) * 2010-05-27 2014-08-19 Guardian Angel Navigational Concepts IP LLC Walker with illumination, location, positioning, tactile and/or sensor capabilities
US8700009B2 (en) * 2010-06-02 2014-04-15 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
JP5452404B2 (ja) * 2010-07-27 2014-03-26 京セラ株式会社 触感呈示装置
US9691300B2 (en) * 2010-09-21 2017-06-27 Sony Corporation Text-to-touch techniques
US8710965B2 (en) * 2010-09-22 2014-04-29 At&T Intellectual Property I, L.P. Devices, systems, and methods for tactile feedback and input
JP5647353B2 (ja) * 2010-10-20 2014-12-24 タクタス テクノロジーＴａｃｔｕｓ Ｔｅｃｈｎｏｌｏｇｙ ユーザインタフェースシステム
US8941603B2 (en) * 2010-12-10 2015-01-27 Sony Corporation Touch sensitive display
US8729848B2 (en) * 2010-12-22 2014-05-20 Woodward Mpc Inc. Fail-passive variable gradient control stick drive system
WO2013039510A1 (en) * 2011-09-16 2013-03-21 Empire Technology Development Llc Remote movement guidance
US20120265434A1 (en) * 2011-04-14 2012-10-18 Google Inc. Identifying Parking Spots
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9218727B2 (en) * 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US20120306790A1 (en) * 2011-06-02 2012-12-06 Electronics And Telecommunications Research Institute Film type apparatus for providing haptic feedback and touch screen including the same
US9383820B2 (en) * 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
US20130198694A1 (en) * 2011-06-10 2013-08-01 Aliphcom Determinative processes for wearable devices
US9710061B2 (en) * 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US8866774B2 (en) * 2011-06-29 2014-10-21 The Board Of Trustees Of The Leland Stanford Junior University Low power touch screen overlays for providing tactile feedback
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8344862B1 (en) * 2012-04-09 2013-01-01 John Donham Tactile messaging system
US8552847B1 (en) * 2012-05-01 2013-10-08 Racing Incident Pty Ltd. Tactile based performance enhancement system
US9891709B2 (en) * 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9522096B2 (en) * 2012-05-17 2016-12-20 Zoll Medical Corporation CPR team performance
US8526677B1 (en) * 2012-07-16 2013-09-03 Google Inc. Stereoscopic camera with haptic feedback for object and location detection
US9241664B2 (en) * 2012-08-16 2016-01-26 Samsung Electronics Co., Ltd. Using physical sensory input to determine human response to multimedia content displayed on a mobile device
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9384679B2 (en) * 2012-11-14 2016-07-05 Ishraq ALALAWI System, method and computer program product to assist the visually impaired in navigation
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system

Also Published As

Publication number Publication date
JP2018136979A (ja) 2018-08-30
US9116546B2 (en) 2015-08-25
US20150338921A1 (en) 2015-11-26
EP2703952A3 (en) 2015-01-28
US20190138099A1 (en) 2019-05-09
CN109725718A (zh) 2019-05-07
CN103677250A (zh) 2014-03-26
EP2703952A2 (en) 2014-03-05
US20140062682A1 (en) 2014-03-06
US20180074592A1 (en) 2018-03-15
JP2014049136A (ja) 2014-03-17
CN103677250B (zh) 2019-01-11
US9846485B2 (en) 2017-12-19
US9501149B2 (en) 2016-11-22
JP6568257B2 (ja) 2019-08-28
US20170052594A1 (en) 2017-02-23
KR20140029259A (ko) 2014-03-10
US10234948B2 (en) 2019-03-19

Similar Documents

Publication Publication Date Title
JP6568257B2 (ja) センサ入力を触覚的に表すためのシステム
JP6598915B2 (ja) コンテキスト依存ハプティック確認システム
JP6431126B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
US8866788B1 (en) Interactivity model for shared feedback on mobile devices
JP2019109943A (ja) 周波数シフトを用いたハプティック変換システム
US11272283B2 (en) Rendering haptics on headphones with non-audio data
JP2016520915A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
US20180011538A1 (en) Multimodal haptic effects
KR20200075773A (ko) 사용자의 모션 또는 환경에 기초하여 햅틱 효과들을 제공하는 시스템들 및 방법들

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180412

R150 Certificate of patent or registration of utility model

Ref document number: 6325216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250