JP6510484B2 - 音声／テキスト変換の触覚による拡張を目的とするシステムと方法 - Google Patents

音声／テキスト変換の触覚による拡張を目的とするシステムと方法 Download PDF

Info

Publication number
JP6510484B2
JP6510484B2 JP2016251317A JP2016251317A JP6510484B2 JP 6510484 B2 JP6510484 B2 JP 6510484B2 JP 2016251317 A JP2016251317 A JP 2016251317A JP 2016251317 A JP2016251317 A JP 2016251317A JP 6510484 B2 JP6510484 B2 JP 6510484B2
Authority
JP
Japan
Prior art keywords
actuator
signal
haptic effect
processor
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016251317A
Other languages
English (en)
Other versions
JP2017085625A (ja
Inventor
ロバート ダブリュ． ヒューベル、
ロバート ダブリュ． ヒューベル、
エリン ラムゼイ、
エリン ラムゼイ、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2017085625A publication Critical patent/JP2017085625A/ja
Application granted granted Critical
Publication of JP6510484B2 publication Critical patent/JP6510484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Otolaryngology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は一般にユーザインタフェイスのシステム及び方法に関し、詳しくは、音声／テキスト変換の触覚による拡張を目的とするシステム及び方法に関する。
関連出願の相互参照
本特許出願は、２００９年１０月２９日出願の「音声／テキスト変換の触覚による拡張を目的とするシステムと方法」との名称の米国特許出願第１２／６０８，７０７号の優先権を主張する。その全体がここに参照として組み入れられる。
電子デバイスがユーザに対し、視覚及び聴覚フィードバックを含む様々なフィードバックを与える。デバイスの中には、触覚フィードバックをユーザに与えるものもある。触覚フィードバックによって、いくつかの場合、ユーザが受け取るメッセージに、当該メッセージ自体においては明らかとはいえない情報が与えられる。例えば、テキストメッセージに変換された音声メッセージによっては、送り手ユーザが当該メッセージに表現された話題について感じる感情のレベルを伝えることができず、又は当該メッセージに関する他の文脈情報を伝えることができないことがある。ユーザは多くの場合、周知の記号（例えば顔文字）をメッセージに添付することによってこうした言外の意を表現し、この空白を埋めようとする。しかしながら、かかる記号では、伝えることができるメッセージの複雑性に限りがある。これとは対照的に、触覚フィードバックは、かかる言外の意を他のユーザに表現する複雑かつ直接的な方法を、思わず引き込まれる態様で与えることができる。
本発明は、音声／テキスト変換の触覚による拡張を目的とするシステム及び方法を含む。例えば、本発明の一実施形態は、コンピュータに実装された方法を含む。この方法は、マイクロホンからの音声に関連づけられた音響信号を受信するステップと、当該音響信号の特徴を決定するステップと、当該特徴に少なくとも部分的に基づいてアクチュエータ信号を生成するステップとを含む。アクチュエータ信号は、アクチュエータに触覚効果を出力させるべく構成される。他実施形態は、かかる方法の実行を目的とするプロセッサ実行可能プログラムコードがコード化されたコンピュータ可読媒体を含む。これらの具体的な実施形態は、本発明を限定又は画定するために言及されるわけではなく、その理解を補助する例を与える。具体的な実施形態が、詳細な説明に述べられ、本発明のさらなる説明が与えられる。本明細書を精査することによって、本発明の様々な実施形態をさらに理解することができる。
本発明のこれらの及び他の特徴、側面及び利点が、以下の詳細な説明を添付図面を参照しながら読むことで良好に理解される。
本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とするシステムのブロック図である。 本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とするシステムの例示である。 本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とするシステムのブロック図である。 本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とする、コンピュータに実装された方法のフロー図である。 本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とする、コンピュータに実装された方法のフロー図である。 本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とする、コンピュータに実装された方法のフロー図である。
本発明の実施形態は、音声／テキスト変換の触覚による拡張を目的とするシステム及び方法を与える。
音声／テキスト変換の触覚による拡張を目的とする具体的なシステム
本発明の一つの具体的な実施形態において、携帯電話機が、プロセッサと、当該プロセッサと通信するマイクロホン及びスピーカとを含む。携帯電話機はまた、プロセッサと通信するアクチュエータを含む。アクチュエータは、携帯電話機のユーザが感じ得る触覚効果を出力することができる。ユーザは、当該電話機を使用して音声メッセージを記録することができる。その後、当該音声メッセージが、プロセッサによってテキストメッセージへと変換される。加えて、プロセッサは、音声メッセージを分析して当該メッセージの特徴を決定するように構成される。
例えば、かかる実施形態の一つにおいて、ユーザの音声メッセージの周波数、振幅及び持続時間が分析され、プロセッサは、これらのパラメータに対応する触覚効果を決定する。その後、プロセッサは、当該単数又は複数の触覚効果を、当該メッセージのテキスト版に関連づけ、意図された受け手に当該メッセージを送信する。第２実施形態において、ユーザのバイオリズムが分析され、プロセッサは、ユーザのバイオリズム応答に対応する触覚効果を決定する。その後、上述のようにプロセッサは、当該単数又は複数の触覚効果を、当該メッセージのテキスト版に関連づけ、意図された受け手に当該メッセージを送信する。さらに想起されることだが、音声分析及びバイオリズムが、意図された受け手に送信される触覚効果の決定に至るように、プロセッサによって同時に行うことができる。
具体的な実施形態において、受け手はまた、偏心回転質量（「ＥＲＭ」）モータのような触覚効果出力アクチュエータを含む携帯デバイスを有する。受け手がメッセージを開くと、当該メッセージに関連づけられた単数又は複数の触覚効果が、携帯デバイスを介して当該受け手へと出力される。
例えば、第１ユーザは、叫ぶことによってメッセージを作ることができる。その音声メッセージをプロセッサが分析すると、プロセッサは、得られたテキストメッセージを高振幅触覚効果に関連づけるので、受け手ユーザは、当該メッセージの中に埋め込まれた感情を「感じる」ことができる。他例において、ユーザが甲高い声で話している間に音声メッセージを作り出すとき、プロセッサは、高周波数の触覚効果を、得られるテキストメッセージに関連づける。
これらの具体的な例は、ここに説明される一般的な主題を読み手に紹介するように与えられる。本発明は、これらの例に限られない。以下のセクションでは、音声／テキスト変換の触覚による拡張を目的とするシステム及び方法の様々な付加的実施形態及び例が説明される。
音声／テキスト拡張の具体的なシステム
ここで図面を参照するが、いくつかの図面にわたり同じ番号が同じ要素を示す。図１は、本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とするシステムのブロック図を示す。図１に示されるように、システムは携帯デバイス１００を含む。一実施形態において、携帯デバイス１００は携帯電話機を含む。他実施形態において、携帯デバイス１００は他の、携帯デジタルアシスタント（ＰＤＡ）、携帯メディアプレーヤー、携帯ゲーミングデバイス又はノート型パソコンのような携帯型又はハンドヘルド型の電子デバイスを含み得る。いくつかの実施形態において、携帯デバイス１００は、その代わりに、デスクトップパソコンのような非携帯型電子デバイスを含み得る。
図１に示される実施形態において、携帯デバイス１００はマイクロホン１０５を含む。マイクロホン１０５は、ユーザの声又は環境音のような音響を受け取り、その音響を対応入力信号に変換する。その対応入力信号は、当該マイクロホンからの音響信号に少なくとも部分的に基づく。図１に示される実施形態において、携帯デバイス１００はまた、バイオセンサ１０６を含む。バイオセンサ１０６は、ユーザのバイオリズムのような生体情報を受け取り、その生体情報を、当該バイオセンサデータに少なくとも部分的に基づいて対応入力信号に変換する。
携帯デバイス１００はまた、マイクロホン１０５と通信するプロセッサ１１０を含む。図示の実施形態において、プロセッサ１１０は、マイクロホン１０５から音響信号を受信して当該音響信号を処理するように構成される。例えば、プロセッサ１１０は、音響信号を分析して当該音響信号の一以上の特徴を決定することができる。他実施形態において、携帯デバイス１００は、同時に作動する複数のプロセッサを含み得る。かかるプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び状態機械を含み得る。かかるプロセッサはさらに、ＰＬＣ、プログラマブル割込みコントローラ（ＰＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、電子プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はＥＥＰＲＯＭ）、又は他の同様のデバイスのようなプログラマブル電子デバイスを含み得る。
携帯デバイス１００はまた、プロセッサ１１５と通信するアクチュエータ１１５を含む。アクチュエータ１１５はまた、様々なタイプのアクチュエータの一以上を含み得る。例えば、アクチュエータ１１５は、圧電アクチュエータ、電子モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性高分子、ソレノイド、偏心回転質量モータ（ＥＲＭ）、又は線形共振アクチュエータ（ＬＲＡ）であり得る。一実施形態において、携帯デバイス１００は複数のアクチュエータを含み得る。かかる実施形態において、プロセッサ１１０は、複数のアクチュエータの少なくとも一つに触覚信号を送信するように構成される。
依然として図１を参照すると、携帯デバイス１００はコンピュータ可読媒体１２０も含む。コンピュータ可読媒体１２０は、プロセッサ１１０により実行される場合に当該プロセッサに、ここに開示の方法の様々なステップを実行させるプログラムコードを記憶するように使用することができる。本発明の実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装することができる。ランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ可読媒体１２０が、プロセッサ１１０と通信し、又はプロセッサ１１０に結合される。プロセッサ１１０は、音響信号を分析するべく一以上のコンピュータプログラムを実行することのように、コンピュータ可読媒体１２０に記憶されたコンピュータ実行可能プログラム命令を実行する。
コンピュータ可読媒体の実施形態は、携帯デバイス１００におけるプロセッサ１１０のようなプロセッサに、コンピュータ可読命令を与えることができる電子的、光学的、磁気的又は他の記憶デバイスを含み得るがこれらに限られない。他例の媒体は、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、すべての光学媒体、すべての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含むがこれらに限られない。ここに記載のプロセッサ及び処理は、一以上の構造体に存在させることができ、及び一以上の構造体にわたって分散させることもできる。
図１に示される実施形態において、携帯デバイス１００はまた、プロセッサ１１０と通信するスピーカ１２５を含む。スピーカ１２５は、音声メッセージのような音響信号を出力するように構成される。一実施形態において、スピーカ１２５はまた、音響信号及び触覚効果の双方を出力するべくアクチュエータ１１５と組み合わせることができる。
図示の携帯デバイス１００はディスプレイ１４０も含む。例えば、携帯デバイス１００がＰＤＡである実施形態において、ディスプレイ１４０は、メッセージをユーザに表示するタッチスクリーンインタフェイスを含み得る。
携帯デバイス１００はまた、プロセッサ１１０と通信するネットワークインタフェイス１３５を含む。ネットワークインタフェイス１３５により、携帯デバイス１００は、ネットワーク１５０を経由して遠隔デバイス１３０と通信することができる。例えば、一実施形態において、携帯デバイス１００は、インターネットを経由して他の携帯デバイスと、又はコンピュータ若しくは他の遠隔通信デバイスと通信することができる。
図１に示される実施形態において、ネットワークインタフェイス１３５は、携帯デバイス１００が一以上のセルラー電話ネットワークを経由して通信できるようにするベース帯域プロセッサ及びセルラーラジオを含む。いくつかの実施形態において、ネットワークインタフェイス１３５は、他の通信デバイスを含み得る。例えば、一実施形態において、ネットワークインタフェイス１３５は、８０２．１１無線イーサネット（登録商標）インタフェイス又はブルートゥース（登録商標）インタフェイスを含み得る。いくつかの実施形態において、ネットワークインタフェイス２２０は、イーサネットアダプタのような有線ネットワークインタフェイスを含み得る。携帯デバイス１００は、メッセージ又は信号を他のデバイスに送信するように構成することができる。
ここで図２を参照する。図２は、本発明の一実施形態に係る、音声／テキスト変換の触覚による拡張を目的とするシステムの例示である。図２に示される実施形態において、携帯電話機２００は、マイクロホン２０５及びディスプレイ２４０を含む。携帯電話機はまた、プロセッサ、アクチュエータ、コンピュータ可読媒体及びネットワークインタフェイスを含む。これらは、携帯電話機２００の中に配置されるが、いずれも図２には示されない。
ここで図３を参照する。図３は、本発明の一実施形態に係る、音声／テキスト変換の触覚による拡張を目的とするシステムのブロック図である。図３に示される実施形態において、システムは、ネットワーク３８０を経由して通信する２つのデバイス、すなわちデバイスＡ３００及びデバイスＢ３５０を含む。いくつかの実施形態において、第１デバイスすなわちデバイスＡ３００、又は第２デバイスすなわちデバイスＢ３５０は、携帯デジタルアシスタント（ＰＤＡ）、携帯メディアプレーヤー、携帯ゲーミングデバイス、ノート型パソコン又は携帯電話機のような携帯型又はハンドヘルド型の電子デバイスを含む。他実施形態において、第１デバイス３００又は第２デバイス３５０は、デスクトップパソコンのような非携帯型の電子デバイスを含む。
図３に示される実施形態において、第１デバイス３００は、プロセッサ３１０、コンピュータ可読媒体３１５、ネットワークインタフェイス３２０、及び、マイクロホン／バイオセンサ３３５のような入力デバイスを含む。いくつかの実施形態において、第１デバイスすなわちデバイスＡ３００はまた、これより多い又は少ない数のコンポーネントを含み得る。例えば、デバイスＡ３００は、ブルートゥースコンポーネント、タッチセンシティブ表面、マウス及び／又はキーボードの一以上を包含し得る。デバイスＡ３００のコンポーネントは、図１の携帯デバイス１００に関連して図示及び記載されたものの対応コンポーネントと同様に機能する。
図３に示される実施形態において、第２デバイスすなわちデバイスＢ３５０は、プロセッサ３６０、コンピュータ可読媒体３６５、ネットワークインタフェイス３７０及びアクチュエータ３７５を含む。いくつかの実施形態において、第１デバイス３００と第２デバイス３５０とは類似又は同一のデバイスであるが、他実施形態においてはそうではない。
図３に示される実施形態において、第１及び第２デバイスプロセッサ３１０及び３６０は、それぞれのネットワークインタフェイス３２０及び３７０と通信する。図示の実施形態において、ネットワークインタフェイス３２０及び３７０はそれぞれ、ネットワーク３８０を使用してデバイス３００及び３５０が互いに又は他のデバイスと通信できるように構成されたベース帯域プロセッサ及びセルラーラジオを含む。例えば、かかる実施形態は、一以上のセルラー電話ネットワークを含むネットワーク３８０を経由して通信することができる。他実施形態において、ネットワークインタフェイス３２０は、８０２．１１無線イーサネット、有線イーサネット、ブルートゥース又はＵＳＢのような他のタイプのネットワークインタフェイスも含み得る。例えば、一実施形態において、ネットワークインタフェイス３２０は、８０２．１１無線イーサネットインタフェイスを含み得る。
音声／テキストを拡張する具体的な方法
図４〜６は、本発明の実施形態に係る様々な方法を例示するフロー図である。フロー図は、図１に示される携帯デバイス１００に関連して説明される。ただし、様々な他の、本発明の実施形態の実装環境も利用することができ、かかる環境のいくつかがここに記載される。
図４は、本発明の一実施形態に係る音声／テキスト変換の触覚による拡張を目的とする、コンピュータに実装された方法のフロー図である。図４に示される触覚による拡張方法４００は、プロセッサ４０５が入力信号を受信するところから開始する。一実施形態において、入力信号はマイクロホン１０５から、ユーザの音声により生成されるもののような音波を当該マイクロホンが検知することに応答して受信される。他実施形態において、入力信号はバイオセンサから受信される。他実施形態において、音響信号は記憶媒体から受信してよい。
例えば、かかる一実施形態において、音響信号は、ユーザのボイスメールボックスにおいて又は当該ボイスメールボックスから受信される。
ひとたび入力信号が受信されると、プロセッサ１１０は、当該入力信号を分析して入力信号４１０の一以上の特徴を決定することができる。例えば、プロセッサ１１０は、音響信号が特定の周波数及び／又は振幅を有すると決定することができる。また、プロセッサ１１０は、バイオセンサ信号が特定のバイオリズムを含むと決定することができる。
プロセッサ１１０は次に、決定された特徴に少なくとも部分的に基づいて、アクチュエータ信号４１５を生成する。一実施形態において、当該決定は、様々な特徴に関連づけられた触覚効果のライブラリを検索することによって達成される。他実施形態において、当該決定は、計算に基づいてよい。いくつかの実施形態において、単数の触覚効果が出力される。他実施形態において、複数の触覚効果が出力されてよい。
プロセッサ１１０は次に、アクチュエータ信号をアクチュエータ（１１５）４１５に送信する。アクチュエータ信号は、決定された特徴に関連づけられた特定の触覚効果をアクチュエータ１１５に出力させるように構成される。ひとたびアクチュエータ１１５が当該信号を受信すると、アクチュエータ１１５は触覚効果を出力する。
ここで図５を参照する。図５は、本発明の一実施形態に係る、音声／テキスト変換の触覚による拡張を目的とするコンピュータに実装された方法のフロー図である。図５に示される触覚による拡張方法５００は、プロセッサ１１０が、マイクロホン又はバイオセンサ５０５のような入力デバイスから入力信号を受信するところから開始する。図示の実施形態において、入力信号は、マイクロホン１０５から受信される。
プロセッサ１１０は、入力信号５１０の特徴を決定するべく当該入力信号を分析する。特徴は、例えば、音響信号の周波数、振幅、持続時間又は他のパラメータであり得る。また、特徴は、人の心拍数、呼吸、体温又はバイオリズムのような、人の生物学的尺度であり得る。
プロセッサ１１０はその後、入力信号５１５の一以上の特徴に少なくとも部分的に基づいて一以上のアクチュエータ信号を生成する。各アクチュエータ信号は、アクチュエータに触覚効果を出力させるように構成される。
図示の実施形態において、ひとたびアクチュエータ信号が生成されると、プロセッサ１１０は、アクチュエータ信号を一以上のアクチュエータ５２０に送信する。例えば、単数のアクチュエータを含む一実施形態において、プロセッサ１１０はアクチュエータ信号を、当該アクチュエータ（例えばアクチュエータ１１５）のみに送信する。複数のアクチュエータを含む他実施形態において、プロセッサ１１０は、単数のアクチュエータ信号を当該アクチュエータのすべてに送信する。さらなる他実施形態において、プロセッサ１１０は、別個の、かつ潜在的に異なるアクチュエータ信号を、複数のアクチュエータのそれぞれに送信する。
ここで図６を参照する。図６は、本発明の一実施形態に係る、音声／テキスト変換の触覚による拡張を目的とするコンピュータに実装された方法のフロー図である。図示の触覚による拡張方法６００において、プロセッサ１１０は音響信号６０５を受信する。
プロセッサ１１０はその後、音響信号６１０の特徴を決定し、音響信号６１５に少なくとも部分的に基づいてアクチュエータ信号を生成する。アクチュエータ信号は、触覚効果をアクチュエータ１１５に出力させるように構成される。
プロセッサ１１０はその後、音声認識装置を使用して、音響信号６２０に関連づけられた単語を決定する。例えば、プロセッサ１１０は、音響信号を単語に一致させるべく、単語のリスト、及び関連づけられた特徴を含むデータ記憶部にアクセスする。
図６に示される実施形態において、ひとたびプロセッサ１１０が、音響信号に関連づけられた単語を決定すると、当該プロセッサは、単語６２５に関連づけられたアクチュエータ信号を決定する。例えば、アクチュエータ信号は、音響信号に関連づけられた単語を決定するのに使用されたものと同じデータ記憶部に記憶することができる。他実施形態において、データ記憶部は別個でありかつ異なる。さらなる他実施形態において、触覚エスケープワードが実装される。かかる実施形態において、ユーザが特定シーケンスの単語を発話すると、当該シーケンスに触覚効果が関連づけられる。例えば、ハプティコンと称され得る特定の触覚効果を発動させるべく、ユーザが「ウィンクウインク」と発話することができる。
ひとたびプロセッサ１１０が単語及びアクチュエータ信号を決定すると、プロセッサ１１０はこれらをアクチュエータ（１１５）６２０に送信する。その後、単語及びアクチュエータ信号を受信するデバイスが触覚効果を出力することができる。
音声／テキスト拡張の具体的な実装
本発明の実施形態は、様々なユーザ体験を与える様々な態様で実装することができる。以下の例は、図１に関連して記載される。これらの例のいくつかにとって仮定されるのは、メッセージを送信している第１ユーザと、メッセージを受信している第２ユーザとが双方とも、図１に例示される携帯デバイス１００を使用していることである。例えば、図１に示される実施形態において、送り手ユーザはテキストメッセージを、携帯デバイス１００を介して受け手ユーザに送信しようと望み得る。テキストメッセージをタイピングするべくキーボードを使用する代わりに、送り手ユーザは音声メッセージを、受け手ユーザに送信されるテキストメッセージに変換しようと望み得る。すなわち、送り手ユーザは、マイクロホン１０５に話しかけ、マイクロホン１０５は、対応する音響信号を生成して当該音響信号をプロセッサ１１０に送信する。プロセッサ１１０はまた、同時に又は実質的に同時に当該音声をテキストに変換する。かかる音声／テキスト変換プロセスは、当業者にとって周知である。かかる一つのアプリケーションが、ＳｐｉｎＶｏｘと称される企業によって作られている。
プロセッサ１１０は、送り手ユーザの音響信号を受信して当該音響信号の特徴を決定する。特徴は、音響信号の周波数、振幅、持続時間又は他のパラメータであり得る。プロセッサ１１０はその後、送り手ユーザによって作られた音響信号の特徴に少なくとも部分的に基づいてアクチュエータ信号を生成する。プロセッサ１１０はその後、アクチュエータ信号をアクチュエータ１１５に送信する。アクチュエータ信号は、触覚効果をアクチュエータ１１５に出力させる。この触覚効果をユーザは、感じることができる。
例えば、送り手ユーザが携帯デバイス１００のマイクロホン１０５に向かって叫ぶと、プロセッサ１１０は、音響信号が高振幅の特徴を有すると決定することができる。プロセッサ１１０はその後、高振幅の触覚効果をアクチュエータ１１５に出力させるべく構成された高振幅のアクチュエータ信号を生成することができる。すなわち、触覚効果は、当初の音響信号の振幅特徴に対応する。
いくつかの実施形態において、プロセッサ１１０は、アクチュエータ信号及び音響信号の双方を、アクチュエータ１１５及びスピーカ１２５それぞれに送信するように構成することができる。例えば、再びであるが、第１ユーザが携帯デバイス１００に叫んでプロセッサが対応高振幅アクチュエータ信号を生成する上述の例を参照すると、プロセッサ１１０は、送り手ユーザの叫び声からの音響信号と、得られた高振幅アクチュエータ信号とを、スピーカ１２５及びアクチュエータ１１５それぞれに送信するように構成することができる。いくつかの実施形態において、スピーカ１２５は、アクチュエータ信号及び音響信号の双方を出力して触覚効果及び対応音声の双方を生成するように構成することができる。
他実施形態において、プロセッサ１１０は、音響信号に関連づけられた単語を決定して対応アクチュエータ信号を遠隔デバイス１３０に送信するように構成することができる。例えば、かかる実施形態において、送り手ユーザがマイクロホン１０５に向かって「怒った」と叫ぶと、プロセッサ１１０は、当該送り手ユーザの叫びからの音響信号を受信し、当該音響信号の高振幅の特徴を決定し、高振幅の触覚効果をアクチュエータ１１５に出力させるように構成された高振幅のアクチュエータ信号を生成する。プロセッサ１１０はまた、単語「怒った」が当該音響信号に関連づけられていることを決定し、単語「怒った」及び高振幅のアクチュエータ信号をコンピュータ可読媒体１２０に記憶し、その後、単語「怒った」及び高振幅のアクチュエータ信号を遠隔デバイス１３０に送信することができる。他実施形態において、送り手ユーザは、単語「怒った」をささやくか又は通常の口調で言うことができるが、プロセッサ１１０は依然として、コミュニケーションにおける単語の性質すなわち内容に基づいて、高振幅のアクチュエータ信号を当該単語に関連づけ得る。
さらに、図１に示される実施形態において、プロセッサ１１０は、音響信号に少なくとも部分的に基づいて複数の触覚効果を生成するように構成することができる。例えば、送り手ユーザがマイクロホン１０５に向かって「怒った」と叫んだ結果、プロセッサ１１０が単数の高振幅アクチュエータ信号を生成することに加え、プロセッサ１１０はまた、音響信号に少なくとも部分的に基づいて、高周波数の触覚効果、長い持続時間の触覚効果、又は複数の触覚効果の任意の組み合わせを生成することもできる。
一実施形態において、プロセッサ１１０は、当該特徴に関連づけられた触覚効果ライブラリから触覚効果を識別することによって、アクチュエータ信号を生成する。例えば、送り手ユーザがマイクロホン１０５に向かって「興奮する」と感嘆すると、プロセッサ１１０は、当該送り手ユーザの感嘆からの音響信号を受信し、当該音響信号の高振幅かつ高周波数の特徴を決定し、高振幅かつ高周波数の特徴に関連づけられた触覚効果ライブラリから、高振幅かつ高周波数の触覚効果を識別することによって、高振幅かつ高周波数のアクチュエータ信号を生成する。
他実施形態において、プロセッサ１１０は、音響信号に関連づけられた単語を決定し、当該単語に少なくとも部分的に基づいてアクチュエータ信号を生成することができる。例えば、単語「愛してる」が音響信号に関連づけられていることをプロセッサ１１０が決定すると、プロセッサ１１０は、触覚効果ライブラリにおいて単語「愛してる」を識別することにより、心拍を模擬した触覚効果を引き起こすパルス状のアクチュエータ信号を生成することができる。当該ライブラリは、単語「愛してる」を当該特定の触覚効果に関連づけている。
さらなる他実施形態において、プロセッサ１１０は、音響信号に少なくとも部分的に基づいて及び単語に少なくとも部分的に基づいて、アクチュエータ信号を生成することができる。例えば、送り手ユーザがマイクロホン１０５に向かって優しくかつゆっくりと「愛してる」と言うと、プロセッサ１１０は、送り手ユーザの発言からの音響信号を受信し、当該音響信号の低振幅かつ低周波数の特徴を決定し、及び、低振幅かつ低周波数のアクチュエータ信号を生成することができる。プロセッサ１１０はまた、単語「愛してる」が音響信号に関連づけられていることを決定し、触覚効果ライブラリにおいて単語「愛してる」を識別することにより、心拍を模擬した触覚効果を引き起こすパルス状のアクチュエータ信号を生成することができる。当該ライブラリは、単語「愛してる」を当該特定の触覚効果に関連づけている。プロセッサ１１０は、「愛してる」との音響信号の特徴によって、及び低振幅かつ低周波数の心拍を模擬した触覚効果をもたらす単語「愛してる」の特徴によって決定された複数の触覚効果をその後に組み合わせるべく構成することができる。
他実施形態において、送り手ユーザは、携帯デバイス１００を介して受け手ユーザにメッセージを送りたいと望み得る。送り手ユーザは、携帯デバイス１００のマイクロホン１０５に向かって「ハッピーバースデー」と言うことができる。それに応答してプロセッサ１１０は、単語「ハッピー」及び「バースデー」が音響信号に関連づけられていることを決定し、各単語に関連づけられた別個の触覚効果を生成することができる。その触覚効果をプロセッサ１１０は、アクチュエータ１１５に送信する。一実施形態において、プロセッサは、「ハッピーバースデー」の歌に対応する触覚効果が、受け手ユーザのデバイスのアクチュエータまで送信されることを引き起こすパルス状のアクチュエータ信号を生成する。
他実施形態において、携帯デバイス１００のプロセッサ１１０は、音響信号に少なくとも部分的に基づいて、かつ、音響信号に包含される単語に少なくとも部分的に基づいてアクチュエータ信号を生成することができる。例えば、送り手ユーザが携帯デバイス１００のマイクロホン１０５に向かって「猫ちゃん」と優しくかつゆっくり言うと、プロセッサ１１０は、当該送り手ユーザの発言からの音響信号を受信し、当該音響信号の低振幅かつ低周波数の特徴を決定し、及び低振幅かつ低周波数のアクチュエータ信号を生成することができる。代替的に、プロセッサ１１０は、単語「猫ちゃん」が音響信号に関連づけられていると決定し、猫が喉をゴロゴロ鳴らしている触覚効果を引き起こす速いパルス状のアクチュエータ信号を生成することができる。
図３を参照すると、さらなる他実施形態において、送り手ユーザが、携帯電話機を含む第１デバイス３００の、例えばマイクロホンのような入力デバイス３３５に向かって「助けて」と叫ぶことができる。第１デバイス３００のプロセッサ３１０は、マイクロホン３３５からの音響信号を受信し、当該音響信号の高振幅かつ長い持続時間の特徴を決定し、及び高振幅かつ短い持続時間のアクチュエータ信号を生成する。同様に、第１デバイス３００のプロセッサ３１０は、音響信号に関連づけられた単語「助けて」を決定するように、かつ、単語「助けて」及び当該アクチュエータ信号をコンピュータ可読媒体３１５に記憶させるべく構成することができる。さらに、第１デバイス３００のプロセッサ３１０は、高振幅かつ短い持続時間の特徴に関連づけられた触覚効果ライブラリから、高振幅かつ短い持続時間の触覚効果を識別することにより、高振幅かつ短い持続時間のアクチュエータ信号を生成することができる。同様に、第１デバイス３００のプロセッサ３１０は、触覚効果ライブラリにおいて単語「助けて」を識別することにより、パルス状のモールス信号ＳＯＳ触覚効果（トトトツーツーツートトト）を引き起こす高振幅かつ短い持続時間のアクチュエータ信号を生成するように構成することができる。当該ライブラリは、単語「助けて」を当該特定の触覚効果に関連づけている。
図３を参照すると、さらなる他実施形態において、第１デバイス３００は送り手ユーザのデバイスであり、所定の環境音に基づいて触覚、聴覚及び／又は視覚的メッセージを自動的に第２受け手デバイス３５０に送信する自動「リスニング」応答モードにあるように構成される。例えば、警察官が、自身の携帯デバイスが自動「リスニング」応答モードにある送り手ユーザである場合、そのデバイスは、当該警察官のデバイスにより銃声が識別された場合に支援又は警察官による援護を求める要求を自動的に送信する。このリスニングモードの他例において、警察官のデバイスは、当該警察官のバイオリズムをリスニングしており、当該警察官が治療を必要としていることを検知して救急車の要求を自動的に送信する。これらの要求の送信は、タスク固有かつ局所的となり得る。例えば、当該送信は、警察官のチームメンバーのような、近くにいる一以上の受け手に向けられるかもしれない。例えば、警察官のグループが協力して逃亡者を探しており、当該警察官の一人が当該逃亡者を突き止めた場合、当該警察官の「リスニング」デバイスは、その逃亡者がいる場所を当該警察官が包囲するのを助けるように、まわりの警察官に自動メッセージを送信することができる。かかる特徴は、警察官が、この情報を同僚の警察官に伝えることが物理的にできない場合に、例えば、警察官が逃亡者と闘っていたり逃亡者を追いかけていたりする場合に、とても重要となる。
かかる実施形態において、得られる音響信号、単語、アクチュエータ信号及び／又は触覚効果は、第１デバイス３００から第２デバイス３５０へと、それぞれのネットワークインタフェイス３２０及び３７０を介しかつネットワーク３８０を介して送信することができる。例えば、単語「助けて」、及び当該単語「助けて」に関連づけられた高振幅かつ短い持続時間のモールス信号ＳＯＳ触覚効果は、携帯電話機を含む第１デバイス３００から、やはり携帯電話機を含む第２デバイス３５０へと、遠隔通信ネットワークを含むネットワーク３８０を介して送信することができる。すなわち、第１デバイス３００の送り手ユーザは、触覚効果を伴う音声／テキストメッセージを第２デバイス３５０の受け手ユーザに送信することができる。他実施形態において、音響信号のみを第１デバイス３００から第２デバイス３５０へと送信し、その後当該信号を分析して任意の関連触覚効果を生成することができる。
具体的な実装環境
本発明の実施形態は有利なことに、身体障がい者のための遠隔通信の状況において用いることができる。例えば、実施形態は、電話線を介したテキスト通信を目的とする電子デバイスによって聴覚又は言語障がい者を支援するＴＴＹ（電話タイプライター）アプリケーションにおいて使用することができる。障がい者が従来型ＴＴＹデバイスを使用する場合、テキストの性質上、メッセージの情緒及び感情が失われるのが典型的である。本発明の実施形態を使用すれば、障がい者は、メッセージに関連づけられた情緒的感情が失われる従来型ＴＴＹデバイスにテキストメッセージを直接タイピングする代わりに、マイクロホンに向かって発話し、音声／テキストメッセージの背後に触覚効果を介して感情を保存することができる。
本発明の実施形態は有利なことに、ＳＭＳテキストメッセージングの状況において用いることもできる。例えば、多くの州が、自動車運転中のテキストメッセージング及び携帯電話機での会話を違法としているが、これらの州は典型的に、運転者に、無線ブルートゥースイヤホン、又は有線マイクロホン及びイヤホンのような、運転中に会話ができるハンズフリーデバイスを許可している。しかしながら、これらのハンズフリーデバイスは、自動車の運転中にテキストメッセージを送ることの援助とはならない。本発明の実施形態を使用すれば、運転者がマイクロホンに向かって発話し、自分の音声メッセージを、関連触覚効果を伴うテキストメッセージへと変換することができる。本発明の実施形態は、運転者に対し、運転中にテキストメッセージを合法的かつ安全に送ることを許容するだけでなく、触覚効果を介して音声メッセージからの感情を保存し、送り手ユーザが自分の感情の受け手ユーザへの通信も許容する。
本発明の実施形態は有利なことに、オンラインチャットの状況又は電子メールの状況においても用いられる。送り手ユーザはマイクロホンに向かって発話し、インターネットを介して受け手ユーザに送信されるチャット又は電子メールのために、自分の音声メッセージをテキストメッセージに変換することができる。結果的にチャットメッセージ若しくは電子メールとなる音声メッセージに又は単語に関連づけられた触覚効果は、チャットメッセージ又は電子メールとともに送信され、嫌み、誠実又は怒りのような広範な感情、並びに他の内容及び言外の意を伝えることができる。この実施形態により、送り手ユーザは、コンピュータネットワークを経由して所望のメッセージを表現する自由を得ることができる。
本発明の実施形態は有利なことに、医学的な状況において用いることもできる。例えば、四肢麻痺又は他の態様で不自由な患者が、音声メッセージの使用を介して、及び触覚応答を受けることにより、コンピュータ又は電話機と対話をすることができる。ベッドには、コンピュータに無線接続された一以上のアクチュエータを装備することができる。送り手又は受け手ユーザからのテキストメッセージに変換される音声メッセージに基づいて、様々な触覚効果を入力及び出力することができる。ユーザが視覚及び／又は聴覚障がい者であるがゆえに、利用可能な通信チャネルの数が低減され又は制約される場合、同様の利点を実現することができる。本発明の実施形態は有利なことに、聴覚的又は視覚的応答を妨害し得る騒々しい又は明るい環境において用いることもできる。例えば、本発明の一実施形態において、転倒した高齢者は、支援が必要なこと又は支援が進行中であることを救急隊に示すべく、本発明の一実施形態による触覚フィードバックを送信又は受信することができる。
本発明のいくつかの実施形態はまた、軍事的状況においても有用である。例えば、隠密作戦においては、音響チャネルが通信の特定のタイプに制限され又は利用不可能となり得る。本発明の一実施形態において、ユーザは、音声メッセージを送ることができない軍事工作員から、触覚確認を伴うテキストメッセージを得ることができる。例えば、兵士は、テキストに変換されて他の兵士にテキスト及び触覚効果として送信される指令への応答を声にすることができる。かかる実施形態において、兵士は、触覚パターンの確立されたセットを用いて一以上の兵士間の有効なコミュニケーションを可能とすることができる。例えば、司令官は、言語コミュニケーションが安全とみなされるエリアにいて、兵士のグループが敵地の環境を通って進行していることをモニタリングすることができる。司令官は、兵士が左へ曲がるべきことを示す言語指令を送ることができる。音声の指令が認識されて、テキストメッセージ及び触覚効果として兵士に送信され得る。
一般的事項
本発明が、いくつかの好ましい実施形態に関して説明されたが、当業者が本明細書を読み図面を検討するときに、改変、置換及び等価物が明らかになることが企図される。例えば、ゲームプログラム、仮想現実プログラムとその環境、ビジネスミーティング用の遠隔会議アプリケーション、コンピュータネットワーク又は他の通信チャネルを経由した電話タイプの音声通信等のような多くの異なるアプリケーションプログラムが、本発明の音声／テキストメッセージング機能を使用することができる。さらに、説明上の明確性を目的として所定の用語が使用されているが、本発明を制限するものではない。したがって、以下の添付の特許請求の範囲は、本発明の真の要旨及び範囲の中に入るようなすべての変更、置換及び均等物を含むことが意図される。
すなわち、本発明の、好ましい実施形態を含む実施形態の上記説明は、例示及び記載の目的でのみ提示され、網羅的であること、又は開示された正確な形態に本発明を限定することを意図するものではない。本発明の要旨及び範囲から逸脱することのない多数の修正及びその適合は、当業者にとって明らかである。

Claims (34)

  1. コンピュータに実装された方法であって、
    環境音を含む音響入力信号を受信することと、
    前記音響入力信号に関連づけられた特徴を決定することと、
    音声認識装置を使用して、前記音響入力信号に関連づけられた単語を決定することと、
    アクチュエータに第１触覚効果を出力させるように構成された第１アクチュエータ信号を、前記特徴及び前記単語に少なくとも部分的に基づいて生成することと、
    前記単語及び前記第１アクチュエータ信号を遠隔デバイスに送信することと、
    前記遠隔デバイスにおける前記アクチュエータに、前記第１アクチュエータ信号に基づいて前記第１触覚効果を出力させることと
    を含むコンピュータに実装された方法。
  2. 前記特徴は、周波数、振幅又は持続時間の一つを含む請求項１のコンピュータに実装された方法。
  3. 前記音響入力信号の少なくとも一部分をテキストに変換することと、
    前記テキスト及び前記第１アクチュエータ信号を、電子メール、ＳＭＳメッセージ又はチャットメッセージを介して前記遠隔デバイスに送信することと
    をさらに含む請求項１のコンピュータに実装された方法。
  4. 前記第１アクチュエータ信号を生成することは、前記第１アクチュエータ信号を、触覚効果ライブラリにおけるデータに少なくとも部分的に基づいて生成することを含む請求項１のコンピュータに実装された方法。
  5. 前記第１アクチュエータ信号を生成することは、
    前記特徴に少なくとも部分的に基づいて第２触覚効果を決定することと、
    前記単語に少なくとも部分的に基づいて第３触覚効果を決定することと、
    前記第１アクチュエータ信号を、前記第２触覚効果及び前記第３触覚効果に少なくとも部分的に基づいて生成することと
    を含む請求項１のコンピュータに実装された方法。
  6. バイオセンサからセンサ信号を受信することと、
    前記バイオセンサからの前記センサ信号に少なくとも部分的に基づいて第２アクチュエータ信号を生成することと
    をさらに含む請求項１のコンピュータに実装された方法。
  7. 前記単語は複数の単語を含み、
    前記第１アクチュエータ信号は、前記複数の単語に少なくとも部分的に基づいて生成される請求項１のコンピュータに実装された方法。
  8. 前記第１触覚効果は、歌の節に関連づけられた複数のパルスを含む請求項１のコンピュータに実装された方法。
  9. 前記第１触覚効果はモールス信号を含む請求項１のコンピュータに実装された方法。
  10. システムであって、
    メモリと、
    前記メモリと通信するプロセッサと
    を含み、
    前記プロセッサは、
    環境音を含む音響入力信号を受信し、
    前記音響入力信号に関連づけられた特徴を決定し、
    音声認識装置を使用して、前記音響入力信号に関連づけられた単語を決定し、
    アクチュエータに第１触覚効果を出力させるように構成された第１アクチュエータ信号を、前記特徴及び前記単語に少なくとも部分的に基づいて生成し、
    前記単語及び前記第１アクチュエータ信号を遠隔デバイスに送信し、
    前記遠隔デバイスにおける前記アクチュエータに前記第１触覚効果を出力させるように構成されるシステム。
  11. 前記特徴は、周波数、振幅又は持続時間の一つを含む請求項１０のシステム。
  12. 前記プロセッサはさらに、
    前記音響入力信号をテキストに変換し、
    前記テキスト及び前記第１アクチュエータ信号を、電子メール、ＳＭＳメッセージ又はチャットメッセージを介して前記遠隔デバイスに送信するべく構成される請求項１０のシステム。
  13. 前記プロセッサはさらに、触覚効果ライブラリにおけるデータに少なくとも部分的に基づいて前記第１アクチュエータ信号を生成するように構成される請求項１０のシステム。
  14. 前記プロセッサはさらに、
    前記第１アクチュエータ信号を生成するべく、前記特徴に少なくとも部分的に基づいて第２触覚効果を決定することと、
    前記単語に少なくとも部分的に基づいて第３触覚効果を決定することと、
    前記第２触覚効果及び前記第３触覚効果に少なくとも部分的に基づいて前記第１アクチュエータ信号を生成することと
    を行う請求項１０のシステム。
  15. 前記プロセッサと通信するバイオセンサをさらに含み、
    前記プロセッサはさらに、
    前記バイオセンサからセンサ信号を受信し、
    前記バイオセンサの前記センサ信号に少なくとも部分的に基づいて第２アクチュエータ信号を生成するように構成される請求項１０のシステム。
  16. 前記単語は複数の単語を含み、
    前記プロセッサはさらに、
    前記複数の単語の少なくとも２つに少なくとも部分的に基づいて前記第１アクチュエータ信号を生成するように構成される請求項１０のシステム。
  17. 前記第１触覚効果は、歌の節に関連づけられた複数のパルスを含む請求項１０のシステム。
  18. 前記第１触覚効果はモールス信号を含む請求項１０のシステム。
  19. コンピュータに実装された方法であって、
    環境音を代表する音響入力信号を受信することと、
    前記音響入力信号に関連づけられた第１特徴を決定することと、
    バイオセンサからセンサ信号を受信することと、
    前記バイオセンサからの前記センサ信号に関連づけられた第２特徴を決定することと、
    それぞれがアクチュエータに触覚効果を出力させるように構成された第１アクチュエータ信号及び第２アクチュエータ信号を、前記第１特徴及び前記第２特徴それぞれに少なくとも部分的に基づいて生成することと、
    前記第１アクチュエータ信号及び前記第２アクチュエータ信号を遠隔デバイスに送信することと、
    前記遠隔デバイスにおける前記アクチュエータに、前記第１アクチュエータ信号及び前記第２アクチュエータ信号に基づいて前記触覚効果を出力させることと
    を含み、
    前記環境音はユーザが発話する音声以外の音であるコンピュータに実装された方法。
  20. 前記センサ信号は、心拍数、呼吸数、体温及びバイオリズムの少なくとも一つに関連づけられる請求項１９のコンピュータに実装された方法。
  21. 音声認識装置を使用して、前記第１特徴に関連づけられた単語を決定することをさらに含み、
    前記第１アクチュエータ信号を前記遠隔デバイスに送信することは、前記第１アクチュエータ信号及び前記単語を前記遠隔デバイスに送信することを含み、
    前記第１特徴は前記単語を含み、
    前記第１アクチュエータ信号は、触覚効果ライブラリに少なくとも部分的に基づいて生成される請求項１９のコンピュータに実装された方法。
  22. 前記遠隔デバイスは、前記ユーザから所定範囲内に存在する請求項１９のコンピュータに実装された方法。
  23. 前記遠隔デバイスは、所定ユーザ又は所定グループのユーザに関連づけられる請求項２２のコンピュータに実装された方法。
  24. 前記触覚効果は、前記ユーザに関連づけられたタスクに少なくとも部分的に基づく請求項１９のコンピュータに実装された方法。
  25. 前記触覚効果は、前記ユーザに関連づけられた状態に少なくとも部分的に基づく請求項１９のコンピュータに実装された方法。
  26. 前記状態は、前記バイオセンサからの前記センサ信号に少なくとも部分的に基づく請求項２５のコンピュータに実装された方法。
  27. システムであって、
    メモリと、
    前記メモリと通信するプロセッサと
    を含み、
    前記プロセッサは、
    環境音を代表する音響入力信号を受信し、
    前記音響入力信号に関連づけられた第１特徴を決定し、
    バイオセンサからセンサ信号を受信し、
    前記バイオセンサからの前記センサ信号に関連づけられた第２特徴を決定し、
    それぞれがアクチュエータに触覚効果を出力させるように構成された第１アクチュエータ信号及び第２アクチュエータ信号を、前記第１特徴及び前記第２特徴それぞれに少なくとも部分的に基づいて生成し、
    前記第１アクチュエータ信号及び前記第２アクチュエータ信号を遠隔デバイスに送信し、
    前記遠隔デバイスにおける前記アクチュエータに前記触覚効果を出力させるように構成され、
    前記環境音はユーザが発話する音声以外の音であるシステム。
  28. 前記センサ信号は、心拍数、呼吸数、体温及びバイオリズムの少なくとも一つに関連づけられる請求項２７のシステム。
  29. 前記プロセッサはさらに、音声認識装置を使用して、前記第１特徴に関連づけられた単語を決定するように構成され、
    前記第１アクチュエータ信号を前記遠隔デバイスに送信することは、前記第１アクチュエータ信号及び前記単語を前記遠隔デバイスに送信することを含み、
    前記第１特徴は前記単語を含み、
    前記第１アクチュエータ信号は、触覚効果ライブラリに少なくとも部分的に基づいて生成される請求項２７のシステム。
  30. 前記遠隔デバイスは、前記ユーザから所定範囲に存在する請求項２７のシステム。
  31. 前記遠隔デバイスは、所定ユーザ又は所定グループのユーザに関連づけられる請求項３０のシステム。
  32. 前記触覚効果は、前記ユーザに関連づけられたタスクに少なくとも部分的に基づく請求項２７のシステム。
  33. 前記触覚効果は、前記ユーザに関連づけられた身体状態に少なくとも部分的に基づく請求項２７のシステム。
  34. 前記身体状態は、前記バイオセンサからの前記センサ信号に少なくとも部分的に基づく請求項３３のシステム。
JP2016251317A 2009-10-29 2016-12-26 音声／テキスト変換の触覚による拡張を目的とするシステムと方法 Active JP6510484B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/608,707 2009-10-29
US12/608,707 US8902050B2 (en) 2009-10-29 2009-10-29 Systems and methods for haptic augmentation of voice-to-text conversion

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015077388A Division JP2015156229A (ja) 2009-10-29 2015-04-06 音声−テキスト変換の触覚増強のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2017085625A JP2017085625A (ja) 2017-05-18
JP6510484B2 true JP6510484B2 (ja) 2019-05-08

Family

ID=43382350

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2012536981A Expired - Fee Related JP5899116B2 (ja) 2009-10-29 2010-10-27 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2014138037A Expired - Fee Related JP5951688B2 (ja) 2009-10-29 2014-07-03 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2015077388A Pending JP2015156229A (ja) 2009-10-29 2015-04-06 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2016251317A Active JP6510484B2 (ja) 2009-10-29 2016-12-26 音声／テキスト変換の触覚による拡張を目的とするシステムと方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2012536981A Expired - Fee Related JP5899116B2 (ja) 2009-10-29 2010-10-27 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2014138037A Expired - Fee Related JP5951688B2 (ja) 2009-10-29 2014-07-03 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2015077388A Pending JP2015156229A (ja) 2009-10-29 2015-04-06 音声−テキスト変換の触覚増強のためのシステム及び方法

Country Status (6)

Country Link
US (2) US8902050B2 (ja)
EP (2) EP2494425A1 (ja)
JP (4) JP5899116B2 (ja)
KR (4) KR101860281B1 (ja)
CN (2) CN109144255A (ja)
WO (1) WO2011059703A1 (ja)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US8686864B2 (en) 2011-01-18 2014-04-01 Marwan Hannon Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle
US8718536B2 (en) 2011-01-18 2014-05-06 Marwan Hannon Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
KR101880764B1 (ko) * 2012-02-03 2018-07-20 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US20140129347A1 (en) * 2012-11-05 2014-05-08 Anantha Pradeep Intelligent and informed advertisement creation
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US10504339B2 (en) 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
CN105144052B (zh) 2013-04-26 2019-02-15 意美森公司 用于柔性显示器的被动刚度和主动变形触觉输出设备
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US20150082408A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Quick login to user profile on exercise machine
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US20150179188A1 (en) * 2013-12-20 2015-06-25 Speech Morphing, Inc. Method and apparatus for hearing impaired assistive device
US9652946B2 (en) * 2014-05-02 2017-05-16 Novasentis, Inc. Hands-free, wearable vibration devices and method
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US20160125709A1 (en) * 2014-10-31 2016-05-05 Novasentis, Inc. Haptics wristband
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9466188B2 (en) 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
WO2016138144A2 (en) * 2015-02-25 2016-09-01 Immersion Corporation Systems and methods for providing context-sensitive haptic notification frameworks
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
EP3323000A4 (en) 2015-07-14 2019-11-13 Driving Management Systems, Inc. DETECTION OF TELEPHONE LOCATION USING ULTRASONIC AND RF WIRELESS SIGNALS
EP3147538A1 (en) 2015-09-23 2017-03-29 Inovacor Ab Compound planet gear arrangement and drive train arrangement
US20170193767A1 (en) * 2015-12-30 2017-07-06 Parihug Haptic communication device and system for transmitting haptic interaction
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
KR101862337B1 (ko) * 2016-03-24 2018-05-31 주식회사 닷 정보 출력 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP6401758B2 (ja) * 2016-08-25 2018-10-10 株式会社ファセテラピー 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
WO2018048907A1 (en) * 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10154360B2 (en) * 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US9997086B1 (en) * 2017-11-29 2018-06-12 Richard P. Braden Handheld communication device and method(s) of use
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10360775B1 (en) * 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands
WO2020013038A1 (ja) * 2018-07-10 2020-01-16 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、及びその制御方法
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
JPWO2023276130A1 (ja) * 2021-07-01 2023-01-05
CN117813573A (zh) * 2021-10-12 2024-04-02 索尼集团公司 信息处理系统、控制方法和控制程序
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11809630B1 (en) 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
EP4276825A1 (en) * 2022-05-12 2023-11-15 BIC Violex Single Member S.A. Writing instrument
CN115826770A (zh) * 2022-10-26 2023-03-21 瑞声开泰声学科技(上海)有限公司 触觉反馈方法和装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997020305A1 (en) * 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
JPH09206291A (ja) * 1996-02-02 1997-08-12 Japan Small Corp 人の感情・状態を検出する装置
GB2311888B (en) * 1996-04-01 2000-10-25 John Christian Doughty Nissen Tactile system for computer dynamic display and communication
JPH10111786A (ja) * 1996-10-03 1998-04-28 Sharp Corp リズム制御対話装置
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
US7159008B1 (en) 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
JP3824848B2 (ja) * 2000-07-24 2006-09-20 シャープ株式会社 通信装置および通信方法
JP2002314963A (ja) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> コミュニケーションシステム
JP3764663B2 (ja) * 2001-09-14 2006-04-12 独立行政法人電子航法研究所 心身診断システム
US7251605B2 (en) 2002-08-19 2007-07-31 The United States Of America As Represented By The Secretary Of The Navy Speech to touch translator assembly and method
US7155389B2 (en) 2002-11-12 2006-12-26 The United States Of America As Represented By The Secretary Of The Navy Discriminating speech to touch translator assembly and method
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP4232453B2 (ja) * 2002-12-18 2009-03-04 株式会社デンソー 通話音声のテキスト変換システム
JP3955950B2 (ja) * 2003-03-11 2007-08-08 独立行政法人産業技術総合研究所 音声情報伝達装置及び方法
EP1524586A1 (en) 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
US7376565B2 (en) 2003-12-15 2008-05-20 International Business Machines Corporation Method, system, and apparatus for monitoring security events using speech recognition
US20070299671A1 (en) * 2004-03-31 2007-12-27 Ruchika Kapur Method and apparatus for analysing sound- converting sound into information
JP2008508910A (ja) * 2004-07-28 2008-03-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 少なくとも２つのインタラクティブシステムを互いに競合させる方法及びインタラクティブシステム競合装置
JP2006047640A (ja) 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 情報伝達装置、電話機及び携帯電話機
US8867724B2 (en) * 2004-08-31 2014-10-21 At&T Intellectual Property I, L.P. Distinctive ring tones prompted by call urgency and context
JP2006109966A (ja) * 2004-10-13 2006-04-27 Ishisaki:Kk 音ゲーム機および携帯電話機
KR20060130897A (ko) * 2005-06-09 2006-12-20 엘지전자 주식회사 휴대 단말기의 무성음 통화 장치 및 방법
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
JP4941966B2 (ja) * 2006-09-22 2012-05-30 国立大学法人 東京大学 感情の判別方法、感情判別装置、雰囲気情報通信端末
US8650030B2 (en) * 2007-04-02 2014-02-11 Google Inc. Location based responses to telephone requests
US8315652B2 (en) * 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US9754078B2 (en) * 2007-06-21 2017-09-05 Immersion Corporation Haptic health feedback monitoring
US8290596B2 (en) * 2007-09-26 2012-10-16 Medtronic, Inc. Therapy program selection based on patient state
US8508486B2 (en) * 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
WO2009082765A1 (en) * 2007-12-25 2009-07-02 Personics Holdings Inc. Method and system for message alert and delivery using an earpiece
US8473081B2 (en) * 2007-12-25 2013-06-25 Personics Holdings, Inc. Method and system for event reminder using an earpiece
KR100952698B1 (ko) 2008-03-10 2010-04-13 한국표준과학연구원 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템
JP4613974B2 (ja) * 2008-03-28 2011-01-19 ソニー株式会社 通信機器および通信システム
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion

Also Published As

Publication number Publication date
EP2494425A1 (en) 2012-09-05
KR20120102655A (ko) 2012-09-18
KR101860281B1 (ko) 2018-05-21
JP5899116B2 (ja) 2016-04-06
CN109144255A (zh) 2019-01-04
JP2013509652A (ja) 2013-03-14
WO2011059703A1 (en) 2011-05-19
KR20190026970A (ko) 2019-03-13
JP5951688B2 (ja) 2016-07-13
US8902050B2 (en) 2014-12-02
JP2014211900A (ja) 2014-11-13
KR101735665B1 (ko) 2017-05-15
EP3352055A1 (en) 2018-07-25
CN102597914B (zh) 2018-09-14
JP2015156229A (ja) 2015-08-27
CN102597914A (zh) 2012-07-18
KR20180014880A (ko) 2018-02-09
KR101956796B1 (ko) 2019-03-12
US9275653B2 (en) 2016-03-01
JP2017085625A (ja) 2017-05-18
US20150084752A1 (en) 2015-03-26
KR20170056023A (ko) 2017-05-22
US20110102160A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
JP6510484B2 (ja) 音声／テキスト変換の触覚による拡張を目的とするシステムと方法
US9318006B2 (en) Systems and methods for haptic confirmation of commands
US7974392B2 (en) System and method for personalized text-to-voice synthesis
JP2017509917A (ja) 空間音響特性に少なくとも部分的に基づく動作指令の決定
CA2539649C (en) System and method for personalized text-to-voice synthesis
US11580978B2 (en) Machine learning for interpretation of subvocalizations
JP2019208138A (ja) 発話認識装置、及びコンピュータプログラム
JPWO2019163247A1 (ja) 情報処理装置、情報処理方法、および、プログラム
WO2018135304A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20220020387A1 (en) Interrupt for noise-cancelling audio devices
Yuksel et al. Designing mobile phones using silent speech input and auditory feedback
TWI833678B (zh) 真實多人應答情境下的生成式聊天機器人之系統及其方法
JPWO2017200075A1 (ja) 対話方法、対話システム、対話シナリオ生成方法、対話シナリオ生成装置、及びプログラム
JP2007336395A (ja) 音声処理装置及び音声通信システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190404

R150 Certificate of patent or registration of utility model

Ref document number: 6510484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250