JP5899116B2 - 音声−テキスト変換の触覚増強のためのシステム及び方法 - Google Patents

音声−テキスト変換の触覚増強のためのシステム及び方法 Download PDF

Info

Publication number
JP5899116B2
JP5899116B2 JP2012536981A JP2012536981A JP5899116B2 JP 5899116 B2 JP5899116 B2 JP 5899116B2 JP 2012536981 A JP2012536981 A JP 2012536981A JP 2012536981 A JP2012536981 A JP 2012536981A JP 5899116 B2 JP5899116 B2 JP 5899116B2
Authority
JP
Japan
Prior art keywords
signal
actuator
environmental sound
terminal device
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012536981A
Other languages
English (en)
Other versions
JP2013509652A (ja
Inventor
ロバート ダブリュ． ヒューベル、
ロバート ダブリュ． ヒューベル、
エリン ラムゼイ、
エリン ラムゼイ、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2013509652A publication Critical patent/JP2013509652A/ja
Application granted granted Critical
Publication of JP5899116B2 publication Critical patent/JP5899116B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Description

（関連出願の相互参照）
本出願は、２００９年８月２９日に出願された「音声−テキスト変換の触覚増強のためのシステム及び方法」という名称の、米国実用新案出願第12/608,707の優先権を主張するものであり、その全てを参照によって本出願に組み込む。
本発明は、全般的にはユーザインターフェースのためのシステム及び方法に関し、詳細には音声−テキスト変換の触覚増強のためのシステム及び方法に関する。
電子端末装置は、使用者に、視覚及び聴覚のフィードバックを含む、様々なフィードバックを提供する。使用者に触覚フィードバックを提供する端末装置もある。いくつかの例にあって、触覚フィードバックは、メッセージを受信する使用者に、メッセージ自体に明白ではない情報を提供する。例えば、テキストメッセージに変換される音声メッセージは、送信側使用者がメッセージのなかで表現されるトピックについて感じている感情のレベルを伝えること、あるいはそのメッセージに関する他の文脈上の情報を伝えることを失敗しているかもしれない。使用者は、メッセージの中に周知のシンボル（例えば、エモチコンemoticons）を添付することによってこの言外の意味を表現して、この空虚感を満たそうとしばしば試みる。しかし、そのようなシンボルは、彼らが伝えることができるメッセージの複雑さにとって、限界がある。これに対して、触覚フィードバックは、そのような言外の意味をより説得力のあるやり方で、他の使用者に表現する方法をより複合的及び直接的に提供する。
本発明は、音声−テキスト変換の触覚増強のためのシステム及び方法を含む。例えば、本発明の一具現化例は、マイクロフォンからの音声に関するオーディオ信号を受信するステップ、前記オーディオ信号の特徴を判断するステップ、及び前記特徴の少なくとも一部に基づいてアクチュエータ信号を生成するステップを備えるコンピュータにて実行される方法を含む。前記アクチュエータ信号は、アクチュエータに触覚効果を出力させるように構成される。他の具現化例は、そのような方法を実行するためのプロセッサによって実行されるプログラムコードにエンコードされるコンピュータ読取可能媒体を備える。
これら実例の具現化例は、発明を制限或いは定義するために言及されるものではなく、発明の理解を補助するための具体例を与えるものである。例示の具現化例は、発明の詳細な説明のなかで考察され、さらなる発明の説明がそこで提供される。本発明の様々な具現化例によって提案される利点は、この明細書を吟味することによってさらに理解される。
本発明のこれらのさらには他の特長、アスペクト、及び利点は、以下の発明の詳細な説明を添付の図面を参照しながら読むことでより理解される。
本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのシステムのブロック図である。 本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのシステムの模式図である。 本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのシステムのブロック図である。 本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのコンピュータにより実行される方法のフローチャートである。 本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのコンピュータにより実行される方法のフローチャートである。 本発明の一具現化例に係る音声−テキスト変換の触覚増強のためのコンピュータにより実行される方法のフローチャートである。
本発明の具現化例は、音声−テキスト変換の触覚増強のためのシステム及び方法を提供する。
音声−テキストの触覚増強のための実例のシステム
本発明の一実例の具現化例にあって、モバイル電話は、プロセッサと、このプロセッサと通信するマイクロフォン及びスピーカを備える。モバイル電話は、プロセッサと通信するアクチュエータも備える。アクチュエータは、モバイル電話の使用者によって知覚される触覚効果を出力する能力がある。使用者は、プロセッサがテキストメッセージに変換するボイスメッセージを記録するための電話を用いることができる。さらに、プロセッサは、メッセージの特長を判断するためにボイスメッセージを分析するように構成される。
例えば、一つのそのような具現化例にあって、使用者のボイスメッセージの周波数、振幅、及び持続期間が分析され、プロセッサはそれぞれのパラメータに対応する触覚効果を判断する。その後、プロセッサは、触覚効果或いは複数効果をメッセージのテキストバージョンと関連づけ、前記メッセージを意図される受取人に送信する。第２の具現化例にあって、ユーザのバイオリズムが分析され、プロセッサはそれらユーザのバイオリズム反応に対応する触覚効果を判断する。その後、上述のように、プロセッサは触覚効果或いは複数効果を前記メッセージのテキストバージョンと関連づけて、意図された受取人にそのメッセージを送信する。音声及びバイオリズム分析は、プロセッサによって同様に行われ、意図された受取人に送信される触覚効果の判定で達成される。
実例の具現化例にあって、受取人も触覚効果を出力する、偏芯回転質量（ＥＲＭ）モータのようなアクチュエータを備えるモバイル端末装置を有している。受取人がメッセージを開封すると、そのメッセージに関連する触覚効果又は複数効果がモバイル端末装置を介して受取人に出力される。
例えば、第１の使用者が大声を上げることによってメッセージを作り出す。プロセッサが前記ボイスメッセージを分析すると、プロセッサは、受取人がメッセージの中に埋め込まれている感情を「感じる」ことができるような高い振幅触覚効果付きの結果としてのテキストメッセージを関連付ける。他の例にあって、使用者がハイピッチの音声でボイスメッセージを作り出すと、プロセッサは結果として得られるテキストメッセージに高周波数触覚効果を関連付ける。
これらの実例の具現化例は、本明細書にあって考察される全体的な発明の手段を読者に紹介するために提供される。本発明は、これらの具現化例で制限されるものではない。以下のセクションは、音声−テキスト変換の触覚増強のためのシステム及び方法の様々な付加的な具現化例及び具体例を記述している。
音声−テキスト変換触覚増強のための実例システム
いくつかの図面にわたって同様の要素には同じ番号が付されている図を参照すると、図１は本発明の一つの具現化例に係る音声−テキスト変換の触覚増加用のシステムのブロック図を示す。図１に示すように、前記システムは、モバイル端末装置１００を備える。一具現化例にあって、モバイル端末装置１００は、モバイル電話を含む。他の具現化例にあって、モバイル端末装置１００は、携帯デジタル情報端末（ＰＤＡ）、携帯型メディアプレーヤ、携帯型ゲーム端末装置、或いはラップトップコンピュータのような、他の携帯或いはハンドヘルド電子端末装置を含む。いくつかの具現化例にあって、モバイル端末装置１００は、それよりむしろ、デスクトップコンピュータのような非携帯型電子端末装置を含んでもよい。
図１に示す具現化例にあって、モバイル端末装置１００は、マイクロフォン１０５を含む。マイクロフォン１０５は、使用者の声或いは環境音のようなオーディオを受信し、そのオーディオを対応する入力信号に変換する。前記入力信号は、マイクロフォンからのオーディオ信号の少なくとも一部に基づいている。図１に示される具現化例にあって、モバイル端末装置１００は、さらにバイオセンサ１０６をも備える。バイオセンサ１０６は、使用者のバイオリズムのような生物学的な情報を受け取り、前記生物学的な情報をバイオセンサデータの少なくとも一部に基づいた対応の入力信号に変換する。
モバイル端末装置１００は、前記マイクロフォン１０５と通信をするプロセッサ１１０をも含む。この図示される具現化例にあって、プロセッサ１１０はマイクロフォン１０５からのオーディオ信号を受け取り、さらに前記オーディオ信号を処理するように構成される。例えば、プロセッサ１１０は、オーディオ信号の一つ以上の特徴を判定するためにオーディオ信号を分析してもよい。他の具現化例にあって、モバイル端末装置１００は、協力して動作する複数のプロセッサを含んでもよい。そのようなプロセッサは、マイクロプロセッサ、デジタル信号処理（ＤＳＰ）、専用集積回路（ＡＳＩＣ）、フィールドプログラマブル（ＦＰＧＡｓ）、及びステートマシンを含む。そのようなプロセッサは、ＰＬＣｓ、プログラマブルインタラプトコントローラ（ＰＩＣｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、プログラマブルリードオンリィメモリ（ＰＲＯＭｓ）、電気的プログラマブルリードオンリィメモリ（ＥＰＲＯＭｓ或いはＥＥＰＲＯＭｓ）などのようなプログラマブル電気デバイスをさらに含む。
モバイル端末装置１００は、プロセッサ１１５と通信するアクチュエータ１１５をさらに備える。アクチュエータ１１５は、一つ以上の様々なタイプのアクチュエータを備えてもよい。例えば、アクチュエータ１１５は、ピエゾエレクトリックアクチュエータ、電気モータ、電気−磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏芯回転質量モータ（ＥＲＭ）、或いは線形共鳴アクチュエータ（ＬＲＡ）などでもよい。一具現化例にあって、モバイル端末装置１００は、複数のアクチュエータを備える。一具現化例にあっては、プロセッサ１１０は、複数のアクチュエータのうちの少なくとも一つに触覚信号を送信するように構成される。
図１をさらに参照すると、モバイル端末装置１００は、コンピュータ読取可能媒体１２０をも備える。コンピュータ読取可能媒体１２０は、プロセッサ１１０によって実行されるときには、プロセッサに本明細書にて開示される方法の様々なステップを実行させるプログラムコードを格納するためにも用いられる。本発明の具現化例は、デジタル電子回路にて実現されることもできるし、コンピュータハードウェア、ファームウェア、ソフトウェア、或いはそれらの組み合わせによっても実現される。ランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ読取媒体１２０は、プロセッサ１１０と通信するか、或いは結合する。プロセッサ１１０は、オーディオ信号を分析するために一つ以上のコンピュータプログラムを実行するように、コンピュータ読取可能媒体１２０に格納されているコンピュータ実行可能プログラム命令を実行する。
コンピュータ読取可能媒体の具現化例は、限定されるものではないが、電気的、光学的、磁気的、或いはモバイル端末装置１００におけるプロセッサ１１０のようなプロセッサに、コンピュータ読取可能な命令を提供することができる他の記憶媒体を含む。媒体の他の具体例は、限定されるものではないが、フレキシブルディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ，ＲＡＭ、ＡＳＩＣ，コンフィギャードプロセッサ（configured processor)、全ての光学的媒体、全ての磁気テープ或いは磁気媒体、或いはコンピュータのプロセッサが読み出すことのできる他のいかなる媒体をも含む。本明細書にあって、説明されるところの、プロセッサ及び処理は、一つ以上の構造であるか、或いは一つ以上の構造を介して分散されている。
図１に示される具現化例にあって、モバイル端末装置１００は、プロセッサ１１０と通信するスピーカ１２５をさらに備える。スピーカ１２５は、音声メッセージのようなオーディオ信号を出力するように構成される。一つの具現化例にあって、スピーカ１２５は、アクチュエータ１１５と組み合わされて、オーディオ信号及び触覚効果を共に出力してもよい。
図示されるようにモバイル端末装置１００は、ディスプレイ１４０をも備える。例えば、モバイル端末装置１００がＰＤＡであるような一具現化例にあって、ディスプレイ１４０は、メッセージを使用者に表示するためのタッチスクリーンインターフェースを含む。
モバイル端末装置１００は、プロセッサ１１０と通信するネットワークインターフェース１３５をも備える。ネットワークインターフェース１３５は、モバイル端末装置１００に遠隔端末装置１３０とネットワーク１５０を介して通信させる。例えば、一つの具現化例にあって、モバイル端末装置１００は、インターネットを介して他のモバイル端末装置又はコンピュータ又は他のテレコミュニケーションデバイスと通信してもよい。
図１に示される具現化例にあって、ネットワークインターフェース１３５は、ベースバンドプロセッサ及びモバイル端末装置１００に一つ以上のセルラーテレホンネットワークと通信をさせるように構成されるセルラーラディオを含む。いつくかの具現化例にあって、ネットワークインターフェース１３５は、他の通信端末装置を備えてもよい。例えば、一具現化例にあって、ネットワークインターフェース１３５は、８０２．１１無線イーサネット（登録商標）インターフェース、或いはブルートゥース(登録商標)インターフェースを含んでもよい。いくつかの具現化例にあって、ネットワークインターフェース１３５は、イーサネット（登録商標）アダプタのような有線ネットワークインターフェースを含んでもよい。モバイル端末装置１００は、メッセージ或いは信号を他のデバイスに送信するように構成される。
次に図２を参照する、図２は本発明の一具現化例に係る音声テキスト変換の触覚増強のためのシステムの模式図である。図２に示された具現化例にあって、モバイル電話２００は、マイクロフォン２０５及びディスプレイ２４０を備えている。モバイル電話はプロセッサ、アクチュエータ、コンピュータ読取可能媒体、及びネットワークインターフェースをモバイル電話２００内部にさらに備えるが、図２には示されていない。
図３を参照する、図３は本発明の一具現化例に係る音声テキスト変換器の触覚増強用システムのブロック図である。図３に示される具現化例にあって、システムは二つの端末装置であり、ネットワーク３８０を通して通信をする端末装置Ａ３００及び端末装置Ｂ３５０を備える。いくつかの具現化例にあって、第１の端末装置Ａ３００或いは第２の端末装置Ｂ３５０は、例えば携帯可能デジタルアシスタント（ＰＤＡ），携帯型媒体プレーヤ、携帯型ゲーム機、ラップトップコンピュータ、或いはモバイル電話のような携帯型或いは手で扱える電子端末装置を備える。他の具現化例にあって、第１の端末装置３００或いは第２の端末装置３５０は、デスクトップコンピュータのような非携帯型電子端末装置を含む。
図３に示される具現化例にあって、第１の端末装置３００は、プロセッサ３１０、コンピュータ読取可能媒体３１５、ネットワークインターフェース３２０、及びマイクロフォン／バイオセンサ３３５のような入力端末装置を含む。いくつかの具現化例にあって、第１の端末装置である、端末装置Ａ３００は、本具現化例よりも多くの或いは少ない部品数を有してもよい。例えば、端末装置Ａ３００は、ブルートゥース（登録商標）部品、タッチ−センシティブサーフェース、マウス、及び／又はキーボードのうちの一つ以上を含んでもよい。第１の端末装置Ａ３００の部品は、図１のモバイル端末装置１００に示され、説明された部品に対応するのと同様の仕様にて機能する。
図３に示された具現化例にあって、第２の端末装置である端末装置Ｂ３５０は、プロセッサ３６０、コンピュータ読取可能媒体３６５、ネットワークインターフェース３７０及びアクチュエータ３７５を含む。いくつかの具現化例にあって、第１の端末装置３００と第２の端末装置３５０は、類似の或いは同一の端末装置であるが、他の具現化例にあっては類似でも同一でもない。
図３に示された具現化例にあって、第１及び第２のデバイスプロセッサ３１０及び３６０は、それぞれのネットワークインターフェース３２０及び３７０と通信する。図示された具現化例にあって、ネットワークインターフェース３２０及び３７０は、それぞれが、端末装置３００及び３５０にネットワーク３８０を用いて相互に或いは他の端末装置と通信させるために構成されるベースバンドプロセッサとセルラーラディオを備える。例えば、そのような具現化例は、一つ以上のセルラーテレホンネットワークを含むネットワーク３８０を介して通信を行ってもよい。他の具現化例にあって、ネットワークインターフェース３２０は、例えば、８０２．１１無線イーサネット（登録商標）インターフェース、有線インターフェース、ブルートゥース（登録商標）或いはＵＳＢのような他のタイプのネットワークインターフェースを備えてもよい。例えば、一具現化例にあって、ネットワークインターフェース３２０は、８０２．１１無線イーサネット（登録商標）インターフェースを備えてもよい。
スピーチ−テキスト変換触覚増強の実例的な方法
図４乃至６は、本発明の具現化例に係る様々な方法を実例するフローチャートである。このフローチャートは、本発明の具現化例の実行のために様々な他の環境が用いられ、さらにいくつかの環境が本明細書にて説明されるが、図１に示されるモバイル端末装置に関して考察する。
図４は本発明の一具現化例に係る音声−テキスト変換の触覚増強用のコンピュータ実行可能な方法のフローチャートである。図４に示す触覚オーグメンテーション方法４００は、プロセッサによって入力信号が受信されたときに始まる（４０５）。一具現化例にあって、入力信号は、ユーザの音声によって生成されるような、音波のマイクロフォンの検知に応じたマイクロフォン１０５から受信される。他の具現化例にあって、入力信号はバイオセンサから受信される。さらに別の具現化例にあって、オーディオ信号は、ストレージ媒体から受信されてもよい。例えば、そのような具現化例にあって、オーディオ信号は、ユーザのボイスメールボックスにて／から受信される。
一旦、入力信号が受信されると、プロセッサ１１０は、入力信号の一つ以上の特徴を判断するためにその入力信号を分析する（４１０）。例えば、プロセッサ１１０は、オーディオ信号が特定の周波数及び／又は振幅を有するのを判断する。或いは、プロセッサ１１０は、バイオセンサ信号が特定のバイオリズムを持っていることを判断してもよい。
判断された少なくとも一部の特徴に基づいて、プロセッサ１１０は、次に、アクチュエータ信号を生成する（４１５）。一具現化例にあって、判断は、様々な特徴に関連する触覚効果のライブラリを探索することによって成し遂げられる。他の具現化例にあって、判断は計算に基づいてなされてもよい。いくつかの具現化例にあって、信号触覚効果が出力される。他の具現化例にあって、複数の信号触覚効果が出力されてもよい。
プロセッサ１１０は、次に前記アクチュエータ信号をアクチュエータ１１５に送信する（４２０）。アクチュエータ信号は、判断された特徴に関連した特定の触覚効果をアクチュエータに出力させるように構成される。一旦、アクチュエータ１１５が前記アクチュエータ信号を受信すると、アクチュエータ１１５は触覚効果を出力する。
次に図５を参照する。図５は、本発明の一具現化例に係る音声−テキスト変換の触覚増強用のコンピュータにより実行される方法のフローチャートである。プロセッサ１１０がマイクロフォン或いはバイオセンサのような入力端末装置から入力信号を受信すると、図５に示された触覚増強方法５００が始まる（５０５）。図示の具現化例にあっては、入力信号は、マイクロフォン１０５から受信される。
プロセッサ１１０は、入力信号の特徴を判断するために入力信号を分析する（５１０）。例えば、特徴は、周波数、振幅、継続期間、或いは他のオーディオ信号のパラメータであるかもしれない。或いは特徴は、人間の心拍、呼吸、体温或いはバイオリズムのような人間の生物学的な測定値であってもよい。
プロセッサ１１０は、入力信号の一つ以上の特徴の少なくとも一部に基づいた一つ以上のアクチュエータ信号を生成する（５１５）。各アクチュエータ信号は、アクチュエータに触覚効果を出力させるように構成される。
図示された具現化例にあって、一旦、アクチュエータ信号が生成されると、プロセッサ１１０は、そのアクチュエータ信号を一つ以上のアクチュエータに送信する（５２０）。例えば、単一のアクチュエータを備える一つの具現化例にあって、プロセッサ１１０は前記アクチュエータ信号をそのアクチュエータ（例えば、アクチュエータ１１５）のみに送信する。複数のアクチュエータを備える他の具現化例にあって、プロセッサ１１０は、単一のアクチュエータ信号を全てのアクチュエータに送信する。さらに他の具現化例にあって、プロセッサ１１０は、別個の、もしかすると異なった、アクチュエータ信号を複数のアクチュエータのそれぞれに送信する。
次に図６を参照する。図６は本発明の一具現化例に係る音声−テキスト変換の触覚効果増強用のコンピュータにより実行される方法のフローチャートである。図示の触覚増強方法６００にあって、プロセッサ１１０はオーディオ信号を受信する（６０５）。
次に、プロセッサ１１０は、オーディオ信号の特徴を判断し（６１０）、さらに前記オーディオ信号の少なくとも一部に基づいてアクチェエータ信号を生成する（６１５）。アクチュエータ信号は、アクチュエータ１１５に触覚効果を出力させるように構成される。
次に、プロセッサ１１０は、オーディオ信号に関連した単語を判断するために、スピーチ認識手段を利用する（６２０）。例えば、プロセッサ１１０は、単語リストを含み、オーディオ信号を単語にマッチするために、特徴に関連するデータストアにアクセスする。
図６に示された具現化例にあって、一旦、プロセッサ１１０がオーディオ信号に関連した単語を判断すると、プロセッサはその単語に関連したアクチュエータ信号を判断する（６２０）。例えば、アクチュエータ信号は、オーディオ信号に関連する単語を決定するために用いられるように、同じデータストアに格納されてもよい。他の具現化例にあって、データストアは、別個で異なる。さらに他の具現化例にあって、触覚回避単語が実装される。そのような具現化例にあって、使用者が特定の単語のシーケンスを言うと、触覚効果がそのシーケンスに関連付けられる。例えば、使用者が特定の触覚効果をトリガするために「ウィンク ウィンク」というと、触覚として参照されるかもしれない。
一旦、プロセッサ１１０が単語とアクチュエータ信号を判断すると、プロセッサ１１０は、それらをアクチュエータ１１５に送信する（６２５）。その単語及びアクチュエータ信号を受け取った端末装置は、続いてその触覚効果を出力することができる。
音声−テキスト変換触覚増強の実例の実装
本発明の具現化例は、様々な使用者体験を提供するための様々な方法にて実行される。以下の具現化例は、図１に関連して説明される。これらの具現化例のいくつかにあって、第１の使用者がメッセージを送信し、第２の使用者がメッセージを受け取ると想定し、両者が図１に例示されたモバイル端末装置１００を使用している。例えば、図１に示された具現化例にあって、送信側の使用者は、受信側使用者にモバイル端末装置１００を通してテキストメッセージを送信することを望んでいる。テキストメッセージをタイプするキーボードを用いる代わりに、送信側の使用者は、使用者側に送信されるテキストに変換される音声メッセージを有することを望む。この場合、送信側使用者は、マイクロフォン１０５に話をし、マイクロフォン１０５は対応するオーディオ信号を生成し、そのオーディオ信号をプロセッサ１１０に送信する。プロセッサ１１０は、同時に或いは実質的に同時に音声をテキストに変換する。そのような音声をテキストに変換する処理は、当業者には周知である。そのようなアプリケーションの一つは、Spin Voxという会社によって製造されている。
プロセッサ１１０は、送信側使用者のオーディオ信号を受信し、そのオーディオ信号の特徴を判断する。その特徴は、周波数、振幅、継続期間或いはオーディオ信号の他のパラメータである。プロセッサ１１０は、送信側使用者によって作られたオーディオ信号の特徴の少なくとも一つに基づいてアクチュエータ信号を生成する。プロセッサ１１０は、その後、アクチュエータ１１５にアクチュエータ信号を送信する。アクチュエータ信号は、アクチュエータ１１５に触覚効果を出力させる。その触覚効果は、使用者に感じられる。
例えば、送信側ユーザがモバイル端末装置１００のマイクロフォン１０５に向って大声をあげていると、プロセッサ１１０はそのオーディオ信号は高い振幅特徴を有すると判断する。プロセッサ１１０は、その後、アクチュエータ１１５に高い振幅の触覚効果を出力させるように構成される高い振幅のアクチュエータ信号を生成する。このように、触覚効果は、オリジナルのオーディオ信号の振幅特徴に対応する。
いくつかの具現化例にあって、プロセッサ１１０は、前記アクチュエータ信号及びオーディオ信号をアクチュエータ１１５及びスピーカ１２５にそれぞれ送信するように構成される。例えば、モバイル端末装置１００に向って大声をあげている第１の使用者及び対応する高振幅アクチュエータ信号を生成するプロセッサの前述の例に再度言及すれば、プロセッサ１１０は送信側使用者の叫び声からのオーディ信号とその結果として得られる高振幅アクチュエータ信号をスピーカ１２５及びアクチュエータ１１５にそれぞれ送信するように構成される。いくつかの具現化例にあって、スピーカ１２５は、触覚効果とそれに対応する音を両方とも生成する、アクチュエータ及びオーディオ信号を共に出力するように構成される。
別の具現化例にあって、プロセッサ１１０は、前記オーディオ信号に関連する単語を判断するために構成され、さらにその単語及び対応するアクチュエータ信号を遠隔端末装置１３０に送信する。例えば、そのような具現化例にあって、送信側使用者が「ANGRY」という大声をマイクロフォン１０５に向ってあげると、プロセッサ１１０は送信側使用者の大声からオーディオ信号を受信し、オーディオ信号の高振幅特徴を判断し、アクチュエータ１１５に高振幅触覚効果を出力させるように構成される高振幅アクチュエータ信号を生成する。プロセッサ１１０は、さらに単語「ANGRY」がオーディオ信号に関連しているのを判断もし、単語「ANGRY」及び高振幅アクチュエータ信号をコンピュータ読取可能媒体１２０に格納し、その後、前記単語「ANGRY」及び高振幅アクチュエータ信号を遠隔端末装置１３０に送信する。他の具現化例にあって、送信側使用者が、単語「ANGRY」をささやくか、普通の声のトーンで話しても、プロセッサ１１０は、自然な単語、すなわち会話の中のコンテンツに基づいた単語を伴う高振幅アクチュエータ信号を関連づけるかもしれない。
さらに、図１に示される具現化例にあって、プロセッサ１１０は、オーディオ信号の少なくとも一部分に基づいた複数の触覚効果を生成するように構成される。例えば、送信側使用者がマイクロフォン１０５に大声で「ANGRY」と叫んだ結果、高振幅アクチュエータ信号を生成するプロセッサ１１０に加えて、プロセッサ１１０は、高周波数触覚効果、長持続期間触覚効果、或いはオーディオ信号の少なくとも一部に基づいた触覚効果の組み合わせをも生成する。
一具現化例にあって、プロセッサ１１０は、前記特徴に関連した触覚効果ライブラリから触覚効果を識別することによってアクチュエータ信号を生成する。例えば、もし送信側使用者が語気を強めて「I AM EXCITED」とマイクロフォン１０５に向って叫ぶと、プロセッサ１１０は送信側使用者の叫びからオーディオ信号を受信し、オーディオ信号の高振幅、高周波数特徴を判断して、高振幅、高周波数アクチュエータ信号を、高振幅、高周波数特徴に関連した触覚効果ライブラリから、高振幅、高周波数を識別することによって生成する。
他の具現化例にあって、プロセッサ１１０は、オーディオ信号に関連した単語を判断し、さらにその単語の少なくとも一部に基づいてアクチュエータ信号を生成する。例えば、プロセッサ１１０が単語「LOVE」がオーディオ信号に関連していることを判断すると、プロセッサ１１０は、特定の触覚効果を伴う単語「LOVE」に関連する触覚効果ライブラリにて単語「LOVE」を識別することによってシミュレートされる心臓の鼓動触覚効果を引き起こすパルスアクチュエータ信号を生成する。
さらに別の具現化例にあって、プロセッサ１１０は、オーディオ信号の少なくとも一部及び単語の少なくとも一部に基づいたアクチュエータ信号を生成してもよい。例えば、送信側使用者が柔らかく、さらにはゆっくりと「LOVE」とマイクロフォン１０５に話しかけると、プロセッサ１１０は送信側使用者のステートメントからオーディオ信号を受信し、オーディオ信号の低振幅、低周波数特徴を判断し、低振幅、低周波数アクチュエータ信号を生成する。プロセッサ１１０は、さらに単語「LOVE」がオーディオ信号に関連していることを判断し、単語「LOVE」が特定の触覚効果に関連している触覚効果ライブラリにあって単語「LOVE」を識別することによってシミュレートされたハートビート触覚効果を引き起こすパルス化アクチュエータ信号を生成してもよい。プロセッサ１１０は、「LOVE」オーディオ信号の特徴によって、さらには単語「LOVE」の特徴によって判断される触覚効果を組み合わせるように構成されてもよく、低振幅、低周波数のシミュレートされたハートビート触覚効果という結果になる。
他の具現化例にあって、送信側使用者は、モバイル端末装置１００を通してメッセージを受信側使用者に送信することを望むかもしれない。送信側使用者は、モバイル端末装置１００のマイクロフォン１０５に「HAPPY BIRTHDAY」と話しかける。それに対して、プロセッサ１１０は、単語「HAPPY」及び「BIRTHDAY」がオーディオ信号に関連していることを判断し、さらに別々の触覚効果がそれぞれの単語に関連していることも判断する。プロセッサ１１０がそれぞれの単語と、触覚効果をアクチュエータ１１５に送信する。一具現化例にあって、プロセッサは、受信側使用者の端末装置に送信される「HAPPY BIRTHDAY」ソングに対応する触覚効果を引き起こすパルス化アクチュエータ信号を生成する。
他の具現化例にあって、モバイル端末装置１００のプロセッサ１１０は、オーディオ信号の少なくとも一部、及びオーディオ信号に含まれる単語の少なくとも一部に基づいてアクチュエータ信号を生成する。例えば、送信側使用者が「CAT」と柔らかくさらにはゆっくりとモバイル端末装置１００のマイクロフォン１０５に話しかけると、プロセッサ１１０は送信側使用者のステートメントからオーディオ信号を受け取り、オーディオ信号の低振幅、低周波数特徴を判断し、低振幅、低周波数のアクチュエータ信号を生成する。代替的に、プロセッサ１１０は、単語「CAT」がオーディオ信号に関連していると判断し、さらに、ゴロゴロというのどを鳴らす触覚効果を引き起こす速いパルス化アクチュエータ信号を生成する。
さらに他の具現化例にあって、図３を参照すると、送信側使用者は、例えばモバイル電話を含む第１の端末装置３００のマイクロフォンのような入力端末装置３３５に「HELP」と叫ぶ。第１の端末装置３００のプロセッサ３１０は、マイクロフォン３３５からオーディオ信号を受信し、オーディオ信号の高振幅、短い持続期間特徴を判断し、高振幅、短持続期間のアクチュエータ信号を生成する。同様に、第１の端末装置３００のプロセッサ３１０は、オーディオ信号に関連している単語「HELP」を判断し、さらにコンピュータ読取可能媒体３１５に単語「HELP」及びアクチュエータ信号を格納するように構成される。さらに、第１の端末装置３００のプロセッサ３１０は、高振幅、短持続期間特徴に関連された触覚効果ライブラリから高振幅、短持続期間触覚効果を識別することによって、高振幅、短持続期間アクチュエータ信号を生成するように構成される。同様に、第１の端末装置３００のプロセッサ３１０は、単語「HELP」が特定の触覚効果に関連している触覚効果ライブラリにあって単語「HELP」を識別することによってパルス化されたモールスコードＳ．Ｏ．Ｓ．触覚効果（ドット−ドット−ドット ロング−ロング−ロング ドット−ドット−ドット）を引き起こす、高振幅、短持続期間アクチュエータ信号を生成するように構成される。
図３を参照した、さらに他の具現化例にあって、第１の端末装置３００は、送信側端末装置であり、さらにその端末装置が、その端末装置が自動的に、触覚、聴覚及び／又は視覚メッセージを第２の受信側端末装置３５０に、予め定義された環境的な音に基づいて送信するところの、自動的な「リスニング」反応モードにあるように、構成される。例えば、警察官が、自動的な「リスニング」反応モードにある彼のモバイル端末装置を用いた送信側使用者であると、そのモバイル端末装置は、発砲音が警察官の端末装置によって識別されると、支援或いは警官のバックアップのリクエストが自動的に送信されるように構成される。このリスニングモードの他の具現化例にあって、警察官の端末装置は、警察官のバイオリズムを聞きだして、警察官が医療手当てを必要としているのを判断し、救急車のリクエストを自動的に送信する。これらのリクエストの送信は、特別で、局所的な任務であるかもしれない。例えば、前記送信は、その警察官のチームメンバのような、近くの一人以上の受け取り者に向けられるかもしれない。例えば、警察官のグループが逃亡者の共同捜索をしているときに、警察官の一人が、逃亡者を突き止めると、警察官の「リスニング」モードの端末装置は、逃亡者の位置に近い警察官を助けることのできる周辺の警察官に自動的なメッセージを送信する。そのような特徴は、警察官が逃亡者と闘っているときや、逃亡者を追いかけているときのような肉体的にこの情報を同僚の警察官に通信するのが困難なときに、非常に助けになる。
そのような具現化例にあって、結果として生じるオーディオ信号、単語、アクチュエータ信号、及び／又は触覚効果は、第１の端末装置３００から第２の端末装置３５０に、それらの各ネットワークインターフェース３２０及び３７０、さらにはネットワーク３８０を介して送信される。例えば、単語「HELP」及び単語「HELP」に関連した高振幅、短持続時間モールスコードＳ．Ｏ．Ｓ．触覚効果は、モバイル電話を含む第１の端末装置３００から、モバイル電話を含む第２の端末装置３５０に、テレコミュニケーションネットワークを含むネットワーク３８０を介して送信される。このように、第１の端末装置３００の送信側使用者は、触覚効果を伴った音声−テキストメッセージを第２の端末装置３５０の受信側使用者に送信することができる。他の具現化例にあって、オーディオ信号のみが第１の端末装置３００から第２の端末装置３５０に送信され、第２の端末装置３５０がその送信されてきた信号を分析して関連する触覚効果を生成してもよい。
実装の実例的な環境
本発明の具現化例は、障害者用のテレコミュニケーションのコンテキストで、好都合に利用される。例えば、具現化例は、聴覚或いは発話の困難を有する人々を、電話線を通したテキスト通信用電子端末装置によって支援するＴＴＹ（テレホンタイプライタ）アプリケーションにあって役に立つ。障害のある人が、伝統的なＴＴＹ端末装置を用いると、メッセージの感情とフィーリングがそのままのテキストであるために一般的に失われる。本発明の具現化例を用いることにより、障害のある人は、マイクロフォンに話しかけ、メッセージに関連した感情的なフィーリングが失われてしまう伝統的なＴＴＹ端末装置にテキストメッセージを直接的にタイピングする代わりに触覚効果を介して音声−テキスト変換の背後に感情を保つ。
本発明の具現化例は、ＳＭＳテキストメッセージのコンテキストでも好都合に利用される。例えば、多くの州は、自動車運転中にモバイル電話のテキストメッセージングと通話を禁止しているが、その同じ州は通常、ワイアレスブルートゥースイアピース端末或いは有線マイクロフォン及びイアーピース端末のようなハンドフリーデバイスの使用を、運転中の通話のために、運転者に許容している。これらのハンドフリーデバイスは、しかし、自動車運転の間、テキストメッセージの送信を支援しない。本発明の具現化例を用いることにより、運転者はマイクロフォンに話しかけ、音声メッセージを触覚効果に関連したテキストメッセージに変換する。本発明の具現化例は、運転者に法的にも安全面でも、運転中にテキストメッセージを送信させることを許容するが、テキストメッセージは触覚効果を介して音声メッセージから感情を保有し、送信側使用者に受信側使用者への感情の通信を許容する。
本発明の具現化例は、オンラインチャットコンテキスト或いは電子メールコンテキストにあって好都合に利用される。送信側使用者は、マイクロフォンに話しかけることができ、インターネットを介して受信側使用者に送信されるチャット或いは電子メール用にテキストメッセージに変換された音声メッセージを有する。ボイスメッセージ、或いは結果的に得られるチャットメッセージ或いは電子メールの単語に関連した触覚効果は、皮肉、誠実、或いは怒りのような広く様々な感情、及び他のコンテンツ及び伝達される言外の意味を許容しながら、チャットメッセージ或いは電子メールと共に送信される。この具現化例は、送信側使用者により自由に所望のメッセージをコンピュータネットワークを介して表現させる。
本発明の具現化例は、医療のコンテキストにあっても好都合に利用される。例えば、四肢麻痺の人或いは障害のある人である患者は、ボイスメッセージの使用及び触覚反応の受信により、コンピュータ或いは電話を利用することができる。ベッドがコンピュータと無線的に接続される一つ以上のアクチュエータが装備される。送信側或いは受信側使用者からのテキストメッセージに変換されたボイスメッセージに依存して、様々な触覚効果が入力及び出力される。同様の利点が、使用者が視覚及び／又は聴覚障害のある人でも、利用される通信チャンネルの数を低減するか或いは制限することによって、達成される。本発明の具現化例は、音響的或いは視覚的反応が邪魔されるような騒音或いは明るい環境にあっても好都合に利用される。例えば、本発明の一具現化例にあって、転倒した老人が、本発明の具現化例から、触覚フィードバックを、支援が必要な、或いは必要となりつつある、緊急の事態を示すために、送信或いは受信する。
本発明のいくつかの具現化例にあっては、軍事コンテキストにあっても有用である。例えば、転用動作にあって、オーディオチャンネルは、通信の特定のタイプを制限するか、或いは利用されない。本発明の一具現化例にあって、使用者は、ボイスメッセージを送ることができない軍事行動から触覚確認のテキストメッセージを得ることができるかもしれない。例えば、兵士は、テキストに変換され、テキストと触覚効果にて他の兵士に送信される命令への反応を声に出すことができる。そのような具現化例にあって、兵士は、一人以上の兵士の間の効果的な通信を許容する触覚効果の既定のセットを利用してもよい。例えば、司令官が口頭通信が安全だと考えられる領域におり、敵の陣地を通る兵士の隊の前進を監視している。司令官は、兵士が左に曲がるべきであることを示す口頭命令を出す。音声命令は、認識され、兵士にテキストメッセージ及び触覚効果として送信される。
一般原則
この発明は、いくつかの好ましい具現化例にて説明されてきたが、それらの具現化例の修正、置換及び等価は、明細書の読解と図面の研究により当業者にとって明らかである。例えば、ゲームプログラム、仮想現実プログラム及び環境、ビジネス会議のための電話会議アプリケーション、コンピュータネットワーク或いは他の通信チャンネルを用いた電話タイプの音声通信などの多くの異なるアプリケーションプログラムが本発明の音声−テキストメッセージ機能を用いることができる。さらに、ある種の専門用語は、記述的明確さの目的のために用いられるものであり、本発明を制限するためではない。以下に添付される特許請求の範囲が、そのような修正、置換、等価のすべてを本発明の真の精神及び範囲内における概念として含む。
このように、本発明の好ましい具現化例を含む具現化例の前述の説明は、実例及び説明の目的だけのためになされ、正確な開示された形式に発明を排他的にすること、制限することを意図したものではない。本発明の多くの変形及び適合が、当業者により、本発明の精神及び範囲からそれることなく理解されることが明らかである。

Claims (18)

  1. マイクロフォンから入力される音声及び／又は環境音信号を受信することと、
    バイオセンサから入力されるバイオリズム信号を受信することと、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴を判断することと、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいてアクチュエータ信号を生成することと、
    前記音声信号及び／又は前記環境音信号に関連する単語をスピーチ認識手段を用いて判断することと、
    前記単語及び前記アクチュエータ信号を遠隔端末装置に送信することと、
    前記単語及び前記アクチュエータ信号に基づいて前記遠隔端末装置のアクチュエータに、前記音声信号及び／又は前記環境音信号の特徴と前記単語の特徴とを組み合わせた触覚効果を出力させることと
    を備えるコンピュータによって実行される方法。
  2. 前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴は、周波数、振幅、或いは持続期間の内の一つを含む請求項１記載のコンピュータによって実行される方法。
  3. 前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴は高振幅を含み、さらに前記アクチュエータ信号は対応的に高振幅アクチュエータ信号を含む請求項２記載のコンピュータによって実行される方法。
  4. 前記音声信号及び／又は前記環境音信号及び前記アクチュエータ信号を出力するために構成される端末装置に前記音声信号及び／又は前記環境音信号及び前記アクチュエータ信号を送信することをさらに備える請求項１記載のコンピュータによって実行される方法。
  5. 前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいて複数の触覚効果を生成することをさらに備える請求項１記載のコンピュータによって実行される方法。
  6. 前記アクチュエータ信号を生成することは、前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴に関連した触覚効果ライブラリから触覚効果を選択することを備える請求項１記載のコンピュータによって実行される方法。
  7. プロセッサによって実行されるプログラムコードにエンコードされるコンピュータ読取可能媒体であり、
    前記コンピュータ読取可能媒体は、
    マイクロフォンから入力される音声及び／又は環境音信号を受信するためのプログラムコードと、
    バイオセンサから入力されるバイオリズム信号を受信するためのプログラムコードと、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴を判断するためのプログラムコードと、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいたアクチュエータ信号を生成するためのプログラムコードと、
    前記音声及び／又は環境音信号に関連する単語をスピーチ認識手段に基づいて判断するためのプログラムコードと、
    前記単語及び前記アクチュエータ信号を遠隔端末装置に送信するためのプログラムコードと
    前記単語及び前記アクチュエータ信号に基づいて前記遠隔端末装置のアクチュエータに、前記音声及び／又は前記環境音信号の特徴と前記単語の特徴とを組み合わせた触覚効果を出力させるためのプログラムコードと
    を備えるコンピュータ読取可能媒体。
  8. 前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴は、周波数、振幅、或いは持続期間の内の一つを含む請求項７記載のコンピュータ読取可能媒体。
  9. 前記音声信号及び／又は前記環境音信号及び前記アクチュエータ信号を出力するように構成される端末装置に前記音声信号及び／又は前記環境音信号及び前記アクチュエータ信号を送信するためのプログラムコードをさらに備える請求項７記載のコンピュータ読取可能媒体。
  10. 前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいて複数の触覚効果を生成するためのプログラムコードと
    をさらに備える請求項７記載のコンピュータ読取可能媒体。
  11. メモリと、
    前記メモリと通信するプロセッサであり、さらに、
    マイクロフォンから入力される音声及び／又は環境音信号を受信するため、
    バイオセンサから入力されるバイオリズム信号を受信するため、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴を判断するため、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいたアクチュエータ信号を生成するため
    に形成されるプロセッサと
    前記マイクロフォンと、
    前記バイオセンサと
    をさらに備え、
    前記プロセッサは、さらに
    前記音声及び／又は環境音信号に関連する単語をスピーチ認識手段に基づいて判断するため、
    前記単語及び前記アクチュエータ信号を遠隔端末装置に送信するため に構成され、
    前記遠隔端末装置のアクチュエータは、前記単語及び前記アクチュエータ信号に基づいて、前記音声及び／又は前記環境音信号の特徴と前記単語の特徴とを組み合わせた触覚効果を出力する、システム。
  12. 前記プロセッサは、さらに前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいて複数の触覚効果を生成するために構成される請求項１１記載のシステム。
  13. 前記プロセッサは、さらに前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴に関連する触覚効果ライブラリから触覚効果を識別することによって前記アクチュエータ信号を生成するように構成される請求項１１記載のシステム。
  14. 前記メモリ、プロセッサ、及びアクチュエータを収容するためのハウジングをさらに備える請求項１１記載のシステム。
  15. 前記プロセッサに接続されてメッセージを使用者に表示し、かつユーザによりタッチされるタッチクスリーンインターフェースとしてのディスプレイをさらに備え、前記アクチュエータは前記アクチュエータ信号に基づいて触覚効果を発生する請求項１１記載のシステム。
  16. ネットワークを介して接続される送信側端末装置と受信側端末装置との少なくとも二つの端末装置によって構成されるシステムであって、
    前記送信側端末装置は、少なくとも
    メモリと、
    前記メモリと通信するプロセッサであり、さらに、
    マイクロフォンから入力される音声及び／又は環境音信号を受信するため、
    バイオセンサから入力されるバイオリズム信号を受信するため、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴を判断するため、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいたアクチュエータ信号を生成し、アクチュエータに送信するため、
    に形成されるプロセッサと、
    前記マイクロフォンと、
    前記バイオセンサと、
    前記アクチュエータ信号を前記受信側端末装置に前記ネットワークを介して送信するためのネットワークインターフェースと、
    前記プロセッサと通信する、前記アクチュエータ信号を受信し、触覚効果を出力するように構成されるアクチュエータをさらに備え、
    前記プロセッサは、さらに
    前記音声及び／又は環境音信号に関連する単語をスピーチ認識手段に基づいて判断するため、
    前記単語及び前記アクチュエータ信号を前記受信側端末装置に送信するため
    に構成され、
    前記受信側端末装置は、少なくとも
    メモリと、
    前記送信側端末装置から送信された前記アクチュエータ信号を前記ネットワークを介して受信するためのネットワークインターフェースと、
    前記メモリと通信するプロセッサであり、さらに
    前記ネットワークインターフェースを介して受信した前記アクチュエータ信号に対応する触覚効果を判断するため、
    前記判断した触覚効果をアクチュエータに出力させるため、
    に形成されるプロセッサと、
    前記プロセッサで判断された触覚効果を出力する前記アクチュエータと
    を備えてなり、
    前記受信側端末装置は、前記プロセッサに接続されてメッセージを使用者に表示し、かつユーザによりタッチされるタッチクスリーンインターフェースとしてのディスプレイをさらに備え、前記アクチュエータは前記単語及び前記アクチュエータ信号に基づいて、前記音声及び／又は前記環境音信号の特徴と前記単語の特徴とを組み合わせた触覚効果を発生する、システム。
  17. ネットワークを介して接続される送信側端末装置と受信側端末装置との少なくとも二つの端末装置によって構成されるシステムによって実行される方法であって、
    前記送信側端末装置は、プロセッサを備え、少なくとも
    マイクロフォンから入力される音声及び／又は環境音信号を受信することと、
    バイオセンサから入力されるバイオリズム信号を受信することと、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴を判断することと、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいたアクチュエータ信号を生成することと、
    前記音声及び／又は環境音信号に関連する単語をスピーチ認識手段に基づいて判断することと、
    前記単語及び前記生成したアクチュエータ信号を前記受信側端末装置に前記ネットワークを介して送信することと、
    を前記プロセッサにより実行し、
    前記受信側端末装置は、プロセッサを備え、少なくとも
    前記送信側端末装置から送信された前記単語及び前記アクチュエータ信号を受信することと、
    前記受信した前記アクチュエータ信号に対応する触覚効果を判断することと、
    前記判断した触覚効果をアクチュエータに出力させることと
    を前記プロセッサにより実行し、
    前記受信側端末装置が備えるタッチスクリーンインターフェースに、前記単語に基づいてメッセージを表示させ、前記単語及び前記アクチュエータ信号に基づいて前記アクチュエータを介して、前記音声及び／又は前記環境音信号の特徴と前記単語の特徴とを組み合わせた触覚効果を発生させる、方法。
  18. ネットワークを介して接続される送信側端末装置と受信側端末装置との少なくとも二つの端末装置のそれぞれのプロセッサによって実行されるプログラムコードにエンコードされるコンピュータ読取可能媒体であり、
    前記送信側端末装置側では、前記プロセッサにより実行される、少なくとも
    マイクロフォンから入力される音声及び／又は環境音信号を受信するためのプログラムコードと、
    バイオセンサから入力されるバイオリズム信号を受信するためのプログラムコードと、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴を判断するためのプログラムコードと、
    前記音声信号、前記環境音信号及び／又は前記バイオリズム信号の特徴の少なくとも一部に基づいたアクチュエータ信号を生成するためのプログラムコードと、
    前記音声及び／又は環境音信号に関連する単語をスピーチ認識手段に基づいて判断するためのプログラムコードと、
    前記生成したアクチュエータ信号及び前記単語を前記受信側端末装置に前記ネットワークを介して送信するためのプログラムコードを含み、
    前記受信側端末装置側では、前記プロセッサにより実行される、少なくとも
    前記送信側端末装置から送信された前記アクチュエータ信号及び前記単語を受信するためのプログラムコードと、
    前記受信した前記アクチュエータ信号に対応する触覚効果を判断するためのプログラムコードと、
    前記判断した触覚効果をアクチュエータに出力させるためのプログラムコードを含み、
    前記受信側端末装置が備えるタッチスクリーンインターフェースに、前記単語に基づいてメッセージを表示させ、前記単語及び前記アクチュエータ信号に基づいて前記アクチュエータを介して、前記音声及び／又は前記環境音信号の特徴と前記単語の特徴とを組み合わせた触覚効果を発生させる、コンピュータ読取可能媒体。
JP2012536981A 2009-10-29 2010-10-27 音声−テキスト変換の触覚増強のためのシステム及び方法 Expired - Fee Related JP5899116B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/608,707 US8902050B2 (en) 2009-10-29 2009-10-29 Systems and methods for haptic augmentation of voice-to-text conversion
US12/608,707 2009-10-29
PCT/US2010/054212 WO2011059703A1 (en) 2009-10-29 2010-10-27 Systems and methods for haptic augmentation of voice-to-text conversion

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2014138037A Division JP5951688B2 (ja) 2009-10-29 2014-07-03 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2015077388A Division JP2015156229A (ja) 2009-10-29 2015-04-06 音声−テキスト変換の触覚増強のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2013509652A JP2013509652A (ja) 2013-03-14
JP5899116B2 true JP5899116B2 (ja) 2016-04-06

Family

ID=43382350

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2012536981A Expired - Fee Related JP5899116B2 (ja) 2009-10-29 2010-10-27 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2014138037A Expired - Fee Related JP5951688B2 (ja) 2009-10-29 2014-07-03 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2015077388A Pending JP2015156229A (ja) 2009-10-29 2015-04-06 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2016251317A Active JP6510484B2 (ja) 2009-10-29 2016-12-26 音声／テキスト変換の触覚による拡張を目的とするシステムと方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2014138037A Expired - Fee Related JP5951688B2 (ja) 2009-10-29 2014-07-03 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2015077388A Pending JP2015156229A (ja) 2009-10-29 2015-04-06 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2016251317A Active JP6510484B2 (ja) 2009-10-29 2016-12-26 音声／テキスト変換の触覚による拡張を目的とするシステムと方法

Country Status (6)

Country Link
US (2) US8902050B2 (ja)
EP (2) EP2494425A1 (ja)
JP (4) JP5899116B2 (ja)
KR (4) KR20190026970A (ja)
CN (2) CN109144255A (ja)
WO (1) WO2011059703A1 (ja)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US8686864B2 (en) 2011-01-18 2014-04-01 Marwan Hannon Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle
US8718536B2 (en) 2011-01-18 2014-05-06 Marwan Hannon Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
JP6081705B2 (ja) * 2012-02-03 2017-02-15 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 波形を利用した音響−触覚効果変換システム
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) * 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US20140129347A1 (en) * 2012-11-05 2014-05-08 Anantha Pradeep Intelligent and informed advertisement creation
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US10504339B2 (en) 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
JP6276385B2 (ja) 2013-04-26 2018-02-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ フレキシブルディスプレイのための、受動的剛性及び能動的変形の触覚出力装置
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US20150079563A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Nonverbal audio cues during physical activity
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US20150179188A1 (en) * 2013-12-20 2015-06-25 Speech Morphing, Inc. Method and apparatus for hearing impaired assistive device
US9652946B2 (en) * 2014-05-02 2017-05-16 Novasentis, Inc. Hands-free, wearable vibration devices and method
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US20160125709A1 (en) * 2014-10-31 2016-05-05 Novasentis, Inc. Haptics wristband
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9466188B2 (en) 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
WO2016138144A2 (en) * 2015-02-25 2016-09-01 Immersion Corporation Systems and methods for providing context-sensitive haptic notification frameworks
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
CA2992459A1 (en) 2015-07-14 2017-01-19 Driving Management Systems, Inc. Detecting the location of a phone using rf wireless and ultrasonic signals
EP3147538A1 (en) 2015-09-23 2017-03-29 Inovacor Ab Compound planet gear arrangement and drive train arrangement
US20170193767A1 (en) * 2015-12-30 2017-07-06 Parihug Haptic communication device and system for transmitting haptic interaction
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
KR101862337B1 (ko) * 2016-03-24 2018-05-31 주식회사 닷 정보 출력 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP6401758B2 (ja) * 2016-08-25 2018-10-10 株式会社ファセテラピー 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
WO2018048907A1 (en) * 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10154360B2 (en) * 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US9997086B1 (en) * 2017-11-29 2018-06-12 Richard P. Braden Handheld communication device and method(s) of use
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10360775B1 (en) * 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands
JP7028976B2 (ja) * 2018-07-10 2022-03-02 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、及びその制御方法
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
WO2020254788A1 (en) 2019-06-21 2020-12-24 Cirrus Logic International Semiconductor Limited A method and apparatus for configuring a plurality of virtual buttons on a device
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
JPWO2023276130A1 (ja) * 2021-07-01 2023-01-05
CN117813573A (zh) * 2021-10-12 2024-04-02 索尼集团公司 信息处理系统、控制方法和控制程序
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11809630B1 (en) 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
EP4276825A1 (en) * 2022-05-12 2023-11-15 BIC Violex Single Member S.A. Writing instrument
CN115826770A (zh) * 2022-10-26 2023-03-21 瑞声开泰声学科技(上海)有限公司 触觉反馈方法和装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0864145A4 (en) * 1995-11-30 1998-12-16 Virtual Technologies Inc TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE
JPH09206291A (ja) * 1996-02-02 1997-08-12 Japan Small Corp 人の感情・状態を検出する装置
GB2311888B (en) * 1996-04-01 2000-10-25 John Christian Doughty Nissen Tactile system for computer dynamic display and communication
JPH10111786A (ja) * 1996-10-03 1998-04-28 Sharp Corp リズム制御対話装置
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
JP3824848B2 (ja) * 2000-07-24 2006-09-20 シャープ株式会社 通信装置および通信方法
JP2002314963A (ja) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> コミュニケーションシステム
JP3764663B2 (ja) * 2001-09-14 2006-04-12 独立行政法人電子航法研究所 心身診断システム
US7251605B2 (en) * 2002-08-19 2007-07-31 The United States Of America As Represented By The Secretary Of The Navy Speech to touch translator assembly and method
US7155389B2 (en) * 2002-11-12 2006-12-26 The United States Of America As Represented By The Secretary Of The Navy Discriminating speech to touch translator assembly and method
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP4232453B2 (ja) * 2002-12-18 2009-03-04 株式会社デンソー 通話音声のテキスト変換システム
JP3955950B2 (ja) * 2003-03-11 2007-08-08 独立行政法人産業技術総合研究所 音声情報伝達装置及び方法
EP1524586A1 (en) 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
US7376565B2 (en) * 2003-12-15 2008-05-20 International Business Machines Corporation Method, system, and apparatus for monitoring security events using speech recognition
US20070299671A1 (en) * 2004-03-31 2007-12-27 Ruchika Kapur Method and apparatus for analysing sound- converting sound into information
JP2008508910A (ja) * 2004-07-28 2008-03-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 少なくとも２つのインタラクティブシステムを互いに競合させる方法及びインタラクティブシステム競合装置
JP2006047640A (ja) 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 情報伝達装置、電話機及び携帯電話機
US8867724B2 (en) * 2004-08-31 2014-10-21 At&T Intellectual Property I, L.P. Distinctive ring tones prompted by call urgency and context
JP2006109966A (ja) * 2004-10-13 2006-04-27 Ishisaki:Kk 音ゲーム機および携帯電話機
KR20060130897A (ko) * 2005-06-09 2006-12-20 엘지전자 주식회사 휴대 단말기의 무성음 통화 장치 및 방법
CN104063056B (zh) 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
JP4941966B2 (ja) * 2006-09-22 2012-05-30 国立大学法人 東京大学 感情の判別方法、感情判別装置、雰囲気情報通信端末
US8650030B2 (en) * 2007-04-02 2014-02-11 Google Inc. Location based responses to telephone requests
US8315652B2 (en) * 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US9754078B2 (en) * 2007-06-21 2017-09-05 Immersion Corporation Haptic health feedback monitoring
EP2207590A1 (en) * 2007-09-26 2010-07-21 Medtronic, INC. Therapy program selection
US8508486B2 (en) * 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
WO2009082765A1 (en) * 2007-12-25 2009-07-02 Personics Holdings Inc. Method and system for message alert and delivery using an earpiece
US8473081B2 (en) * 2007-12-25 2013-06-25 Personics Holdings, Inc. Method and system for event reminder using an earpiece
KR100952698B1 (ko) 2008-03-10 2010-04-13 한국표준과학연구원 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템
JP4613974B2 (ja) * 2008-03-28 2011-01-19 ソニー株式会社 通信機器および通信システム
US10254824B2 (en) * 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion

Also Published As

Publication number Publication date
JP5951688B2 (ja) 2016-07-13
CN109144255A (zh) 2019-01-04
JP2015156229A (ja) 2015-08-27
EP2494425A1 (en) 2012-09-05
JP2014211900A (ja) 2014-11-13
US9275653B2 (en) 2016-03-01
JP2013509652A (ja) 2013-03-14
US20110102160A1 (en) 2011-05-05
KR20170056023A (ko) 2017-05-22
KR101735665B1 (ko) 2017-05-15
JP2017085625A (ja) 2017-05-18
CN102597914B (zh) 2018-09-14
EP3352055A1 (en) 2018-07-25
US20150084752A1 (en) 2015-03-26
KR101956796B1 (ko) 2019-03-12
WO2011059703A1 (en) 2011-05-19
KR101860281B1 (ko) 2018-05-21
JP6510484B2 (ja) 2019-05-08
KR20120102655A (ko) 2012-09-18
CN102597914A (zh) 2012-07-18
KR20180014880A (ko) 2018-02-09
KR20190026970A (ko) 2019-03-13
US8902050B2 (en) 2014-12-02

Similar Documents

Publication Publication Date Title
JP5951688B2 (ja) 音声−テキスト変換の触覚増強のためのシステム及び方法
Sawhney et al. Nomadic radio: speech and audio interaction for contextual messaging in nomadic environments
US20220295194A1 (en) Interactive system for hearing devices
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
US9318006B2 (en) Systems and methods for haptic confirmation of commands
EP2385520A2 (en) Method and device for generating text from spoken word
JP2017509917A (ja) 空間音響特性に少なくとも部分的に基づく動作指令の決定
CA2539649C (en) System and method for personalized text-to-voice synthesis
JP2023548157A (ja) 通話およびオーディオメッセージからのその他の話者の音声フィルタリング
KR102063389B1 (ko) 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법
Sawhney Contextual awareness, messaging and communication in nomadic audio environments
TWI833678B (zh) 真實多人應答情境下的生成式聊天機器人之系統及其方法
US11935557B2 (en) Techniques for detecting and processing domain-specific terminology
Campbell et al. Expressivity in interactive speech synthesis; some paralinguistic and nonlinguistic issues of speech prosody for conversational dialogue systems
CN117171323A (zh) 真实多人应答情境下的生成式聊天机器人的系统及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160307

R150 Certificate of patent or registration of utility model

Ref document number: 5899116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees