JP6794483B2 - 音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法 - Google Patents

Description

本発明は、概して触覚フィードバックに関し、より詳細には音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法に関する。

（関連出願の相互参照）
本願は、２０１３年９月６日に提出され、“Ａｕｄｉｏ ｔｏ Ｈａｐｔｉｃｓ”と題された米国仮出願第６１／８７４，９３３号への優先権を主張し、その全体は参照により本明細書に組み込まれる。

本願は、同日付で提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ Ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ
ａｎ Ｔｒａｎｓｉｔｉｏｎｓ ｉｎ Ａｕｄｉｏ Ｓｉｇｎａｌｓ”（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４７７（５１８５１−８７９６２３））と題された米国特許出願第１４／０７８，４３８号に関連し、その全体は参照により本明細書に組み込まれる。

本願は、同日付で提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ Ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ
Ａｕｄｉｏ Ｓｉｇｎａｌｓ”（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４７９（５１８５１−８７９６２２））と題された米国特許出願第１４／０７８，４４５号に関連し、その全体は参照により本明細書に組み込まれる。

タッチ可能装置の人気が高まってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯式及び他の装置はタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。更に、一部のタッチ可能装置は、触覚効果、例えば、テクスチャ又はタッチ面における摩擦をシミュレートするように構成される触覚効果を利用する。一部の装置では、こうした触覚効果は、装置によって出力される音声又は他の効果と相関する場合がある。しかしながら、音声及び触覚効果を処理して出力するレイテンシのために、こうした効果は説得力が少ない場合がある。従って、音声効果に関係付けられる改善された触覚効果が必要とされている。

本開示の実施形態は、タッチ領域で感じられ且つ音声信号に関係付けられる触覚効果を特徴とする装置を含む。限定されないが、こうした触覚効果には、テクスチャの変化、摩擦係数の変化及び／又は境界、障害物のシミュレーション、又は表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性が含まれてもよい。

一実施形態では、本開示のシステムは、音声信号を受信し、音声信号に関係付けられるエンベロープを決定し、エンベロープに部分的に基づいて触覚効果を決定し、触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサを含んでもよい。

この例示の実施形態は、本主題を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
音声信号のエンベロープに関係付けられる触覚効果を生成するための例示的なシステムを示す。 図１Ａで示されたシステムの一実施形態の外観図を示す。 図１Ａで示されたシステムの別の実施形態の外観図を示す。 音声信号のエンベロープに関係付けられる触覚効果を生成するための例示的な実施形態を示す。 音声信号のエンベロープに関係付けられる触覚効果を生成するための例示的な実施形態を示す。 一実施形態によって音声信号のエンベロープに関係付けられる触覚効果を生成するための例示的な実施形態を示す。 一実施形態によって音声信号のエンベロープに関係付けられる触覚効果を生成するための方法のフローチャートを示す。 一実施形態によって音声信号のエンベロープを決定するための方法のフローチャートを示す。 音声信号のスペクトログラム及び時間領域における同じ音声信号のグラフを示す。 一実施形態によって音声信号のエンベロープを決定するための方法のフローチャートを示す。 図７に関して記載される方法７００によって決定されるエンベロープのグラフを示す。 一実施形態によって決定されたエンベロープ信号をクリーニングするための方法のフローチャートを示す。 クリーニングされたエンベロープ信号のグラフを示す。

次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態を生み出すために別の実施形態に対して使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

（音声信号のエンベロープに関係付けられる触覚効果を生成するための装置の例示）
本開示の例示的な実施形態の１つは、スマートフォン、タブレット又は携帯型ミュージック装置等のコンピュータシステムを含む。一部の実施形態では、コンピュータシステムは、装着可能装置を含み、又は家具若しくは衣服、又は組み込みアクチュエータを備える任意の他の装置に埋め込まれてもよい。コンピュータシステムは、この例示において、装置の画面に対応する表示領域に対するタッチの場所を決定するために加速度計及びセンサ（例えば、光学、抵抗性又は容量性）等の１つ以上のセンサを含み及び／又はこれらと通信してもよい。

ユーザが装置と相互作用すると、触覚効果を提供するために、１つ以上の触覚出力装置、例えば、アクチュエータが使用される。例えば、触覚効果は、装置の表面におけるテクスチャの存在をシミュレートするように構成されてもよい。このような実施形態では、表面でユーザの指が動くと、装置の表面におけるテクスチャの感覚をシミュレートするために、振動、電界又は他の効果が出力されてもよい。同様に、別の実施形態では、ユーザが装置上で指を動かすと、スクリーンの知覚される摩擦係数が、指の位置、速度、及び／又は加速度又は指が装置と接触している時間の長さに基づいて変化（例えば、増加又は減少）し得る。他の実施形態では、移動装置は、振動、ポップ、クリック、又は表面変形等の触覚効果を出力してもよい。一部の実施形態では、所定のイベントが発生するときに、所定期間の間（例えば、５０ｍｓ）、触覚効果が出力されてもよい。他の実施形態では、触覚効果は、固定期間で変化してもよい。例えば、一実施形態では、１００Ｈｚの速度、例えば、１００Ｈｚの正弦波で変化するテクスチャが出力されてもよい。

例示の実施形態では、触覚効果は、音声信号に関係付けられる効果を含む。例えば、一部の実施形態では、触覚効果は、音声トラックに関係付けられる触覚効果を含んでもよい。一部の実施形態では、ユーザは、（例えば、ヘッドホン、スピーカ、又は何らかの他の種類の音声出力装置を使用して）触覚効果が決定される時間に音声トラックを聴いてもよい。他の実施形態では、触覚効果は、「触覚トラック」の一部として前もって決定されてもよい。この触覚トラックは、音声トラックと平行して再生され得るように、音声ファイルと共に配布されてもよい。一部の実施形態では、触覚トラックは、触覚効果が音声トラックのイベントに対応するように、音声トラックと同期されてもよい。他の実施形態では、触覚効果は、「ＡＶ」（Ａｕｄｉｏ−Ｖｉｓｕａｌ）トラック、例えば、映像ファイルの音声部分に関係付けられてもよい。

本開示の例示の実施形態の１つは、触覚効果生成のために音声信号のエンベロープを決定するためのシステム及び方法を含む。このような実施形態では、エンベロープは、音声信号の時間及び周波数成分に密接に従う曲線を含んでもよい。次に、このようなシステムは、別の信号でこのエンベロープを乗算する。音声信号のエンベロープを決定することは、音声信号がノイズに近づくか振幅が非常に低くなる領域を音声−触覚システム（ａｕｄｉｏ ｔｏ ｈａｐｔｉｃｓ ｓｙｓｔｅｍ）が見つけることを可能にしてもよい。このような例示のシステムは、音声信号に基づいて触覚効果を自動的に生成するが、ノイズに近い信号の領域を見つけて、こうした領域において又はその付近では触覚効果の生成を回避するためにエンベロープ決定を用いてもよい。

更に、一部の実施形態では、システムが、音声信号に関係付けられるエンベロープを決定すると、触覚効果を決定するために他の触覚効果決定アルゴリズム（例えば、周波数シフト）と組み合わせてその信号を使用してもよい。一部の実施形態では、触覚効果は、音声ファイルと共に調整され又は同期される形態で出力されてもよい。他の実施形態では、触覚効果は、音声ファイルとは別に記憶され得る触覚トラックに記憶されてもよい。次に、触覚トラックは、音声ファイルとは別に再生されてもよい。一部の実施形態では、触覚トラックは、ボーナスとして、又はコンテンツ作成者のための追加の収入源として音声ファイルと共に配布されてもよい。

以下で更に詳細に検討されるように、任意の数の特徴が音声信号に見つかってもよい。本開示の実施形態は、こうした特長を識別して、こうした特長に関係付けられる触覚効果を決定及び出力するためのシステム及び方法を提供する。更に、一部の実施形態では、本明細書で検討されたシステム及び方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

（音声信号のエンベロープに関係付けられる触覚効果を生成する例示的なシステム）
図１Ａは、音声信号のエンベロープに関係付けられる触覚効果を生成するための例示的なシステム１００を示す。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータ装置１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び非一時的な）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び追加の記憶装置１１４を更に含む。

ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

Ｉ／Ｏ要素１１２は、１つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。例えば、一部の実施形態では、Ｉ／Ｏ要素１１２は、プロセッサ１０２によって提供される音声信号を再生するように構成されるスピーカを含んでもよい。記憶装置１１４は、装置１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。一部の実施形態では、記憶装置１１４は、Ｉ／Ｏ要素１１２を介してユーザに再生されるように構成される音声ファイルを記憶するように構成されてもよい。

システム１００は、この例示では、装置１０１に統合されるタッチ面１１６を更に含む。タッチ面１１６は、ユーザの接触入力を感知するように構成される任意の表面を表す。
１つ以上のセンサ１０８は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成される。
センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ１０８と通信し、他の実施形態では、プロセッサは複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。

更に、装置１０１は、触覚出力装置１１８を含む。図１Ａに示される例示では、触覚出力装置１１８がプロセッサ１０２と通信し、タッチ面１１６に結合される。一部の実施形態では、触覚出力装置１１８は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置１１８は、制御されるようにタッチ面を動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力装置１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、触覚出力装置１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを含んでもよい。一部の実施形態では、触覚装置１１８は、装着可能装置、家具、又は衣服を含み、又はこれらに埋め込まれてもよい。

本明細書では単一の触覚出力装置１１８が示されているが、複数の実施形態では、触覚効果を出力するために、例えば、タッチ面において表面テクスチャをシミュレートし又は知覚される摩擦係数を変化させるために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。例えば、一実施形態では、超音波周波数で、例えば、一部の実施形態では２０−２５ｋＨｚよりも高い周波数で動作するアクチュエータを使用することによって、垂直に及び／又は水平にタッチ面１１６の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ、摩擦係数の変化、又は他の触覚効果を与えるために単独で又は同時に使用され得る。

更に他の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電摩擦又は引力を適用してもよい。同様に、一部の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でユーザが感じる摩擦を変化させるために静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置１１８は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ１０２は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面１１６に近くの又は接触しているオブジェクトと容量結合するＡＣ信号であってもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面１１６の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面１１６の表面は円滑であるが、容量結合はタッチ面１１６の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面１１６の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面１１６の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面１１６の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面１１６の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面１１６の表面において異なるテクスチャ又は他の効果をシミュレートしてもよい。

当業者であれば、摩擦係数を変化させることに加えて、例えば、表面上のテクスチャをシミュレートするために他の技術又は方法が使用され得ることを理解するであろう。一部の実施形態では、テクスチャは、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調で、１つ以上の表面特徴を上昇又は下降させることによって変化させられてもよい。

一部の実施形態では、タッチ面１１６に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ（例えば、容量結合）を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するＡＣ電圧信号を受信してもよい。ユーザがタッチ面１１６に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。

更に、一部の実施形態では、触覚効果を出力するために複数のアクチュエータが使用されてもよい。これは、触覚出力装置１１８が出力できる効果の範囲を増加する役割を果たしてもよい。例えば、一部の実施形態では、広範囲の効果を生成するために静電アクチュエータと協調して振動アクチュエータが使用されてもよい。更なる実施形態では、タッチ面を変形するように構成される装置等の追加の種類の触覚出力装置が、振動アクチュエータ等の他の触覚出力装置と協調して使用されてもよい。

メモリ１０４に関しては、例示のプログラム構成要素１２４、１２６及び１２８は、音声信号のエンベロープに関係付けられる触覚効果を生成するために装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。

触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するために、音声効果からのデータ等の音声データを分析するプログラム構成要素を表す。特に、モジュール１２６が、音声データに基づいて、出力する触覚効果の種類を決定するコードを含む。

触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させて触覚出力装置１１８に送信させ、それにより、触覚出力装置１１８に選択された触覚効果を生成するプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類の効果を受信して、適切な信号を生成して触覚出力装置１１８に送信するために、信号処理アルゴリズムを利用してもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力装置を利用してもよい。一部の実施形態では、プロセッサ１０２は、触覚信号を触覚出力装置１１８にストリーミング又は送信してもよい。

コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイをオーバレイしもよく又はオーバレイしなくてもよい（或いは、対応しても、対応してなくてもよい）。図１Ｂでは、コンピュータシステム１００Ｂの外観図が示される。コンピュータ装置１０１は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ１１６を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の１つ以上の材料層に対応してもよい。

図１Ｃは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置１０１は、装置１０１とインターフェース接続されたコンピュータシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面１１６を含む。例えば、コンピュータ装置１０１は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム１２０は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビボックス）、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面１１６及びディスプレイ１２２は、ディスプレイ１２２備えるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。

図２Ａ−Ｂは、音声信号のエンベロープに関係付けられる触覚効果を生成し得る例示的な装置を示す。図２Ａは、タッチ可能ディスプレイ２０２を備えるコンピュータ装置２０１を含むシステム２００の外観図を示す図面である。図２Ｂは、装置２０１の断面図を示す。装置２０１は図１Ａの装置１０１と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。

図２Ｂに見られるように、装置２０１は、複数の触覚出力装置２１８及び追加の触覚出力装置２２２を特色とする。触覚出力装置２１８−１は、ディスプレイ２０２に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で２１８−２は横方向にディスプレイ２０２を動かしてもよい。この例では、触覚出力装置２１８及び２２２はディスプレイに直接結合されているが、触覚出力装置２１８及び２２２は別のタッチ面、例えば、ディスプレイ２０２の上にある材料の層に結合され得ることが理解されるべきである。更に、１つ以上の触覚出力装置２１８又は２２２が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置２２２は、装置２０１の構成要素を保持する筐体に結合されてもよい。図２Ａ−２Ｂの例では、ディスプレイ２０２の領域はタッチ領域に対応するが、原理は、ディスプレイとは完全に分離したタッチ面に適用され得る。

一実施形態では、触覚出力装置２１８の各々は圧電アクチュエータを含むが、追加の触覚出力装置２２２は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置２２２は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び／又は他の目的で利用され得る。例えば、ディスプレイ２０２の表面における振動を出力し、テクスチャをシミュレートし又は摩擦係数を変化させるために各アクチュエータが併せて使用されてもよい。

一部の実施形態では、触覚出力装置２１８−１及び２１８−２のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ（例えば、可撓性材料を含むアクチュエータ）、静電、及び／又は磁歪アクチュエータを含み得る。更に、触覚出力装置２２２が示されているが、複数の他の触覚出力装置が装置２０１の筐体に結合可能であり、及び／又は触覚出力装置２２２は別の場所に結合されてもよい。装置２０１は、異なる場所でもタッチ面に結合される複数の触覚出力装置２１８−１／２１８−２を含んでもよい。

次に図３を参照すると、図３は、本開示によって音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステムの一実施形態を示す。図３に示されたシステム３００は、列車３０４を含む映像を示すディスプレイ３０２を有するコンピュータ装置３０１を備える。一部の実施形態では、コンピュータ装置３０１は、ハンドヘルドコンピュータ装置、例えば、携帯電話、タブレット、ミュージックプレーヤ、又はラップトップコンピュータを含んでもよい。別の実施形態では、コンピュータ装置３０１は、多機能コントローラを備えてもよい。例えば、キオスク、ＡＴＭ又は他のコンピュータ装置で使用されるコントローラである。更に、一実施形態では、コンピュータ装置３０１は、車内で使用されるコントローラを含んでもよい。

映像３０４は、（図３には示されない）コンピュータ装置３０１に結合される音声出力装置（例えば、スピーカ又はヘッドホン）によって再生される可聴効果を更に含んでもよい。本開示の実施形態は、音声信号に基づいて触覚効果を決定するための方法を含む。例えば、一部の実施形態は、映像信号から音声信号を分離して、音声トラックと平行して出力される触覚効果を決定するために、以下で更に詳細に検討される様々な操作を実行してもよい。

一部の実施形態では、ディスプレイ３０２は、タッチ可能ディスプレイを含んでもよい。更に、映像を表示するのではなく、ディスプレイ３０２は、グラフィカルユーザインターフェース、例えば、キオスク、ＡＴＭ、ステレオシステム、車両ダッシュボード、電話、コンピュータ、ミュージックプレーヤのためのグラフィカルユーザインターフェース、又は当分野で周知の何らかの他のグラフィカルユーザインターフェースをユーザに提供してもよい。このような実施形態では、コンピュータ装置３０１は、グラフィカルユーザインターフェースに関係付けられる音声信号に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、グラフィカルユーザインターフェースは、ユーザがアイコン、ボタン又は他のインターフェース要素と相互作用するときに出力される音声効果を含んでもよい。一部の実施形態では、コンピュータ装置３０１は、こうした音声効果の１つ以上に関係付けられる触覚効果を更に決定してもよい。一部の実施形態では、コンピュータ装置３０１は、音声信号又は任意の他のセンサから生じる信号、例えば、ユーザインターフェース、加速度計、ジャイロスコープ、慣性測定装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）等のセンサからの信号におけるエンベロープから触覚効果を導き出してもよい。

一部の実施形態では、映像信号が含まれなくてもよい。例えば、一部の実施形態では、触覚効果は、映像に関係付けられない音声トラックと平行して再生されてもよい。このような実施形態では、本明細書に開示のシステム及び方法は、リアルタイムで、信号が再生されているときに、又は信号が再生されるよりも前の時間に、音声信号に作用してもよい。例えば、一部の実施形態では、将来再生するためにデータストアに記憶される触覚トラックを決定するために音声信号が処理されてもよい。このような実施形態では、触覚トラックは、触覚トラックを再生するコンピュータ装置によって決定されてもよい。他の実施形態では、触覚トラックは、音声トラックの著者又は配布者によって生成されてもよい。
このような実施形態では、著者又は配布者は、音声トラックと共に触覚トラックを配布してもよい。

（音声信号のエンベロープに関係付けられる触覚効果を生成する例示的な方法）
図４は、音声信号のエンベロープに関係付けられる触覚効果を生成するための例示的な方法４００を示すフローチャートである。一部の実施形態では、フローチャート４００におけるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図４に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図４に示される１つ以上のステップはスキップされてもよく、又は図４には示されていない追加のステップが行われてもよい。図４におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。以下のステップは図１Ａに示されたシステム１００に関して記載された構成要素を参照して記載される。

プロセッサ１０２が音声信号を受信すると、方法４００が開始する（４０２）。一部の実施形態では、音声信号は、コンピュータ装置１０１で再生される映像に関係付けられる信号を含んでもよい。他の実施形態では、音声信号は、コンピュータ装置１０１で現在再生されている音声ファイルに関係付けられる信号を含んでもよい。更に他の実施形態では、音声信号は、コンピュータ装置１０１でローカルに記憶されている又はリモートサーバに記憶されている音声ファイルに関係付けられる信号を含んでもよい。例えば、一部の実施形態では、音声信号は、サーバに記憶され、オンデマンドでユーザにダウンロードされる音声ファイルを含んでもよい。

プロセッサ１０２が音声信号に関係付けられるエンベロープを決定すると、方法４００は継続する（４０４）。このような実施形態では、エンベロープは、音声信号の時間及び周波数成分に密接に従う曲線を含んでもよい。次に、このようなシステムは、別の信号でこのエンベロープを乗算する。音声信号のエンベロープを決定することは、音声信号がノイズに近づくか振幅が非常に低くなる領域を音声−触覚システムが見つけることを可能にしてもよい。音声信号のエンベロープを決定するための実施形態は、以下により詳細に記載される。

プロセッサ１０２がエンベロープに基づいて触覚効果を決定すると、方法４００は継続する（４０６）。一部の実施形態では、触覚効果は、１つ以上の触覚出力装置１１８によって出力される振動を含んでもよい。一部の実施形態では、振動は、コンピュータ装置１０１で再生される音声トラックのユーザの知覚を向上させるために使用されてもよい。同様に、一部の実施形態では、第１の触覚効果は、タッチ面１１６における摩擦係数の変化を含んでもよい。他の実施形態では、触覚効果は、タッチ面１１６の表面における擬似テクスチャ（例えば、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉又は任意の他の利用可能なテクスチャの１つ以上のテクスチャ）を含んでもよい。

一部の実施形態では、プロセッサ１０２は、触覚効果を決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。例えば、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。

更に、一部の実施形態では、ユーザは、コンピュータ装置１０１をカスタマイズするために、振動、テクスチャ、摩擦係数の変化又は音声ファイルに関係付けられる他の触覚効果を選択することが可能であってもよい。例えば、一部の実施形態では、ユーザは、タッチインターフェースの感覚をパーソナライズするために表面テクスチャ等の触覚効果を選択してもよい。一部の実施形態では、この触覚効果は、例えば、着呼、Ｅメール、テキストメッセージ、アラーム、又は他のイベントに対する着信音に関係付けられてもよい。一部の実施形態では、ユーザは、設定を修正すること又は特定の効果に関係付けられるソフトウェアをダウンロードすることによってこうしたパーソナライズされた触覚効果又は表面テクスチャを選択してもよい。他の実施形態では、ユーザは、検出された装置との相互作用を介して効果を指定してもよい。一部の実施形態では、触覚効果のパーソナライズは、ユーザの所有意識及びユーザと装置との間の繋がりを増加させてもよい。

更に他の実施形態では、装置製造業者、アーティスト、動画撮影者又はソフトウェア開発者は、装置、ユーザインターフェース又は芸術的作品（例えば、歌曲、映像、又は音声トラック）をブランド化するために、表面テクスチャ等の特有の触覚効果を選択してもよい。一部の実施形態では、こうした触覚効果は、ブランド化された装置に独自であり、ブランド認知を増加させ得る他の特有の要素と同様であってもよい。例えば、多くの移動装置及びタブレットは、カスタム又はブランド化されたホームスクリーン環境を含んでもよい。例えば、一部の実施形態では、異なる製造業者によって製造された装置が同じオペレーティングシステムを含んでもよいが、製造業者はこのホームスクリーン環境を修正することによって装置を区別してもよい。同様に、所定の会社によって作られる映像又は音声トラックが特定の種類の触覚効果を含んでもよい。従って、一部の実施形態では、一部の装置製造業者、制作会社又はソフトウェア開発者は、独自であり差別化されるユーザ体験を生み出すためにテクスチャ又は摩擦に基づいた効果等の触覚効果を使用してもよい。

一部の実施形態では、触覚効果を出力するかどうかを決定するためにエンベロープが使用されてもよい。例えば、一部の実施形態では、触覚効果は、音声トラックから自動的に生成されてもよい。しかしながら、触覚効果を所定の可聴効果にのみ関係付けることが望ましい場合がある。例えば、一部の実施形態では、ダイアログ、バックグラウンドノイズ、テーマミュージック、又は他の何らかの種類の可聴効果は、触覚効果に関係付けられなくてもよい。エンベロープの決定は、こうした種類の可聴効果を決定して、触覚効果がこれらとは関係付けられないことを確実にするために使用されてもよい。例えば、バックグラウンドノイズは、エンベロープにおける閾値レベルよりも低くてもよい。このように、自動触覚変換装置が、このバックグラウンドノイズに関係付けられる触覚効果を出力しないことを決定してもよい。同様に、自動触覚変換装置は、発話、特殊効果、又は所定のソース（例えば、楽器、スピーカ、エフェクト装置等）によって生成される可聴効果に関係付けられる触覚効果を出力しないことを決定してもよい。

一部の実施形態では、プロセッサ１０２は、既知の周波数でエンベロープを乗算することにより触覚効果を決定してもよい。一部の実施形態では、これはアクチュエータの種類に依存してもよい。例えば、ＬＲＡの場合、エンベロープは、触覚信号を決定するために、例えば、１２５、１５０、１７５又は２００Ｈｚの周波数で乗算され得る。更に、一部の実施形態では、エンベロープ自体が触覚効果として出力されてもよい。例えば、ＥＲＭの場合、エンベロープはそのまま触覚効果へと送信され得る。更に、上記のように、エンベロープ信号は、触覚効果の他の種類のために使用され得る。例えば、エンベロープ信号は、タッチ面においてテクスチャを出力するためにユーザの指の速度又は加速度に基づいて修正され得る。同様に、エンベロープは、タッチ面において知覚される摩擦係数を変化させるように構成されるアクチュエータによって使用され得る。

プロセッサ１０２が触覚効果に関係付けられる触覚信号を出力すると、方法４００は継続する（４０８）。プロセッサ１０２は、触覚効果を出力するように構成される触覚出力装置１１８に触覚信号を出力する。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６上に触覚効果を出力してもよい。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６又はコンピュータ装置１０１内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置１１８は、静電界を使用してテクスチャをシミュレートする又は摩擦係数を変化させるように構成される静電アクチュエータを含んでもよい。一部の実施形態では、プロセッサ１０２は、複数の触覚効果をシミュレートするために複数の触覚出力装置を制御してもよい。例えば、一実施形態では、プロセッサ１０２は、タッチ面１１６の表面でテクスチャをシミュレートするために静電アクチュエータを制御してもよい。また、プロセッサ１０２は、他の特徴をシミュレートするために他の触覚出力装置１１８を更に制御してもよい。例えば、触覚出力装置１１８は、タッチ面１１６におけるバリア、デテント、移動又は衝突をシミュレートするように構成される振動等、他の効果を出力するように構成されるアクチュエータを含んでもよい。一部の実施形態では、プロセッサ１０２は、ユーザがタッチ面１１６と相互作用すると複数の効果を共に感じることができるように、効果を調整してもよい。

次に、プロセッサ１０２は音声信号を出力する（４１０）。一部の実施形態では、プロセッサ１０２は、スピーカ、ヘッドホン、又は小型イヤホン（ｅａｒ ｂｕｄ）等の音声出力装置に音声信号を出力してもよい。一部の実施形態では、音声出力装置は、コンピュータ装置１０１に統合されてもよい。他の実施形態では、音声出力装置は、コンピュータ装置１０１に結合されてもよい。更に、一部の実施形態では、音声信号は触覚効果に同期されてもよく、例えば、一部の実施形態では、触覚効果は対応する音声効果と実質的に同時に出力されてもよい。

（音声信号のエンベロープを識別するための例示的な方法）
図５は、音声信号のエンベロープを識別するための例示的な方法５００を示すフローチャートであり、これは音声信号に関係付けられる触覚効果を決定するために使用されてもよい。一部の実施形態では、図５に示されるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図５に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図５に示される１つ以上のステップはスキップされてもよく、又は図５には示されていない追加のステップが行われてもよい。図５におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

図５に示されるように、方法５００は、ステップ５０２において、プロセッサ１０２が音声信号内の１つ以上のセグメント又は時間ウインドウの高速フーリエ変換（ＦＦＴ）を決定すると開始する。一部の実施形態では、セグメントは、特定の時間ウインドウにおける音声信号のサンプルに対応してもよい。更に、一部の実施形態では、セグメントは、異なってもよく、又は代替的に、重複し得る。小さな時間ウインドウにおいて取得される音声信号の高速フーリエ変換（ＦＦＴ）は、音声信号のスペクトログラムの基礎となる。一部の実施形態では、スペクトログラムは、１つの軸に時間、別の軸に周波数、別の軸に特定の周波数の振幅を有する３Ｄプロットで表されてもよい。音声信号に対するスペクトログラムは、図６においてプロット６００として示されており、以下により詳細に記載される。

次に、ステップ５０４において、プロセッサ１０２は、各セグメント又は各時間ウインドウに対するＦＦＴから振幅を決定する。一部の実施形態では、プロセッサ１０２は、対数尺度で振幅を決定してもよい。更に、一部の実施形態では、これは、全てのＦＦＴ周波数振幅の合計又は全てのこうした値の平均であってもよい。

次に、ステップ５０６において、プロセッサ１０２は振幅を正規化する。一部の実施形態では、プロセッサ１０２は、負の１と１との間で値を正規化してもよい。正規化信号は、図６においてプロット６５０における信号６５４として示されている。

次に、ステップ５０８において、プロセッサ１０２は正値を決定する。例えば、プロセッサは、０より下から０までの全ての値を設定して、非ゼロ値のみを分析してもよい。結果として生ずる正値は、信号のエンベロープに対応する。

図６は、音声信号のスペクトログラム及び同じ音声信号の時間領域のグラフを示す。図６に示されるように、音声信号のスペクトログラムは、グラフ６００として示される。スペクトログラムは、小さい時間ウインドウにおける音声信号のセグメントの短時間フーリエ変換（ＳＴＦＴ）のプロットを含む。一部の実施形態では、スペクトログラムは、１つの軸に時間、別の軸に周波数、３つ目の軸に特定の周波数の振幅を有する３次元プロットで表される。プロット６００は、音声信号の２次元スペクトログラムの例を含む。プロット６００において、プロットの暗さによって３次元が描かれており、より暗い色はより高い振幅を意味している。プロットに示されるように、より低い周波数において明度がより高く、低い振幅において暗いプロットで表される（矢印６０２によって強調される）。周波数が増加すると、明度が減少して、色がより明るくなる（矢印６０４によって強調される）。

更に、図６に示されるように、プロット６５０は、暗い線６５２で表される音声信号の時間領域を含む。正規化された音声信号は、灰色の線６５４で示される。エンベロープ信号は、明るい灰色の線６５６で示される。一部の実施形態では、このエンベロープは、音声信号におけるイベントに対応する。一部の実施形態では、プロセッサ１０２は、こうしたイベントを使用して、音声信号に関係付けられる触覚効果のための場所を決定してもよい。

次に図７を参照すると、図７は、一実施形態によって音声信号のエンベロープを決定するための方法７００のフローチャートを示す。図７は、音声信号のエンベロープを識別するための例示的な方法７００を示すフローチャートであり、これは音声信号に関係付けられる触覚効果を決定するために使用されてもよい。一部の実施形態では、図７に示されるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図７に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図７に示される１つ以上のステップはスキップされてもよく、又は図７には示されていない追加のステップが行われてもよい。図７におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

図７に示されるように、方法７００は、ステップ７０２において、プロセッサ１０２が音声信号の１つ以上のセグメントのパワースペクトル密度を決定すると開始する。一部の実施形態では、プロセッサ１０２は、音声信号におけるほとんどの周波数をカバーする周波数の範囲に対して、音声信号の隣接する時間ウインドウの各々に対してパワースペクトル密度を決定してもよい。他の実施形態では、プロセッサ１０２は、音声信号における周波数のより狭い範囲に対してパワースペクトル密度を決定してもよい。

ステップ７０４において、プロセッサ１０２は、各時間セグメントに対するパワースペクトル密度の値を合計することによって合計信号を決定する。一部の実施形態では、時間ウインドウは、可変長の時間を含んでもよい。一部の実施形態では、時間のこの長さは、１００ｍｓよりも小さいものを含んでもよい。一部の実施形態では、プロセッサ１０２は、各時間ウインドウに対して、所定範囲の周波数における全ての周波数に対するパワースペクトル密度の値を合計してもよい。一部の実施形態では、各時間ウインドウに対するパワースペクトル密度の値を合計することは、各時間ウインドウが単一の値として表されることを可能にする。例えば、一部の実施形態では、各ウインドウが、単一の数値として表されてもよい。更に、一部の実施形態では、プロセッサ１０２は、こうした値を表す信号Ｓ、例えば、パワースペクトル密度の値の合計を表す信号を決定してもよい。

次に、ステップ７０６において、プロセッサ１０２は合計信号を再度サンプリングする。一部の実施形態では、プロセッサ１０２は、所与の長さの時間ウインドウに対して信号Ｓをサンプリングしてもよい。一部の実施形態では、サンプリング周波数は、各時間ウインドウの長さに部分的に基づいてもよい。例えば、一実施形態では、時間ウインドウがＸｍｓであってサンプリング周波数がＦｓである場合、各値は、（Ｘ＊Ｆｓ／１０００）の値で置換され／サンプリングされるであろう。

次に、ステップ７０８において、プロセッサ１０２はサンプル信号を補間及び正規化する。プロセッサ１０２は、補間のための多くの既知の従来技術（例えば、線形、多項式、スプライン、最近接）の１つを使用してもよい。一部の実施形態では、異なる補間方法の使用が、異なる値をもたらし、結果として異なる触覚トラックをもたらすであろう。一部の実施形態では、プロセッサ１０２は、音声信号のサンプリング周波数を一致させるために補間を行ってもよい。更に、一部の実施形態では、プロセッサ１０２は、補完された信号の平方根を決定してもよい。一部の実施形態では、結果として生ずる信号は、元の音声信号のエンベロープを表す。

図８は、図７のステップ７０２−７０８に関して記載される方法７００によって決定されるエンベロープのプロットを示す。図８に示されるように、プロット８００は音声信号を灰色の線８０２として示し、この音声信号に対して決定されたエンベロープは暗い線８０４として示される。

（識別されたエンベロープ信号をクリーニングするための例示の方法）
図９は、エンベロープ信号をクリーニングするための例示的な方法９００を示すフローチャートであり、これは音声信号に関係付けられる触覚効果を決定するために使用されてもよい。一部の実施形態では、図９に示されるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図９に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図９に示される１つ以上のステップはスキップされてもよく、又は図９には示されていない追加のステップが行われてもよい。図９におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

図９に示されるように、方法９００は、ステップ９０２において、プロセッサ１０２が閾値を用いてエンベロープ信号をフィルタリングすると開始する。この閾値は、エンベロープの下限を含んでもよく、これより低いと信号は無視されるか０に設定される。一部の実施形態では、閾値は０から１の値を含む。例えば、一部の実施形態では、閾値は０．１又は０．２の値を含む。一部の実施形態では、閾値は事前に設定された閾値を含む。一部の実施形態では、フィルタリングの間、プロセッサ１０２は、閾値よりも低い全ての又は実質的に全ての値を無効にする。例えば、一実施形態では、音声ファイルにおけるバックグラウンドノイズは、エンベロープにおける閾値レベルよりも低くてもよい。このように、自動触覚変換装置が、このバックグラウンドノイズに関係付けられる触覚効果を出力しないことを決定してもよい。同様に、自動触覚変換装置は、発話、特殊効果、又は所定のソース（例えば、楽器、スピーカ、エフェクト装置等）によって生成される可聴効果に関係付けられる触覚効果を出力しないことを決定してもよい。

次に、ステップ９０４において、プロセッサ１０２は、無視のレベル（ｌｅｖｅｌ ｏｆ ｓｉｌｅｎｃｅ）を用いてエンベロープ信号をフィルタリングする。一部の実施形態では、無視のレベルは、音声−触覚変換（ａｕｄｉｏ ｔｏ ｈａｐｔｉｃｓ ｃｏｎｖｅｒｓｉｏｎ）のパラメータとしてユーザ又は設計者によって設定されるパーセント値を含んでもよい。例えば、一部の実施形態では、無視のレベルは、例えば、３０％、４０％、又は５０％のパーセンテージを含んでもよい。一部の実施形態では、このパーセンテージは、触覚トラックにおいて除去される（無効にされる）触覚信号サンプルのパーセンテージに対応する。このような実施形態では、このパーセンテージに対応する閾値より低いサンプル値が除去されてもよい。例えば、一実施形態では、エンベロープ信号サンプルのサンプル値は、昇順にソートされてもよい。無視レベル（例えば、Ｘ％）に対応する閾値は、（Ｘ／１００）＊エンベロープ信号におけるサンプルの総数でランク付けされる値として推定され得る。次に、この値より低いサンプルは、除去（無効化）され得る。例えば、６０％の触覚無視値に対して、プロセッサ１０２は、６０％の触覚無視レベルに対応する閾値よりも低い値を有する全てのサンプルを無効化してもよい。

図１０は、クリーニングされたエンベロープ信号のプロット１０００を示す。図１０に示されるように、プロット１０００は、灰色の線１００２として音声信号を含む。クリーニングされたエンベロープ信号は、暗い線１００４として示される。図１０に示されるように、クリーニングされたエンベロープ信号は６０％の触覚無視閾値を含み、これによりプロセッサ１０２は６０％の閾値よりも小さい全ての値を無効化してもよい。

（音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法の利点）
音声信号のエンベロープに関係付けられる触覚効果を生成するためのシステム及び方法には多数の利点がある。以前は、エンベロープは、特定の持続時間に対して音声信号の絶対値を取って、その信号を低域通過させるか最大値を取ることによって計算されていた。
しかしながら、このアプローチは、音声信号が非常に小さく又はノイズが多い場所で触覚効果を生成する。従って、触覚効果は、例えば、品質が低いか、音声ファイルの適切なイベントに関係付けられないので、望ましくない。

一部の実施形態では、エンベロープは、音声イベントの振幅、タイミング及びノイズフロアに関連する重要な情報を含む。エンベロープを正確に決定することによって自動変換がよりクリーンな信号を有することが可能になるので、これは信号の自動触覚変換に使用されてもよい。更に、適切に決定されたエンベロープはより多くのコントラストを含んでもよく、これは触覚効果が音声信号における重要なイベントに沿って出力され、バックグラウンドノイズ等の重要度の低いイベントによって出力されないことを可能にする。本明細書に記載されたシステム及び方法は、適切なレベルのコントラストを決定することができ、これは説得力のある触覚効果を決定するために用いることができる。更に、上記のシステム及び方法は、設計者／ユーザが触覚無視閾値を選択することを可能にし、これにより設計者／ユーザはどのように触覚効果が生成されるかをコントロールすることができる。これは、再び、より説得力のある触覚効果をもたらしてもよい。

（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。

例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (20)

1. 音声信号を受信し、
   触覚トラックに関係付けられるデータを受信し、
   前記音声信号に関係付けられるエンベロープに少なくとも部分的に基づいて前記触覚トラックを前記音声信号に同期させ、
   前記音声信号及び前記触覚トラックに部分的に基づいて触覚効果を決定し、
   前記触覚トラックにおける前記触覚効果をデータストアに記憶し、
   前記触覚効果に関係付けられる触覚信号を出力し、且つ
   可聴効果を出力するように構成される音声出力装置に前記音声信号を出力する
   ように構成されるプロセッサ
   を備える、触覚効果を出力するためのシステム。
2. 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の１つ以上を含む、請求項１に記載のシステム。
3. 前記プロセッサは、
   ２つ以上の時間ウインドウ内の前記音声信号の高速フーリエ変換を決定すること、
   各時間ウインドウに対する前記高速フーリエ変換の振幅を決定すること、
   前記振幅を正規化することによって正規化信号を決定すること、及び
   前記正規化信号から正値を決定すること
   によって前記エンベロープを決定するように構成される、請求項１に記載のシステム。
4. 前記時間ウインドウは重複している、請求項３に記載のシステム。
5. 前記エンベロープは、前記正規化信号の正値である、請求項４に記載のシステム。
6. 前記プロセッサは、
   ２つ以上の時間ウインドウ内の前記音声信号のパワースペクトル密度を決定すること、
   各時間ウインドウに対する前記パワースペクトル密度の値を合計することによって合計信号を決定すること、
   前記合計信号をサンプリングしてサンプル信号を決定すること、及び
   前記サンプル信号を補間及び正規化すること
   によって前記エンベロープを決定するように構成される、請求項１に記載のシステム。
7. 音声信号を受信するステップと、
   触覚トラックに関係付けられるデータを受信するステップと、
   前記音声信号に関係付けられるエンベロープに少なくとも部分的に基づいて前記触覚トラックを前記音声信号に同期させるステップと、
   前記音声信号及び前記触覚トラックに部分的に基づいて触覚効果を決定するステップと、
   前記触覚トラックにおける前記触覚効果をデータストアに記憶するステップと、
   前記触覚効果に関係付けられる触覚信号を出力するステップと、
   可聴効果を出力するように構成される音声出力装置に前記音声信号を出力するステップと
   を含む、触覚効果を出力するための方法。
8. 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の１つ以上を含む、請求項７に記載の方法。
9. 前記音声信号に関係付けられる前記エンベロープは、
   ２つ以上の時間ウインドウ内の前記音声信号の高速フーリエ変換を決定するステップと、
   各時間ウインドウに対する前記高速フーリエ変換の振幅を決定するステップと、
   前記振幅を正規化することによって正規化信号を決定するステップと、
   前記正規化信号から正値を決定するステップと
   によって決定される信号を含む、請求項７に記載の方法。
10. 前記時間ウインドウは重複している、請求項９に記載の方法。
11. 前記エンベロープは、前記正規化信号の正値である、請求項９に記載の方法。
12. 前記音声信号に関係付けられる前記エンベロープは、
    ２つ以上の時間ウインドウ内の前記音声信号のパワースペクトル密度を決定するステップと、
    各時間ウインドウに対する前記パワースペクトル密度の値を合計することによって合計信号を決定するステップと、
    前記合計信号をサンプリングしてサンプル信号を決定するステップと、及び
    前記サンプル信号を補間及び正規化するステップと
    によって決定される信号を含む、請求項７に記載の方法。
13. 前記エンベロープは、補間及び正規化されたサンプル信号である、請求項１２に記載の方法。
14. 前記エンベロープをフィルタリングするステップを更に含む、請求項７に記載の方法。
15. 前記エンベロープをフィルタリングすることは、閾値を用いて前記エンベロープをフィルタリングすること、及び触覚無効レベルを用いて前記エンベロープをフィルタリングすることの１つ以上を含む、請求項１４に記載の方法。
16. プロセッサによって実行されると、前記プロセッサに、
    音声信号を受信すること、
    触覚トラックに関係付けられるデータを受信すること、
    前記音声信号に関係付けられるエンベロープに少なくとも部分的に基づいて前記触覚トラックを前記音声信号に同期させること、
    前記音声信号及び前記触覚トラックに部分的に基づいて触覚効果を決定すること、
    前記触覚トラックにおける前記触覚効果をデータストアに記憶すること、
    前記触覚効果に関係付けられる触覚信号を出力すること、及び
    可聴効果を出力するように構成される音声出力装置に前記音声信号を出力すること
    を行わせるように構成されるプログラムコードを更に含む、非一時的なコンピュータ可読媒体。
17. 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の１つ以上を含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
18. 前記音声信号に関係付けられるエンベロープは、
    ２つ以上の時間ウインドウ内の前記音声信号の高速フーリエ変換を決定すること、
    各時間ウインドウに対する前記高速フーリエ変換の振幅を決定すること、
    前記振幅を正規化することによって正規化信号を決定すること、及び
    前記正規化信号から正値を決定すること
    によって決定される信号を含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
19. 前記時間ウインドウは重複している、請求項１８に記載の非一時的なコンピュータ可読媒体。
20. 前記エンベロープは、前記正規化信号の正値である、請求項１８に記載の非一時的なコンピュータ可読媒体。