JP4751019B2 - 触覚フィードバックを使用する音声データ出力および操作 - Google Patents

Description

発明の詳細な説明

背景技術
本発明は、一般的に人間がコンピュータシステムとインタフェースすることを可能にするシステムに関し、さらに詳しくは、コンピュータ音声編集および再生環境でユーザに触覚フィードバックを提供するための方法に関する。

コンピュータは、音楽および他のオーディオ関係データの作成および編集に幅広く使用されるツールになった。音楽または他の型の聴性コンポジションまたはレコーディングを表わすデジタルデータは、Ｄｉｇｉｄｅｓｉｇｎ（登録商標）のＰｒｏＴｏｏｌｓおよびその他のような利用可能な編集ソフトウェアを使用して、容易に作成および／または操作することができる。ミュージシャンはそのようなソフトウェアを使用して、サウンドファイルまたはサウンドデータのどの部分でも再生し、かつデータのどの部分でもコピー、編集、または他の操作を行なうことができる。スライダ、ノブ、ボタン、ポインタ、またはカーソル等のようなグラフィカルユーザインタフェースのグラフィカルコントロールは一般的にコンピュータ画面に表示され、ユーザはそれを操作してサウンドデータの再生および編集を制御することができる。サウンドデータの視覚表現は一般的に、ユーザが所望のスケールにカスタマイズすることのできる一つまたはそれ以上の時間対振幅のグラフとして表示される。一部のより精巧なシステムは、スプリングセンタリングノブであるジョグ−シャトルホイールのようなハードウェア制御を備え、ユーザはそれを回転してサウンド選択を順方向または逆方向に再生させることができる。

しかし、現代のコンピュータ操作音楽における課題の一つは、自然かつ直観的な音楽の作曲および編集を助長するような仕方で、ミュージシャンがコンピュータに関わることを可能にすることである。編集および作曲プロセスの多くは、人々がコンピュータを制御するために使用する物理的インタフェースに関係する仕方に存する。従来、ミュージシャンは、物理的操作をサウンドの生成に直接結び付ける（例えば、ピアノの作用、または唇の振動の共鳴装置としてのトランペット）楽器と共に作業することを学習してきた。しかし、この型の物理的関係をコンピュータで再現することは難しい。今日、多くの場合、コンピュータとの対話はキーボードおよびマウスを通して行なわれ、あるいはより低い頻度の状況で、特注開発された電子音楽制御装置などの特殊ハードウェアを通して行なわれる。これらの型のインタフェースは単方向であり、ミュージシャンまたは他のユーザが物理的入力をコンピュータに送ることは可能であるが、物理的フィードバックを受け取ることはできない。

現在のサウンド編集システムは、ミュージシャンがサウンドを編集しながらキーボードおよびマウス、受動スクロールホイール、または受動ジョイスティック、などの入力装置を使用する必要がある。これらの場合、ミュージシャンは聴覚的および視覚的フィードバックに頼らなければならない。しかし、ミュージシャンまたはユーザはしばしば、編集または操作すべき特定の領域を見つけるために、音楽またはスピーチの選択をナビゲートするなど、正確さを要する反復編集作業を実行する。そのようなナビゲーションおよび編集タスク時の標準的入力装置および聴覚的および視覚的フィードバックは時々ぎこちなく、非効率的であり、あるいは精度が不十分であり、したがってミュージシャンの創造的努力に欲求不満をもたらす。

発明の概要
本発明は、オーディオの出力と連動して触覚感覚を出力することを目的とする。触覚感覚をオーディオ出力に関連付け、ユーザがサウンドデータの再生および編集をより正確かつ効率的に制御することを可能にする。

さらに詳しくは、本発明の方法は触覚感覚をサウンドデータに関連付けて、前記サウンドデータのナビゲーションおよび編集を支援する。サウンドデータの少なくとも一部分はコンピュータのメモリにロードされ、該サウンドデータは、オーディオ信号が生成されてオーディオ装置からサウンドを出力するのに使用されるように再生される。サウンドの再生は、サウンドデータのナビゲーションのためにユーザからコンピュータが受け取ったユーザ入力によって制御される。触覚コマンドは、サウンドデータに基づいて生成され、ユーザによって操作される触覚フィードバック装置によって触覚感覚をユーザに出力するのに使用される。触覚感覚はサウンドデータの一つまたはそれ以上の特性に対応し、サウンドデータのナビゲーションおよび編集中にユーザがサウンドデータの特徴を識別するのを支援する。

ユーザは、速度制御または位置制御パラダイムを使用して、サウンドデータの再生の速度および／または方向を制御することができることが好ましい。触覚感覚は、サウンドデータの再生中に連続的に出力することができ、現在再生されているサウンドデータの振幅に基づく大きさを持つことができる。あるいは触覚感覚は、予め定められた特性を有するサウンドデータの特徴が再生されたときにだけ出力することができる。

一実施形態は、サウンドデータを前処理して、サウンドデータに関連付けられる触覚感覚を、ユーザにそのサウンドデータが再生されるときに出力させる。メモリ内のサウンドデータを処理して、一つまたはそれ以上の予め定められた特性を有するサウンド特徴を見つけ出す。サウンド特性が見つかると、マーカのリストにマーカが格納される。そこでマーカはサウンドデータにおける関連サウンド特性の位置を示す。位置は少なくとも一つの触覚感覚に関連付けられるので、サウンドデータが再生される際に、サウンドデータの再生中にマーカに達したときに、関連付けられた触覚感覚がユーザに出力される。

別の実時間実施形態では、サウンドデータの一部分を二次バッファに格納し、サウンドデータの再生中にサウンドデータの該部分を処理して、実時間でサウンドデータの特性を見つける。いずれの実施形態でも、サウンドデータの視覚的表現、および再生されているサウンドデータの現在の部分を示す移動カーソルをコンピュータによって表示させることができる。

本発明は、触覚フィードバックをサウンド出力と調和するものとしてユーザが経験することを可能にすることが有利である。例えば、触覚フィードバックをデジタルオーディオ編集システムに統合することができ、オーディオデータの再生に直接関係し、かつオーディオデータに行なわれる操作に関係する触覚感覚をユーザに感じさせることが可能になる。ユーザはサウンドデータをナビゲートして、データ内の特定の箇所を見つけることができ、触覚感覚は、有意の特徴が再生されたときにユーザによりよく知らせることができる。これはナビゲーションおよび編集タスクでユーザを大いに支援する。この結果、より優れたユーザパフォーマンス、より高い満足度、およびユーザ経験の全体的改善が達成される。

本発明のこれらおよび他の利点は、本発明の以下の明細書を読み、かつ図面の幾つかの図を検討することにより、当業者には明らかになるであろう。
図面の簡単な記述
図１は触覚フィードバックにより増強されたユーザのためのサウンドデータ操作能力を提供するためのシステムを示すブロック図である。
図２はホストコンピュータと通信する触覚フィードバックインタフェース装置を含む、図１の触覚フィードバックシステムの一実施形態を示すブロック図である。
図３は本発明に使用するのに適した触覚フィードバック装置のマウスの実施形態の側面断面図である。
図４は本発明に使用するのに適したインタフェース装置１２の別の実施形態１５０の斜視図である。
図５は本発明に従ってサウンドデータを前処理するための方法の流れ図である。
図６はサウンド波形および該サウンド波形と相関される触覚感覚の模式図である。
図７は本発明に従って前処理されたサウンドデータおよび触覚感覚を再生するためのプロセスを示す流れ図である。
図８は本発明に係るサウンド再生に従って触覚感覚を出力する実時間再生プロセスを示す流れ図である。
図９Ａは直接出力における連続触覚出力のサウンドおよび触覚の波形を基本的時間対振幅の形で示す模式図である。
図９Ｂは反転出力における連続触覚出力のサウンドおよび触覚の波形を基本的時間対振幅の形で示す模式図である。
図１０は本発明のためにユーザに選好および設定を入力させるだけでなく、サウンド再生を制御させることもできる、グラフィカルユーザインタフェースの模式図である。
図１１は本発明のためにユーザに選好および設定を入力させることができる、別のグラフィカルユーザインタフェースの模式図である。

好適な実施形態の詳細な記述
図１は、触覚フィードバックにより増強されたユーザのためのサウンドデータ操作能力を提供するためのシステム１０を示すブロック図である。ホストコンピュータ１４は、ユーザ１６がホストコンピュータにコマンドを入力することによってサウンドデータ１５を操作することを可能にする、サウンドデータ操作アプリケーションプログラムを実行する。これらのコマンドを入力するために、ユーザ１６は触覚フィードバックインタフェース装置１２を操作する。触覚フィードバックインタフェース装置はユーザがコマンドおよびデータを入力することを可能にし、かつ、ここでより一般的に「触覚フィードバック」として知られる、運動感覚力フィードバックまたは触感フィードバックをも提供する。モータまたは他の型のアクチュエータを使用して、これらのインタフェース装置は、装置に触れるかまたは装置のユーザマニピュランダムを操作するユーザが感じる物理的感覚を提供することができる。例えば、装置１２はノブ、マウス、トラックボール、ジョイスティック、またはユーザが方向、値、大きさ等を入力するために所定の自由度で動かす他の装置とすることができる。ユーザが入力を提供するために装置１２に物理的に接触している間に、彼または彼女は触覚装置１２によって出力される触覚感覚を経験することもできる。本発明では、触覚感覚は、ホストコンピュータのアプリケーションプログラムで発生する編集および他のサウンド操作機能に関連付けられ、ユーザが操作タスクをより容易に実行し、サウンドデータを扱うことを可能にする。

ホストコンピュータ１４はまた、オーディオスピーカ２４にも信号を出力し、ユーザ１６が再生するように選択したサウンドデータを聞くことを可能にする。ホストコンピュータの視覚的表示および触覚装置１２からの触覚感覚の出力と調和したスピーカからのサウンドデータの出力は、ユーザがサウンドデータ中の特定または予め選択された事象をより容易に経験し、かつ気付くのを可能にする。これは、ユーザが、聴覚および視覚に加えて触覚を通してそのような事象を識別することによって、サウンドをより容易に編集することを可能にする。

触覚フィードバック装置は、コンピュータインタフェースへの入力および出力を処理することができる。これは、成功のために迅速かつ効率的な人間の物理的反応が不可欠である実時間タスクにとって非常に効果を発揮する。触覚フィードバックインタフェースは、コンピュータタスクを達成するために要求される認識負荷を軽減しながらユーザ効率および精度を改善することができる。効果的な音楽インタフェースの必須の特徴の一つは、ユーザが過度に特定の物理的ジェスチャを意識することなく、音楽的経験に没頭することを可能にすることであるので、この種の結果は、音楽の創造および編集には非常に有益になり得る。本発明は、安価な触覚装置をコンピュータ支援音楽およびサウンド編集および創造に組み込むことを可能にする。

図２は、ホストコンピュータ１４と通信する触覚フィードバックインタフェース装置１２を含む、図１の触覚フィードバックシステムの一実施形態を示すブロック図である。

ホストコンピュータ１４は、ホストマイクロプロセッサ２０、クロック２２、表示スクリーン２６、およびオーディオ出力装置２４を含むことが好ましい。ホストコンピュータはまた、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、および入力／出力（Ｉ／Ｏ）電子部品（図示せず）のような他の周知の構成部品をも含む。ホストコンピュータ１４は、多種多様な形態を取ることができるコンピューティング装置である。例えば、記載する実施形態では、コンピュータ１４は、ＰＣ互換性コンピュータまたはマッキントッシュパーソナルコンピュータ、もしくはサンまたはシリコン・グラフィックスワークステーションのようなパーソナルコンピュータまたはワークステーションである。そのようなコンピュータ１４は、Ｗｉｎｄｏｗｓ（登録商標）、ＭａｃＯＳ（登録商標）、Ｕｎｉｘ（登録商標）、ＭＳ−ＤＯＳ、または他のオペレーティングシステムの下で動作することができる。代替的に、ホストコンピュータ１４は、任天堂、セガ、ソニー、またはマイクロソフトから入手可能なシステムのような、テレビジョンセットまたは他の表示装置に一般的に接続される種々のホームビデオゲームコンソールシステムの一つとすることができる。他の実施形態では、ホストコンピュータシステム１４は「セットトップボックス」、「ネットワーク」、または「インターネットコンピュータ」、携帯コンピュータまたはゲーム装置、家庭用電子機器（ステレオコンポーネント等）、ＰＤＡ等とすることができる。

ホストコンピュータ１４は、ユーザが装置１２および適切な場合には他の周辺装置を介して対話する、ホストアプリケーションプログラムを実装することが好ましい。本発明の文脈では、ホストアプリケーションプログラムとは、以下でさらに詳述する通り、デジタルオーディオ編集プログラムである。装置１２の入力を利用し、かつ装置１２に触覚フィードバックコマンドを出力する、他のアプリケーションプログラムを使用することもできる。ホストアプリケーションプログラムは、グラフィカルユーザインタフェース（ＧＵＩ）を利用してユーザにオプションを提示し、かつユーザから入力を受け取ることが好ましい。このアプリケーションプログラムは、以下で述べる触覚フィードバック機能性を含むことができ、あるいは触覚フィードバック制御は、ドライバまたは他のアプリケーションプログラムなど、ホストコンピュータで実行される別のプログラムに実装することができる。ここで、コンピュータ１４は「グラフィカル環境」を提示すると言うことができ、それはグラフィカルユーザインタフェース、ゲーム、シミュレーション、または他の視覚的環境とすることができる。コンピュータは「グラフィカルオブジェクト」または「コンピュータオブジェクト」を表示する。それらは物理的オブジェクトではなく、当業者には周知の通り、コンピュータ１４によって表示スクリーン２６上に画像として表示することのできるデータおよび／またはプロシージャの論理ソフトウェア単位集合である。ソフトウェアを触覚フィードバック装置とインタフェースする適切なソフトウェアドライバは、カリフォルニア州サンノゼのイマージョン・コーポレーションから入手可能である。

表示装置２６はホストコンピュータシステム１４に含めることができ、標準表示スクリーン（ＬＣＤ、ＣＲＴ、フラットパネル等）、３Ｄゴグル、映写装置、または他の映像出力装置とすることができる。表示装置２６は、オペレーティングシステムアプリケーション、シミュレーション、ゲーム等によって命令された画像を表示する。スピーカなどのオーディオ出力装置２４は、ユーザにサウンド出力を提供する。本発明の文脈では、ミキサ、増幅器、特殊ハードウェア等のような、他のオーディオ関連装置をホストコンピュータに接続することもできる。記憶装置（ハードディクスドライブ、ＣＤ ＲＯＭドライブ、フロッピーディスクドライブ等）、プリンタ、および他の入出力装置のような、他の型の周辺装置もホストプロセッサ２０に接続することができる。

マウス、ノブ、ゲームパッド、トラックボール、ジョイスティック、リモートコントロールなどのインタフェース装置１２は、双方向バス３０によってホストコンピュータシステム１４に接続される。双方向バスはホストコンピュータシステム１４とインタフェース装置との間でどちらの方向にも信号を送信する。バス３０は、ＲＳ２３２シリアルインタフェース、ＲＳ−４２２、ユニバーサルシリアルバス（ＵＳＢ）、ＭＩＤＩ、または当業者には周知の他のプロトコルなどのシリアルインタフェースバスとすることができ、あるいはパラレルバス、またはワイヤレスリンクとすることができる。一部のインタフェースは装置１２のアクチュエータに電力を提供することもできる。

装置１２はローカルプロセッサ４０を含むことができる。ローカルプロセッサ４０は任意選択的に、マウスの他の構成部品との効率的な通信を可能にするために、装置１２のハウジング内に含めることができる。プロセッサ４０は、コンピュータホスト１４からのコマンドまたは要求を待ち、コマンドまたは要求を復号し、コマンドまたは要求に従って入力および出力信号を処理／制御するためのソフトウェア命令を備えることができる。加えて、プロセッサ４０は、センサ信号を読み取り、これらのセンサ信号、時間信号、およびホストコマンドに従って選択された格納またはリレーされた命令から適切な力を計算することによって、ホストコンピュータ１４とは独立して動作することができる。ローカルプロセッサ４０として使用するための適切なマイクロプロセッサとして、例えばモトローラによるＭＣ６８ＨＣ７１１Ｅ９、マイクロチップによるＰＩＣ１６Ｃ７４、およびインテル社による８２９３０ＡＸのみならず、イマージョン・タッチセンス・プロセッサのようなより高機能の力フィードバックプロセッサがある。プロセッサ４０は、一個のマイクロプロセッサチップ、複数個のプロセッサおよび／またはコプロセッサチップ、および／またはデジタル信号プロセッサ（ＤＳＰ）機能を含むことができる。

マイクロプロセッサ４０は、ホストコンピュータ１４によって提供される命令に従って、センサ４２から信号を受け取り、アクチュエータアセンブリ４４に信号を提供することができる。例えば、ローカル制御の実施形態では、ホストコンピュータ１４はバス３０を通して高レベル監視コマンドをプロセッサ４０に提供し、プロセッサ４０はホストコンピュータ１４の高レベルコマンドコマンドに従ってホストコンピュータとは独立してコマンドを復号し、センサおよびアクチュエータへの低レベルの力制御ループを管理する。この動作は米国特許第５７３９８１１号および第５７３４３７３号に詳細に記載されており、両方を参照によってここに組み込む。ホスト制御ループでは、ホストコンピュータからの力コマンドが、指定された特性を有する力または力感覚を出力するようにプロセッサに指示する。ローカルプロセッサ４０は位置および他のセンサデータをホストコンピュータに報告し、ホストコンピュータはそれを使用して実行プログラムを更新する。ローカル制御ループでは、アクチュエータ信号がプロセッサ４０からアクチュエータ４４に提供され、センサ信号がセンサ４２および他の入力装置４８からプロセッサ４０に提供される。プロセッサ４０は入力センサ信号を処理して、格納された命令に従うことによって適切な出力アクチュエータ信号を決定することができる。ここで、用語「触覚感覚」または「触感」とは、ユーザに感覚を与えるアクチュエータ組立体によって出力される単一の力または一連の力のいずれかを指す。

さらに別の実施形態では、プロセッサ４０としての機能性を提供するために、他のより簡単なハードウェアを装置１２に局所的に提供することができる。例えば、ハードウェア状態機械または固定論理を組み込んだＡＳＩＣを使用して、アクチュエータ４４に信号を提供し、センサ４２からセンサ信号を受け取り、予め定められたシーケンス、アルゴリズム、またはプロセスに従って触感信号を出力することができる。

異なるホスト制御実施形態では、ホストコンピュータ１４はバス３０を通して低レベル力コマンドを提供することができ、それはプロセッサ４０を介してアクチュエータ４４に直接伝送される。ホストコンピュータ１４はこうして、装置１２への、または装置１２からの全ての信号を直接制御し、かつ処理する。単純なホスト制御の実施形態では、ホストから装置への信号は、アクチュエータに予め定められた周波数および大きさの力を出力するように命令することができ、あるいは大きさおよび／または方向を含むか、もしくは長時間にわたって加えるべき所望の力値を示す単純なコマンドとすることができる。

プロセッサ４０のための命令を格納し、かつ一時的データおよび他のデータを格納するために、ＲＡＭおよび／またはＲＯＭなどのローカルメモリ５２を装置１２内のプロセッサ４０に接続することが好ましい。例えば、プロセッサによって出力することのできる一連の格納された力値、またはユーザオブジェクトの現在の位置に基づいて出力される力値のルックアップテーブルのような力プロファイルをメモリ５２に格納することができる。加えて、ホストコンピュータ１４のシステムクロックと同様のタイミングデータを提供するために、ローカルクロック５４をプロセッサ４０に接続することができる。タイミングデータは、例えばアクチュエータ４４によって出力される力（例えば、算出された速度または他の時間依存因子に依存する力）を算出するために必要となる。ＵＳＢ通信インタフェースを使用する実施形態では、プロセッサ４０のためのタイミングデータは代替的にＵＳＢ信号から検索することができる。

センサ４２は装置および／またはマニピュランダムの位置または動きを感知し、位置または動きを表わす情報を含む信号をプロセッサ４０（またはホスト１４）に提供する。操作を検出するのに適したセンサとして、デジタル光符号器、光センサシステム、線形光符号器、電位差計、光センサ、速度センサ、加速センサ、歪み計が含まれ、あるいは他の型のセンサも使用することができ、相対センサまたは絶対センサのいずれでも設けることができる。センサ信号をプロセッサ４０および／またはホスト１４が解釈できる信号に変換するために、任意選択的センサインタフェース４６を使用することができる。

アクチュエータ４４は、プロセッサ４０および／またはホストコンピュータ１４から受け取った信号に応答して、装置１２のハウジングまたは一つまたはそれ以上のマニピュランダム６０に力を伝達する。アクチュエータ４４は、ＤＣモータ、ボイスコイル、空気圧または油圧アクチュエータ、トルカー、圧電アクチュエータ、可動磁石アクチュエータ等のような能動アクチュエータ、またはブレーキなどの受動アクチュエータをはじめとする、多くの型のアクチュエータのいずれにもすることができる。

プロセッサ４０からの信号を、アクチュエータ４４を駆動するのに適した信号に変換するために、アクチュエータ４４とプロセッサ４０との間に任意選択的にアクチュエータインタフェース５０を接続することができる。インタフェース５０は、当業者には周知の通り、電力増幅器、スイッチ、デジタルアナログ制御装置（ＤＡＣ）、アナログデジタル制御装置（ＡＤＣ）、および他の構成要素を含むことができる。装置１２内に他の入力装置４８が含まれ、ユーザによって操作されたときに入力信号をプロセッサ４０またはホスト１４に送る。そのような入力装置はボタン、スクロールホイール、ｄパッド、ダイヤル、スイッチ、または他の制御装置または機構を含むことができる。

アクチュエータに電力を提供するために、アクチュエータインタフェース５０および／またはアクチュエータ４４に接続された電源５６を任意選択的に装置１２に含むか、または別個の構成要素として設けることができる。代替的に、電力は装置１２から分離された電源から引き込むか、またはバス３０を介して受け取ることができる。一部の実施形態は、ピーク力を加えることができることを確実にするために、（参照によってここに組み込む米国特許第５９２９６０７号に記載するように）装置内の電力貯蔵装置を使用することができる。代替的に、この技術をワイヤレス装置に使用することができ、その場合、触感アクチュエータを駆動するためにバッテリ電力が使用される。ユーザが安全上の理由からアクチュエータ４４の動作を停止させることを可能にするために、任意選択的に安全スイッチ５８を含めることができる。

アクチュエータ４４は、インタフェース装置１２のハウジングおよび／またはマニピュランダム６０に対し力を出力する。センサ４２はハウジングまたはマニピュランダム６０の位置または動きを感知することができる。ここに記載する本発明では、多くの型のインタフェースまたは制御装置を使用することができる。例えば、そのようなインタフェース装置は触覚フィードバックトラックボール、ジョイスティックハンドル、ステアリングホイール、ノブ、ハンドヘルドリモートコントロール装置、ビデオゲームまたはコンピュータゲーム用のゲームパッドコントローラ、スタイラス、グリップ、ホイール、ボタン、携帯電話、ＰＤＡ、タッチパッド、または他の操作可能な物体、表面またはハウジングを含めることができる。

図３は、本発明に使用するのに適した装置１２のマウスの実施形態１００の側面断面図である。

マウス装置１００は、ハウジング１０１、センシングシステム１０２、およびアクチュエータ１０４を含む。ハウジング１０１は、ユーザが平面自由度内でマウスを移動し、ボタン１０６を操作する間、標準的マウスのようにユーザの手にフィットするように形作られる。多くの異なる実施形態では、他のハウジング形状を提供することができる。

センサ１０２はその平面自由度内で、たとえばＸおよびＹ軸に沿って、マウスの位置を検出する。記載する実施形態では、センサ１０２は、コンピュータシステムに方向入力を提供するために、標準的マウスボール１１０を含む。代替的に、任意選択的センサまたは他の型のセンサを使用することができる。

マウス装置１００は、マウスのユーザに触感などの触覚フィードバックを与えるために、一つまたはそれ以上のアクチュエータ１０４を含む。アクチュエータ１０４は、ユーザに触覚フィードバックを提供するためにハウジング１０１に接続される。一実施形態では、アクチュエータはアクチュエータによって運動する慣性質量に接続される。慣性質量の運動によって生じる慣性力は、慣性質量に対してマウスのハウジングに加えられ、それによってハウジングに触れているマウスのユーザに触感のような触覚フィードバックを伝える。一部の実施形態は、アクチュエータ自体が慣性質量として運動することができる。そのような実施形態は米国特許第６２１１８６１号および米国特許出願第０９／５８５７４１号にさらに詳しく記載されており、参照によって両方を丸ごとここに組み込む。ゲームパッド、ハンドヘルドリモートコントロール、携帯電話、ＰＤＡ等のような他の型のインタフェース装置は、慣性触感用のアクチュエータを含むことができる。

他の型のインタフェース装置およびアクチュエータも本発明で使用することができる。例えば、ゲームパッド、マウス、または他の装置は、装置のハウジングまたはマニピュランダムに慣性触感を提供するために、アクチュエータの回転軸に結合された偏心回転質量を含むことができる。ジョイスティック、ノブ、スクロールホイール、ゲームパッド、ステアリングホイール、トラックボール、マウス等のような他の型の触覚装置は、運動感覚力フィードバックを提供することができ、力はマニピュランダムの感知される自由度で出力される。例えば、運動感覚マウス触覚装置の実施形態は米国特許第６１００８７４号および第６１６６７２３号に開示されており、参照によって両方を丸ごとここに組み込む。

図４は、本発明に使用するのに適したインタフェース装置１２の別の実施形態１５０の斜視図である。ノブ装置１５０は、電子装置またはホストコンピュータ１４の様々な機能を制御するためにユーザによって操作される制御ノブ１５２を含む。例えばノブ装置は、以下で述べる編集ソフトウェアを実行するホストコンピュータ１４に接続された別個のハウジングに設けることができ、あるいはオーディオ編集に関連する他のコントロールまたは希望する他の制御機能を含む完全制御パネルに設けることができる。ホストコンピュータ１４の表示装置２６（またはノブ装置専用の表示装置）は、以下で述べる通り編集コントロールを表示することができる。

制御ノブ１５２は、ユーザが本発明の機能および設定を直接操作することを可能にする。ノブ１５２は、ユーザによって係合可能な略円筒形物体とすることができる。記載する実施形態では、ノブ１５２は、矢印１５４によって示すように、ノブから外延する軸線Ａのような軸線を中心に一回転自由度で回転する。ユーザはノブ１５２の周面１５６を把持するかそれに触れて、所望の量だけそれを回転することが好ましい。代替の実施形態では、各ノブが異なるかまたは同様の制御機能を提供するように、複数のノブ１５２を設けることができる。

さらに、制御ノブ１５２の一部の実施形態は、ユーザのために追加の制御機能性を与えることができる。制御ノブ１５２は、軸線Ａに沿った自由度で（または軸線Ａにほぼ平行に）押しかつ／または引くことができることが好ましく、この運動はアキシャルスイッチまたはセンサによって感知される。これはユーザに、ノブから彼または彼女の把持を解除する必要なく、機能または設定を選択する追加の方法を提供する。例えば、一実施形態では、ユーザは表示装置１４に表示されたカーソルまたは他のインジケータを、ノブ１５２の回転を使用して移動させることができる。カーソルを表示装置上の所望の設定または領域まで移動させたとき、ユーザはノブ１５２を押して、所望の設定を選択することができる。ノブ１５２の押しおよび／または引き機能性は、スプリングリターンバイアスを備えることができ、あるいはユーザが積極的にノブを新しい位置に移動するまで、押されるかまたは引かれた位置に留まるように実現することができる。

他の実施形態では、ノブ１５２は、回転軸線Ａに対して略垂直（直交）な平面内で一つまたはそれ以上の横方向または側方方向に、ユーザによって移動させることができる。この横方向移動を矢印１５８によって示す。例えば、ノブ１５２は、図示した四つの直交方向または四つの対角方向に移動させることができる。ノブ１５２のこの横方向移動により、ユーザはモード選択、カーソル位置、または値もしくは大きさの設定など、被制御装置の追加の設定または機能を選択することが可能になる。

ノブ１５２は、ノブの少なくとも回転自由度の力フィードバックを備えることが好ましい。ノブ１５２に接続された軸を有する、回転ＤＣモータなどのアクチュエータ１６０を設けることができる。アクチュエータは、回転中のノブにデテント、スプリング、制動、バリア、または他の力感覚を提供する力を出力することができる。ノブの回転位置を読み取るためのセンサをアクチュエータに組み込むか、または別個に設けることができる。代替的に、または追加的に、ノブの横方向および／または直線軸方向運動を作動させることができる。ノブハードウェア実現は米国特許第６１５４２０１号に詳細に記載されており、参照によってここに組み込む。幾つかの力感覚について米国特許第５７３４３７４号および第６１５４２０１号に記載されており、参照によってそれらを丸ごとここに組み込む。

触覚フィードバックによるサウンドデータの出力および操作
本発明は、触覚フィードバックインタフェース装置によって出力される触覚感覚を使用することにより、デジタルサウンドデータ（「オーディオデータ」とも呼ぶ）の操作におけるユーザの経験を改善する。

図５は、本発明の前処理の一実施形態２００の流れ図である。この方法は、記載の実施形態で使用される例であるサウンドコンポジション／編集プログラムなどのアプリケーションプログラムによって実現することができる。代替的に、該方法は、サウンドコンポジション／編集プログラムと一緒に実行される別個のアプリケーションプログラムまたはドライバプログラムを使用して実現することができる。他の型のアプリケーションプログラムを本発明に使用することもできる。

該方法は２０２で開始され、ステップ２０４で、ユーザによって行なわれた設定が読み込まれる。例えば、ユーザは、グラフィカルユーザインタフェースで表示されたフィールドに設定を事前に入力しておくことができる。そのようなユーザインタフェースの例については、図１０および１１に関連して後述する。設定は、ユーザが触覚感覚の感じおよび再生または編集されるサウンドに対するそれらの関係を調整することを可能にする。ユーザ設定は他の方法で、例えばデータベースを読み出すプログラムによって、ネットワーク接続された記憶装置を介するなどによって、入力することもできる。

次のステップ２０６で、サウンドファイルまたはサウンドデータ、もしくはとりわけサウンドデータを含むファイルの全部または一部がメモリにロードされる。サウンドデータは一般的に、当業者には周知の通り、サンプルからオーディオ信号をどのように生成するかをドライバまたは他のＩ／Ｏプログラムまたは装置に指示する、一連の個々のデジタルサウンドサンプルから成る。このサウンドデータは本発明の方法によって前処理され、サウンドデータが後でスピーカまたは他のオーディオ出力装置によってユーザに再生されるときに、触覚感覚を出力することが可能になる。本発明方法をサウンド編集または再生プログラム以外の別個のプログラムによって実行する場合には、別個のプログラムは前処理のためにサウンドデータをメモリにロードすることができる。

次のステップ２０８で、メモリにロードされたサウンドデータは、触覚感覚に関連付けるべき所望のサウンド特性を見つけるために前処理される。例えば、該方法は、サウンドファイルが再生装置によって再生または出力されるように仕方で、例えば時間シーケンス、または他の実施形態では他のシーケンスで、サウンドファイルを検討することができる。

探索される所望のサウンド特性は様々な実施形態で異なることができ、ステップ２０４で読み込まれたユーザ設定によって影響を与えることができる。一実施形態では、該方法はサウンドデータにおける振幅の極端な上昇を探索することができる。これを図６の波形図２２０に図示する。サウンドデータはサウンド波形２２２を表わし、音楽中のドラムビートまた他のパーカッションの音のような、サウンド中の短いまたは突然の特徴に対応するサウンドの短いピーク２２４を持つかもしれない。例えば第一ピーク２２４における振幅の上昇を、ステップ２０８で探索する特性とすることができる。振幅の最小しきい上昇を課すことが好ましい。例えば、サウンド波形の平均振幅より大きい予め定められた百分率、例えば５０％をしきい値とすることができる。ステップ２０６でメモリにロードされたサウンドデータの全量に対し、サウンドデータの平均振幅を事前に算出することができる。しきい値の百分率値はステップ２０４でロードするユーザ設定とすることができ、あるいはデフォルト値とすることができる。

該方法は、例えばノイズが所望のサウンド特性として検出されないように、誤り訂正を含む、より精巧な方法も使用することができる。例えば、触覚感覚を割り当てるべきサウンドデータで特徴をピークとして識別するには、該方法は、特徴をサウンドデータにおけるピークとして登録するために、立ち上がり後に、サウンド波形がサウンドデータのその箇所で平均値よりある百分率下まで立ち下がることを要求することができる。波形にこの立ち下がりが無ければ、見つかった振幅の低下は偽低下、例えばノイズとみなすことができるので、真の振幅の低下は波形中に後で発生することがある。この検査は、唯一の望ましいピークおよび振幅の小さい低下を引き起こしたノイズがあるときに、誤って複数のピークを見出す機会を低減する。

何らかのサウンドの特徴が所望の触覚特徴として過剰計数されるのを防止するために、他の誤り訂正措置を取ることができる。例えば、該方法がサウンドデータのピークに遭遇した場合に、該方法はサウンドデータで見つかった前回のサウンドピークを検査することができる。現在見つかったピークが前回のピークから予め定められた最小時間間隔によって分離されない場合には、現在のピークは所望の触覚サウンド特性として計数すべきではない。これは、再生中に時間的に近接し過ぎているのでユーザがそれらを区別できないサウンド特性に触覚感覚を割り当てるのを防止し、したがって処理時間を節約する。他の実施形態では、現在のサウンド特性と前に見つかった特性との間で他の比較を行なって、現在の特性を触覚感覚に割当可能とみなすべきか否かを決定することができる。予め定められた振動数、振幅の予め定められた百分率の低下等のような、サウンドデータの他の特性を探索することもできる。

サウンドデータ内でサウンド特性が見つかると、次のステップ２１０で、見つかったサウンド特性の位置を示すマーカがマーカのランニングリストに追加される。マーカは簡単に、サウンド特性が始まる位置、または特性の何らかの他の標準化位置におけるサウンドサンプルの番号（例えばサウンドデータの開始を基準とする）を示す数字とすることができる。例えば、マーカは図６でピーク２２４の開始における破線２２６によって表わされる。線２２６の位置におけるサウンドサンプルの識別番号（または他の識別子）をマーカリストに格納することができる。

マーカのリストは、本発明の以前の繰返しで見つかった、触覚感覚に一致する所望のサウンド特性、例えば、順次処理が実現される場合に、サウンドデータストリーム中で先に発生する触覚連関の特性を全て含む。リストは、再生中にリスト内のサウンドサンプルを現在再生されているサウンドサンプルと容易に比較できるように編成される。

一部の実施形態は単にリスト内のマーカを提示するだけであり、全てのマーカはデテントのような標準的触覚感覚に関連付けられる。したがって、再生中にマーカに達したときはいつでも、ユーザにデテントが出力される。他のより複雑な実施形態では、各マーカは、見つかったサウンド特性の型または特徴に基づいて、一型の触覚感覚に関連付けることができる。例えば、関連付けられる触覚感覚（その型および／またはパラメータ）の指示を、各マーカと共にマーカリストに格納することができる。他の実施形態では、各サウンドサンプルまたは数個のサウンドサンプル毎にマーカを配置することができ、各マーカに関連してそのサンプルのサウンドの振幅に比例するように力値が算出される。これにより、触覚出力をサウンドデータの振幅に連続的に一致させることができる。しかし、そのような連続的一致は、以下で図８に関連して述べるように、実時間処理の実施形態でよりよく実現される。

次のステップ２１２で、サウンドファイルまたはサウンドデータの終わりに達し、前処理が必要なデータがもう残っていないかどうかが検査される。これが当てはまらない場合には、該方法はステップ２０８に戻って、別の所望のサウンド特性が見つかるまでサウンドデータをさらに前処理する。前処理が必要なデータがそれ以上無ければ、該方法は２１４で終了する。

図７は、本発明に従って前処理されたサウンドデータおよび触覚感覚を再生するための方法２５０を示す流れ図である。この方法では、ユーザまたはアプリケーションプログラムがスピーカまたは他のオーディオ装置を介してユーザにサウンドを出力することを想定している。この方法例が主に関連する一実施形態では、アプリケーションプログラムは、ユーザがユーザからの入力に基づいて音楽を触覚装置１２を介して再生することを可能にする音楽作曲／編集プログラムである。例えばユーザはノブ装置を操作して、ノブを一方向に回してサウンドを順方向に再生し、かつノブを逆方向に回してサウンドを逆方向に再生することによって、サウンドを再生することができる。あるいは、ユーザはマウス、ジョイスティック、または他の装置を使用することができる。ユーザはしばしばこの順方向および逆方向再生を実行して、ユーザがアプリケーションプログラムを使用して編集または作曲したばかりのサウンドサンプルを聞き、またこの特徴を使用して、サウンドデータをさらに編集するためにサウンドデータストリームの所望の位置にカーソルを配置することもできる。

該方法は２５２で開始され、ステップ２５４で該方法は、サウンドの再生を開始または続行するかどうかを検査する。しない場合には、該方法は２５６で終了する。する場合には、ステップ２５８で、ユーザが触覚装置のノブまたは他のマニピュランダムを新しい位置へ回転するなどの新しいユーザ入力を受け取ることができる。あるいはユーザによって新しい入力が提供できないこともある。ステップ２６０で、サウンドデータは、ユーザによって指示された順方向または逆方向のいずれかの方向に、スピーカを介して再生される。方向は、ノブの回転の方向、マウスまたはジョイスティックまたはホイールの動きの方向等に対応することができる。

一部の実施形態は、ユーザがサウンド再生の速度を制御できる速度制御モードを提供することができる。再生速度は、基準位置からのマニピュランダムまたはオブジェクトの現在の位置に基づく。例えば、ノブの実施形態で、ユーザがノブを原点静止位置から遠くに回転すればするほど、サウンド再生の速度は大きくなる。一部の実施形態では、ユーザはこの速度制御を支援するためにノブにばね抵抗をも有する。他の実施形態は、ユーザマニピュランダムが移動しているときにだけ音楽が再生され、特定の移動量が音楽再生の特定の量または持続時間に対応する位置制御モードを設けることができる。例えば、位置制御モードで、ユーザはノブを持続的に時計方向に回転して音楽の再生を聞くことができ、かつその回転の速度を調整して再生の速度を調整することができる。ユーザがノブの回転を停止すると、サウンドの再生が停止する。該モードはまた、どの触覚感覚を出力するかを決定することもできる。例えば、時間ベースのポップまたは衝撃は速度制御モードに適しており、位置ベースのデテントまたは跳びはねは位置制御モードで出力することができる。

次のステップ２６２で、該方法は、サウンドデータ内のマーカに達した場合に触覚効果を再生する。マーカは図５の前処理に基づいてリストに配置されていることが好ましく、各マーカは関連付けられるサウンドサンプルまたはサウンドデータ内の位置を有する。再生中にそのサウンドサンプルまたは位置に達すると、そのマーカに関連付けられた触覚作用を出力するように命令される。例えば、図６に示すように、触覚感覚は線２２８によって指定される。再生中にマーカ２２６に達すると、関連付けられた触覚感覚が出力され、それは本実施例では、線２２８でくぼみ２３０によって示される力デテントである。上述の通り、一部の実施形態は、到達した特定のマーカと共に触覚感覚の型を格納することができ、多種多様の触覚感覚を出力することが可能になる。

したがって、触覚感覚は、関連付けられたサウンドの特徴の出力と同時に、触覚装置によって直ちにユーザに出力される。例えば、出力されるドラムビートサウンドは同時に、触覚装置からユーザへの力パルスまたは衝撃の出力と協調する。次いで、該方法はステップ２５４に戻って、再生を続行するかどうかを検査する。そうする場合、サウンドは再生され、同様の仕方でマーカに達したときに触覚効果が再生される。

一部の実施形態は、ユーザ入力のような他の因子に基づいて、出力触覚感覚を変化させることができる。例えば、触覚感覚は、ユーザによって制御されるサウンド再生の速度に基づくことができる。一実施形態では、デテントまたは他の触覚感覚の大きさは、再生の速度に正比例するか、または予め定められたしきい速度に対する現在の再生速度の関係に基づくことができる。

音楽以外に、スピーチのような他のサウンド、例えば映画の音声のみまたは対話を再生することができる。したがって触覚感覚はサウンドデータにおけるスピーチ特性に基づくことができる。一部のプログラムは、文または文内の語句および語の間またはその内部における休止のように、スピーチ特性を区切り、ユーザにスピーチ出力を表わすサウンドデータを編集させることができる。

したがって本発明は、サウンドデータの特徴の出力と相関する触覚感覚を提供する。ユーザはサウンドデータをナビゲートしてシリアルデータ内の特定の箇所を見つけることができ、触覚感覚は、ピークのような有意の特徴がアプリケーションプログラムによって提供されるカーソルまたはポインタによってスクロールされたか、またはそれらの位置で突き止められたときにそれをユーザに知らせることができる。これはユーザのナビゲーションおよび編集タスクを大いに支援する。

図８は、本発明に係るサウンド再生に従って触覚感覚を出力する実時間再生プロセスを示す流れ図である。実際のサウンド再生の前に、触覚感覚にマッピングすべき特性を求めて前処理される図５および７の方法とは対照的に、本方法では、サウンドデータは再生中に処理され、したがって前処理時間および計算が省かれる。

該方法は３０２で開始され、ステップ３０３で、サウンドデータはメモリ（一次バッファ）にロードされる。上述の通り、これは再生すべきサウンドファイル、または再生すべき他のデータ（例えば視覚的データ）の中にサウンドデータを含むファイルとすることができる。ステップ３０４で、該方法は、サウンド再生を開始または続行するかどうかが検査される。しない場合、該方法は３０６で終了する。する場合、ステップ３０８で、図７について上述したのと同様に、ユーザが触覚装置のノブまたは他のマニピュランダムを新しい位置へ回転するなどの新しいユーザ入力を受け取ることができる。ステップ３１０で、サウンドデータは、図７の方法について述べたのと同様に、ユーザによって指示された方向に、スピーカを介して再生される。速度制御モード、位置制御モード、または他の制御パラダイムを使用することができる。再生のために、再生プログラム（音楽編集プログラムなど）は、再生されている現在のサウンドサンプルまたはサウンドデータ中のサンプルが次に再生されるかを示す「再生ポインタ」を提供することができ、ポインタはサウンドサンプルが出力されるときにそれに沿って単に移動する。

次のステップ３１２で、再生ポインタ近くのサウンドデータの部分は二次バッファに格納される。例えば、これは、再生ポインタの現在位置の直後に再生される、１００ミリ秒分のサウンドのように、予め定められた量のサウンドデータとすることができる。ステップ３１４で、二次サウンドバッファ中のデータは、サウンド特性について処理され分析される。このステップは、図５の処理ステップ２０８と同様とすることができ、そこで触覚感覚に関連付けることを希望するサウンドデータの特徴が探索される。例えば、振幅の上昇および／または低下を調べることができる。触覚感覚にマッピングすべきサウンド特性が存在するか否か、およびマップされる特定の触覚感覚を決定するのを助ける際に、全てのユーザの選好または設定を使用することができる。触覚感覚の大きさが連続的にサウンド振幅に従う場合（図９Ａおよび９Ｂ参照）のような他の実施形態では、サウンドの特定の特徴を見つける必要は無い。

次のステップ３１６では、ステップ３１４で見つかったサウンド特性に基づいて、触覚作用が触覚装置に送られて再生される。例えば、サウンドの振幅の上昇が見つかった場合、図７の前処理方法でマーカが見つかった場合と同様に、デテント感覚を出力することができる。代替的に、連続的にサウンドの振幅に基づく大きさを持つ触覚感覚を出力することができる。例えば、図９Ａは、二つの波形３３０および３３２を基本的時間対振幅の形で示す模式図である。波形３３０は、経時的なサウンドデータのサウンド振幅を表わす。この実時間処理の実施形態では、該方法は、二次バッファのサウンドデータのサウンド振幅に連続的に比例する、波形３３２によって表わされる触覚感覚の振幅を算出することができる。例えば、ノブなどのマニピュランダムに抵抗を出力することができ、ここで抵抗の大きさは現在のサウンド振幅に対応し、サウンド振幅により変化する。図９Ｂでは、サウンド波形振幅３３０は同様に示されているが、触覚感覚振幅３３６は連続的にサウンド振幅とは逆に変化して、異なる触覚経験をユーザに提供することができる。他の連続触覚感覚マッピングまたはサウンド特性感覚マッピングを使用することもできる。

サウンド特性が見つかり、触覚感覚がマッピングされ、出力するように命令された後、触覚感覚に対応するサウンドサンプルがスピーカによって再生されているおおよその時間に、ユーザは触覚感覚を感じる。見つかったサウンド特性に対して触覚作用が再生されると、該方法はステップ３０４に戻り、サウンド再生を続行するかどうかを検査する。

図１０は、本発明のためにユーザに選好および設定を入力させるだけでなく、サウンド再生を簡単に制御させてユーザ設定をテストすることもできる、グラフィカルユーザインタフェース４００の模式図である。例えば、これらの設定は、サウンド／音楽編集プログラムなどのアプリケーションプログラムに組み込むことができ、あるいは別個のテストプログラムで使用することができる。

サウンド制御パラメータ４０２は、サウンドファイルフィールド４０４を含むことができ、これによりユーザは、触覚感覚が相関するサウンドデータを含む、再生すべき所望のサウンドファイルを選択することができる。サウンドファイルは丸ごとメモリにロードすることができ、一部の実施形態では、反転再生ができるようにファイルの反転バージョンを第二バッファにロードすることができる。状態フィールド４０６は、ファイルを開いている、サウンドデータを処理中、反転再生のために反転バッファを作成中などのような、プログラムの現在の状態を表示することができる。再生調整フィールド４０８は、ユーザが値を入力してサウンドデータの再生をカスタマイズすることを可能にし、再生の速度を調整する周波数フィールド（そのファイルの再生の通常の周波数を最初に自動的に設定することができる）、左右のスピーカ間の再生のバランスを調整するパンフィールド、およびサウンドの出力振幅を調整するボリュームフィールドを含む。これらのユーザ設定を入力するためにスライダバー４１０を使用することもできる。ループサウンドボックス４１２は、サウンドファイルのデータの最後に達したときにサウンドファイルが再生を繰り返すか、それとも停止するかをユーザに選択させる。ボタン４１４は、ユーザにサウンドファイルの再生を始動、停止、または休止させる。

処理パラメータ４２０は、触覚感覚がサウンドデータに基づいて生成される仕方に影響を及ぼすパラメータをユーザに調整させる。ピークしきいパラメータ４２２は、上述したように触覚事象をトリガする、平均サウンドレベルに比較したサウンド信号の上昇の量を指定するために使用することができる。該パラメータは平均サウンド振幅の百分率で指定することができる。例えば平均振幅の５０％またはそれ以上の上昇は、触覚感覚をその上昇に関連付けさせるのに充分な有意の上昇である。ピークリセットパラメータ４２４は、検出された上昇後に、サウンド振幅のピークとするのに充分有意とみなされ、触覚感覚を保証し、かつ上述した偽の多数のピークを見つけ出すのを防止する、（平均サウンド振幅に比較した）サウンド振幅の百分率低下を指定させる。最小ビート間隔パラメータ４２６は、第二のピークを計数するために二つのピークの間に存在しなければならない最小間隔である時間間隔（例えばミリ秒単位）をユーザに指定させる、別の誤り検査パラメータである。最小間隔が存在しなければ、第二のピークは、上述したとおり、ノイズによって生じた偽ピークとみなされる。窓サイズパラメータ４２８は、サウンドデータ振幅を平均化するのに使用される分解能を定義する、サウンドサンプル数単位の窓サイズをユーザに指定させる。該方法は各窓内のサンプルを平均化し、次いで全ての窓をひとまとめに平均化して平均サウンド振幅を見出すことができる。

装置選択４３０は、システムでどの型の触覚装置１２が現在使用され、どれによって触覚感覚が出力されるかをユーザに選択させる。異なる装置は、触覚感覚を出力するために異なるコマンドを必要とする。位置制御または速度制御を有するノブ装置、触知フィードバックマウス、および運動感覚フィードバックマウスが選択肢として示されているが、どんな触覚装置でも使用することができる。マウス制御フィールド４３２は、ユーザがマウスカーソルを使用してサウンド再生を制御することを可能にし、サウンド再生およびユーザの選好および設定によって変更された触覚感覚出力をテストするために使用することができる。例えば、シャトルフィールド４３６は、ユーザがシャトルフィールド内でカーソルを移動させて、サウンドファイルを位置制御モードで再生させることを可能にする。カーソルがシャトルフィールド４３６内で左右に移動しながらボタンを押し下げると、音楽はカーソルの速度に比例する速度で再生され、右に移動すると順方向再生になり、左に移動すると逆方向再生になる。スクロールフィールド４３４は、ユーザがフィールド内でカーソルを移動させて、サウンドファイルを速度制御モードで再生させることを可能にする。ユーザはカーソルを配置または移動させて、再生の方向および速度に影響を及ぼす。カーソルの位置がフィールド４３４の中心点の右側にあると、カーソルと中心点との間の距離に比例する速度で順方向再生が生じ、カーソルの位置が中心点の左側にあると、同様に比例する逆方向再生が生じる。

テストボタン４３８は、図５について記述した前処理実施形態で、処理パラメータまたは装置選択が変更された場合に、ユーザがメモリ内のサウンドデータの再処理を開始することを可能にする。

図１１は、本発明のためにユーザに追加的選好および設定を入力させることができる、別のグラフィカルユーザインタフェース５００の模式図である。希望するならば、これらの設定のいずれかまたは全部を、図１０の設定の一部または全部と共に、単一インタフェースに含めることができる。サウンドファイルフィールド５０２はユーザにサウンドファイルを指定させ、触覚装置設定５０４はユーザに触覚装置の型を選択させる。

フィルタ５０６は、本発明の一部の実施形態で、図５または図８の方法のサウンドデータ処理ステップで使用することのできるフィルタの周波数範囲をユーザにカスタマイズさせる。低域通過フィルタ、高域通過フィルタ、および／または帯域通過フィルタを使用して、触覚感覚を適用することのできるサウンドデータの様々な周波数範囲を分離させることができる。ユーザは、これらのフィルタにカットオフおよび範囲限界を設定することができ、低域通過フィルタはユーザ指定カットオフより上の周波数を除去し、高域通過フィルタはユーザ指定カットオフより下の周波数を除去し、帯域通過フィルタはユーザ指定周波数範囲外の周波数を除去する。

異なる型のサウンドは異なる周波数範囲に依存するので、フィルタはサウンド編集タスクに役立てることができる。例えば、スピーチの有意義な情報は、より高い周波数に存在するので、スピーチを編集するユーザは、関連周波数だけが存在するように高域フィルタを適用したいと思うだろう。そうするとスピーチの所望の特徴は、これらの関連周波数でより容易に見出される。同様に、重く強いビートまたはリズムに依存する音楽（例えばロックンロール、ダンス音楽、ラップ）は、低周波数に多くの情報を含む一方、多くのクラシック音楽は高および中間範囲の周波数を中心とする。再生される音楽のスタイルに応じて適切なフィルタを使用して、有意義な周波数範囲を分離することができる。フィルタはまた、楽器の特性に合致するように周波数成分を制御することができるので、サウンドデータの個々の楽器のサウンドを編集するときにも有用である。

調波トラッキング設定５０８は、ユーザがオンまたはオフに設定することができる。調波トラッキング機能は、オンに設定された場合、サウンドの調波成分または音色への触覚感覚（例えばテクスチャまたは振動）のマッピングを生成することができる。触覚テクスチャとは、予め定められた方法で相隔配置または編成され、かつ触覚装置のユーザマニピュランダムがテクスチャフィールドの各「バンプ」位置（例えばデテント、衝撃等）の上を移動するときに出力される、デテントまたは衝撃などの短い触覚特徴のパターンである。触覚テクスチャは出力サウンドの音色に関連付けることができる。例えば、より遠くに離して配置された「バンプ」を有するクリーンで単純な触覚テクスチャは、純音をサウンドとして出力しながら、触覚的に出力することができる。対照的に、近接配置されたバンプを有する複雑かつ濃密なテクスチャは、サウンドの複合音が出力されるときに触覚的に出力することができる。フルートのサウンドはどちらかというと純音であり、非常に軽くかつ単純な触覚テクスチャにマッピングするか、あるいは全くテクスチャ無しとすることさえできる。スペクトルの他端では、エレキギターディストーションの超複合音であり、重く、複雑な触覚テクスチャにマッピングすることができる。テクスチャは位置制御モードにより適している。速度制御モードでは、振動を同様に出力することができ、低周波振動は遠くに離して配置されたテクスチャに対応し、高周波振動は近接して配置されたテクスチャに対応する。

効果設定は、触覚感覚の一部をどのように感じるようにするかをユーザに調整させる。連続性設定５１０は、触覚出力を連続的に変化させるか、それとも事象ベースとするかをユーザに選択させる。「連続」を選択すると、触覚出力は、図９Ａおよび９Ｂに関連して上述した通り、サウンド特性の変化と共に実時間で変化する。これは、ユーザがナビゲーション中にサウンドの振幅を連続的に追跡したい場合に選択することができる。「事象ベース」を選択した場合、図６に関連して上述した振幅の上昇のような、サウンドデータ内の有意の事象だけが触覚事象をトリガする。例えば、ビート、振幅ピークが触覚デテントをトリガすることができる。他の実施形態では、ユーザは、連続触覚出力および事象ベース触覚出力の両方を可能にする選択肢、例えば抵抗力の上に重ねられる衝撃またはデテントで補足される連続抵抗を選択することができる。

サウンド対力の大きさのマッピング設定５１２は、触覚出力応答をどのように出力するかをユーザに選択させる。例えば、直接マッピングを選択した場合、図９Ａに関連して上述した通り、サウンド振幅が大きいほど、生成される触覚力の大きさが強くなる。反転マッピングが選択された場合、図９Ｂに関連して上述した通り、サウンド振幅が大きいほど、生成される触覚力の大きさが弱くなる。このマッピングは連続性設定５１０の連続設定、または事象ベース設定に適用させることができる（例えば反転デテントを出力することができる）。

波形５１４は、メモリにロードされたサウンドデータを表わす波形の図形表現である。波形は、例えばユーザがサウンドデータをナビゲートするときに表示することができる。サウンドデータファイル全体を波形として表わすことができ、あるいはサウンドデータの一部分を表わすことができる。図示した例では、カーソル５１６は、波形における現在の再生位置を示す縦棒である。ナビゲーションおよびサウンドの再生中に、カーソル５１６は再生方向に対応する方向に移動し、かつ再生の速度で移動する（代替的に、波形全体をスクロールさせ、カーソルを静止させておくことができる）。したがってユーザは、カーソルがサウンド内の特徴の上を移動するときにそれを視覚的に感知し、これらの特徴に対応する触覚感覚を感じることができる。触覚感覚にマッピングされたサウンド特性を示すマーカを格納するこれらの前処理実施形態では（図５参照）、マーカを波形に対するそれらの位置に表示することもできる。

本発明は、音楽またはスピーチに使用されるような独立サウンドファイルに使用することができ、それは多くの標準化フォーマット（ｗａｖ、ｍｐ３、ＭＩＤＩ等）の一つとすることができる。加えて、本発明は、ビデオ、映画、および動画などの視覚的表現を記述する他のデータと共に含めることのできるサウンドデータに使用することができる。

本発明を幾つかの好適な実施形態に関して説明したが、その変形、並べ替え、および均等物は、本明細書を読み、図面を検討することにより、当業者には明らかになるであろう。例えば、触覚フィードバック装置の多くの様々な実施形態を使用して、本書で記述した触覚感覚を出力することができる。さらに、特定の用語法を使用したのは説明を分かり易くするためであって、本発明を限定するためではない。

触覚フィードバックにより増強されたユーザのためのサウンドデータ操作能力を提供するためのシステムを示すブロック図である。 ホストコンピュータと通信する触覚フィードバックインタフェース装置を含む、図１の触覚フィードバックシステムの一実施形態を示すブロック図である。 本発明に使用するのに適した触覚フィードバック装置のマウスの実施形態の側面断面図である。 本発明に使用するのに適したインタフェース装置１２の別の実施形態１５０の斜視図である。 本発明に従ってサウンドデータを前処理するための方法の流れ図である。 サウンド波形および該サウンド波形と相関される触覚感覚の模式図である。 本発明に従って前処理されたサウンドデータおよび触覚感覚を再生するためのプロセスを示す流れ図である。 本発明に係るサウンド再生に従って触覚感覚を出力する実時間再生プロセスを示す流れ図である。 直接出力における連続触覚出力のサウンドおよび触覚の波形を基本的時間対振幅の形で示す模式図である。 反転出力における連続触覚出力のサウンドおよび触覚の波形を基本的時間対振幅の形で示す模式図である。 本発明のためにユーザに選好および設定を入力させるだけでなく、サウンド再生を制御させることもできる、グラフィカルユーザインタフェースの模式図である。 本発明のためにユーザに選好および設定を入力させることができる、別のグラフィカルユーザインタフェースの模式図である。

Claims (26)

1. 触覚感覚をサウンドデータに関連付けて、前記サウンドデータのナビゲーションおよび編集を支援するための方法において、該方法が、
   前記サウンドデータの少なくとも一部分をコンピュータのメモリにロードするステップと、
   前記サウンドデータによって生成されるサウンドの望ましくない周波数が除去され、望ましい範囲の周波数が残るように、前記サウンドデータをフィルタリングする処理を含めて、前記コンピュータのメモリにロードした前記サウンドデータの少なくとも一部分を用いて前記サウンドデータを処理して、前記サウンドデータのサウンド特徴を触覚感覚に指定するステップと、
   前記サウンドデータを再生して、オーディオ装置からサウンドを出力するために使用するオーディオ信号を生成するステップであって、前記サウンドデータのナビゲーションの間、前記コンピュータによってユーザより入力されたユーザ入力によって前記サウンドデータの前記再生が、制御されるように構成されたステップと、
   前記ユーザによって操作されかつ前記コンピュータと通信する触覚フィードバック装置によって前記ユーザに触覚感覚を出力するために使用される触覚コマンドを前記望ましい範囲の周波数の前記サウンドデータに基づいて生成するステップであって、前記触覚感覚は指定されたサウンド特徴に対応して、前記指定されたサウンド特徴が前記オーディオ装置から音響的に出力されている間、前記触覚感覚は前記触覚フィードバック装置から出力され、前記サウンドデータの前記ナビゲーションおよび編集の間に前記ユーザが前記サウンド特徴を識別するのを支援するように構成されたステップと、を含む方法。
2. 前記ユーザが前記サウンドデータの前記再生の速度を制御することができる、請求項１に記載の方法。
3. 前記ユーザが、前記サウンドデータの前記再生の方向を制御することができ、前記方向が順方向および逆方向を含む、請求項１に記載の方法。
4. 前記触覚感覚が前記サウンドデータの前記再生中に連続的に出力され、出力される触覚感覚が、現在再生されている前記サウンドデータの振幅に基づく大きさを持つ、請求項１に記載の方法。
5. 前記触覚感覚が前記再生中の前記サウンドデータの前記振幅に正比例する大きさを持つ、請求項４に記載の方法。
6. 前記触覚感覚が前記再生されているサウンドデータの前記振幅に反比例する大きさを持つ、請求項４に記載の方法。
7. 予め定められた特性を有する前記サウンドデータの特徴が再生されたときにだけ前記触覚感覚が出力される、請求項１に記載の方法。
8. 前記予め定められた特性が、予め定められたしきい値を超える前記サウンドデータの振幅の上昇を含む、請求項７に記載の方法。
9. 前記予め定められた特性が、前記振幅の上昇に後続する予め定められた量の振幅の低下を含む、請求項８に記載の方法。
10. 前記予め定められた特性が、二つの振幅のピークのうち第二のピークが再生されるときに触覚感覚を出力させることができるように前記二つの振幅のピークの間に存在する必要のある最小時間間隔を含む、請求項７に記載の方法。
11. 前記サウンドデータの前記再生中に、前記サウンドデータ中の特定の位置に事前に格納されたマーカに達した場合に、前記触覚コマンドの一つが生成され、触覚感覚が出力される、請求項１に記載の方法。
12. 前記触覚感覚は前記サウンドデータの一つ以上の特性に対応しており、
    前記サウンドデータの一部分を二次バッファに格納し、前記サウンドデータの前記再生中に、前記サウンドデータの前記一部分を処理して、前記サウンドデータ内の前記一つ以上の特性を実時間で見出すステップをさらに含む、請求項１に記載の方法。
13. 前記サウンドデータの視覚的表現および再生中の前記サウンドデータの現在の部分を示す可動カーソルを表示するステップをさらに含む、請求項１に記載の方法。
14. サウンドデータを前処理して、前記サウンドデータがユーザに再生されるときに前記サウンドデータに関連付けられた触覚感覚を出力させるための方法において、
    前記サウンドデータの少なくとも一部分をコンピュータのメモリにロードするステップであって、前記サウンドデータがサウンド波形を表すように構成されたステップと、
    前記サウンドデータによって生成されるサウンドの望ましくない周波数が除去され、望ましい範囲の周波数が残るように、前記サウンドデータをフィルタリングする処理を含めて、前記コンピュータのメモリにロードした前記サウンドデータの少なくとも一部分を用いて前記サウンドデータを処理して、サウンド特徴を識別して触覚感覚と関連付けるステップであって、前記望ましい範囲の周波数の前記サウンド特徴を特定の型の触覚感覚に関連付けるように構成されたステップと、
    前記識別されたサウンド特徴に対応するマーカを生成するステップであって、該マーカは前記サウンドデータ内の前記識別されたサウンド特徴の位置を示し、前記サウンドデータの前記再生中に前記マーカに達すると前記特定の型の触覚感覚が出力されるように、前記処理に基づいて前記特定の型の触覚感覚を出力する命令を含んで構成されたステップと、を含む方法。
15. さらに、前記サウンドデータを処理して、一つ以上の予め定められた特性を持つサウンド特徴を見出すステップを含み、
    前記一つ以上の予め定められた特性が、予め定められた振幅のしきい値を超える、前記サウンドデータによって表される前記サウンド波形の振幅の上昇を含む、請求項１４に記載の方法。
16. さらに、前記サウンドデータを処理して、一つ以上の予め定められた特性を持つサウンド特徴を見出すステップを含み、
    前記一つ以上の予め定められた特性が、振幅の上昇に後続する予め定められた量の振幅の低下を含む、請求項１４に記載の方法。
17. さらに、前記サウンドデータを処理して、一つ以上の予め定められた特性を持つサウンド特徴を見出すステップを含み、
    前記一つ以上の予め定められた特性が、前記サウンド波形の二つの振幅のピークのうち第二のピークが再生されるときに触覚感覚を出力させることができるように前記二つの振幅のピークの間に存在する必要のある最小時間間隔を含む、請求項１４に記載の方法。
18. 前記マーカの特定の一つに関連付けられる一つ以上の特定の触覚感覚の指示を格納するステップをさらに含む、請求項１４に記載の方法。
19. 前記一つ以上の特定の触覚感覚の型が、前記マーカの特定の一つが示す前記サウンド特徴の前記一つ以上の予め定められた特性に基づく、請求項１８に記載の方法。
20. 触覚感覚をサウンドデータに関連付けて、前記サウンドデータのナビゲーションおよび編集を支援するステップを実行するためのプログラム命令を含むコンピュータが読み出し可能な媒体において、前記ステップが、
    前記サウンドデータの少なくとも一部分をコンピュータのメモリにロードするステップと、
    前記サウンドデータによって生成されるサウンドの望ましくない周波数が除去され、望ましい範囲の周波数が残るように、前記サウンドデータをフィルタリングする処理を含めて、前記コンピュータのメモリにロードした前記サウンドデータの少なくとも一部分を用いて前記サウンドデータを処理して、前記サウンドデータのサウンド特徴を触覚感覚に指定するステップと、
    前記サウンドデータを再生して、オーディオ装置からオーディオサウンドを出力するために使用するオーディオ信号を生成するステップであって、前記サウンドデータの前記再生が、前記サウンドデータのナビゲーションの間、前記コンピュータによってユーザより入力されたユーザ入力によって制御されるように構成されたステップと、
    前記ユーザによって操作されかつ前記コンピュータと通信する触覚フィードバック装置によって前記ユーザに触覚感覚を出力するために使用される触覚コマンドを前記望ましい範囲の周波数の前記サウンドデータに基づいて生成するステップであって、前記触覚感覚は指定されたサウンド特徴に対応して、前記指定されたサウンド特徴が前記オーディオ装置から音響的に出力されている間、前記触覚感覚は前記触覚フィードバック装置から出力され、前記サウンドデータの前記ナビゲーションおよび編集の間に前記ユーザが前記サウンド特徴を識別するのを支援するように構成されたステップと、を含む媒体。
21. 前記ユーザが前記サウンドデータの前記再生の速度を制御することができる、請求項２０に記載の媒体。
22. 前記ユーザが、前記サウンドデータの前記再生の方向を制御することができ、前記方向が順方向および逆方向を含む、請求項２０に記載の媒体。
23. 前記触覚感覚が前記サウンドデータの前記再生中に連続的に出力され、出力される触覚感覚が、現在再生されている前記サウンドデータの振幅に基づく大きさを持つ、請求項２０に記載の媒体。
24. 予め定められた特性を有する前記サウンドデータの特徴が再生されたときにだけ前記触覚感覚が出力される、請求項２０に記載の媒体。
25. 前記サウンドデータの前記再生中に、前記サウンドデータ中の特定の位置に対して事前に格納されたマーカに達した場合に、前記触覚コマンドの一つが生成され、触覚感覚が出力される、請求項２０に記載の媒体。
26. 前記触覚感覚は前記サウンドデータの一つ以上の特性に対応しており、
    前記サウンドデータの一部分を二次バッファに格納し、前記サウンドデータの前記再生中に、前記サウンドデータの前記一部分を処理して、前記サウンドデータ内の前記一つ以上の特性を実時間で見出すステップをさらに含む、請求項２０に記載の媒体。

Images