JPH09510558A - 時間ベース情報の空間アクセス方法およびシステム - Google Patents

Abstract

(57)【要約】 本発明はユーザ（１２）から得られる空間座標情報に基づいて時間ベース情報（１４）をアクセスする方法およびシステムに関する。時間ベース情報セグメントのタイミングを空間座標（１０）へマッピングして変換することにより時間ベース情報が空間表現へマッピングされる。このような空間座標は１次元、２次元、もしくは３次元とすることができる。このマッピングにより、時間ベース情報のセグメントを空間対象のさまざまな部分、空間表現、もしくは空間運動のさまざまな位置に関連づけることができる。ユーザの筋覚もしくはタッチメモリに頼って情報（１４）を再アクセスして情報の全体の感覚を生成するような身体的入力（１２）によりユーザがセグメントへアクセスすることができる（１４）。

Description

【発明の詳細な説明】 時間ベース情報の空間アクセス方法およびシステム技術分野 本発明はユーザから得られる空間座標情報に基づいて時間ベース情報にアクセ スする方法およびシステムに関する。背景技術 時間ベース情報を吸収して処理することは空間分布情報を吸収することよりも 難しい。これは、一部、時間ベース情報から“全体の感覚”を生成することが困 難なためである。例えば、プリントされたテキストを黙読することは記録された 音声を聴取することよりも遥かに容易に早くできることはよく経験することであ る。目の焦点（ｆｏｖｅａ ｖｉｓｉｏｎ−中心視または中心視覚）は１つの場 所から別の場所へ急速に動くことができ、周辺視野は窩周りの大きな領域をぼん やりと眺めそのため読者は任意所与の時点において中心視がプリントされたテキ ストの残り（例えば、ページの残り、文の残り、単語の残り）に対してどこにあ るかを知る。周辺視野によって中心視は読者が調べたい場所を迅速に見つけるこ とができる。したがって、目読は“瞬時任意アクセス”と考えることができる。 これに対して、例えば、オーディオおよび／もしくはビデオプレーヤ等の、時 間ベース情報へアクセスするのに使用する従来の装置はこのような情報を逐次デ ィスプレイするに過ぎない（例えば、記録されたオーディオもしくはビデオフレ ームの再生）。すなわち、従来の装置では時間ベース情報は時間軸に沿ってしか 提示できない。時間は逐次であるため、任意の時点において、このような情報へ アクセスしている人は情報の小さなセグメントにしか曝されることがない。人間 の時相記憶（ｔｅｍｐｏｒａｌ ｍｅｍｏｒｙ）は短く時間の分解能も悪いため 、ディスプレイもしくはアクセスされる全情報片に対する特定情報セグメントの 相対タイミングマークをユーザが確認するのは困難である。 たとえ基礎的装置によりユーザが音声の１つの部分から別の部分へ迅速に移る ことができても（例えば、ランダムアクセス可能なデジタル記憶装置）、通常聴 取者は単に自分が任意の時点において全情報に対してどこにいるかが判らないた めにそうすることはなく、したがって、どこへ移るべきかが判らない。したがっ て、時間ベース情報へアクセスする際の困難は主として人間の視覚、聴覚、記憶 特性の組合せ、および従来の装置の作動方法により全体の感覚を発生する能力が 欠如するために生じる。この時相的制約により１組の情報の一般的な見通しをた てることがさらに困難となる。 記録された音声等の時間ベース情報をプリントされたテキストやピクチュア等 の他の空間視覚コードへ精密に変換できれば、時間ベース情報へのアクセスは読 み取りへ変わることができる。しかしながら、自動音声認識は完全なものからは 程遠いものとなる。したがって、記録された音声を吸収して提示するための別の 方法が必要となる。 従来技術の多くのシステムがこの問題の解決を試みてきている。従来の大概の 方法は次の方法の１つを強調している。 １．（状況に依存する）重要部分を抽出するかもしくは重要ではない部分を投 棄することにより情報を簡約化する。いくつかの時間ベース情報は、事実、重要 ではなく情報を優先付する効率的方法があるものと仮定するためこの方法はあら ゆる状況において有効なわけではない。 ２．記録された音声の波形の振幅、および構造パターン等の情報の特性を利用 して情報に視覚的に注釈を付けさまざまなセグメントを容易に識別できるように する。したがって、この方法は有効な自動特徴抽出システムに依存する。この方 法も実現が困難でありあらゆる時間ベース情報源について有効なわけではない。 従来技術の他のシステムは基礎的テキストの構造の前の知識に基づく記録され た音声のプレゼンテーションに向けられている。このようなシステムの１例はア ップルコンピュータ社から市販されているマルチメディアパッケージ“Ｆｒｏｍ Ａｌｉｃｅ ｔｏ Ｏｃｅａｎ”である。このパッケージはオーストラリアの砂 漠を横断する婦人の旅物語りを提供する。著者が読み上げる物語りのテキストは 簡便なセグメント内に格納されている。テキストのこれらのセグメントはコンピ ュータ画面上に表示される視覚キューに基づいて対応する視覚イメージと共にユ ーザによりアクセスされる。 この種の第２の従来技術のシステムはＢｒｏｄｅｒｂｕｎｄ社から市販されて いるＣＤ−ＲＯＭゲーム／リーダ“Ｊｕｓｔ Ｇｒａｎｄｍａ ａｎｄ Ｍｅ” である。このパッケージによりユーザはコンピュータ画面上にディスプレイされ た物語りの単語に対応する予め記録された話し言葉を再生することができる。 これらのシステムおよびその基礎的方法はテキストの存在により提供される演 繹的情報を付加することなく時間ベース情報へアクセスする問題には向けられて いない。基礎的テキストが判っておれば、テキスト自体を使用して直接情報へア クセス、すなわち直接読み取りもしくはテキスト対音声変換、することができる ため問題の解決はささいなこととなる。これは原文の解釈や他の類似の文書への 演繹的アクセスを欠く時間ベース情報については有効な方法ではない。発明の開示 したがって、ユーザが時間ベース情報へ空間的にアクセスして再生することが できる方法およびシステムを提供することが本発明の目的である。 プリントされたテキストの読取り時に生成される周辺視野と類似の時間ベース 情報をアクセスするための全体の感覚を作り出すことも本発明の目的である。 時間ベース情報を空間分布情報へ変換して情報に容易にアクセスしてざっと目 を通すことができるようにする時間ベース情報のアクセス方法およびシステムを 提供することが本発明のさらにもう１つの目的である。 時間ベース情報を空間分布情報へ変換すなわちマッピングする方法およびシス テムを提供することが本発明のもう１つの目的である。 さらに時間ベース情報源に関連する方法で空間分布情報へアクセスする方法お よびシステムを提供することが本発明の１つの目的である。 本発明のもう１つの目的はユーザが筋覚および触覚メモリを利用して空間分布 情報のセグメント位置を記憶してユーザが目読に似た見かけ上並列な任意の情報 アクセスを達成できるような全体の感覚を得ることができる方法およびシステム を提供することである。 本発明のさらにもう１つの目的は（例えば、指、舌、頭、肩、膝、踵、等の） 任意の人体の動きを含むユーザからの身体的入力を使用して時間ベース情報の空 間分布表現を走査する方法およびシステムを提供することである。 本発明のより詳細な目的はユーザの人間空間メモリに頼って予めアクセスされ た情報を再アクセスできるように、身体的入力により、ユーザが時間ベース情報 を空間的にアクセスし再生できるようにする方法およびシステムを提供すること である。このようにして、ユーザは情報にざっと目を通してより慎重な走査を保 証する情報部分を確認することができる。 前記目的を達成するために、本発明により複数のセグメントを有する時間ベー ス情報をユーザが空間的にアクセスして再生できるようにする方法が提供される 。本方法には時間ベース情報の複数のセグメントの各々を複数のマッピングされ た空間座標の中の対応する１つの空間座標へマッピングするステップが含まれて いる。次に入力空間座標が決定され、それはユーザの身体の一部が第１の位置へ 動くことにより発生するユーザの第１の身体的入力に対応している。そのマッピ ングされた空間座標が入力空間座標に対応する時間ベース情報の第１のセグメン トが次にアクセスされ、ユーザへ再生される。ユーザの身体部分が第２の位置へ 動いた後で、ユーザの人間空間メモリを使用してユーザの身体部分を第１の位置 へ戻し前記ステップを繰り返すことにより時間ベース情報の第１のセグメントを 再アクセスして再生することができる。 前記目的を達成するために、本発明によりさらに複数のセグメントを有する時 間ベース情報へユーザが空間的にアクセスして再生できるようにする方法が提供 される。本方法には時間ベース情報内の時間の経過を示す一連の対応するタイミ ングマークを時間ベース情報へ割り当て、一連のタイミングマークに基づいて複 数のセグメントを形成し、一連のタイミングマークの各々を複数のマッピングさ れた空間座標の中の対応する１つの空間座標へマッピングすることが含まれてい る。 ユーザの身体の一部が第１の位置へ動くことにより発生するユーザの第１の身 体的入力に対応する入力空間座標が求められる。そのマッピングされた空間座標 が入力空間座標に対応する時間ベース情報の第１のセグメントがアクセスされる 。このアクセスは入力空間座標を複数のマッピングされた空間座標の中の１つ以 上の空間座標と比較して入力空間座標と一致するマッピングされた空間座標を識 別 することにより実施される。第１のセグメントは対応するタイミングマークに基 づいて一致するマッピングされた空間座標に対応するセグメントとして識別され る。次に第１のセグメントはユーザへ再生される。ユーザの身体部分が第２の位 置へ動いた後で、ユーザの人間空間メモリを使用してユーザの身体の一部を第１ の位置へ戻し前記ステップを繰り返すことにより時間ベース情報の第１のセグメ ントを再アクセスして再生することができる。 前記目的を達成するために、本発明によりさらに前記した各方法を実現するシ ステムが提供される。 本発明の目的、特徴および利点は添付図に関連して本発明を実施するための最 善モードの詳細説明から容易に理解することができる。図面の簡単な説明 第１図は本発明の方法の１実施例を表すフロー図。 第２図は本発明のシステムの１実施例を表すブロック図。 第３図は時間ベース情報を本発明の１実施例の空間ベース情報へ変換する方法 を表すフロー図。 第４図は本発明の方法の１実施例の入力空間座標に対応する時間ベース情報へ アクセスする方法を表すフロー図。 第５図は本発明のシステムの別の実施例を表すブロック図。 第６図は２次元タッチ感知ユーザインターフェイス装置が強調されている本発 明のシステムの１実施例の絵画図。 第７図は本発明のシステムの１実施例に使用する別の２次元ユーザインターフ ェイス装置の絵画図。 第８ａ図−第８ｃ図は本発明のシステムの１実施例に使用する別の２次元ユー ザインターフェイス装置で使用される走査パターン。 第９図は本発明の１実施例で使用する空間多ページ構造を表す図。 いくつかの実施例について本発明を説明するが、この説明は本発明をこれらの 実施例へ限定するものではないことを理解されたい。本発明は特許請求の範囲に 明記された発明の精神および範囲内に含まれる変更、修正および同等のものを全 て含むものとする。発明を実施するための最良の形態 時間ベース情報セグメントのタイミングを空間座標へマッピングして変換する ことにより時間ベース情報へアクセスする際の従来技術の問題が本発明により解 決される。このような空間座標は１次元、２次元および３次元ユークリッドもし くは非ユークリッド空間内の任意のカルテシアンもしくは非カルテシアン座標と することができる。このマッピングにより、時間ベース情報のセグメントを空間 対象のさまざまな部分、空間表現、もしくは空間運動のさまざまな位置と関連づ けることができる。 ここで使用される“時間ベース情報”という用語は、制約はされないが、時相 形式で表現できる任意の一般的な信号もしくはデータの収集を含むように広く解 釈すべきことをお判り願いたい。その例として音声、音楽、およびＭＩＤＩ信号 等のアナログもしくはデジタルオーディオ信号、ビデオ、アニメーションおよび 他のグラフィック情報等の視覚情報、および電磁信号、株式終わり値情報、毎日 の温度データ等のその他の時相データが含まれる。 次に第１図を参照して、本発明の１実施例をフロー図で示す。ステップ１０に 示すように、オーディオ、ビデオ、もしくは任意他の時間ベース信号等の時間ベ ース情報のタイミングが１組の空間座標へマッピングされる。さまざまな方法で 時間ベース情報のタイミングを空間座標へマッピングすることができる。制約は されないが、それには時間ベース情報の連続タイミングマークを空間座標へマッ ピングする、（１片の音声内の）連続するいくつかの単語を空間座標へマッピン グする、および時間ベース情報内で見つかる他の構造形式を空間表現へマッピン グすることが含まれる。 これらの空間座標は任意数の自由度を有することができる。したがって、本発 明の変換により時間ベース情報を３次元空間内の３つの座標へマッピングしたり 、時間ベース情報を３次元空間内の幾何学的立体の３つの位置座標および３つの 方位座標へマッピングしたり、時間ベース情報を３次元空間内の一連の連続結合 に対する１組の位置と方位へマッピングすることができる。 ステップ１２に示すように、次にユーザの身体の動きにより発生するユーザか らの身体的入力に基づいて入力空間座標が求められる。このステップはユーザの 身体の１つ以上の部分すなわち関節の位置、速度、加速度および／もしくは方位 を感知して実施することができる。制約はされないがその例としてパッド上の指 の位置を１組の空間座標へ変換できる位置デジタイザパッド上の多数の指位置、 ハンドコントローラや舌制御位置決め装置から発生される位置、もしくは頭部の 動きに応答するインターフェイス装置から発生される位置を利用することが含ま れる。この種のインターフェイス装置はバーチュアルリアリティ応用において広 く使用されている。 求められた入力空間座標は時間ベース情報のマッピングされた空間座標と同じ 座標空間内になければならない。したがって、時間ベース情報の各セグメントが １つの入力空間座標に対応する。 ステップ１４に示すように、そのマッピングされた空間座標が入力空間座標に 対応する時間ベース情報のセグメントが次にアクセスされ、ステップ１６に示す ように、時間ベース情報のアクセスされた第１のセグメントが次にユーザへ再生 される。この点においてこの方法を終了することができ、あるいはオプションと して、パス１８およびステップ１２，１４，および１６に示すように、新たな入 力空間座標に対応する情報へさらにアクセスする新たな入力空間座標を求めてこ の新たにアクセスされた情報を再生することにより継続することができる。この 手段により、ユーザの身体の一部が次の位置へ動いた後で、人間空間メモリを使 用してユーザの身体を第１の位置へ戻し時間ベース情報のセグメントを再アクセ スして再生することができる。この人間空間メモリは、筋肉の緊張を感知するこ とにより人間の身体の動きの空間位置を記憶する、筋覚メモリとすることができ る。“人間空間メモリ”という用語は、接触により皮膚が剌激される（例えば、 てのひら等の）人間の身体の一部の空間位置を記憶するメモリである、ユーザの タッチメモリ等のユーザの他の空間メモリをも含むように広く構成しなければな らない。 このようにして、人間の記憶により目読して得られる周辺視野の全体感覚能力 はユーザの身体の空間的動きおよび位置決めによりエミュレートすることができ る。このエミュレーションは指の筋覚メモリ、てのひらの触覚およびタッチメモ リ、舌の筋覚メモリ、もしくはインターフェイス装置の選択および入力空間座標 の選択に基づいた他種の人間空間メモリを利用して生じることができる。 第２図に本発明のシステムの１実施例をブロック図で示す。複数のセグメント を有する時間ベース情報２０のタイミングがタイミング対空間変換器２２により １組の空間座標へマッピングされる。この変換器はプログラマブルロジックアレ イや個別ロジックアレイ、もしくはアナログ計算装置により実現することができ る。しかしながら、実施例では、このタイミング対空間変換はマイクロプロセッ サ等のコンピュータの中央処理装置で実行されるソフトウエアやファームウエア により実施される。 ユーザインターフェイス装置２６によりユーザ３０が発生する身体的入力に対 応する入力空間座標が求められる。矢符３４はユーザ３０からユーザインターフ ェイス装置２６への身体的入力を表す。ユーザインターフェイス装置２６はユー ザ３０へ感覚出力を与えるすなわち帰還する４２こともできる。この感覚出力は 振動、タッチ、温度、もしくはアクセスされた時間ベース情報に対応しユーザが 入力座標空間における時間ベース情報の全体の感覚を得るのを助ける他の感覚情 報の形をとることができる。 次にユーザインターフェイス装置２６は求められた入力空間座標３６を空間ア クセス装置２４へ与える。この空間アクセス装置はそのマッピングされた空間座 標が入力空間座標に対応する時間ベース情報のセグメントへアクセスする。この アクセスされた情報３８はユーザ３０へ感覚出力３２を与えるために空間アクセ ス装置２４から再生装置２８へ転送される。再生装置２８の感覚出力３２は元の 形式の時間ベース情報の形式をエミュレートするように与えられる。したがって 、元の情報がオーディオであれば、再生装置はこのオーディオ情報を音としてユ ーザへ再生する。さらに、時間ベース情報がビデオやアニメーション等のグラフ ィック情報であれば、再生装置により時間ベース情報はグラフィックイメージの 形式でユーザへ再生される。再生装置２８のこれらの感覚出力３２はユーザイン ターフェイス装置２６の感覚出力４２と対比され、その目的はユーザが情報へア クセスするのを助けることである。感覚出力４２は一般的に時間ベース情報の元 の形式とは異なる形式である。このような感覚出力の例として時間ベース情報を エミュレートしない補足オーディオおよび視覚キューだけでなく振動および他の 触 覚出力が含まれる。 次に第３図を参照して、第１図のステップ１０に示す、時間ベース情報のタイ ミングを１組の空間座標へマッピングするステップを実施する１つの方法を示す 。ステップ５０に示すように、時間ベース情報には一連の逐次タイミングマーク が割り当てられる。これらのタイミングマークは等時間間隔もしくは不等時間間 隔とすることができる。タイミングマークが不等間隔であれば、情報の構造的属 性に基づいて配置することができる。例えば、音声の場合には、タイミングマー クを使用して音節、単語、文、文節、もしくは話された言葉のページ間の境界を 設定し時間ベース情報のセグメントを形成することができる。これらの各タイミ ングマークが複数のマッピングされた空間座標の対応する１つの空間座標へマッ ピングされステップ５２に示すようにそれは１組の入力空間座標に対応する。 アクセスされる時間ベース情報のセグメントは連続する２つのタイミングマー ク間の時間ベース情報に対応することができる。この場合、セグメントは重畳し ない。全ての応用に対してそうである必要はない。例えば、所与のタイミングマ ークに対応するセグメントは次のタイミングマークに先行するタイミングマーク からの時間ベース情報とすることができる。さらに、フィルタやウィンドを使用 してセグメントは開始時にフェードインしかつ／もしくは終了時にフェードアウ トすることができる。 次に第４図を参照して、第１図に示す、入力空間座標に対応する情報へアクセ スするステップ１４の１実施例をフロー図で示す。ステップ５４に示すように、 入力空間座標はマッピングされた空間座標と比較される。入力空間座標がマッピ ングされた空間座標と一致する場合には、ステップ５８に示すように、時間ベー ス情報のセグメントが識別されそれは一致する記憶空間座標に対応する。入力空 間座標がマッピングされた空間座標と一致しない場合には、ステップ５６に示す ように、次にマッピングされた空間座標が比較のために選択され、一致するまで ステップ５４が繰り返される。 要約すると、本発明の背景となる３つの主要な原理は、（ｉ）時間ベース情報 のタイミングを１組の空間座標へマッピングする、 （ii）筋覚およびタッチメモリを利用して情報のアクセスに対して全体の感覚を 構成する助けとする、（iii）さまざまなインタラクションモードを使用してユ ーザが情報内を動き回り変換を制御するのを助けることである。本発明の実施例 を構成する一般的手順は次のようである。 （１） 身体の動きの形式および身体的入力を選択して入力空間座標を示す。 特に、人体の任意の可動部分を使用して身体的入力を発生することができる。 （２） どのパターンの動きを使用するかを決定する。 （３） 時間ベース情報のタイミングマークから移動パターンが横切する空間 座標へのマッピングを選択する。この段階において、空間的動きを感知し所与の 時空間マッピングに従って音を表示するのに物理的（例えば、電子的）装置が伴 う。 次に第５図を参照して、本発明のシステムの別の実施例をブロック図で示す。 耳が（目についで）次善の情報吸収感覚器官であれば、本発明のこの実施例では 、（触覚等の、他の感覚様式により知覚できる媒体へ音を変換するのではなく） 耳を使って音を聴くことを考える。空間的に分布された音の一部から他の部分へ 移るのに、空間的に動かすことのできる人体の任意の部分を使用することができ る。最も簡便な身体部分は手、すなわち、てのひらと指である。指は耳で聞き取 る速度に匹敵する十分早い速度で動かすことができる。本発明のこの実施例では 、聞き取りと結び付けられた、１本以上の指と関連づけられた筋覚およびタッチ メモリを使用して読み取りにおける“概観”と同様な全体の感覚が生成される。 本発明のこの実施例ではタッチ感知パッドを使用して２次元空間内に入力空間 座標が与えられる。時間ベース情報のタイミングが２次元空間分布データへ変換 され次にそれにざっと目が通され指でアクセスされる。タイミングマークがペー ジフォーマット上へマッピングされる、すなわち、音がプリントされたテキスト のように行として表面上へ分布される。指により筋覚および触覚メモリ源が提供 されユーザはそれにより情報の表現を生成することができる。 より詳細には、オーディオ情報６０のタイミングが変換装置６２により２次元 空間フォーマットへ変換される。この変換装置によりオーディオ情報内に一連の タイミングマークが生成されこれらのタイミングマークは１組の２次元座標内へ マッピングされる。ユーザ６９は指６６によりこのオーディオ情報へアクセスす る。指の位置と動きを感知する装置は２次元インターフェイス装置６４、手が表 面に触れている位置の２次元座標を発生するタッチ感知パッドである。これらの 座標はインターフェイス装置６４から変換装置６２へ転送されてこれらの２次元 座標に対応するオーディオ情報が決定される。次にこのオーディオ情報はインタ ーフェイス装置６４へ転送し戻され、そこから指６６へ振動帰還がなされる。こ の振動帰還はインターフェイス装置６４に取り付けられた（図示せぬ）アクチベ ータやスピーカにより振動出力を与えることにより実施される。振動出力はアク セスされたオーディオ情報から生成されたオーディオ信号に比例する。アクセス されたオーディオ情報はさらにオーディオ再生装置６８へ与えられ、それはアク セスされたオーディオ情報をユーザ６９の耳６７へ再生する。タッチおよび“全 体”におけるユーザの指の記憶された位置により案内されるユーザ６４のメモリ ６５によりユーザはオーディオ信号の予めアクセスされた部分へ再アクセスする ことができる。 このような表面上に沢山の音の空間分布パターンがあることをお解り願いたい 。例えば、 （ｉ） 指が指し示す空間位置に対応するセグメントだけを再生する。 （ii） 指の空間位置に対応するセグメントから始まるある長さの音を再生す る。 （iii） 指の位置に対応するセグメントに最も近い（単語の始まり等の）重 要な場所から始まるある長さの音を再生する。 （iv） （ii）および（iii）において、音を再生する時に、音量は時間と共 に衰えるかもしくはある形で濾波される。 第６図は第５図のシステムの動作を表す絵画図である。オーディオ情報６０が コンピュータ７４内に記憶される。次にコンピュータ７４は時間の経過を示す一 連のタイミングマークをオーディオ情報６０に割り当てる。次に連続する各タイ ミングマーク対間のオーディオ情報のセグメントが２次元インターフェイス装置 ６４のタッチ感知パッド７０の２次元座標に対応する１組の２次元座標へマッピ ングされる。その座標に触れる指６６により特定の２次元座標がアクセスされる 。 入力空間座標の形状のこの指位置はコンピュータ７４へ送られ、それはオーディ オ情報の対応するセグメントへアクセスしてその情報をスピーカ７８へ再生し、 そこから音響出力が発生される。さらに、コンピュータ７４はオーディオ情報の アクセスされたセグメントをインターフェイス装置６４へ送り、それはアクセス されたオーディオセグメントに比例して指６６が感じるように振動する。この応 用では、指により筋覚および触覚メモリ源が提供されそれによりユーザは情報に おける全体の感覚を生成することができる。 第５図および第６図のシステムの動作はおそらく次の仮定応用によりよく説明 できると思われる。Ｍａｒｔｉｎ Ｌｕｔｈｅｒ Ｋｉｎｇ師をテーマとして著 名な学者により短いプレゼンテーションがなされる。講義のテープを学生が入手 し、後で講義に含まれた情報へアクセスしてリポートを作成したいものとする。 テープにとられた情報がサンプルされてコンピュータのメモリへ記憶される。 サンプリング中に、講義で話された言葉間のスペースをマークするサンプリング されたオーディオ情報と結合して一連のタイミングマークが記憶される。講義の 言葉はタイミングマークに基づいて２次元ページフォーマットへマッピングされ る。最初の言葉はユーザインターフェイス装置のタッチ感知パッドの右上コーナ に対応する座標へマッピングされる。タッチ感知パッドの第１行がマッピングさ れるまで、次の言葉が右から左へ順次続く。次の行は同様に次の１組の言葉によ りマッピングされる。プレゼンテーション内の各単語がマッピングされるまで引 き続き各行が同様にマッピングされる。 次に学生はタッチ感知パッドに触れることにより情報のアクセスを開始するこ とができる。パッドに一点で触れる場合には、その位置に対応する単語がスピー カにより再生されパッドが同じオーディオ信号により振動されて学生が自分の指 で振動を感じられるようにされる。 自分の指を右上コーナから開始して第１行に沿って右から左へ動かし、次に第 ２行さらに引き続く各行に沿って動かすことにより学生によりプレゼンテーショ ン全体が逐次再生される。１行の両端間で指を動かす速度により単語が再生され る速度が支配される。学生は比較的高速でプレゼンテーションにざっと目を通し て資料の概観を得ることができる。 次に学生はプレゼンテーションのＭａｒｔｉｎ Ｌｕｔｈｅｒ Ｋｉｎｇ師の “Ｉ ｈａｖｅ ａ ｄｒｅａｍ”スピーチに関する部分を調べたいものとする 。学生はスピーチのこの部分の空間位置を自分の筋覚およびタッチメモリにより 思い出す、すなわち、自分の指の位置およびこのエリアで教授が話した言葉の振 動の感覚に基づいてスピーチのこの部分を思い出す。学生はこのエリアに容易に “ホームイン”し、タッチ感知パッドのこの部分を自分の指でゆっくり走査する ことによりプレゼンテーションのこの部分へさらにゆっくりアクセスする。 ２次元インターフェイス装置６４の別の実施例を第７図に示す。２次元タッチ 感知パッド８２が同様に設けられ指のタッチによりオーディオ情報をアクセスで きるようにされている。しかしながら、情報の一部を視覚的に強調し注釈を付け る準備がなされている。さらに、オーディオベース情報の２“ページ”以上へア クセスする方法も提供されている。 オーディオ情報の非常に大きい部分から本発明に関する問題点が提示される。 例えば、２時間のスピーチは数千のセグメントへ分解されることがある。これら のセグメントは全てをハンドヘルドもしくはデスクトップタッチ感知パッドの座 標上へマッピングするとアクセスするのが困難である。しかしながら、この問題 は、オーディオ情報のサブセットすなわち“ページ”だけを特定の期間にアクセ スするものとして提示することにより解決することができる。第９図に示すよう にページ自体は空間的に配置することができる。現在ｘページをアクセスしてい る場合、ユーザは矢符キー９０の中の右矢符を押すことによりｙページへ切り替 えることができる。同様に、ｘページをアクセスしている場合、ｚページ、ｖペ ージ、もしくはｗページは、それぞれ、下向き矢符、左矢符、もしくは上向き矢 符キー９０を押してアクセスすることができる。 さらに、オーディオ情報のセグメントは階層構造でアクセスして、例えば、１ 分の長さのセグメントへ分解されているオーディオ情報の全てにレベル１画面で アクセスできるようにされる。下向き矢符キー９０を押すと２次元パッドの分解 能が変化して現在アクセスされている１分セグメントにより全パッドが順次オー ディオ情報の一連の遥かに短いセグメントへ分解されるようにされる。同様に、 上向き矢符キー９０を押すと、レベル２からレベル１等への、低い階層レベルか ら高い階層レベルへ変化する。任意数の階層レベルを使用してマイクロスコピッ クもしくはマクロスコピックスケールでオーディオ情報を交互にアクセスするこ とができる。 再び第７図を参照して、ユーザが重要と考えるオーディオ情報のセグメントが アクセスされオーディオ再生装置９３により再生されると、情報のこの部分の空 間座標をユーザがハイライトオンキー９２を押すことにより視覚的に強調するこ とができる。このハイライトオンキー９２の起動によりユーザは１つ以上のセグ メント８４に触れることによりそれらの色を変えたり不透明とすることができる 。ハイライトオフキー９２を押下すると、強調されたセグメントをそのまま残し てタッチ感知パッドは指のタッチに基づいてオーディオ情報のセグメントをアク セスすることに戻る。 さらに、注釈付きブロック８６に示すようにテキストの重要なセグメントに同 様に注釈を付けることができる。オーディオ情報の重要なセグメントが見つかる と、スタイラスオンボタン９４によりスタイラスモードを活性化することにより このセグメントの位置を記録することができる。スタイラスモードではユーザは スタイラス８８を使用してタッチ感知画面８２上へ書き込みを行いその領域内の オーディオ情報の内容に関する注釈を残すことができる。次にユーザはスタイラ スオフキー９４を押すことにより正規のオーディオ情報アクセスモードへ戻るこ とができる。 多くの応用において一連のタイミングマークを複数の２次元空間座標へマッピ ングすることは逐次タイミングマークが実質的に隣接する座標内に現れるように 実施される。次に第８ａ図を参照して、矢符１０２に対応する順序でオーディオ 情報のセグメントをマッピングすることができる。最初のセグメントは左上コー ナに現れ、後続セグメントは矢符１０２のジグザグパターンに従い左から右へ次 に１つ下を右から左へ走査する指によりオーディオ情報のセグメントを逐次走査 するようにされる。このようにして、指はラインの終端に達した後で左へ“掃引 ”し戻す必要がない。 同様に、第８ｂ図のインターフェイス装置１００上に１０４で示すようなスパ イラルパターンや、第８ｃ図のインターフェイス装置１００上に示すような垂直 パターン１０６を使用することができる。当業者であればタッチ感知パッドには 実質的に任意の形状を使用できることがお判りと思われる。さらに、形状は平坦 である必要がない。ユーザが任意の表面上の座標を識別できるようにするインタ ーフェイス装置を使用することができる。例えば、２次元インターフェイス装置 内に球面を使用することができる。さらに、コップ、椅子、もしくはドア把手等 の毎日使う日常品をインターフェイス装置として使用することができる。 本発明の他の応用にはビデオの空間分布オーディオトラックを使用してビデオ にざっと目を通すことが含まれている。その他に、音声をテキストへ変換して、 空間分布されたオーディオを使用するのが困難である場合には空間分布されたオ ーディオを音声対テキスト変換と組み合わせることができる。総括すれば、本発 明はマルチメディアコンピュータソフトウェア、通信、身障者用感覚アクセス装 置、音楽、ビジュアルアート、娯楽、および教育を含む多くの広範な分野へ応用 できる可能性がある。 人間メモリを有する人間ユーザについて検討してきたが、本発明はロボットや ある種の筋覚もしくはタッチメモリの可能な動物等の非人間ユーザも含めて広く 解釈しなければならない。 本発明を実施するための最善モードについて詳細に説明してきたが、本発明が 関連する技術になじみのある者ならば請求の範囲に明記された本発明を実施する ための他のさまざまな設計や実施例がお判りと思われる。

【手続補正書】特許法第１８４条の８ 【提出日】１９９５年１１月１５日 【補正内容】 請求の範囲 １．複数のセグメントを有する時間ベース情報をユーザが空間的にアクセスし て再生できるようにする方法であって、該方法は、 （イ）時間ベース情報の複数のセグメントの各々を複数のマッピングされた空 間座標の中の対応する１つの空間座標へマッピングするステップと、 （ロ）ユーザの身体の一部が第１の位置へ動くことにより発生するユーザの第 １の身体的入力に対応する入力空間座標を求めるステップと、 （ハ）マッピングされた空間座標が入力空間座標に対応する時間ベース情報の 第１のセグメントへアクセスするステップと、 （ニ）時間ベース情報のアクセスされた第１のセグメントを再生するステップ とからなり、 ステップ（ロ）、（ハ）、および（ニ）が繰り返えされて時間ベース情報の再 生速度がユーザの身体の一部の動きの速度により支配され、ユーザの身体の一部 が第２の位置へ動いた後で、ユーザの人間空間メモリを使用して身体の一部を第 １の位置へ戻しステップ（ロ）、（ハ）、および（ニ）を繰り返すことにより時 間ベース情報の第１のセグメントへ再アクセスして再生することができる方法。 ２．請求項１記載の方法であって、マッピングステップには時間ベース情報内 の時間の経過を示す一連の対応するタイミングマークを時間ベース情報へ割り当 て、一連のタイミングマークに基づく複数のセグメントを形成し、一連のタイミ ングマークの各々を複数のマッピングされた空間座標の中の対応する１つの空間 座標へマッピングすることが含まれる方法。 ３．請求項２記載の方法であって、時間ベース情報の第１のセグメントへアク セスするステップには入力空間座標を複数のマッピングされた空間座標の中の１ つ以上の空間座標と比較して入力空間座標に対応するマッピングされた空間座標 を識別することが含まれる方法。 ４．請求項３記載の方法であって、時間ベース情報の第１のセグメントへアク セスするステップにはさらに対応するマッピングされた空間座標へマッピングさ れたタイミングマークに基づいて対応するマッピングされた空間座標に対応する セグメントを識別することにより時間ベース情報の複数のセグメントから第１の セグメントを識別することが含まれる方法。 ５．請求項２記載の方法であって、時間ベース情報には視覚情報が含まれる方 法。 ６．請求項２記載の方法であって、時間ベース情報にはオーディオ情報が含ま れる方法。 ７．請求項６記載の方法であって、オーディオ情報には音声が含まれる方法。 ８．請求項７記載の方法であって、タイミングマークのシーケンスは音声の構 造に基づいて決定される方法。 ９．請求項７記載の方法であって、タイミングマークのシーケンスは等時間間 隔である方法。 １０．請求項２記載の方法であって、マッピングされた空間座標はカルテシア ン座標系で表現される方法。 １１．請求項２記載の方法であって、マッピングされた空間座標は非カルテシ アン座標系で表現される方法。 １２．請求項２記載の方法であって、マッピングされた空間座標は２次元空間 内にある方法。 １３．請求項２記載の方法であって、マッピングされた空間座標は３次元空間 内にある方法。 １４．請求項１２記載の方法であって、一連のタイミングマークを複数のマッ ピングされた２次元空間座標へマッピングすることには一連のタイミングマーク の逐次サブセットを隣接する空間座標へ分類することが含まれる方法。 １５．請求項１記載の方法であって、空間入力座標を求めるステップにはユー ザの身体の一部の方位を決定することが含まれる方法。 １６．請求項１記載の方法であって、入力空間座標を求めるステップには表面 上にユーザの身体の一部により発生する触覚圧の座標系を感知することが含まれ る方法。 １７．請求項１記載の方法であって、入力空間座標を決定するステップにはユ ーザの身体の一部の速度を感知することが含まれ、入力空間座標は速度に基づい ている方法。 １８．請求項１記載の方法であって、入力空間座標を求めるステップにはユー ザの身体の一部の加速度を感知することが含まれ、入力空間座標は加速度に基づ いている方法。 １９．請求項１記載の方法であって、入力空間座標を求めるステップには表面 上にユーザの身体の一部により発生する温度増加の座標を感知することが含まれ る方法。 ２０．請求項１記載の方法であって、時間ベース情報のアクセスされた第１の セグメントを再生するステップには元の形式の時間ベース情報の形式をエミュレ ートするように第１のセグメントの感覚出力が含まれる方法。 ２１．請求項１４記載の方法であって、時間ベース情報のアクセスされた第１ のセグメントを再生するステップにはさらに時間ベース情報の元の形式とは異な る形式の第１のセグメントの感覚出力が含まれる方法。 ２２．複数のセグメントを有する時間ベース情報をユーザが空間的にアクセス して再生できるようにするシステムであって、該システムは、 時間ベース情報の複数のセグメントの各々を複数のマッピングされた空間座標 の中の対応する１つの空間座標へマッピングする時間対空間変換器と、 ユーザの身体の一部が第１の位置へ動くことにより発生する第１の身体的入力 に対応する入力空間座標を求めるようにユーザと動作上関連するユーザインター フェィス装置と、 マッピングされた空間座標が入力空間座標に対応する時間ベース情報の第１の セグメントへアクセスする、ユーザインターフェィス装置と通信する、空間アク セス装置と、 時間ベース情報の再生速度がユーザの身体の一部の動きの速度により支配され る、空間アクセス装置と通信して時間ベース情報のアクセスされた第１のセグメ ントを再生する再生装置とを具備し、 ユーザの身体の一部が第２の位置へ動いた後で、ユーザの人間空間メモリを使 用してユーザの身体の一部を第１の位置へ戻し時間ベース情報の第１のセグメン トへ再アクセスするシステム。 ２３．請求項２２記載のシステムであって、時間対空間変換器には時間ベース 情報内の時間の経過を示す一連の対応するタイミングマークを時間ベース情報へ 割り当て、タイミングマークに基づく複数のセグメントを形成する手段と、一連 のタイミングマークの各々を複数のマッピングされた空間座標の中の対応する１ つの空間座標へマッピングする手段が含まれるシステム。 ２４．請求項２３記載のシステムであって、空間アクセス装置には入力空間座 標を複数のマッピングされた空間座標の中の１つ以上の空間座標と比較して入力 空間座標に対応するマッピングされた空間座標を識別する比較手段が含まれるシ ステム。 ２５．請求項２４記載のシステムであって、空間アクセス装置にはさらに対応 するマッピングされた空間座標へマッピングされたタイミングマークに基づいて 対応するマッピングされた空間座標に対応するセグメントを識別することにより 時間ベース情報の複数のセグメントから第１のセグメントを識別する識別手段が 含まれるシステム。 ２６．請求項２４記載のシステムであって、時間ベース情報には視覚情報が含 まれるシステム。 ２７．請求項２４記載のシステムであって、時間ベース情報にはオーディオ情 報が含まれるシステム。 ２８．請求項２７記載のシステムであって、オーディオ情報には音声が含まれ るシステム。 ２９．請求項２８記載のシステムであって、タイミングマークのシーケンスは 音声の構造に基づいて決定されるシステム。 ３０．請求項２８記載のシステムであって、タイミングマークのシーケンスは 等時間間隔であるシステム。 ３１．請求項２４記載のシステムであって、マッピングされた空間座標は非カ ルテシアン座標系で表現されるシステム。 ３２．請求項２４記載のシステムであって、マッピングされた空間座標はカル テシアン座標系で表現されるシステム。 ３３．請求項２４記載のシステムであって、マッピングされた空間座標は２次 元空間内にあるシステム。 ３４．請求項２４記載のシステムであって、マッピングされた空間座標は３次 元空間内にあるシステム。 ３５．請求項３３記載のシステムであって、一連のタイミングマークを複数の マッピングされた２次元空間座標へマッピングすることには一連のタイミングマ ークの逐次サブセットを隣接するマッピングされた空間座標へ分類することが含 まれるシステム。 ３６．請求項３５記載のシステムであって、ユーザインターフェイス装置には ユーザの身体の一部の方位を決定する決定手段が含まれるシステム。 ３７．請求項２２記載のシステムであって、ユーザインターフェイス装置には 表面上にユーザの身体の一部により発生する触覚圧の座標系を感知する手段が含 まれるシステム。 ３８．請求項２２記載のシステムであって、ユーザインターフェイス装置には ユーザの身体の一部の速度を感知する手段が含まれるシステム。 ３９．請求項２２記載のシステムであって、ユーザインターフェイス装置には ユーザの身体の一部の加速度を感知する手段が含まれるシステム。 ４０．請求項２２記載のシステムであって、ユーザインターフェイス装置には 表面上にユーザの身体の一部により発生する温度増加の座標を感知する手段が含 まれるシステム。 ４１．請求項２２記載のシステムであって、再生装置には元の形式の時間ベー ス情報の形式をエミュレートするように第１のセグメントの感覚出力を再生する 手段が含まれるシステム。 ４２．請求項２２記載のシステムであって、再生装置にはさらに時間ベース情 報の元の形式とは異なる形式で第１のセグメントの感覚出力を再生する手段が含 まれるシステム。 ４３．請求項２１記載の方法であって、感覚出力はユーザの身体の一部により 感知される触覚出力の形状である方法。 ４４．請求項４２記載のシステムであって、感覚出力はユーザの身体の一部に より感知される触覚出力の形状であるシステム。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ)，ＡＭ， ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，Ｃ Ｎ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ ，ＨＵ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ， ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＮ，ＭＷ，Ｎ Ｌ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ ，ＳＩ，ＳＫ，ＴＪ，ＴＴ，ＵＡ，ＵＺ，ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．複数のセグメントを有する時間ベース情報をユーザが空間的にアクセスし て再生できるようにする方法であって、該方法は、 （イ）時間ベース情報の複数のセグメントの各々を複数のマッピングされた空 間座標の中の対応する１つの空間座標へマッピングするステップと、 （ロ）ユーザの身体の一部が第１の位置へ動くことにより発生するユーザの第 １の身体的入力に対応する入力空間座標を求めるステップと、 （ハ）マッピングされた空間座標が入力空間座標に対応する時間ベース情報の 第１のセグメントへアクセスするステップと、 （ニ）時間ベース情報のアクセスされた第１のセグメントを再生するステップ とからなり、 ユーザの身体の一部が第２の位置へ動いた後で、ユーザの人間空間メモリを使 用して身体の一部を第１の位置へ戻しステップ（ロ）、（ハ）、および（ニ）を 繰り返すことにより時間ベース情報の第１のセグメントへ再アクセスして再生す ることができる方法。 ２．請求項１記載の方法であって、マッピングステップには時間ベース情報内 の時間の経過を示す一連の対応するタイミングマークを時間ベース情報へ割り当 て、一連のタイミングマークに基づく複数のセグメントを形成し、一連のタイミ ングマークの各々を複数のマッピングされた空間座標の中の対応する１つの座標 へマッピングすることが含まれる方法。 ３．請求項１記載の方法であって、時間ベース情報の第１のセグメントへアク セスするステップには入力空間座標を複数のマッピングされた空間座標の中の１ つ以上の空間座標と比較して入力空間座標と一致するマッピングされた空間座標 を識別することが含まれる方法。 ４．請求項１記載の方法であって、時間ベース情報の第１のセグメントへアク セスするステップにはさらに一致するマッピングされた空間座標へマッピングさ れたタイミングマークに基づいて一致するマッピングされた空間座標に対応する セグメントを識別することにより時間ベース情報の複数のセグメントから第１の セグメントを識別することが含まれる方法。 ５．請求項２記載の方法であって、時間ベース情報には視覚情報が含まれる方 法。 ６．請求項２記載の方法であって、時間ベース情報にはオーディオ情報が含ま れる方法。 ７．請求項６記載の方法であって、オーディオ情報には音声が含まれる方法。 ８．請求項７記載の方法であって、タイミングマークのシーケンスは音声の構 造に基づいて決定される方法。 ９．請求項８記載の方法であって、タイミングマークのシーケンスは等時間間 隔である方法。 １０．請求項２記載の方法であって、マッピングされた空間座標はカルテシア ン座標系内にある方法。 １１．請求項２記載の方法であって、マッピングされた空間座標は非カルテシ アン座標系内にある方法。 １２．請求項２記載の方法であって、マッピングされた空間座標は２次元空間 内にある方法。 １３．請求項２記載の方法であって、マッピングされた空間座標は３次元空間 内にある方法。 １４．請求項１２記載の方法であって、一連のタイミングマークを複数のマッ ピングされた２次元空間座標へマッピングすることには一連のタイミングマーク の逐次サブセットを隣接する空間座標へ分類することが含まれる方法。 １５．請求項１記載の方法であって、空間入力座標を求めるステップにはユー ザの身体の一部の方位を決定することが含まれる方法。 １６．請求項１記載の方法であって、入力空間座標を求めるステップには表面 上にユーザの身体の一部により発生する触覚圧の座標系を感知することが含まれ る方法。 １７．請求項１記載の方法であって、入力空間座標を求めるステップにはユー ザの身体の一部の速度を感知することが含まれる方法。 １８．請求項１記載の方法であって、入力空間座標を求めるステップにはユー ザの身体の一部の加速度を感知することが含まれる方法。 １９．請求項１記載の方法であって、入力空間座標を求めるステップには表面 上にユーザの身体の一部により発生する温度増加の座標を感知することが含まれ る方法。 ２０．請求項１記載の方法であって、時間ベース情報のアクセスされた第１の セグメントを再生するステップには元の形式の時間ベース情報の形式をエミュレ ートするように第１のセグメントの感覚出力が含まれる方法。 ２１．請求項１４記載の方法であって、時間ベース情報のアクセスされた第１ のセグメントを再生するステップにはさらに時間ベース情報の元の形式とは異な る形式の第１のセグメントの感覚出力が含まれる方法。 ２２．複数のセグメントを有する時間ベース情報をユーザが空間的にアクセス して再生できるようにするシステムであって、該システムは、 時間ベース情報の複数のセグメントの各々を複数のマッピングされた空間座標 の中の対応する１つの空間座標へマッピングする時間対空間変換器と、 ユーザの身体の一部が第１の位置へ動くことにより発生する第１の身体的入力 に対応する入力空間座標を求めるようにユーザと動作上関連するユーザインター フェィス装置と、 マッピングされた空間座標が入力空間座標に対応する時間ベース情報の第１の セグメントへアクセスする、ユーザインターフェィス装置と通信する、空間アク セス装置と、 時間ベース情報のアクセスされた第１のセグメントを再生する空間アクセス装 置と通信する再生装置とを具備し、 ユーザの身体の一部が第２の位置へ動いた後で、ユーザの人間空間メモリを使 用してユーザの身体の一部を第１の位置へ戻し時間ベース情報の第１のセグメン トへ再アクセスするシステム。 ２３．請求項２２記載のシステムであって、時間対空間変換器には時間ベース 情報内の時間の経過を示す一連の対応するタイミングマークを時間ベース情報へ 割り当て、タイミングマークに基づく複数のセグメントを形成する手段と、一連 のタイミングマークの各々を複数のマッピングされた空間座標の中の対応する１ つの空間座標へマッピングする手段が含まれるシステム。 ２４．請求項２２記載のシステムであって、空間アクセス装置には入力空間座 標を複数のマッピングされた空間座標の中の１つ以上の空間座標と比較して入力 空間座標と一致するマッピングされた空間座標を識別する比較手段が含まれるシ ステム。 ２５．請求項２２記載のシステムであって、空間アクセス装置にはさらに一致 するマッピングされた空間座標へマッピングされたタイミングマークに基づいて 一致するマッピングされた空間座標に対応するセグメントを識別することにより 時間ベース情報の複数のセグメントから第１のセグメントを識別する識別手段が 含まれるシステム。 ２６．請求項２４記載のシステムであって、時間ベース情報には視覚情報が含 まれるシステム。 ２７．請求項２４記載のシステムであって、時間ベース情報にはオーディオ情 報が含まれるシステム。 ２８．請求項２５記載のシステムであって、オーディオ情報には音声が含まれ るシステム。 ２９．請求項２８記載のシステムであって、タイミングマークのシーケンスは 音声の構造に基づいて決定されるシステム。 ３０．請求項２９記載のシステムであって、タイミングマークのシーケンスは 等時間間隔であるシステム。 ３１．請求項２４記載のシステムであって、マッピングされた空間座標は非カ ルテシアン座標系内にあるシステム。 ３２．請求項２４記載のシステムであって、マッピングされた空間座標はカル テシアン座標系内にあるシステム。 ３３．請求項２４記載のシステムであって、マッピングされた空間座標は２次 元空間内にあるシステム。 ３４．請求項２４記載のシステムであって、マッピングされた空間座標は３次 元空間内にあるシステム。 ３５．請求項３３記載のシステムであって、一連のタイミングマークを複数の マッピングされた２次元空間座標へマッピングすることには一連のタイミングマ ークの逐次サブセットを隣接するマッピングされた空間座標へ分類することが含 まれるシステム。 ３６．請求項３５記載のシステムであって、ユーザインターフェイス装置には ユーザの身体の一部の方位を決定する決定手段が含まれるシステム。 ３７．請求項１６記載のシステムであって、ユーザインターフェイス装置には 表面上にユーザの身体の一部により発生する触覚圧の座標系を感知する手段が含 まれるシステム。 ３８．請求項２２記載のシステムであって、ユーザインターフェイス装置には ユーザの身体の一部の速度を感知する手段が含まれるシステム。 ３９．請求項２２記載のシステムであって、ユーザインターフェイス装置には ユーザの身体の一部の加速度を感知する手段が含まれるシステム。 ４０．請求項２２記載のシステムであって、ユーザインターフェイス装置には 表面上にユーザの身体の一部により発生する温度増加の座標を感知する手段が含 まれるシステム。 ４１．請求項２２記載のシステムであって、再生装置には元の形式の時間ベー ス情報の形式をエミュレートするように第１のセグメントの感覚出力を再生する 手段が含まれるシステム。 ４２．請求項２２記載のシステムであって、再生装置にはさらに時間ベース情 報の元の形式とは異なる形式で第１のセグメントの感覚出力を再生する手段が含 まれるシステム。