JP4225567B2 - 時間ベース情報の空間アクセス方法 - Google Patents

Description

技術分野
本発明はユーザから得られる空間座標情報に基づいて時間ベース情報にアクセスする方法およびシステムに関する。
背景技術
時間ベース情報を吸収して処理することは空間分布情報を吸収することよりも難しい。これは、一部、時間ベース情報から“全体の感覚”を生成することが困難なためである。例えば、プリントされたテキストを黙読することは記録された音声を聴取することよりも遥かに容易に早くできることはよく経験することである。目の焦点（ｆｏｖｅａ ｖｉｓｉｏｎ−中心視または中心視覚）は１つの場所から別の場所へ急速に動くことができ、周辺視野は窩周りの大きな領域をぼんやりと眺めそのため読者は任意所与の時点において中心視がプリントされたテキストの残り（例えば、ページの残り、文の残り、単語の残り）に対してどこにあるかを知る。周辺視野によって中心視は読者が調べたい場所を迅速に見つけることができる。したがって、目読は“瞬時任意アクセス”と考えることができる。
これに対して、例えば、オーディオおよび／もしくはビデオプレーヤ等の、時間ベース情報へアクセスするのに使用する従来の装置はこのような情報を逐次ディスプレイするに過ぎない（例えば、記録されたオーディオもしくはビデオフレームの再生）。すなわち、従来の装置では時間ベース情報は時間軸に沿ってしか提示できない。時間は逐次であるため、任意の時点において、このような情報へアクセスしている人は情報の小さなセグメントにしか曝されることがない。人間の時相記憶（ｔｅｍｐｏｒａｌ ｍｅｍｏｒｙ）は短く時間の分解能も悪いため、ディスプレイもしくはアクセスされる全情報片に対する特定情報セグメントの相対タイミングマークをユーザが確認するのは困難である。
たとえ基礎的装置によりユーザが音声の１つの部分から別の部分へ迅速に移ることができても（例えば、ランダムアクセス可能なデジタル記憶装置）、通常聴取者は単に自分が任意の時点において全情報に対してどこにいるかが判らないためにそうすることはなく、したがって、どこへ移るべきかが判らない。したがって、時間ベース情報へアクセスする際の困難は主として人間の視覚、聴覚、記憶特性の組合せ、および従来の装置の作動方法により全体の感覚を発生する能力が欠如するために生じる。この時相的制約により１組の情報の一般的な見通しをたてることがさらに困難となる。
記録された音声等の時間ベース情報をプリントされたテキストやピクチュア等の他の空間視覚コードへ精密に変換できれば、時間ベース情報へのアクセスは読み取りへ変わることができる。しかしながら、自動音声認識は完全なものからは程遠いものとなる。したがって、記録された音声を吸収して提示するための別の方法が必要となる。
従来技術の多くのシステムがこの問題の解決を試みてきている。従来の大概の方法は次の方法の１つを強調している。
1．（状況に依存する）重要部分を抽出するかもしくは重要ではない部分を投棄することにより情報を簡約化する。いくつかの時間ベース情報は、事実、重要ではなく情報を優先付する効率的方法があるものと仮定するためこの方法はあらゆる状況において有効なわけではない。
2．記録された音声の波形の振幅、および構造パターン等の情報の特性を利用して情報に視覚的に注釈を付けさまざまなセグメントを容易に識別できるようにする。したがって、この方法は有効な自動特徴抽出システムに依存する。この方法も実現が困難でありあらゆる時間ベース情報源について有効なわけではない。
従来技術の他のシステムは基礎的テキストの構造の前の知識に基づく記録された音声のプレゼンテーションに向けられている。このようなシステムの１例はアップルコンピュータ社から市販されているマルチメディアパッケージ“Ｆｒｏｍ Ａｌｉｃｅ ｔｏ Ｏｃｅａｎ”である。このパッケージはオーストラリアの砂漠を横断する婦人の旅物語りを提供する。著者が読み上げる物語りのテキストは簡便なセグメント内に格納されている。テキストのこれらのセグメントはコンピュータ画面上に表示される視覚キューに基づいて対応する視覚イメージと共にユーザによりアクセスされる。
この種の第２の従来技術のシステムはＢｒｏｄｅｒｂｕｎｄ社から市販されているＣＤ−ＲＯＭゲーム／リーダ“Ｊｕｓｔ Ｇｒａｎｄｍａ ａｎｄ Ｍｅ”である。このパッケージによりユーザはコンピュータ画面上にディスプレイされた物語りの単語に対応する予め記録された話し言葉を再生することができる。
これらのシステムおよびその基礎的方法はテキストの存在により提供される演繹的情報を付加することなく時間ベース情報へアクセスする問題には向けられていない。基礎的テキストが判っておれば、テキスト自体を使用して直接情報へアクセス、すなわち直接読み取りもしくはテキスト対音声変換、することができるため問題の解決はささいなこととなる。これは原文の解釈や他の類似の文書への演繹的アクセスを欠く時間ベース情報については有効な方法ではない。
発明の開示
したがって、ユーザが時間ベース情報へ空間的にアクセスして再生することができる方法およびシステムを提供することが本発明の目的である。
プリントされたテキストの読取り時に生成される周辺視野と類似の時間ベース情報をアクセスするための全体の感覚を作り出すことも本発明の目的である。
時間ベース情報を空間分布情報へ変換して情報に容易にアクセスしてざっと目を通すことができるようにする時間ベース情報のアクセス方法およびシステムを提供することが本発明のさらにもう１つの目的である。
時間ベース情報を空間分布情報へ変換すなわちマッピングする方法およびシステムを提供することが本発明のもう１つの目的である。
さらに時間ベース情報源に関連する方法で空間分布情報へアクセスする方法およびシステムを提供することが本発明の１つの目的である。
本発明のもう１つの目的はユーザが筋覚および触覚記憶を利用して空間分布情報のセグメント位置を記憶してユーザが目読に似た見かけ上並列な任意の情報アクセスを達成できるような全体の感覚を得ることができる方法およびシステムを提供することである。
本発明のさらにもう１つの目的は（例えば、指、舌、頭、肩、膝、踵、等の）任意の人体の動きを含むユーザからの身体的入力を使用して時間ベース情報の空間分布表現を走査する方法およびシステムを提供することである。
本発明のより詳細な目的はユーザの空間位置の記憶に頼って予めアクセスされた情報を再アクセスできるように、身体的入力により、ユーザが時間ベース情報を空間的にアクセスし再生できるようにする方法およびシステムを提供することである。このようにして、ユーザは情報にざっと目を通してより慎重な走査を保証する情報部分を確認することができる。
前記目的を達成するために、本発明により複数のセグメントを有する時間ベース情報をユーザが空間的にアクセスして再生できるようにする方法が提供される。本方法には時間ベース情報の複数のセグメントの各々を複数のマッピング先の空間座標の中の対応する１つの空間座標へマッピングするステップが含まれている。次に入力空間座標が決定され、それはユーザの身体の一部が第１の位置へ動くことにより発生するユーザの第１の身体的入力に対応している。その入力空間座標に対応するマッピング先の空間座標にマッピングされた時間ベース情報の第１のセグメントが次にアクセスされ、ユーザへ再生される。ユーザの身体部分が第２の位置へ動いた後で、ユーザの空間位置の記憶を使用してユーザの身体部分を第１の位置へ戻し前記ステップを繰り返すことにより時間ベース情報の第１のセグメントを再アクセスして再生することができる。
前記目的を達成するために、本発明によりさらに複数のセグメントを有する時間ベース情報へユーザが空間的にアクセスして再生できるようにする方法が提供される。本方法には時間ベース情報内の時間の経過を示す一連の対応するタイミングマークを時間ベース情報へ割り当て、一連のタイミングマークに基づいて複数のセグメントを形成し、一連のタイミングマークの各々を複数のマッピング先の空間座標の中の対応する１つの空間座標へマッピングすることが含まれている。
ユーザの身体の一部が第１の位置へ動くことにより発生するユーザの第１の身体的入力に対応する入力空間座標が求められる。その入力空間座標に対応するマッピング先の空間座標にマッピングされた時間ベース情報の第１のセグメントがアクセスされる。このアクセスは入力空間座標を複数のマッピング先の空間座標の中の１つ以上の空間座標と比較して入力空間座標と一致するマッピング先の空間座標を識別することにより実施される。第１のセグメントは対応するタイミングマークに基づいて一致するマッピング先の空間座標に対応するセグメントとして識別される。次に第１のセグメントはユーザへ再生される。ユーザの身体部分が第２の位置へ動いた後で、ユーザの空間位置の記憶を使用してユーザの身体の一部を第１の位置へ戻し前記ステップを繰り返すことにより時間ベース情報の第１のセグメントを再アクセスして再生することができる。
前記目的を達成するために、本発明によりさらに前記した各方法を実現するシステムが提供される。
本発明の目的、特徴および利点は添付図に関連して本発明を実施するための最善モードの詳細説明から容易に理解することができる。
【図面の簡単な説明】
第１図は本発明の方法の１実施例を表すフロー図。
第２図は本発明のシステムの１実施例を表すブロック図。
第３図は時間ベース情報を本発明の１実施例の空間ベース情報へ変換する方法を表すフロー図。
第４図は本発明の方法の１実施例の入力空間座標に対応する時間ベース情報へアクセスする方法を表すフロー図。
第５図は本発明のシステムの別の実施例を表すブロック図。
第６図は２次元タッチ感知ユーザインターフェイス装置が強調されている本発明のシステムの１実施例の絵画図。
第７図は本発明のシステムの１実施例に使用する別の２次元ユーザインターフェイス装置の絵画図。
第８ａ図−第８ｃ図は本発明のシステムの１実施例に使用する別の２次元ユーザインターフェイス装置で使用される走査パターン。
第９図は本発明の１実施例で使用する空間多ページ構造を表す図。
いくつかの実施例について本発明を説明するが、この説明は本発明をこれらの実施例へ限定するものではないことを理解されたい。本発明は特許請求の範囲に明記された発明の精神および範囲内に含まれる変更、修正および同等のものを全て含むものとする。
発明を実施するための最良の形態
時間ベース情報セグメントのタイミングを空間座標へマッピングして変換することにより時間ベース情報へアクセスする際の従来技術の問題が本発明により解決される。このような空間座標は１次元、２次元および３次元ユークリッドもしくは非ユークリッド空間内の任意のカルテシアンもしくは非カルテシアン座標とすることができる。このマッピングにより、時間ベース情報のセグメントを空間対象のさまざまな部分、空間表現、もしくは空間運動のさまざまな位置と関連づけることができる。
ここで使用される“時間ベース情報”という用語は、制約はされないが、時相形式で表現できる任意の一般的な信号もしくはデータの収集を含むように広く解釈すべきことをお判り願いたい。その例として音声、音楽、およびＭＩＤＩ信号等のアナログもしくはデジタルオーディオ信号、ビデオ、アニメーションおよび他のグラフィック情報等の視覚情報、および電磁信号、株式終わり値情報、毎日の温度データ等のその他の時相データが含まれる。
次に第１図を参照して、本発明の１実施例をフロー図で示す。ステップ１０に示すように、オーディオ、ビデオ、もしくは任意他の時間ベース信号等の時間ベース情報のタイミングが１組の空間座標へマッピングされる。さまざまな方法で時間ベース情報のタイミングを空間座標へマッピングすることができる。制約はされないが、それには時間ベース情報の連続タイミングマークを空間座標へマッピングする、（１片の音声内の）連続するいくつかの単語を空間座標へマッピングする、および時間ベース情報内で見つかる他の構造形式を空間表現へマッピングすることが含まれる。
これらの空間座標は任意数の自由度を有することができる。したがって、本発明の変換により時間ベース情報を３次元空間内の３つの座標へマッピングしたり、時間ベース情報を３次元空間内の幾何学的立体の３つの位置座標および３つの方位座標へマッピングしたり、時間ベース情報を３次元空間内の一連の連続結合に対する１組の位置と方位へマッピングすることができる。
ステップ１２に示すように、次にユーザの身体の動きにより発生するユーザからの身体的入力に基づいて入力空間座標が求められる。このステップはユーザの身体の１つ以上の部分すなわち関節の位置、速度、加速度および／もしくは方位を感知して実施することができる。制約はされないがその例としてパッド上の指の位置を１組の空間座標へ変換できる位置デジタイザパッド上の多数の指位置、ハンドコントローラや舌制御位置決め装置から発生される位置、もしくは頭部の動きに応答するインターフェイス装置から発生される位置を利用することが含まれる。この種のインターフェイス装置はバーチュアルリアリティ応用において広く使用されている。
求められた入力空間座標は時間ベース情報のマッピングされた空間座標と同じ座標空間内になければならない。したがって、時間ベース情報の各セグメントが１つの入力空間座標に対応する。
ステップ１４に示すように、その入力空間座標に対応するマッピング先の空間座標にマッピングされた時間ベース情報のセグメントが次にアクセスされ、ステップ１６に示すように、時間ベース情報のアクセスされた第１のセグメントが次にユーザへ再生される。この点においてこの方法を終了することができ、あるいはオプションとして、パス１８およびステップ１２，１４，および１６に示すように、新たな入力空間座標に対応する情報へさらにアクセスする新たな入力空間座標を求めてこの新たにアクセスされた情報を再生することにより継続することができる。この手段により、ユーザの身体の一部が次の位置へ動いた後で、人間の空間位置の記憶を使用してユーザの身体を第１の位置へ戻し時間ベース情報のセグメントを再アクセスして再生することができる。この人間の空間位置の記憶は、筋肉の緊張を感知することにより人間の身体の動きの空間位置を記憶する、筋覚記憶とすることができる。“人間の空間位置の記憶”という用語は、接触により皮膚が刺激される（例えば、てのひら等の）人間の身体の一部の空間位置を記憶にとどめる記憶である、ユーザのタッチ記憶等のユーザの他の空間位置の記憶をも含むように広く構成しなければならない。
このようにして、人間の記憶により目読して得られる周辺視野の全体感覚能力はユーザの身体の空間的動きおよび位置決めによりエミュレートすることができる。このエミュレーションは指の筋覚記憶、てのひらの触覚およびタッチ記憶、舌の筋覚記憶、もしくはインターフェイス装置の選択および入力空間座標の選択に基づいた他種の人間の空間位置の記憶を利用して生じることができる。
第２図に本発明のシステムの１実施例をブロック図で示す。複数のセグメントを有する時間ベース情報２０のタイミングがタイミング対空間変換器２２により１組の空間座標へマッピングされる。この変換器はプログラマブルロジックアレイや個別ロジックアレイ、もしくはアナログ計算装置により実現することができる。しかしながら、実施例では、このタイミング対空間変換はマイクロプロセッサ等のコンピュータの中央処理装置で実行されるソフトウエアやファームウエアにより実施される。
ユーザインターフェイス装置２６によりユーザ３０が発生する身体的入力に対応する入力空間座標が求められる。矢符３４はユーザ３０からユーザインターフェイス装置２６への身体的入力を表す。ユーザインターフェイス装置２６はユーザ３０へ感覚出力を与えるすなわち帰還する４２こともできる。この感覚出力は振動、タッチ、温度、もしくはアクセスされた時間ベース情報に対応しユーザが入力座標空間における時間ベース情報の全体の感覚を得るのを助ける他の感覚情報の形をとることができる。
次にユーザインターフェイス装置２６は求められた入力空間座標３６を空間アクセス装置２４へ与える。この空間アクセス装置はその入力空間座標に対応するマッピング先の空間座標にマッピングされた時間ベース情報のセグメントへアクセスする。このアクセスされた情報３８はユーザ３０へ感覚出力３２を与えるために空間アクセス装置２４から再生装置２８へ転送される。再生装置２８の感覚出力３２は元の形式の時間ベース情報の形式をエミュレートするように与えられる。したがって、元の情報がオーディオであれば、再生装置はこのオーディオ情報を音としてユーザへ再生する。さらに、時間ベース情報がビデオやアニメーション等のグラフィック情報であれば、再生装置により時間ベース情報はグラフィックイメージの形式でユーザへ再生される。再生装置２８のこれらの感覚出力３２はユーザインターフェイス装置２６の感覚出力４２と対比され、その目的はユーザが情報へアクセスするのを助けることである。感覚出力４２は一般的に時間ベース情報の元の形式とは異なる形式である。このような感覚出力の例として時間ベース情報をエミュレートしない補足オーディオおよび視覚キューだけでなく振動および他の触覚出力が含まれる。
次に第３図を参照して、第１図のステップ１０に示す、時間ベース情報のタイミングを１組の空間座標へマッピングするステップを実施する１つの方法を示す。ステップ５０に示すように、時間ベース情報には一連の逐次タイミングマークが割り当てられる。これらのタイミングマークは等時間間隔もしくは不等時間間隔とすることができる。タイミングマークが不等間隔であれば、情報の構造的属性に基づいて配置することができる。例えば、音声の場合には、タイミングマークを使用して音節、単語、文、文節、もしくは話された言葉のページ間の境界を設定し時間ベース情報のセグメントを形成することができる。これらの各タイミングマークが複数のマッピング先の空間座標の対応する１つの空間座標へマッピングされステップ５２に示すようにそれは１組の入力空間座標に対応する。
アクセスされる時間ベース情報のセグメントは連続する２つのタイミングマーク間の時間ベース情報に対応することができる。この場合、セグメントは重畳しない。全ての応用に対してそうである必要はない。例えば、所与のタイミングマークに対応するセグメントは次のタイミングマークに先行するタイミングマークからの時間ベース情報とすることができる。さらに、フィルタやウィンドを使用してセグメントは開始時にフェードインしかつ／もしくは終了時にフェードアウトすることができる。
次に第４図を参照して、第１図に示す、入力空間座標に対応する情報へアクセスするステップ１４の１実施例をフロー図で示す。ステップ５４に示すように、入力空間座標はマッピング先の空間座標と比較される。入力空間座標がマッピング先の空間座標と一致する場合には、ステップ５８に示すように、時間ベース情報のセグメントが識別されそれは一致する記憶空間座標に対応する。入力空間座標がマッピング先の空間座標と一致しない場合には、ステップ５６に示すように、次のマッピング先の空間座標が比較のために選択され、一致するまでステップ５４が繰り返される。
要約すると、本発明の背景となる３つの主要な原理は、（ｉ）時間ベース情報のタイミングを１組の空間座標へマッピングする、
（ii）筋覚およびタッチ記憶を利用して情報のアクセスに対して全体の感覚を構成する助けとする、（iii）さまざまなインタラクションモードを使用してユーザが情報内を動き回り変換を制御するのを助けることである。本発明の実施例を構成する一般的手順は次のようである。
（１）身体の動きの形式および身体的入力を選択して入力空間座標を示す。特に、人体の任意の可動部分を使用して身体的入力を発生することができる。
（２）どのパターンの動きを使用するかを決定する。
（３）時間ベース情報のタイミングマークから移動パターンが横切する空間座標へのマッピングを選択する。この段階において、空間的動きを感知し所与の時空間マッピングに従って音を表示するのに物理的（例えば、電子的）装置が伴う。
次に第５図を参照して、本発明のシステムの別の実施例をブロック図で示す。耳が（目についで）次善の情報吸収感覚器官であれば、本発明のこの実施例では、（触覚等の、他の感覚様式により知覚できる媒体へ音を変換するのではなく）耳を使って音を聴くことを考える。空間的に分布された音の一部から他の部分へ移るのに、空間的に動かすことのできる人体の任意の部分を使用することができる。最も簡便な身体部分は手、すなわち、てのひらと指である。指は耳で聞き取る速度に匹敵する十分早い速度で動かすことができる。本発明のこの実施例では、聞き取りと結び付けられた、１本以上の指と関連づけられた筋覚およびタッチ記憶を使用して読み取りにおける“概観”と同様な全体の感覚が生成される。
本発明のこの実施例ではタッチ感知パッドを使用して２次元空間内に入力空間座標が与えられる。時間ベース情報のタイミングが２次元空間分布データへ変換され次にそれにざっと目が通され指でアクセスされる。タイミングマークがページフォーマット上へマッピングされる、すなわち、音がプリントされたテキストのように行として表面上へ分布される。指により筋覚および触覚記憶源が提供されユーザはそれにより情報の表現を生成することができる。
より詳細には、オーディオ情報６０のタイミングが変換装置６２により２次元空間フォーマットへ変換される。この変換装置によりオーディオ情報内に一連のタイミングマークが生成されこれらのタイミングマークは１組の２次元座標内へマッピングされる。ユーザ６９は指６６によりこのオーディオ情報へアクセスする。指の位置と動きを感知する装置は２次元インターフェイス装置６４、手が表面に触れている位置の２次元座標を発生するタッチ感知パッドである。これらの座標はインターフェイス装置６４から変換装置６２へ転送されてこれらの２次元座標に対応するオーディオ情報が決定される。次にこのオーディオ情報はインターフェイス装置６４へ転送し戻され、そこから指６６へ振動帰還がなされる。この振動帰還はインターフェイス装置６４に取り付けられた（図示せぬ）アクチベータやスピーカにより振動出力を与えることにより実施される。振動出力はアクセスされたオーディオ情報から生成されたオーディオ信号に比例する。アクセスされたオーディオ情報はさらにオーディオ再生装置６８へ与えられ、それはアクセスされたオーディオ情報をユーザ６９の耳６７へ再生する。タッチおよび“全体”におけるユーザの指の記憶された位置により案内されるユーザ６４の記憶６５によりユーザはオーディオ信号の予めアクセスされた部分へ再アクセスすることができる。
このような表面上に沢山の音の空間分布パターンがあることをお解り願いたい。例えば、
（ｉ）指が指し示す空間位置に対応するセグメントだけを再生する。
（ii）指の空間位置に対応するセグメントから始まるある長さの音を再生する。
（iii）指の位置に対応するセグメントに最も近い（単語の始まり等の）重要な場所から始まるある長さの音を再生する。
（iv）（ii）および（iii）において、音を再生する時に、音量は時間と共に衰えるかもしくはある形で濾波される。
第６図は第５図のシステムの動作を表す絵画図である。オーディオ情報６０がコンピュータ７４内に記憶される。次にコンピュータ７４は時間の経過を示す一連のタイミングマークをオーディオ情報６０に割り当てる。次に連続する各タイミングマーク対間のオーディオ情報のセグメントが２次元インターフェイス装置６４のタッチ感知パッド７０の２次元座標に対応する１組の２次元座標へマッピングされる。その座標に触れる指６６により特定の２次元座標がアクセスされる。入力空間座標の形状のこの指位置はコンピュータ７４へ送られ、それはオーディオ情報の対応するセグメントへアクセスしてその情報をスピーカ７８へ再生し、そこから音響出力が発生される。さらに、コンピュータ７４はオーディオ情報のアクセスされたセグメントをインターフェイス装置６４へ送り、それはアクセスされたオーディオセグメントに比例して指６６が感じるように振動する。この応用では、指により筋覚および触覚記憶源が提供されそれによりユーザは情報における全体の感覚を生成することができる。
第５図および第６図のシステムの動作はおそらく次の仮定応用によりよく説明できると思われる。Ｍａｒｔｉｎ Ｌｕｔｈｅｒ Ｋｉｎｇ師をテーマとして著名な学者により短いプレゼンテーションがなされる。講義のテープを学生が入手し、後で講義に含まれた情報へアクセスしてリポートを作成したいものとする。
テープにとられた情報がサンプルされてコンピュータのメモリへ記憶される。サンプリング中に、講義で話された言葉間のスペースをマークするサンプリングされたオーディオ情報と結合して一連のタイミングマークが記憶される。講義の言葉はタイミングマークに基づいて２次元ページフォーマットへマッピングされる。最初の言葉はユーザインターフェイス装置のタッチ感知パッドの右上コーナに対応する座標へマッピングされる。タッチ感知パッドの第１行がマッピングされるまで、次の言葉が右から左へ順次続く。次の行は同様に次の１組の言葉によりマッピングされる。プレゼンテーション内の各単語がマッピングされるまで引き続き各行が同様にマッピングされる。
次に学生はタッチ感知パッドに触れることにより情報のアクセスを開始することができる。パッドに一点で触れる場合には、その位置に対応する単語がスピーカにより再生されパッドが同じオーディオ信号により振動されて学生が自分の指で振動を感じられるようにされる。
自分の指を右上コーナから開始して第１行に沿って右から左へ動かし、次に第２行さらに引き続く各行に沿って動かすことにより学生によりプレゼンテーション全体が逐次再生される。１行の両端間で指を動かす速度により単語が再生される速度が支配される。学生は比較的高速でプレゼンテーションにざっと目を通して資料の概観を得ることができる。
次に学生はプレゼンテーションのＭａｒｔｉｎ Ｌｕｔｈｅｒ Ｋｉｎｇ師の“Ｉ ｈａｖｅ ａ ｄｒｅａｍ”スピーチに関する部分を調べたいものとする。学生はスピーチのこの部分の空間位置を自分の筋覚およびタッチ記憶により思い出す、すなわち、自分の指の位置およびこのエリアで教授が話した言葉の振動の感覚に基づいてスピーチのこの部分を思い出す。学生はこのエリアに容易に“ホームイン”し、タッチ感知パッドのこの部分を自分の指でゆっくり走査することによりプレゼンテーションのこの部分へさらにゆっくりアクセスする。
２次元インターフェイス装置６４の別の実施例を第７図に示す。２次元タッチ感知パッド８２が同様に設けられ指のタッチによりオーディオ情報をアクセスできるようにされている。しかしながら、情報の一部を視覚的に強調し注釈を付ける準備がなされている。さらに、オーディオベース情報の２“ページ”以上へアクセスする方法も提供されている。
オーディオ情報の非常に大きい部分から本発明に関する問題点が提示される。例えば、２時間のスピーチは数千のセグメントへ分解されることがある。これらのセグメントは全てをハンドヘルドもしくはデスクトップタッチ感知パッドの座標上へマッピングするとアクセスするのが困難である。しかしながら、この問題は、オーディオ情報のサブセットすなわち“ページ”だけを特定の期間にアクセスするものとして提示することにより解決することができる。第９図に示すようにページ自体は空間的に配置することができる。現在ｘページをアクセスしている場合、ユーザは矢符キー９０の中の右矢符を押すことによりｙページへ切り替えることができる。同様に、ｘページをアクセスしている場合、ｚページ、ｖページ、もしくはｗページは、それぞれ、下向き矢符、左矢符、もしくは上向き矢符キー９０を押してアクセスすることができる。
さらに、オーディオ情報のセグメントは階層構造でアクセスして、例えば、１分の長さのセグメントへ分解されているオーディオ情報の全てにレベル１画面でアクセスできるようにされる。下向き矢符キー９０を押すと２次元パッドの分解能が変化して現在アクセスされている１分セグメントにより全パッドが順次オーディオ情報の一連の遥かに短いセグメントへ分解されるようにされる。同様に、上向き矢符キー９０を押すと、レベル２からレベル１等への、低い階層レベルから高い階層レベルへ変化する。任意数の階層レベルを使用してマイクロスコピックもしくはマクロスコピックスケールでオーディオ情報を交互にアクセスすることができる。
再び第７図を参照して、ユーザが重要と考えるオーディオ情報のセグメントがアクセスされオーディオ再生装置９３により再生されると、情報のこの部分の空間座標をユーザがハイライトオンキー９２を押すことにより視覚的に強調することができる。このハイライトオンキー９２の起動によりユーザは１つ以上のセグメント８４に触れることによりそれらの色を変えたり不透明とすることができる。ハイライトオフキー９２を押下すると、強調されたセグメントをそのまま残してタッチ感知パッドは指のタッチに基づいてオーディオ情報のセグメントをアクセスすることに戻る。
さらに、注釈付きブロック８６に示すようにテキストの重要なセグメントに同様に注釈を付けることができる。オーディオ情報の重要なセグメントが見つかると、スタイラスオンボタン９４によりスタイラスモードを活性化することによりこのセグメントの位置を記録することができる。スタイラスモードではユーザはスタイラス８８を使用してタッチ感知画面８２上へ書き込みを行いその領域内のオーディオ情報の内容に関する注釈を残すことができる。次にユーザはスタイラスオフキー９４を押すことにより正規のオーディオ情報アクセスモードへ戻ることができる。
多くの応用において一連のタイミングマークを複数の２次元空間座標へマッピングすることは逐次タイミングマークが実質的に隣接する座標内に現れるように実施される。次に第８ａ図を参照して、矢符１０２に対応する順序でオーディオ情報のセグメントをマッピングすることができる。最初のセグメントは左上コーナに現れ、後続セグメントは矢符１０２のジグザグパターンに従い左から右へ次に１つ下を右から左へ走査する指によりオーディオ情報のセグメントを逐次走査するようにされる。このようにして、指はラインの終端に達した後で左へ“掃引”し戻す必要がない。
同様に、第８ｂ図のインターフェイス装置１００上に１０４で示すようなスパイラルパターンや、第８ｃ図のインターフェイス装置１００上に示すような垂直パターン１０６を使用することができる。当業者であればタッチ感知パッドには実質的に任意の形状を使用できることがお判りと思われる。さらに、形状は平坦である必要がない。ユーザが任意の表面上の座標を識別できるようにするインターフェイス装置を使用することができる。例えば、２次元インターフェイス装置内に球面を使用することができる。さらに、コップ、椅子、もしくはドア把手等の毎日使う日常品をインターフェイス装置として使用することができる。
本発明の他の応用にはビデオの空間分布オーディオトラックを使用してビデオにざっと目を通すことが含まれている。その他に、音声をテキストへ変換して、空間分布されたオーディオを使用するのが困難である場合には空間分布されたオーディオを音声対テキスト変換と組み合わせることができる。総括すれば、本発明はマルチメディアコンピュータソフトウェア、通信、身障者用感覚アクセス装置、音楽、ビジュアルアート、娯楽、および教育を含む多くの広範な分野へ応用できる可能性がある。
記憶を有する人間ユーザについて検討してきたが、本発明はロボットやある種の筋覚もしくはタッチ記憶の可能な動物等の非人間ユーザも含めて広く解釈しなければならない。
本発明を実施するための最善モードについて詳細に説明してきたが、本発明が関連する技術になじみのある者ならば請求の範囲に明記された本発明を実施するための他のさまざまな設計や実施例がお判りと思われる。

Claims (19)

1. 複数のセグメントを有する時間ベース情報をユーザが空間的にアクセスして再生できるようにする方法であって、該方法は、
   （イ）時間ベース情報の複数のセグメントの各々を複数のマッピング先空間座標の中の対応する１つの空間座標へマッピングするステップと、
   （ロ）ユーザの身体の一部が第１の位置へ動くことにより発生するユーザの第１の身体的入力に対応する入力空間座標を求めるステップと、
   （ハ）前記入力空間座標に対応するマッピング先空間座標へマッピングされた前記時間ベース情報の第１のセグメントへアクセスするステップと、
   （ニ）時間ベース情報のアクセスされた第１のセグメントを再生するステップとを有し、
   時間ベース情報のアクセスされた第１のセグメントを再生する前記ステップはさらに時間ベース情報の元の形式と異なる形式で第１のセグメントの時間ベース情報に比例した感覚出力の発生を含み、
   ステップ（ロ）、（ハ）、および（ニ）が繰り返えされて時間ベース情報の再生速度がユーザの身体の一部の動きの速度により支配され、ユーザの身体の一部が第２の位置へ動いた後で、時間ベース情報の前記第１のセグメントへの再アクセス時、前記感覚出力によってユーザの再アクセスを助け、ステップ（ロ）、（ハ）、および（ニ）を繰り返すことにより時間ベース情報の第１のセグメントへ再アクセスして再生することができる方法。
2. 請求項１記載の方法であって、マッピングステップには時間ベース情報内の時間の経過を示す一連の対応するタイミングマークを時間ベース情報へ割り当て、一連のタイミングマークに基づく複数のセグメントを形成し、一連のタイミングマークの各々を複数のマッピング先空間座標の中の対応する１つの空間座標へマッピングすることが含まれる方法。
3. 請求項２記載の方法であって、時間ベース情報の第１のセグメントへアクセスするステップには入力空間座標を複数のマッピング先空間座標の中の１つ以上の空間座標と比較して入力空間座標に対応するマッピング先空間座標を識別することが含まれる方法。
4. 請求項３記載の方法であって、時間ベース情報の第１のセグメントへアクセスするステップにはさらに対応するマッピング先空間座標へマッピングされたタイミングマークに基づいて対応するマッピング先空間座標に対応するセグメントを識別することにより時間ベース情報の複数のセグメントから第１のセグメントを識別することが含まれる方法。
5. 請求項２記載の方法であって、時間ベース情報には視覚情報が含まれる方法。
6. 請求項２記載の方法であって、時間ベース情報にはオーディオ情報が含まれる方法。
7. 請求項６記載の方法であって、オーディオ情報には音声が含まれる方法。
8. 請求項７記載の方法であって、タイミングマークのシーケンスは音声の構造に基づいて決定される方法。
9. 請求項７記載の方法であって、タイミングマークのシーケンスは等時間間隔である方法。
10. 請求項２記載の方法であって、マッピング先空間座標はカルテシアン座標系で表現される方法。
11. 請求項２記載の方法であって、マッピング先空間座標は非カルテシアン座標系で表現される方法。
12. 請求項２記載の方法であって、マッピング先空間座標は２次元空間内にある方法。
13. 請求項２記載の方法であって、マッピング先空間座標は３次元空間内にある方法。
14. 請求項１２記載の方法であって、一連のタイミングマークを複数のマッピング先２次元空間座標へマッピングすることには一連のタイミングマークの逐次サブセットを隣接する空間座標へマッピングすることが含まれる方法。
15. 請求項１記載の方法であって、入力空間座標を求めるステップには表面上にユーザの身体の一部により発生する触覚圧の座標系を感知することが含まれる方法。
16. 請求項１記載の方法であって、入力空間座標を決定するステップにはユーザの身体の一部の速度を感知することが含まれ、入力空間座標は速度に基づいている方法。
17. 請求項１記載の方法であって、時間ベース情報のアクセスされた第１のセグメントを再生する前記ステップには元の形式の時間ベース情報の形式をエミュレートするように第１のセグメントの感覚出力が含まれ、エミュレートした第１セグメントの感覚出力と時間ベース情報の元の形式と異なる形式の第１のセグメントの前記感覚出力とを用いて前記第１の位置へ再アクセスするユーザの助けとする方法。
18. 請求項６記載の方法であって、前記感覚出力は、アクセスされた前記オーディオ情報の第１セグメントから生成されたオーディオ信号に比例する振動出力を有する方法。
19. 請求項１８記載の方法であって、感覚出力はユーザの身体の一部により感知される触覚出力である方法。

Images