JPH09179710A - コンピュータ制御型ディスプレイシステム - Google Patents

Abstract

(57)【要約】 【課題】 ミーティングのような共同作業を表現する一
時的データの再生を制御するためのユーザーインターフ
ェースを提供する。 【解決手段】 共有表現メディアで実行されたタイムス
トリーム表現動作からディスプレイ情報を発生させるた
めの処理回路を含み、ディスプレイ情報はディスプレイ
のウィンドウに表示するためのものであり、ウィンドウ
は共有表現メディアで実行された動作の一時的な順序を
再生するためのプレーヤとして動作し、ウィンドウは更
にセッションの再生を制御するためのユーザインターフ
ェースとして動作するものであり、ウィンドウの一つ或
いはそれ以上のグラフィックオブジェクトへのユーザの
相互作用を検出し同期手段への再生制御信号を発生させ
るウィンドウ制御回路を含むコンピュータ制御型ディス
プレイシステム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、セッションのマル
チメディアキャプチャ、再生、及び、編集の分野に関す
る。

【０００２】

【従来の技術】グループの大部分の仕事は、構造化され
たミーティングような整理されたセッティングが行われ
ている場合でさえ、会話による言葉のやりとりのような
カジュアルな相互作用の形態を採っており、これによ
り、グループは、彼らの仕事の技術、プロセス、関係が
ある様相を共通に理解することができる。このカジュア
ルな活動は、そのような活動の結果に焦点が合ってお
り、グループがどのようにそれらの結果に達したかとい
うことについては殆ど無視するコンピュータ使用のツー
ルによっては十分にはサポートされてはいない。更に、
そのような情報を収集する試みは、かれらの自然な仕事
の慣例をサポートするより、むしろ、活動を公式なもの
として、参加者を情報収集ツールに都合が良い方法に従
わせる結果となっている。

【０００３】ミーティングのオーディオ、ビデオ、及
び、コンピュータ記録を収集することは、グループプロ
セスの十分な検討可能な記録を提供する。残念ながら、
そのような記録の利点は、しばしば必要とされたシーケ
ンシャルなアクセスのために扱い難い傾向があった。そ
のような情報のデジタル記録の出現で、そのような情報
に即時にアクセスすることが可能である。しかしなが
ら、即時アクセスは、行くべき場所が判っているときの
み有用である。従って、意味を持つ要素かイベントに基
づいて、そのような記録にインデックスを付けること
は、必要であり望ましいことである。

【０００４】インデックスを付けることへの一つのアプ
ローチは、リアルタイムノートテーキング（Ｒｅａｌ−
Ｔｉｍｅ ｎｏｔｅｔａｋｉｎｇ）と称される。そし
て、そこで、人は，ノートの種々の個々の要素にタイム
スタンプするシステムを使用して、ミーティングの間に
ノートを取る。これは、ミーティングの記録への理解可
能なインデックスを提供する。ノートの任意の要素を単
に選択することによって、システムはノート要素のタイ
ムスタンプに対応するＡＶ記録の部分を、検索して再生
することができる。

【０００５】最も簡単な例は、文の書写システムであ
り、そこでは、ユーザは、ミーティングが進むに従って
テキストを単にタイプするだけである（テキストは、発
言されたことの文字通りの書写或いはミーティングに関
する任意のノートとすることができる）。ノートは、テ
キストのストリングから成り、タイムスタンプされたノ
ート要素は、テキストの個々の文字である。ノートテー
キングが完成した後に、ユーザは、文字を選択すること
ができ、ミーティング記録の対応する部分が検索されて
再生されることになる。

【０００６】ノートテーキングシステムは、ユーザが視
覚的な表現（すなわちノート）を構成するのを可能にす
る。そして、その可視の要素はミーティング記録へのイ
ンデックスとして機能を果たす。各々のインデックス要
素は、それと関連づけられた時間を有する。この時間
は、ユーザがそれを生成した時間である。各々のインデ
ックス要素が可視なので、ユーザは、単に指示によって
それにそれを選択することができ、また、それは関連づ
けられた時間を有するので、ミーティング記録へアドレ
スを得ることができる。

【０００７】ノートテーキングシステムは、視覚的な表
現の構造が、イベントを生成する要素のシーケンスのみ
から成っている限りは良好に動作する。表現がミーティ
ングのコースの間に編集されるのを許されると、すなわ
ち、要素変更及び要素−削除イベントも同様に存在する
と、問題が起こる。問題の原因は、インデックスが可視
の要素であって、イベントではないことである。

【０００８】

【発明が解決しようとする課題】ノートテーキングによ
るアプローチの不利な点は、人がノートテーキングの仕
事に専念しなければならないことである。従って、人
を、自然なミーティング活動それ自身の副作用であるノ
ートテーキングの仕事に専念させないで、ミーティング
記録中へインデックスを生成することは望ましい。

【０００９】

【課題を解決するための手段】本発明は、ミーティング
のような共同作業を表現する一時的データの再生を制御
するためのユーザーインターフェースを目指すものであ
る。そのような一時的データは、一つ或いはそれ以上の
キャプチャ装置（例えばオーディオ記録か電子ホワイト
ボード）によって獲得される。一時的データは、タイム
ストリームとイベントから成る。タイムストリームは、
ミーティングの或る記録可能な局面を表現するタイムス
タンプされたデータのセットである。オーディオ及びビ
デオの記録、或いは、電子ホワイトボードの上の行動の
蓄積された履歴は、タイムストリームの例である。イベ
ントは、タイムストリームの中の出来事である。イベン
トは、共同作業の間の時間の点またはスパンへの直接的
なアクセス提供するインデックスを生成するために使わ
れる。タイムストリームは、イベントを固有に定義する
かもしれない。または、イベントを識別するために、分
析される場合がある。イベント情報は、タイムスタン
プ、イベント型、及び、イベントのインスタンスの様々
な特性のリストから成る。

【００１０】セッションの再生は、セッションアクセス
装置の制御の下で行なわれる。セッションアクセス装置
に連結されるのは、タイムストリームを再生するための
複数のプレーヤである。セッションアクセス装置は、セ
ッション再生を制御するためのユーザーインターフェー
スを生成するためにイベント情報を利用する。ユーザー
インターフェースは、複数のウィンドウから成る。各々
のウィンドウは、プレーヤ、再生制御装置、または、ユ
ーザーが追加のタイムストリーム情報を生成することを
許すエディターを表現することができる。本発明におい
ては、共有表現メディア（例えば電子ホワイトボード）
のためにタイムストリームを再生するためのプレーヤと
して振舞うウィンドウは、同じくセッションの再生を制
御するために使われる。ウィンドウで表示された各々の
グラフィックオブジェクトは、一つ或いはそれ以上のイ
ベント（例えば削除個所イベント）と関連づけられる。
グラフィックオブジェクトの選択は、再生時間を関連づ
けられたイベントの一つの時間へ移動することを可能に
する。選択は、ウィンドウのエリアの上で行われる場合
もある。これは、ユーザーが、選択されたエリアで行わ
れたマーキングと関連している全てのイベントを見るこ
とを可能にする（幾つかのマーキングは、消したり移動
されたりするので）。

【００１１】

【発明の実施の形態】図１は、本発明の現時点での好適
な実施態様における一時的データの獲得及び再生のため
のシステムのブロック図である。図２は、本発明の現時
点での好適な実施態様において利用することができるセ
ッションアクセスワークステーションのブロック図であ
る。図３は、本発明の現時点での好適な実施態様のセッ
ションアクセスワークステーションの動作の単純化され
た疑似状態である。図４は、本発明の現時点での好適な
実施態様のセッションアクセスワークステーションに連
結されるディスプレイのビジュアルユーザインターフェ
ースの図である。図５は、本発明の現時点での好適な実
施態様のセッションのためのタイムラインユーザインタ
ーフェースディスプレイの図である。図６は、概観時間
トラックディスプレイエリアと焦点時間トラックディス
プレイエリアの関係をハイライトするタイムラインイン
ターフェースの単純化された図である。図７は、図６の
焦点バーが引き伸ばされこれに従って焦点時間トラック
ディスプレイエリアの寸法が変えられている動作の結果
を示す図である。図８は、二つのセッションの再生を制
御するためのタイムラインユーザインターフェースディ
スプレイシステムの図である。図９は、二つの不連続な
焦点セグメントが概観時間トラックエリアに表示され、
焦点時間トラックエリアが各々の焦点セグメントの詳細
を含むタイムラインインターフェースの図である。図１
０は、図９の焦点時間トラックエリアのサイズ修正の結
果を示すタイムラインインターフェースの図である。図
１１は、ＬｉｖｅＢｏａｒｄウィンドウの選択動作の結
果として生じたトラックセクションを含む複数のキャプ
チャ装置で記録したセッションの再生のためのタイムラ
インインターフェースの例である。図１２は、一つのト
ラックの上で図１１のオーディオのトラックを併合した
結果を示すタイムラインユーザインターフェースディス
プレイの更なる図である。図１３は、ノートトラックの
上にノートを開けた結果を示す図１１のタイムラインユ
ーザインターフェースディスプレイの更なる図である。
図１４は、図１１のタイムラインユーザインターフェー
スを生成するのに使用した同じセッションについてのミ
ーティングプレーヤの図である。図１５は、本発明の現
時点での好適な実施態様におけるＬｉｖｅＢｏａｒｄウ
ィンドウの図である。図１６は、ＬｉｖｅＢｏａｒｄウ
ィンドウとタイムラインインターフェースの間の相関性
の図である。すなわち、グラフィックオブジェクトから
タイムラインへのインデックス付けである。図１７は、
Ｌｉｖｅｂｏａｒｄウィンドウとタイムラインインター
フェースの間の相関性の図である。すなわち、Ｌｉｖｅ
Ｂｏａｒｄウィンドウとタイムラインインターフェース
の両方が同時に同じものを反映する同期化されたディス
プレイ状態である。図１８は、Ｌｉｖｅｂｏａｒｄウィ
ンドウとタイムラインインターフェースの間の相関性の
図である。すなわち、一時的なものから空間のへのイン
デックス付けである。図１９は、ＬｉｖｅＢｏａｒｄウ
ィンドウとタイムラインインターフェースの間の相関性
の図である。すなわち、グラフィックオブジェクトにつ
き多数のイベントである。図２０は、ＬｉｖｅＢｏａｒ
ｄウィンドウとタイムラインインターフェースの間の相
関性の図表である。すなわち、オブジェクトエリアの位
置選定によってインデックスを付ける。図２１及び図２
２は、ＬｉｖｅＢｏａｒｄウィンドウが編集された前後
の“バウンシング−ボール”再生モードにおけるＬｉｖ
ｅＢｏａｒｄウィンドウの例を提供する。

【００１２】本発明は、ミーティングのような共同作
業、及び、他の非共同作業の記録の再生の提供する。

【００１３】本発明の目的は、作業そのものの自然な副
産物である共同作業のミーティング記録へインデックス
を生成することである。これは、人々が記録されたセッ
ションの一部への直接アクセスを得る直観的な方法を提
供する。話者の変更、ホワイトボードへの書き込み及び
マーキング操作、ノートを取ることのようなイベント
は、有益なインデックスポイントを提供するミーティン
グの自然の副産物の例である。

【００１４】本発明のシステムは、ソフトウェアに基づ
いたタイムストリームアーキテクチャ及びシステムアー
キテクチャを参照して述べられる。タイムストリームア
ーキテクチャは、現時点での好適な実施態様が実行され
るソフトウェアフレームワークを述べる。システムアー
キテクチャは、本発明の機能の構成要素を述べる。

【００１５】タイムストリーム及びシステムアーキテク
チャの記述で使われる用語は、ここで定義される。

【００１６】タイムストリーム（Ｔｉｍｅｓｔｒｅａ
ｍ）は、キャプチャ装置で獲得されたタイムスタンプさ
れたメディアデータを意味し、プレーヤーで再生するこ
とができる。

【００１７】イベント（Ｅｖｅｎｔｓ）は、獲得される
活動の間の或る点または間隔で発生する出来事、例え
ば、話者の交代或いはホワイトボードへの書き込みであ
る。

【００１８】一時的データ（Ｔｅｍｐｏｒａｌ Ｄａｔ
ａ）は、タイムストリームとイベントの結合を意味す
る。

【００１９】セッション（Ｓｅｓｓｉｏｎｓ）は、ミー
ティングのように密着して獲得された活動を表現する一
時的データの収集物に名前が付けられる。

【００２０】プレーヤ（Ｐｌａｙｅｒｓ）は、その元の
形態で、または、タイムストリームのダイナミックスを
示す形態で、タイムストリームを再生することができ
る。

【００２１】エディタ（Ｅｄｉｔｏｒｓ）は、ビジュア
ルインジケータを変化させることができる、或いは、イ
ベントとタイムストリームをセッションに付加すること
ができるユーザインターフェースを意味する。

【００２２】再生制御装置（Ｐｌａｙｂａｃｋ Ｃｏｎ
ｔｒｏｌｌｅｒｓ）は、セッションの再生が制御される
ユーザインターフェースを意味する。

【００２３】キャプチャ装置（Ｃａｐｔｕｒｅ Ｄｅｖ
ｉｃｅｓ）は、一時的データを獲得して蓄積する装置で
ある。異なった型のキャプチャ装置は、セッションの異
なったメディア（例えば、オーディオ、ビデオ、ホワイ
トボード上の書き込み）を獲得する。

【００２４】タイムストリームアーキテクチャは、調和
した記録と再生のための拡張性があるセットのツールの
使用をサポートする。これは、特定のマシンの一つのア
ドレス空間に存在するが、ネットワーク内の同一の或い
は他のマシンの同一の或いは異なったアドレス空間に存
在する“代理”オブジェクトを有するオブジェクトを、
ユーザが容易に構築することを可能にする分散型オブジ
ェクトシステムに基づいている。この分散型オブジェク
トシステムは、言語間統一（Ｉｎｔｅｒ−Ｌａｎｇｕａ
ｇｅ Ｕｎｉｆｉｃａｔｉｏｎ）（ＩＬＵ）と称され、
Ｊａｎｓｓｅｎによる“ＩＬＵマニュアル”、ゼロック
ス技術報告書、ＩＳＴＬ−ＣＳＡ−９４−０１−０２、
１９９４年１月に述べられている。タイムストリームア
ーキテクチャの基本的なデータ構成要素は、イベント、
タイムストリーム、及び、セッションである。

【００２５】イベントは、開始時間、期間（’ポイン
ト’イベントについては多分ゼロ）、型、及び、型に依
存することがある可能のある特性からなる。（例えば、
ＬｉｖｅＢｏａｒｄページイベントは、’ページ数’
と’ページ表題’特性を有するかもしれない。）イベン
トオブジェクトへのインターフェースは、以下のように
なる。 ＴＹＰＥ Ｅｖｅｎｔ＝ＣＬＡＳＳ ＳＵＰＥＲＣＬＡＳＳ ＰｅｒｓｉｓｔｅｎｔＯｂｊｅｃｔ ＥＮＤ ＭＥＴＨＯＤＳ ｇｅｔＴｙｐｅ（）：Ｓｔｒｉｎｇ， ｇｅｔＳｔａｒｔＴｉｍｅ（）：Ｔｉｍｅ， ｇｅｔＤｕｒａｔｉｏｎ（）：Ｔｉｍｅ ＥＮＤ

【００２６】ここで述べられたインターフェース仕様
は、上述したＩＬＵシステムの指定言語のスタイルをし
ているが、文字通りそのままであることを意図するもの
ではなく、オブジェクト指向プログラミングを熟知して
いる者によって、容易に翻訳することができる。データ
型ストリングと時間の意味は自明である。付加的に、Ｐ
ｅｒｓｉｓｔｅｎｔＯｂｊｅｃｔのサブクラスとして、
イベントは以下の方法を受け継ぐ ｇｅｔＰｒｏｐｅｒｔｙＮａｍｅｓ（）：ＳｔｒｉｎｇＳｅｑｕｅｎｃｅ ｓｅｔＰｒｏｐｅｒｔｙ（ｎａｍｅ：Ｓｔｒｉｎｇ，ｖａｌｕｅ：Ｓｔｒｉ ｎｇ） ｇｅｔＰｒｏｐｅｒｔｙ（ｎａｍｅ：Ｓｔｒｉｎｇ）：Ｓｔｒｉｎｇ

【００２７】イベントは、以下に述べたように、セッシ
ョンオブジェクトへのコールによって生成される。

【００２８】タイムストリームオブジェクトは、所定の
メディア型のために蓄積されたデータを参照するために
使用される。一般的に言えば、タイムストリームと関連
したデータは、記録されたメディアの時間に基づいたア
クセスを可能にする。記録されたオーディオのように、
多くのデジタルメディアの関しては、これは、イベント
と見なすことができたデータ時間サンプルデータから成
るけれども、大量で大きくメディア（また、装置にも）
に依存するサンプルされたデータの翻訳は、タイムスト
リームを’不透明’と見ることを一層実際的にする。す
なわち、タイムストリームデータは、タイムストリーム
のメディアとフォーマットと関連している特別なツール
によってのみ正常に操作される。特に、データは、レコ
ーダオブジェクトによって生成され、プレーヤオブジェ
クトによって再生される。同様に、イベントを作り出す
ために、メディアの特定のツールによって分析すること
もできる。（例えば話者セグメント、沈黙／中断、場面
変化など）タイムストリームオブジェクトを不透明とし
て取り扱うことにより、アーキテクチャがアナログメデ
ィアに適応することができることに注意すべきである。
（例えば、レコーダとプレーヤは、コンピュータソフト
ウェアで制御されるビデオテープレコーダかもしれず、
タイムストリームは、テープが使われるべきである情報
を備えたソフトウェアと、テープの初めと関連付けられ
るべき絶対時間を提供するかもしれない。）タイムスト
リームオブジェクトへのインターフェースは、以下の通
りである。 ＴＹＰＥ Ｔｉｍｅｓｔｒｅａｍ＝ＣＬＡＳＳ ＳＵＰＥＲＣＬＡＳＳ ＰｅｒｓｉｓｔｅｎｔＯｂｊｅｃｔ ＥＮＤ ＭＥＴＨＯＤＳ ｍｅｄｉａＴｙｐｅ（）：Ｓｔｒｉｎｇ， ｅ．ｇ． ａｕｄｉｏ ｆｏｒｍａｔ（）：Ｓｔｒｉｎｇ， ｅ．ｇ． ｓｕｎ ａｕ ｓｔａｒｔＴｉｍｅ（）：Ｔｉｍｅ， ｄｕｒａｔｉｏｎ（）：Ｔｉｍｅ， ＥＮＤ

【００２９】セッションは、イベント、タイムストリー
ム、及び、他のセッションを含むかもしれない階層構造
の収集物である。用語’セッション’のこの使用は、時
々遭遇するものよりも広義であり、例えば、所定のミー
ティング或いは討論と関連するデータの狭い意味の’セ
ッション’は特別な場合であることに注意すべきであ
る。セッションは、本質的にタイムストリームデータを
組織するための汎用の簿記機構である。セッションオブ
ジェクトへのインターフェースは、以下のようなもので
ある。 ＴＹＰＥ Ｓｅｓｓｉｏｎ ＝ ＣＬＡＳＳ ＳＵＰＥＲＣＬＡＳＳ ＰｅｒｓｉｓｔｅｎｔＯｂｊｅｃｔ ＥＮＤ ＭＥＴＨＯＤＳ ｇｅｔＴｉｍｅｓｔｒｅａｍＢｙＮａｍｅ（ｎａｍｅ：Ｓｔｒｉｎｇ）：Ｔ ｉｍｅｓｔｒｅａｍ， ｇｅｔＡｌｌＴｉｍｅｓｔｒｅａｍｓ（）：Ｔｉｍｅｓｔｒｅａｍ Ｓｅｑ ｕｅｎｃｅ， ｇｅｔＳｅｓｓｉｏｎＢｙＮａｍｅ（ｎａｍｅ：Ｓｅｓｓｉｏｎ）：Ｓｅｓ ｓｉｏｎ， ｇｅｔＡｌｌＳｅｓｓｉｏｎｓ（）：Ｓｅｓｓｉｏｎ Ｓｅｑｕｅｎｃｅ， ｃｒｅａｔｅＥｖｅｎｔ（ｓｔａｒｔ：Ｔｉｍｅ，ｄｕｒ：Ｔｉｍｅ，ｔｙ ｐｅ：Ｓｔｒｉｎｇ，ｐｒｏｐｓ： ＰｒｏｐｅｒｔｙＬｉｓｔ）：Ｅｖｅｎｔ ＥＮＤ

【００３０】タイムストリームアーキテクチャは、プレ
ーヤとレコーダオブジェクトがメディア型から独立して
いる共通のインターフェースを共有しており、また、サ
ポートされたメディアの型のセットが固定されていない
という意味で拡張性がある。プレーヤとレコーダオブジ
ェクトへの単純化されたインターフェースは、以下の通
りである。 ＴＹＰＥ Ｐｌａｙｅｒ＝ＣＬＡＳＳ ＭＥＴＨＯＤＳ ｓｅｅｋ（ｔ：Ｔｉｍｅ）， 再生時間をｔに変更する ｌｏｃａｔｉｏｎ（）：Ｔｉｍｅ， 最新の再生時間に戻る ｐｌａｙ（ｓ：Ｓｐｅｅｄ）， 速度係数ｓで再生する（１＝通常） ｓｔｏｐ（）， 再生を停止する ．．． ａｔｔａｃｈ（ｔｉｍｅｓｔｒｅａｍ：Ｔｉｍｅｓｔｒｅａｍ） 所定のタ イムストリームを再生するためにプレーヤをセットする ＥＮＤ； ＴＹＰＥ Ｒｅｃｏｒｄｅｒ＝ＣＬＡＳＳ ＭＥＴＨＯＤＳ ｒｅｃｏｒｄ（）， ｐａｕｓｅ（）， ｃｒｅａｔｅＲｅｃｏｒｄｉｎｇ（ｓｅｓｓｉｏｎ：Ｓｅｓｓｉｏｎ， ｎａｍｅ：Ｎａｍｅ）：Ｔｉｍｅｓｔｒｅａｍ， ｆｉｎｉｓｈＲｅｃｏｒｄｉｎｇ（）， ＥＮＤ；

【００３１】所定のメディア型についてのプレーヤとレ
コーダオブジェクトは、そのメディア型と関連した’Ｍ
ｅｄｉａＳｅｒｖｅｒ’によって実施される。当然、新
しいメディア型をサポートすることは、新しいＭｅｄｉ
ａＳｅｒｖｅｒの実施を必要とするが、アーキテクチャ
へ（すなわち、レコーダとプレーヤを作り出すか制御す
るために必要なインターフェースへ）の変化は必要とさ
れない。これは、汎用のアプリケーション（例えば、記
録制御プログラム、或いは、アクセス及び再生制御プロ
グラム）を書き込むことができ、新しいメディア型、或
いは、存在するメディア型についての新しいサービスの
実施を自動的にサポートすることになることを意味す
る。ＭｅｄｉａＳｅｒｖｅｒオブジェクトへのインター
フェースの単純化された記述は、下式により与えられ
る。 ＴＹＰＥ ＭｅｄｉａＳｅｒｖｅｒ＝ ＣＬＡＳＳ ＭＥＴＨＯＤＳ ｇｅｔＲｅｃｏｒｄｅｒ（ｆｏｒｍａｔ：Ｓｔｒｉｎｇ，ｃｏｎｔｅｘ ｔ：Ｓｔｒｉｎｇ）：Ｒｅｃｏｒｄｅｒ， ｇｅｔＰｌａｙｅｒ（ｆｏｒｍａｔ：Ｓｔｒｉｎｇ，ｃｏｎｔｅｘｔ： Ｓｔｒｉｎｇ）：Ｐｌａｙｅｒ ＥＮＤ

【００３２】文脈の引数は、プレーヤ或いはレコーダに
関する情報を指定する。例えば、オーディオ入力／出力
のために使われたホスト及び装置名を指定することがで
きる。

【００３３】アナライザは、一つ或いはそれ以上のタイ
ムストリームと関連したデータを処理して、イベントを
作り出すために使うことができる。現時点での好適な実
施態様で使われた二つのそのようなアナライザが、以下
に述べられる。アナライザへのインターフェースの単純
化された記述は、下式で与えられる。 ＴＹＰＥ Ａｎａｌｙｚｅｒ＝ＣＬＡＳＳ ＭＥＴＨＯＤＳ ｐｒｏｄｕｃｅＥｖｅｎｔｓ（ｓｅｓｓｉｏｎ：Ｓｅｓｓｉｏｎ，ｓｐｅｃ ｓ：Ｓｔｒｉｎｇ） ＥＮＤ

【００３４】アナライザは、所定のセッションのタイム
ストリームのデータにアクセスし、セッションと関連し
たイベントを生成する。どの型のタイムストリーム（例
えば、オーディオ、ビデオなど）が、アナライザの型に
依存してアナライザによりアクセスされる。’ｓｐｅｃ
ｓ’の議論は、分析が行なわれる方法についてのあらゆ
る必要な情報を提供する。例えば、アナライザは、所定
のワード（ｓｐｅｃｓストリングの一部である）が話さ
れる度にイベントを生成するオーディオのワード監視器
とすることができる。アナライザは、セッションが記録
された後に、或いは、記録プロセスの間にリアルタイム
で動作させることができることに注意すべきである。リ
アルタイムの場合には、アナライザによって作り出され
たイベントは、ユーザインターフェースを実施するプロ
セスのような他のプロセス（以下に述べるイベント通知
を参照のこと）により’観察’することができる。

【００３５】この拡張性を更に促進するために、アーキ
テクチャは、指定された型のメディアをサポートするた
めの適切なＭｅｄｉａＳｅｒｖｅｒｓを配置するブロー
カオブジェクトを提供する。ブローカは、同様にアナラ
イザのような他の種類のオブジェクトを配置するのを補
助することができる。ブローカは、共有されたネットワ
ークファイルに蓄積される情報を使って、実行プロセス
が所定のオブジェクト型（例えばオーディオのＭｅｄｉ
ａＳｅｒｖｅｒ）を実施し、及び／又は、これらのプロ
セスを生成するために実行しなければならないトラック
を維持することができる。他のネットワークベースのネ
ームサービスも同様に使うことができた。ブローカへの
インターフェースの単純化された記述は、下式で与えら
れる Ｔｙｐｅ Ｂｒｏｋｅｒ＝ＣＬＡＳＳ ＭＥＴＨＯＤＳ ｇｅｔＭｅｄｉａＳｅｒｖｅｒ（ｍｅｄｉａ：Ｓｔｒｉｎｇ）：Ｍｅｄｉａ Ｓｅｒｖｅｒ ｇｅｔＡｎａｌｙｚｅｒ（ｔｙｐｅ：Ｓｔｒｉｎｇ）：Ａｎａｌｙｚｅｒ ＥＮＤ

【００３６】イベント、タイムストリーム、及び、セッ
ションデータは、タイムストリームデータベースに蓄積
される。タイムストリームデータベースを使うアプリケ
ーションプログラムは、他のオブジェクトを作り出すか
配置する方法を有するタイムストリームマスターオブジ
ェクトを最初に得る。マスターオブジェクトは、上述し
たブローカによって使われたものと同じ機構を使用する
（多分別のホストの上の）別のプロセスで実行されるタ
イムストリームサーバから得ることができる。または、
タイムストリームサーバ（及び、マスターオブジェク
ト）を実施するプログラムコードは、アプリケーション
プロセスに直接に含ませることができる。

【００３７】疑似コードによる簡単な記録アプリケーシ
ョンのために必要な基本的なステップは、以下の通りで
ある。 ．．．’マスター’ と呼ばれるトップレベルタイムストリームオブジェ クトを得る．．． ｓｅｓｓｉｏｎ＝ｍａｓｔｅｒ．ｇｅｔＳｅｓｓｉｏｎＢｙＮａｍｅ（’Ｒ ｅｃｏｒｄｉｎｇｓ’ ） ｂｒｏｋｅｒ＝ｍａｓｔｅｒ．ｇｅｔＢｒｏｋｅｒ（） ｍｓｅｒｖｅｒ＝ｂｒｏｋｅｒ．ｇｅｔＭｅｄｉａＳｅｒｖｅｒ（’ａｕｄ ｉｏ’） ｒｅｃｏｒｄｅｒ＝ｍｓｅｒｖｅｒ．ｇｅｔＲｅｃｏｒｄｅｒ（’ｍｕ ｌ ａｗ’， ’ｄｅｆａｕｌｔ ａｕｄｉｏ ｄｅｖｉｃｅ’） ｒｅｃｏｒｄｅｒ．ｃｒｅａｔｅＲｅｃｏｒｄｉｎｇ（ｓｅｓｓｉｏｎ， ’ｒｅｃｏｒｄｉｎｇ１’） ｒｅｃｏｒｄｅｒ．ｒｅｃｏｒｄ（） ．．． あるコードは、記録がポーズ、レジューム、或いは、完了であ るべきことを示すユーザインターフェースイベントを探す。 ．．． 記録を閉じるためのルーチンをコールする。 ｒｅｃｏｒｄｉｎｇ．ｆｉｎｉｓｈＲｅｃｏｒｄｉｎｇ（） ｅｘｉｔ

【００３８】前述の疑似コードフラグメントは、記録と
呼ばれる現存するセッションの’ｒｅｃｏｒｄｉｎｇ
１’と名付けられたオーディオ記録を生成するために必
要とされるステップを述べる。

【００３９】記録を再生するために必要な疑似コード
は、以下の通りである。 ．．． マスターと呼ばれるトップレベルタイムストリームオブジェクトを得る 。 ｓｅｓｓｉｏｎ＝ｍａｓｔｅｒ．ｇｅｔＳｅｓｓｉｏｎＢｙＮａｍｅ（’Ｒｅｃ ｏｒｄｉｎｇｓ’） ｔｉｍｅｓｔｒｅａｍ＝ｓｅｓｓｉｏｎ．ｇｅｔＴｉｍｅｓｔｒｅａｍＢｙＮａ ｍｅ（’ｒｅｃｏｒｄｉｎｇ１’） ｂｒｏｋｅｒ＝ｍａｓｔｅｒ．ｇｅｔＢｒｏｋｅｒ（） ｍｓｅｒｖｅｒ＝ｂｒｏｋｅｒ．ｇｅｔＭｅｄｉａＳｅｒｖｅｒ（’ａｕｄｉｏ ’） ｐｌａｙｅｒ＝ｍｓｅｒｖｅｒ．ｇｅｔＰｌａｙｅｒ（’ｍｕ ｌａｗ’，’ｄ ｅｆａｕｌｔ ａｕｄｉｏ ｄｅｖｉｃｅ’） ｐｌａｙｅｒ．ｐｌａｙ（１） 再生が停止されるべきこと、或いは、異なった時間の探
索がコールされるべきことを示すユーザインタフェース
イベントを待つ。

【００４０】タイムストリームアーキテクチャは、一般
に互いに協調するアプリケーションを補助し、特に、多
数のプレーヤとレコーダに対する協調制御を補助するい
くつかの機構を提供する。１つの機構は、単一のプレー
ヤ及び／又はレコーダとして動作するプレーヤ及び／又
はレコーダの収集体である連合（Ｃｏｎｆｅｄｅｒａｔ
ｉｏｎ）オブジェクトである。プレーヤ或いはレコーダ
は、動的に連合に付加され、或いは、連合から削除する
ことができる。連合へのインターフェースの単純化され
た記述は、下式により与えられる。 ＴＹＰＥ Ｃｏｎｆｅｄｅｒａｔｉｏｎ＝ＣＬＡＳＳ ＳＵＰＥＲＣＬＡＳＳＥＳ Ｐｌａｙｅｒ， Ｒｅｃｏｒｄｅｒ ＥＮＤ ＭＥＴＨＯＤＳ ｒｅｇｉｓｔｅｒＰｌａｙｅｒ（ｐｌａｙｅｒ：Ｐｌａｙｅｒ）， ｕｎｒｅｇｉｓｔｅｒＰｌａｙｅｒ（ｐｌａｙｅｒ：Ｐｌａｙｅｒ）， ｒｅｇｉｓｔｅｒＲｅｃｏｒｄｅｒ（ｒｅｃｏｒｄｅｒ：Ｒｅｃｏｒｄｅｒ ）， ｕｎｒｅｇｉｓｔｅｒＲｅｃｏｒｄｅｒ（ｒｅｃｏｒｄｅｒ：Ｒｅｃｏｒｄ ｅｒ）， ．．． ＥＮＤ

【００４１】プレーヤとレコーダのサブクラスとして、
連合は、再生と記録のようなそれらのクラスの方法をサ
ポートすることが暗示される。また連合は、時間範囲の
シーケンスの再生として振る舞い（ｂｅｈａｖｉｏｒ
ｓ）を実施する付加的な方法もサポートする。

【００４２】連合を使って、’ＰｒｏｊｅｃｔＭｅｅｔ
ｉｎｇ＃３’と呼ばれるセッションについて、記録され
た全ての媒体の再生をセットして制御するための単純化
されたコードは、以下のようになる。 マスターと呼ばれるトップレベルタイムストリームオブジェクト ．．．ｓｅｓｓｉｏｎ＝ｍａｓｔｅｒ．ｇｅｔＳｅｓｓｉｏｎＢｙＮａｍｅ（ ’ＰｒｏｊｅｃｔＭｅｅｔｉｎｇ＃３ ’） ．．．ｂｒｏｋｅｒ＝ｍａｓｔｅｒ．ｇｅｔＢｒｏｋｅｒ（） ．．．ｃｏｎｆ＝ｍａｓｔｅｒ．ｇｅｔＣｏｎｆｅｄｅｒａｔｉｏｎ（’ｘｙ ｚ’） ．．ｔｉｍｅｓｔｒｅａｍｓ＝ｓｅｓｓｉｏｎ．ｇｅｔＡｌｌＳｔｒｅａｍｓ （） ｆｏｒ ｅａｃｈ ｔｉｍｅｓｔｒｅａｍ ｉｎ ｔｉｍｅｓｔｒｅａｍ ｓ ｄｏ ｂｅｇｉｎ ．．．ｍｓｅｒｖｅｒ＝ｂｒｏｋｅｒ．ｇｅｔＭｅｄｉａＳｅｒｖｅｒ（ｔ ｉｍｅｓｔｒｅａｍ．ｍｅｄｉａＴｙｐｅ（）） ．．．ｐｌａｙｅｒ＝ｍｓｅｒｖｅｒ．ｇｅｔＰｌａｙｅｒ（ｔｉｍｅｓｔ ｒｅａｍ．ｆｏｒｍａｔ（），’ｈｏｓｔ１’） ．．．ｃｏｎｆ．ｒｅｇｉｓｔｅｒＰｌａｙｅｒ（ｐｌａｙｅｒ） ｅｎｄ ｃｏｎｆ．ｐｌａｙ（）．．． ．．． どのように再生が制御されるかを示すユーザインターフェースイベントを待 つ。

【００４３】連合には’ｘｙｚ’という名前が与えられ
ることに注意すべきである。他のプログラムは、マスタ
ーオブジェクトからこの連合を得、これを使用して再生
を制御するができる。これは、同じホストの上でいくつ
かのプログラムを実行することを可能とするが、しかし
再生を共同して制御するために、多分、非常に異なった
インターフェースを必要とする。なお、上述したのと同
じであるが、異なったホストの上で実行されるプログラ
ムは、そのホストと関連してプレーヤを生成することが
でき、それらを’ｘｙｚ’構成と共に登録することがで
きる。結果は、実施するための追加のプログラミング負
担を本質的に必要としない共有分散型の再生ツールとな
る。

【００４４】別の整合機構は、イベント通知である。プ
ログラムは、’ｎｏｔｉｃｅＥｖｅｎｔ’に呼ばれる方
法を有するオブジェクトであるＥｖｅｎｔＮｏｔｉｆｉ
ｅｒを実施することができる。ノティファイアは、セッ
ションオブジェクトと共に登録することができ、つい
で、イベントがそのセッションに付け加えられる度に、
その時イベントで引数としてイベントと共にコールされ
る。例えば、ＬｉｖｅＢｏａｒｄウィンドウにおいて、
いくつかのオブジェクトが選択されるときに、選択され
たオブジェクトに関連した時間を示すイベントを生成す
ることができ、登録されたＥｖｅｎｔｎｏｔｉｆｉｅｒ
を備えたタイムラインインターフェースに接触すること
ができ（すなわち、コールされたｎｏｔｉｃｅＥｖｅｎ
ｔ方法）、これらの時間をグラフィック的に示すことが
できる。この例が、以下に詳細に述べられる。

【００４５】同期の問題は、種々の接合点で、また、種
々の形態で発生する。最初に、キャプチャの間、エラー
が再生の間知覚的に苛立たせていないように、タイムス
トリームを十分に整列した状態にしておくという必要性
がある。オーディオとビデオの場合には、これは、ビデ
オと音が約１／３０秒で（例えば、苛立たしい唇同期の
問題が発生する前に）整列させ続けなければならないこ
とを意味する。二つのタイムストリームは、異なったマ
シン上で独立して獲得される場合があるので、各種のソ
ースの間で或る共通のクロックを使う（または再建す
る）ことが必要である。現時点での好適な実施態様にお
いては、完全に接続されて実行しているときには、ＲＦ
Ｃ−１７６９で述べられたネットワーク時間プロトコー
ル（ＮＴＰ）が、クロックをミリ秒以内に精密に維持す
るために分散型マシンの間で使用される（これは適応型
のプロトコールであり、単に共通の標準に再同期させる
ことによってではなく、マシンのドリフトにどの様に適
合するかを学習することによって、通常より良い結果が
得られる。好適には、タイムストリームのデータの各々
の量はタイムスタンプされるが（ビデオではリアルタイ
ムプロトコールパケットを使ったので）、データが正確
なクロックレートでサンプルされるというシステムの確
実性も同様に十分である。

【００４６】他の場合には、例えば、他のメディアタイ
ムストリームにインデックスを付ける文の注釈の場合に
は、そのような厳密な同期のための要求を緩和すること
ができる。再び、どのようなエラーも再生の間に苛立た
せなることがない十分な正確さを必要とした測定基準が
適用される。文のノートについては、これは、マークが
記録された材料へ機能的なポインタであるように、ノー
トは、ユーザが意図したものに十分に近い位置で、タイ
ムストリームにインデックスを付けなければならないこ
とを意味する。或る状況の下では、何秒かのこぼれは許
容可能であるが、他の場合には１秒の端数でも許容でき
ない場合がある。もしユーザが注釈ソフトウェアを走ら
せているハードウェアの上に、ＮＴＰを走らせていれ
ば、その測定は、一般に十分な正確さを提供するだろ
う。他のオプションは、注釈がされる度に、ＮＴＰ装備
マシンから現在の時間を得るために、時間サーバをコー
ルするか、または、注釈マシンとＮＴＰ時間のと間のオ
フセットを計算するために、ミーティングの開始にクロ
ックを同期させることを含む。この最後の形態の訂正
は、特別な“同期イベント”の形態を使用するかもしれ
ない。これは、分散型の資源の二つ或いはそれ以上のデ
ータ内に注記されている、或いは、それから分析するこ
とができる。

【００４７】要求される同期の正確さの程度に殆ど無関
係に、種々のキャプチャ装置を完全に切り離した状態で
動作させる準備ができる。これは、接続（コンピュー
タ、オーディオ、ビデオ等）が望ましくないか不可能な
セッティングにおいて記録が行われる場合には望ましい
ことである。装置の異種のクロックを最終的に整列させ
るための手段が提供されるとすれば、ハンドヘルドコン
ピュータ或いは商用のカムコーダは、受け入れることが
できるキャプチャ装置である。切り離されたラップトッ
プをオーディオの記録と一列に整列する技術の例は、騒
々しくラップトップキーを打つことであり、有効な同期
イベントである。キーストロークは、ラップトップによ
ってピックアップされ、そのクロックによってタイムス
タンプされ、オーディオは、キーヒットを表現するオー
ディオイベントを見つけ出すために分析され、このイベ
ントは、オーディオレコーダのクロックによりタイムス
タンプされる。これから、二つのクロックの間のオフセ
ットを計算することができる。そして、タイムスタンプ
のセットの一方が他方に合わせられる。

【００４８】ドリフト（非常に低い周波数エラー）は、
記録するセッションの間、同様に問題である。独立した
クロックが採用されたセッションにおいて必要とされる
正確さの程度に依存して、システム的な利得或いは損失
を補正するために、或いは、オフセット補正のためにク
ロックを繰り返しチェックするために、セッションの開
始と終了を読み取ることが必要かもしれない。もし調整
的な動作（例えば、通常速度再生が所望のときは、８０
５７／８０００で再生））を提案するためにデータを収
集することができれば、それら自身がクロック動作する
システム（例えば、８０５７サンプル／秒となるべきで
あるが８０００サンプル／秒で動作しているとされたオ
ーディオ装置）のこれらの要素におけるドリフトは、再
生の間に付加的な微調整を必要とするかもしれない。

【００４９】ジッター（一層高い周波数エラー）は、一
般にシステムの適切な場所でバッファすることによって
処理される。

【００５０】タイムストリーム再生セッション（キャプ
チャセッションとしばしば同時に発生したり、または、
キャプチャのセッティングにおいてある種の“入れ子状
態”となるかもしれない）における同期の問題は、マル
チメディアシステムにおいて典型的に取り扱われるもの
に一層接近している。

【００５１】文脈をセットするために、各種のメディア
タイムストリーム（オーディオ、ビデオ、計算ログ）が
獲得され、獲得された活動が再体験できるように、密接
に同期してこれらのタイムストリームの全部或いは所望
のサブセットを再生しながら蓄積されると仮定する。更
に、全て記録が完全なデータを備えており、補正すべき
ドリフト、ジッター、または、オフセットがない状態で
獲得されたと仮定する。

【００５２】現時点での好適な実施態様においては、種
々のタイムストリームプレーヤは、適度に接近して同期
させるために、十分に同期した無ドリフトシステムクロ
ックを使用して、フリーホイールモードで動作する。こ
れは、各々のプレーヤが、システム時間の経過に合う方
法で、そのタイムストリームを再生する責任があること
を意味する。普通の再生スピードにおいては、これは再
生（及び、システム時間経過）の１秒が、オリジナルデ
ィスク記録の各々の秒毎に正確に発生すべきであること
を意味し、一層速い及び一層遅い再生レートは、再生さ
れる記録が一層多いか一層少ないことを単に表す。これ
らの高い及び低いスピード再生の最も良い表現は、ユー
ザの必要に応じてカスタマイズすることができることに
注意すべきであり、高速のピッチ保存スピーチは、ミー
ティングをざっと知るために望まれる場合があり、或い
は、適切な間隔から連鎖する４分の１秒のビデオクリッ
プは、非常に高速のビデオ再生を最もよく伝えるかもし
れない。

【００５３】フリーホイール同期を使うことの二つの局
面は、記するに値するものあり、それは良好な開始と休
止の機会である。第１のものは、伝送時間、バッファリ
ング等に無関係に、そのようなアプローチの訂正動作
は、全てが同時に開始するプレーヤに単に依存すること
である。これは、プレーヤが予定された開始についての
依頼を受け取るべきであることを意味する（例えば、Ｙ
システム時間で記録された材料の１００％の通常速度で
Ｘシステム時間（少ないけれども未来への十分な時間
（秒の端数）に再生を開始する）。開始のこのモード
は、次に続くリアルタイムクロック固守（Ａｄｈｅｒｅ
ｎｃｅ）が所望の動作を生み出す調和した開始を保証す
る。休止の機会は、単に、特定のユーザ行動がプレーヤ
に分同期補正（例えば、マスターであるべき一つのプレ
ーヤを宣言し、ユーザが再生を停止或いは休止する度
に、全てのチャイルドプレーヤをそれに同期させる。

【００５４】本発明のハードウェアアーキテクチャのブ
ロック図は、図１を参照して説明される。図１を参照す
ると、セッション始動モジュール１０１は、セッション
を記録する準備として種々の“ハウスキーピング”機能
を行なう。セッション始動モジュールは、好適には、種
々の記録構成要素に連結されるコンピュータに基づいた
システム上で実行されるソフトウェアとして具体化され
る。そのタスクの間で、セッション始動モジュールは、
セッション蓄積装置１０３が生成することができる一時
的データを蓄積するための十分な利用することができる
蓄積容量を有することを確かめなければならない。これ
は、記録されるセッションの長さ、及び、使用されるキ
ャプチャ装置の数／型に関する推定を行うことにより達
成される。キャプチャセッション始動モジュール１０１
は、各々のキャプチャ装置１０２ａ−ｃによって“記
録”の開始を同様に同期させる。各々のキャプチャ装置
は、同時に、或いは、異なった時間に記録を開始するこ
とができる。

【００５５】キャプチャ装置１０２ａ−ｃは、種々のメ
ディアのタイムストリームを獲得し、或るインスタンス
においてはイベントを生成する。キャプチャ装置１０２
ａは、タイムストリームとイベントデータ１０７を発生
させる。現時点での好適な実施態様においては、キャプ
チャ装置１０２ａの例は、カリフォルニア州、サンホセ
のゼロックスカンパニー（Ｘｅｒｏｘ Ｃｏｍｐａｎ
ｙ）のＬｉｖｅＷｏｒｋｓ（商標）から入手可能な市販
の製品ＬｉｖｅＢｏａｒｄ（商標）のような電子ホワイ
トボードである。相互作用が発生するに従って、Ｌｉｖ
ｅＢｏａｒｄから獲得されたタイムストリームデータ
は、非同期的に発生する。イベントも、所定の機能（例
えば、ＬｉｖｅＢｏａｒｄの上でページの変更）の呼び
出しによって同様に発生させられる場合がある。

【００５６】キャプチャ装置１０２ｂは、タイムストリ
ーム１０８を発生させる。そのような型のキャプチャ装
置においては、キャプチャ装置は絶えずタイムストリー
ムデータを獲得するモードにある。キャプチャ装置１０
２ｂの典型的な例は、ビデオ及びオーディオのレコーダ
である。そのようなキャプチャ装置１０２ｂの別の例
は、ポインタである。ポインタキャプチャ装置は、ポイ
ンタ、例えば、投影されたスライド或いは他の視覚部材
の上で何かを指し示すために、プレゼンテーションの間
に典型的に使われるレーザーポインタの動きを獲得する
ものである。ポインタキャプチャ装置は、一般的に見ら
れる材料が前もって用意されているときに、正式のプレ
ゼンテーションのために特に有益である。ポインタタイ
ムストリームの再生は、このようにプレゼンテーション
の再生の間のポインタの動きを示す。

【００５７】キャプチャ装置１０２ｃは、イベント１０
９を単に発生させる。キャプチャ装置１０２ｃの例は、
ボタンである。ボタンは、ボタンタイムストリームのイ
ベントの生成を、ボタンを操作するユーザと関連づける
装置である。ボタンイベントは、興味があるトピックの
開始、特に有益な対話、トピックの切り換わりのような
種々の活動を指し示すために、ユーザによって生成され
る場合がある。別の例は、スライドプロジェクタであ
る。スライドプロジェクタタイムストリームにおけるイ
ベントは、スライドの変更を指し示す。

【００５８】キャプチャ装置１０２ａ−ｂは、好適に
は、デジタルフォーマットでタイムストリームを獲得す
る。タイムストリームの種々の部分への直接的且つラン
ダムなアクセスを容易にするため、デジタルフォーマッ
トでタイムストリームを蓄積することは望ましい。しか
しながら、アナログフォーマットでタイムストリームデ
ータを獲得して蓄積することは、本発明の範囲内であ
る。タイムストリームのフォーマットは、タイムストリ
ームを生成するために使用されるキャプチャ装置に対応
する。例えば、オーディオのタイムストリームは、或る
規則的な間隔で取られた一組のオーディオのサンプルか
ら成るが、一方、ＬｉｖｅＢｏａｒｄタイムストリーム
がタイムスタンプされたプリミティブな動作（以下より
の詳細に説明される）の履歴ファイルである。獲得され
たタイムストリームデータの管理は、どのような方法で
あるにせよ、それらが最も適切であると見做す方法で、
それらのデータを蓄積するために選択することができる
種々のメディアサーバによって行なわれる。

【００５９】生成された一時的データは、セッション蓄
積装置１０３に蓄積される。セッション蓄積装置１０３
は、データの異なった型、すなわち、セッションデー
タ、イベントデータ、及び、タイムストリームデータに
ついて永久的な蓄積装置を提供する。セッション蓄積装
置１０３は、実際には、異なった物理的な蓄積装置に分
散され、タイムストリームアーキテクチャ（以下に述べ
る）の異なった構成要素によって管理される。

【００６０】同様に、セッション蓄積装置１０３に連結
されているのは、一時的データアナライザ１０４であ
る。一時的データアナライザ１０４は、イベント１１０
を識別するために、一時的データ１１１を分析するため
に使われる処理手段（例えば、コンピュータに基づいた
システム）である。イベント情報は、セッション蓄積装
置１０３に同様に蓄積される。

【００６１】記録されたセッションへのアクセスは、セ
ッションアクセスワークステーション１０５により達成
される。このアクセスは、ネットワーク（例えばクライ
アント−サーバアーキテクチャで）を介して、或いは、
直接接続とすることができる。アクセスセッション始動
モジュール１０９は、セッションを再生するために必要
な種々の“ハウスキーピング”機能を行う。アクセスセ
ッション始動モジュールの機能性は、典型的にはセッシ
ョンアクセスワークステーション１０５によって行なわ
れる。セッションアクセスワークステーション１０５
は、典型的にはコンピュータ制御型ディスプレイシステ
ムであり、そこでは、セッション再生に対する制御は、
ディスプレイ上に表示されたグラフィックユーザインタ
ーフェースにより達成される。そのようなグラフィック
ユーザインターフェースは、以下に述べられる。現時点
での好適な実施態様においては、セッションアクセスワ
ークステーションは、カリフォルニア州、マウンテンビ
ューのＳＵＮ Ｍｉｃｒｏｓｙｓｔｅｍｓ Ｉｎｃ．か
ら入手可能なＸ−Ｗｉｎｄｏｗｓグラフィックユーザイ
ンターフェースを備えたＳｕｎ ＯＳ ４．１オペレー
ティングシステムが実行されるＳＵＮ ＳｐａｒｃＳｔ
ａｔｉｏｎ−１０である。

【００６２】更に、セッションアクセスワークステーシ
ョン１０５に連結されているのは、プレーヤ１０６、再
生制御装置１０７、及び、エディタ１０８である。種々
のプレーヤ、再生制御装置、及びエディタの各々は、セ
ッションアクセスワークステーションの中で統合され
る。そこで、電子ホワイトボードタイムストリームの再
生は、ワークステーションのディスプレイ上の第１のウ
ィンドウにより達成され、ビデオタイムストリームはワ
ークステーションのディスプレイ上の第２のウィンドウ
により達成され、オーディオタイムストリームは、ワー
クステーションのオーディオサブシステムにより達成さ
れる。しかしながら、プレーヤはセッションアクセスワ
ークステーションの中で統合される必要がなく、個別の
再生装置とすることができることは当業者にとって明白
だろう。更に、現時点での好適な実施態様においては、
単一のウィンドウが、プレーヤ、再生制御装置、及び、
エディタの機能を行なうことができる。現時点での好適
な実施態様におけるウィンドウの組織及びそれらに付随
する機能性は、図３を参照して以下に詳細に述べられ
る。

【００６３】最後に、エディタの使用により生成された
新しい一時的データ１１２は、セッション蓄積装置１０
３に蓄積される。

【００６４】共同作業におけるＬｉｖｅＢｏａｒｄの主
要な機能は、各々のユーザが見ることができて、相互に
作用することができる“共有表現”を提供することであ
る。ＬｉｖｅＢｏａｒｄとそのオペレーティンングソフ
トウェアは、そのような“共有表現”が単一のＬｉｖｅ
Ｂｏａｒｄ装置の上にある必要がないように設計される
ことに注意すべきである。実際の共同作業が異なった物
理的な位置で行われるように、多数のＬｉｖｅＢｏａｒ
ｄｓがネットワーク経由で一緒に連結することができ
る。

【００６５】現時点での好適な実施態様において使われ
たようなＬｉｖｅＢｏａｒｄは、主にセッション記録へ
インデックスを生成するための手段であるようには意図
されていない。しかしながら、以下に一層詳細に議論さ
れるように、ＬｉｖｅＢｏａｒｄは、それを記録された
セッションの次の再生を制御するための有益なツールに
する独特の能力を有する。ＬｉｖｅＢｏａｒｄは、Ｔｉ
ｖｏｌｉアプリケーションの制御の下で動作する。Ｔｉ
ｖｏｌｉアプリケーションは、Ｐｅｄｅｒｓｅｎ、
Ｅ．、Ｋ．ＭｃＣａｌｌ、Ｔ．Ｍｏｒａｎ、及び、Ｆ．
Ｈａｌａｓｚによる““Ｔｉｖｏｌｉ：Ａｎ Ｅｌｅｃ
ｔｒｏｎｉｃ Ｗｈｉｔｅｂｏａｒｄ ｆｏｒ Ｉｎｆ
ｏｒｍａｌ Ｗｏｒｋｇｒｏｕｐ Ｍｅｅｔｉｎｇ
ｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｌＮＴ
ＥＲＣＨＩ’９３ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｈｕｍ
ａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓ
ｙｓｔｅｍｓ，ｐｐ．３９１−３８９，Ａｐｒｉｌ １
９９３に詳細に説明されている。

【００６６】Ｔｉｖｏｌｉは、“描画”プログラムと知
られている画像生成プログラムのクラスに似ているユー
ザインターフェースを有している。描画プログラムは、
グラフィックオブジェクトの収集物のような画像を生成
し操作する。Ｔｉｖｏｌｉ図面は、グラフィックオブジ
ェクトとして描かれる。グラフィックオブジェクトは、
以下のものを含む。 −ストローク：ペン入力装置により生成された“デジタ
ルインク”オブジェク。 −文字：キーボード経由で生成されるか、テキストファ
イルから持ち込まれた。 −画像／アイコンオブジェクト：持ち込まれた或いはコ
ピーされた。 −構造化オブジェクト：データベースから持ち込まれ
た。 −クロック：クロックジェスチャーと共に生成される。
クロックは、その生成時間を表す丸いアナログ時計文字
盤として現れるＬｉｖｅＢｏａｒｄの上で生成される特
別なマークである。

【００６７】Ｔｉｖｏｌｉは、実行されたプリミティブ
な動作の履歴リストを維持する。例えば、オブジェクト
を付け加える、オブジェクトを削除する、オブジェクト
を生成する、オブジェクトを変える、オブジェクトを選
択する、または、ページを変える。履歴リストの全ての
プリミティブな動作は、タイムスタンプされてオブジェ
クトと関連付けられる。以下に詳細に述べられるよう
に、イベントを識別するために分析されるのがこの履歴
リストである。

【００６８】ＬｉｖｅＢｏａｒｄに現れるグラフィック
オブジェクトは、ミーティングのコースの間に作られる
か、或いは、パーソナルコンピュータ上のワードプロセ
ッシングファイルを開ける操作に似た方法で、或るメモ
リ媒体（例えば、フロッピーディスク）からロードされ
るかのいずれかとすることができる。この後者のインス
タンスは、セッションが正式のプレゼンテーションであ
るときに、特に有益である。

【００６９】ＬｉｖｅＢｏａｒｄの動作の別の重要な局
面は、ジェスチャーの使用である。ジェスチャーは、例
えば他の任意の“インクストローク（ｉｎｋｓｔｒｏｋ
ｅ）”のように生成されるが、コマンド（例えば編集コ
マンド）として解釈されるＬｉｖｅＢｏａｒｄとの相互
作用である。例えば、もし特定のオブジェクトが“削
除”されるべきであれば、オブジェクトはペンにより囲
むジェスチャーと、呼び出された削除コマンド（例え
ば、ピグテールジェスチャー）で選択される。削除が生
じた後、ジェスチャーによって引き起こされたマーキン
グは、もはやＬｉｖｅＢｏａｒｄには現れないしかしな
がら、後で述べられるように、本発明においては、セッ
ションが再生されるとき、“ゴースト”画像が残る場合
がある）。

【００７０】上述したように、セッション蓄積装置は、
異なった型のデータ、すなわち、セッションデータ、イ
ベントデータ、及び、タイムストリームデータについて
の永久的な蓄積を提供するタイムストリームアーキテク
チャの機能構成要素である。セッション蓄積装置は、実
際には、異なった物理的な蓄積装置に分散され、タイム
ストリームアーキテクチャの異なった構成要素によって
管理される。セッション蓄積装置を、タイムストリーム
データベース（セッションとイベントデータ用）、及
び、バルクタイムストリーム蓄積装置（タイムストリー
ムデータ用）に分けることが最も実際的である。

【００７１】バルクタイムストリーム蓄積装置は、タイ
ムストリームの実際のデータが蓄積され管理されるとこ
ろである。ビデオの場合には、これは、デジタル化され
て圧縮されデジタル化されたビデオフレームの長いかさ
ばったシーケンスから成る。タイムストリームアーキテ
クチャにおいては、タイムストリームデータの管理は、
どのような方法であれ、それらが最も適切であると見做
す方法でそれらのデータを蓄積するために選択すること
ができる種々のメディアサーバに任される。現時点での
好適な実施態様においては、大部分のメディアサーバ
は、それらのデータを通常のＵｎｉｘファイルに蓄積す
るが、他の蓄積機構（例えばオーディオ／ビデオタイム
ストリームのアナログ蓄積のためのコンピュータ制御型
ＶＣＲ）のためのメディアサーバも同様に実施された。
メディアサーバについては、断続した少容量データ（例
えば、ラップトップコンピュータによって作り出された
文のノート）を備えたタイムストリームのための最も便
宜的な機構とすることができる、そのタイムストリーム
データのためのタイムストリームデータベースを使うこ
とも可能である。

【００７２】タイムストリームデータベースは、セッシ
ョンとイベントデータ、すなわち、全ての情報をセッシ
ョンに組織化し、セッションの要素を記述するデータ、
を蓄積して検索するための蓄積場所である。タイムスト
リームデータベースは、ユーザが、所望のセッションを
位置決めし、どのタイムストリームがそのセッションに
関連付けられているのかを決定し、セッションとそのタ
イムストリームに連付けられているイベントを見つけ出
すことをサポートする。タイムストリームデータベース
は、セッションデータの閲覧をサポートするだけでな
く、セッションとイベントの選択的な検索を可能と質問
能力を有するデータベースであるべきである。セッショ
ンとイベント情報は、数ヶ月、数年にわたって持続しな
ければならず、したがって、不揮発性装置（通常はディ
スク）に蓄積されなければならない。タイムストリーム
アーキテクチャはオブジェクト志向であるので、オブジ
ェクト志向のデータベースが、タイムストリームデータ
ベースのための持続性があるオブジェクト蓄積装置とし
て適切である。現時点での好適な実施態様においては、
タイムストリームデータベースは、Ｕｎｉｘファイルシ
ステム上で実施される。

【００７３】一時的データ分析は、抽出すべきタイムス
トリームと所望のイベントによって獲得された情報に対
して特定のものである。オーディオの情報のタイムスト
リームの場合には、イベントの一つの有益な形態は、特
定の人がいつ話しているかを知ることである。従って、
１）異なった人がいつ話しているかを表すためにタイム
ストリームをセグメント化し、２）話している人に種々
のセグメントを割り当てて、オーディオストリームを分
析することが望ましい。したがって、これらのセグメン
トは、タイムストリームにおけるイベントを表現するこ
とになる。オーディオストリーム上でそのような分析を
行なうための技術は、両方とも本出願と同じ譲受人に譲
渡されている“Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｓｐｅａｋ
ｅｒ Ｃｌｕｓｔｅｒｉｎｇ Ｆｏｒ Ａｕｔｏｍａｔ
ｉｃ Ｓｐｅａｋｅｒ Ｉｎｄｅｘｉｎｇ Ｏｆ Ｒｅ
ｃｏｒｄｅｄ Ａｕｄｉｏ Ｄａｔａ”と題された、同
時継続中の出願番号０８／２２６，５２５号、及び、
“ＳｅｇｍｅｎｔａｔｉｏｎＯｆ Ａｕｄｉｏ Ｄａｔ
ａ Ｆｏｒ Ｉｎｄｅｘｉｎｇ Ｏｆ Ｃｏｎｖｅｒｓ
ａｔｉｎａｌ Ｓｐｅｅｃｈ Ｆｏｒ Ｒｅａｌ−Ｔｉ
ｍｅ Ｏｒ Ｐｏｓｔｐｒｏｃｅｓｓｉｎｇ Ａｐｐｌ
ｉｃａｔｉｏｎｓ”と題された出願番号８／２２６，５
１９号に説明されている。いずれの場合でも、いったん
そのような分析が行なわれると、オーディオのタイムス
トリームのためのイベントのリストは、それぞれがタイ
ムスタンプ、期間、及び、話者識別子を含む複数のデー
タ項目から成ることになる。

【００７４】ＬｉｖｅＢｏａｒｄによって獲得されたタ
イムストリームの分析の場合には、イベントは、図面の
描画或いは言葉の書き込み、ページ変更、図面或いは言
葉の消去、既存のマーキングに対してなされた注記、或
いは、特定のコマンドのＬｉｖｅＢｏａｒｄユーザイン
ターフェースへの入力とすることができる。上述したよ
うに、ＬｉｖｅＢｏａｒｄは、Ｔｉｖｏｌｉアプリケー
ションの制御の下で動作する。Ｔｉｖｏｌｉによって発
生させられたタイムストリームは、一時的な順序で記録
されたタイムスタンプされたプリミティブな動作の履歴
リストである。そのようなタイムストリームの分析は、
意味のあるイベントを識別するための、プリミティブな
動作のシーケンスを構文解析することを伴う。

【００７５】ＬｉｖｅＢｏａｒｄ上の各々のマーキング
は、オブジェクトと呼ばれる。各々のオブジェクトは、
それと関連づけられた一つ或いはそれ以上のイベントを
有する。本発明にとって、オブジェクトと関連している
全てのイベントが識別され、セッションの中へのインデ
ックスとしてユーザに提供されることが必要である。セ
ッションの中へのインデックスとしてユーザに確認さ
れ、提供されることが、必要である。従って、本発明に
おける一時的データ分析は、オブジェクト上の種々のイ
ベントを識別し、そのイベントを蓄積する。全てのオブ
ジェクトについて、オブジェクト生成イベントが存在す
る。オブジェクトは、オブジェクト変更イベントとオブ
ジェクト削除イベントを同様に有することができる。Ｌ
ｉｖｅＢｏａｒｄタイムストリームの更なる局面は、Ｌ
ｉｖｅＢｏａｒｄウィンドウに関して以下に議論され
る。

【００７６】現時点での好適な実施態様においては、セ
ッションアクセスワークステーションは、蓄積媒体上に
蓄積されるプログラムインストラクションの制御の下で
動作するコンピュータ制御型ディスプレイシステムであ
り、図２を参照して述べられる。図２を参照すると、コ
ンピュータに基づいたシステムは、バス２０１経由で連
結される複数の構成要素から成る。ここで説明されるバ
ス２０１は、本発明を不明瞭にしないために、単純化さ
れる。バス２０１は、（例えば、プロセッサーバス、ロ
ーカルバス、及び、Ｉ／Ｏバス）の階層構造と同様に、
複数のパラレルバス（例えば、アドレスバス、データバ
ス、及び、ステータスバス）から構成することができ
る。いずれの場合でも、コンピュータシステムは、内部
メモリー２０３（内部メモリー２０３は、典型的には、
ランダムアクセスメモリー或いはかリードオンリーメモ
リーの組み合わせであることに注意すべきである）から
バス２０１経由で提供されるインストラクションを実行
するためのプロセッサー２０２を更に含んでいる。動作
中に、本発明の種々の機能構成要素を実行するためのプ
ログラムインストラクションは、内部メモリー２０３に
蓄積される。プロセッサー２０２と内部メモリー２０３
は、個別の構成要素、或いは、用途特定集積回路（ＡＳ
ＩＣ）チップのような単一の集積装置とすることができ
る。プロセッサー２０２と内部メモリー２０３は、ここ
に述べられる種々の処理機能を行なうための電気回路か
ら成る。

【００７７】同様に、バス２０１へ、英数字を入力する
ためのキーボード２０４、データを蓄積するための外部
蓄積装置２０５、カーソルを操作するためのカーソル制
御装置２０６、及び、視覚的出力を表示するためのディ
スプレイ２０７が連結される。キーボード２０４は、典
型的には標準のＱＷＥＲＴＹキーボードであるが、同様
に、電話機のようなキーパッドにすることもできる。外
部蓄積装置２０５は、固定の或いはリムーバブルの磁気
或いは光学ディスク装置とすることができる。カーソル
制御装置２０６は、典型的には、或る機能の実行をプロ
グラムすることができるそれと関連したボタン或いはス
イッチを有する。更に、バス２０１へ、オーディオ出力
手段２０８が連結される。オーディオ出力手段２０８
は、典型的には、何らかのオーディオ信号発生手段（例
えば、デジタル・アナログ変換器）及びスピーカーから
成る。オーディオ出力手段２０８は、プレーヤとしても
動作することができる。最後に、バス２０１に連結され
るのが、ビデオ出力手段２０９である。ビデオ出力手段
は、典型的には、ビデオ信号をディスプレイ２０７に表
示できるようにするための市販の処理手段、例えば、ビ
デオボードである。

【００７８】セッションアクセスワークステーション
が、蓄積媒体に蓄積されたプログラムされたインストラ
クションに従って動作するコンピュータに基づいたシス
テム上で具体化されているが、本発明は、固定機能のタ
ーミナル或いはＬｉｖｅＢｏａｒｄのような任意のコン
ピュータ制御型ディスプレイシステム上で実行すること
ができる。

【００７９】セッションアクセスワークステーション
は、上述したように、タイムストリームアーキテクチャ
を参照し、再生と制御のためのプログラムインストラク
ションを使って動作する。図３は、セッションアクセス
ワークステーションの基本的なローレベル動作を説明す
る単純化された状態図である。図３を参照すると、セッ
ションアクセスワークステーションは、セッションを再
生する依頼が受信されるとき、最初は、開始状態３０１
にある。次いで、セッション始動状態３０２に入る。セ
ッション始動状態３０２の間、再生されるべきセッショ
ンがユーザによって選択される。選択されたセッション
の一時的データは検索され、種々のプレーヤ、制御装
置、及び、エディタが同期化される。種々のプレーヤ
は、セッションアクセスワークステーションとして同じ
物理的な装置に統合することができる、或いは、それら
を分離した装置とすることもできることに注意すべきで
ある。次いで、種々のウィンドウ（すなわち、プレー
ヤ、再生制御装置、及び、エディタ）は、セッションア
クセスワークステーションに連結されたディスプレイに
表示される。この時点において、“作動”状態３０３と
名付けられた状態に入る。ここで述べられた作動状態３
０３は、セッションアクセスワークステーションが相互
作用を行っており、セッションアクセスワークステーシ
ョンについてのユーザインタフェースの種々の機能を何
時でも呼び出すことができるという意図を伝えるために
使われる。いずれの場合でも、最初に“作動”状態３０
３に入ったときに、セッションには、初めからセッショ
ンを再生するためのキューが与えられる。“作動”状態
３０３にある間は、ユーザ入力に応じて種々のプリミテ
ィブな機能が行なわれる。“再生”コマンド、または、
等価なグラフィックユーザインターフェース入力（例え
ば特定のアイコンの上でクリックすること）の呼び出し
は、セッションの開始を引き起こすことになる（ボック
ス３０４）。これにより、再生状態は“再生”にセット
される。“停止”コマンドの呼び出しは、セッションの
再生を停止させ、再生状態は“停止”にセットされる
（ボックス３０５）。特定のウィンドウにおける“ディ
スプレイ修正”コマンド或いは制御の呼び出しは、ウィ
ンドウを修正させる（ボックス３０６）。そのような修
正は、タイムラインインターフェースで表示されたトラ
ックを変えることができる。再生制御の呼び出しは、再
生点を変更させる（ボックス３０７）。これは、新しい
点でキューを与えてセッションの再生を引き起こす。編
集コマンドの呼び出しは、既存の一時的データへの修
正、或いは、新しい一時的データの生成のいずれかを引
き起こす（ボックス３０８）。種々の状態における動作
の開始により、作動状態３０３への復帰が生じる。

【００８０】そのような多数の動作は、セッションアク
セスワークステーション上で特定の機能を達成するため
に、呼び出される場合があることに注意すべきである。
例えば、ＬｉｖｅＢｏａｒｄウィンドウのオブジェクト
を選択する動作は、“停止”に続いて“ディスプレイを
修正”を呼び出すことができる。

【００８１】最後に、動作状態３０３にある間、“退
去”コマンドの呼び出しは、アクセスセッションを停止
させることになる（停止状態３０９）。

【００８２】図４は、セッションアクセスワークステー
ションのスクリーンディスプレイを説明する。図４のス
クリーンディスプレイは、同時に開いている複数のウィ
ンドウを示す。ほとんどのグラフィックユーザインター
フェース指向のウィンドウに関しては、ウィンドウのサ
イズと配置はユーザの選択事項である。図４を参照する
と、同時に表示されているのは、ＬｉｖｅＢｏａｒｄウ
ィンドウ４０１、ビデオウィンドウ４０２、タイムライ
ンインターフェースウィンドウ４０３、ノートウィンド
ウ４０４−４０５、オーディオのウィンドウ４０６、マ
ルチメディア編集ウィンドウ４０７、及び、ミーティン
グプレーヤウィンドウ４０８である。ＬｉｖｅＢｏａｒ
ｄウィンドウ４０１は、プレーヤ、再生制御装置とし
て、或いは、エディタとして動作することができる。プ
レーヤとして、それはＬｉｖｅＢｏａｒｄタイムストリ
ームを再生するために使用される。制御装置として、そ
れは、そこに表示されたオブジェクトとの相互作用を通
してセッションの再生に対する制御を可能にする（以下
に詳細に述べる）。エディタとして、ユーザは、新しい
オブジェクトを生成するか、或いは、セッションの次の
再生で表示されるセッションに関する特定の注釈を作る
ことができる。

【００８３】ビデオウィンドウ４０２は、ビデオのタイ
ムストリームを再生するために使用されるプレーヤであ
る。ノートウィンドウ４０４と４０５は、ミーティング
のコースの間のキャプチャ装置として使用可能なラップ
トップコンピュータ或いは同様な装置とすることができ
るノートを再生するために使用されるプレーヤである。

【００８４】ミーティングプレーヤウィンドウ４０８
は、プレーヤと再生制御装置である。ミーティングプレ
ーヤウィンドウ４０８は、種々な他の一時的データのイ
ベントを使って、それが再生されるにつれてミーティン
グのダイナミックスのシミュレーションを提供する。再
生は、ミーティングプレーヤウィンドウ４０８に現れる
種々のアイコンとの相互作用により制御される。ミーテ
ィングプレーヤウィンドウは、以下に詳細に述べられ
る。

【００８５】オーディオウィンドウ４０６は、オーディ
オのタイムストリームの再生、特にセッションのオーデ
ィオ再生のための話者の音量を制御するために使用され
る制御装置である。

【００８６】マルチメディアエディタ４０７は、タイム
ストリームとしてセッションに導入して戻すことができ
るノート、イベント、或いは、他の情報を生成するため
に使用されるエディタである。更に、マルチメディアエ
ディタ４０７は、見ためのセッションアクセスワークス
テーションを必要としないマルチメディア文書を生成す
るために使うことができる。

【００８７】タイムラインインターフェースウィンドウ
４０３は、再生制御装置である。タイムラインインター
フェースウィンドウ４０３は、イベントの一時的なもの
に基づいたビューを、それらがセッションの間に発生す
るに従って具体的に表現する。タイムラインインターフ
ェースウィンドウ４０３は、以下に詳細に述べられる。

【００８８】本発明の現時点で好適な実施態様のタイム
ラインインターフェースは、タイムラインに沿ったイベ
ントの表現との相互作用により再生制御を提供する。イ
ベントは、固定期間、或いは、期間不定（生成時間だけ
が重要である）のいずれでもよい。セッション始動の
間、イベントデータはセッションアクセスワークステー
ションの中へロードされる。イベントデータは、タイム
ライン上で縮尺調整されたビジュアルインジケータを生
成するために使われる。これらのビジュアルインジケー
タは、再生をセッションの対応する時間に直接移動させ
るインデックス点として使用することができる。イベン
トデータをタイムライン表現に組織するための内部構造
がここで述べられる。

【００８９】ロードされたイベントデータは、ユーザに
イベントデータを簡単な方法で制御させるために組織さ
れる。この組織は、型マップ、イベントメニュー、及
び、トラックマップにより定義される。全てのイベント
型は、Ｈｔｙｐｅｓと呼ばれる階層構造の名前を有す
る。例えば： Ｓｐｅａｋｅｒ／Ａｄａｍ ＬｉｖｅＢｏａｒｄ／Ｅｄｉｔ／Ｍｏｖｅ Ｂｕｔｔｏｎ／Ｂｅｔｔｙ Ｎｏｔｅ／Ｌａｐｔｏｐ／Ｃｈａｒｌｉｅ ユーザが定義した型マップは、そのようなＨｔｙｐｅｓ
を生成するために使われる。型マップは、各々のイベン
トのパラメータを使用し、Ｈｔｙｐｅを作り出すルール
のセットである。次いで、Ｈｔｙｐｅｓのセットは、時
間トラックエリアのラベルエリア内でユーザに対して示
される簡単な階層構造のイベントメニューの中へ整えら
れる。全てのイベントは、トラック上でユーザに表示す
ることができる。レイアウトは、トラックマップにより
定義される。トラックマップは、各々が対応するトラッ
ク上に表現されるＨｔｙｐｅｓのリストを持つ複数のト
ラックのリストである。

【００９０】ビジュアルインジケータは、各々のＨｔｙ
ｐｅｓについて生成される。ビジュアルインジケータ
は、どのようなグラフィックスタイルでもよいが、ビジ
ュアルインジケータの二つの概略のクラスが最も一般的
に使われる。第１のクラスは、セグメントと称される。
セグメントは、イベントが生じる期間に対応するため
に、タイムラインの上でサイズ調整され、縮尺調整され
た長方形のボックスとして表示される。第２のクラス
は、開始点と称される。これらは、左端がイベントが始
まった時間の点に垂直に位置し、右端がイベントに対応
する活動が無期限に続くことを表すために、右を“指
す”三角形として表示される。そのようなイベントにつ
いては、イベント（例えば、人がノートを取りはじめる
ことを示すイベント）の期間についての関心はない。種
々の動作は、ビジュアルインジケータに関して行うこと
ができる。ビジュアルインジケータの動作は、以下のも
のを含む。 −ビジュアルインジケータを生成する（所定の型又はデ
フォルトによる型）。 −ビジュアルインジケータを選択する。 −ビジュアルインジケータを選択から外す。 −異なったトラックへビジュアルインジケータを動かす
（時間は同じまま）。 −異なったトラックへビジュアルインジケータをコピー
する（時間は同じまま）。 −ビジュアルインジケータにより表現されたイベントに
関する一層多くの情報を見る。 −選択されたビジュアルインジケータのディスプレイパ
ラメータを編集する。 −ビジュアルインジケータ時間を編集する。 −ビジュアルインジケータ開始時間を調整する。 −ビジュアルインジケータ（セグメント）終了時間を調
整する。 −ビジュアルインジケータ時間位置を調整する。

【００９１】図５は、タイムラインウィンドウ内の基本
的なエリアを説明する。図５を参照すると、タイムライ
ンウィンドウ５０１は、複数のディスプレイエリアから
成る。概観時間トラックエリア５０２は、セッションの
概観を提供するために使われ、焦点時間トラックエリア
５０３は、全体のセッションより少ないか等しい期間に
わたって一層詳細な情報を提供する。各々のトラックエ
リアの動作が、同じ型の一時的な情報を提供することが
できることは注意すべきである。違いは、情報が意図す
る詳細さ（すなわち、全体のセッション対セッションの
一部）のスケールである。

【００９２】概観トラックエリア５０２内に定義された
のはクロックエリア５１２であり、焦点時間トラック５
０３内に定義されたのはクロックエリア５１３である。
対応する時間トラックエリアの時間スパンとスケールを
示すために、各々のクロックエリア５１２と５１３は、
クロック時間と印マークを現す。概観時間トラックエリ
ア５０２は、その中に、焦点トラック５０８と称される
特別なトラックを定義した。焦点トラック５０８の上に
あるのは、焦点セグメント５０９である。焦点セグメン
ト５０９は、焦点時間トラックエリア５０３に詳述され
るセッションの期間に対応する。更に、それぞれのトラ
ックエリアに関連するのは、ラベルエリアである。各々
のラベルエリアは、対応する時間トラックエリアで表示
される“トラック”を識別するためにのものである。ラ
ベルエリア５０４は概観時間トラックエリア５０２に対
応し、ラベルエリア５０５は焦点時間トラックエリア５
０３に対応する。概観時間トラックエリア５０２と焦点
時間トラックエリア５０３の間の関係は、焦点エリア５
０７で示される。この関係は、焦点セグメント５０９の
終わりから焦点時間トラックエリア５０３の終わりへ広
がるアーム５１０と５１１により、明白に目で見えるよ
うにされる。

【００９３】同様に、図５で説明したのはボタンエリア
５０６である。ボタンエリア５０６は、種々の再生制御
機能を呼び出すための“ソフト”ボタンを含む静的なエ
リアである。そのようなボタンは、カーソル制御装置を
使うことにより、ポイントしてクリックする方法で呼び
出される。ボタンの配置と機能は、例示的なものであ
り、特定の一般に使用される機能への簡単なアクセスを
提供することを意図している。

【００９４】ボタン５２０は、再生を１０秒スキップし
て戻させるために使用され、ボタン５２１は、再生を１
０秒スキップして先送りさせる。ボタングループ５２２
の方向を示す矢は、文脈に応じた移動或いはスクロール
のために用意される。ボタン５２３は、セッションの再
生を停止するために用意される。ボタン５２４は、セッ
ションの再生を始める。ボタン５２５は、選択されたト
ラック或いは選択されたトラックのセットの上の次のイ
ベントへスキップすることを可能とする。ボタン５２６
は、編集モードに入って、タイムラインインターフェー
ス、或いは、その上に表示されたビジュアルインジケー
タを修正するために用意される。ボタングループ５２７
は、文脈に応じた削除或いはコピー（例えば、ビジュア
ルインジケータをコピー或いは削除する）のために用意
される。ボタングループ５２８は、文脈に応じた拡張或
いは折り畳み（例えば、トラックのセットを単一のトラ
ックの中へ折り畳むか、または、折り畳まれたトラック
のセットを拡大する）のために用意される。ボタン５２
９は、セッションメニューを表示するために使われる。
セッションメニューは、ユーザが、セッションのために
データをロードし、セッションをセーブし、或いは、セ
ッションを止めることを可能にする。

【００９５】上記されたように、焦点時間トラックディ
スプレイエリアに示されるセッションの一部は、概観時
間トラックエリアの焦点トラックの上に含まれる焦点セ
グメントにより示される。焦点時間トラックエリアにお
いて焦点のスパンを変えるために、焦点セグメントはユ
ーザによりサイズが修正される。これは、図６−７で説
明される。図６において、焦点セグメント６０１は、焦
点トラックエリア６０２に示されるセッションの一部を
示す。この関係を識別する他のビジュアルキューは、そ
れぞれのクロックエリア６０３と６０４に対する変化、
すなわち、時間トラックエリアについての印マークとそ
れぞれの開始及び終了時間のサイズ修正、及び、時間イ
ンジケータ６０５と６０６の相対位置決めを含む。同様
に、図６に示されるには、現在の再生時間を示す再生時
間インジケータ６０７である。

【００９６】焦点セグメントのサイズ修正は、種々のカ
ーソル制御動作により達成される。現時点で好適な実施
態様においては、カーソルが焦点セグメントの右端の上
に位置している間にマウスのボタンが押されると、焦点
セグメントはカーソルの移動の方向に引き伸ばされる。
焦点セグメントの左側も、同じ方法で操作される。

【００９７】図７は、焦点時間トラックエリアに示され
たスパンを増加するために、右に引き伸ばされた焦点セ
グメント７０１の右側の結果の図である。この増加した
スパンは、クロックエリア７０２と７０３の変化により
も同様に反映される（印マークの縮尺修正と焦点時間ト
ラックエリアについての終了時間の変化）。

【００９８】タイムラインインターフェースは、多数の
セッションの再生を制御するために、或いは、単一のセ
ッションの多数のスパンに焦点を合わせるために使用す
ることができる。図８は、二つのセッションのためのタ
イムラインインターフェースの図である。二つのセッシ
ョンは、一日中のミーティングの午前半分と午後半分を
表現するかもしれない。または、それらは、毎週のプロ
ジェクト検討ミーティングのような定期的に予定された
ミーティングの異なった出来事を表現するかもしれな
い。典型的には、二つのセッションは或る共通性を有す
る。図８を参照すると、タイムラインインターフェース
ウィンドウ８０１は、二つの概観時間トラックエリア８
０２と８０３と、対応する焦点時間トラックエリア８０
４と８０５から成る。焦点セグメント８０６は、概観時
間トラックエリア８０２に対応するセッションにおける
スパンと、焦点時間トラックエリア８０４におけるその
スパンについての詳細を示す。同様に、焦点セグメント
８０７は、概観時間トラックエリア８０３に対応するセ
ッションにおけるスパンと、焦点時間トラックエリア８
０５におけるそのスパンについての詳細を示す。実際の
トラックは、それぞれの焦点時間トラックエリア８０４
と８０５で同一である必要はないことを示す。もしそれ
らが異なっていれば、分離ラベルエリアが必要とされ
る。ディスプレイエリアで非常に多くのスペースを使用
するので、これは望ましくない。

【００９９】図９は、単一のセッションの多数のスパン
の詳細が焦点時間トラックエリアに表示される場合があ
ることを表す更なる図である。これは、多数の焦点セグ
メントを概観時間トラックエリアの焦点トラックの上に
表示させる。図９を参照すると、第１の焦点セグメント
９０１は、焦点時間トラックエリア内の対応するエリア
９０３に示された詳細を有する一方、第２の焦点セグメ
ント９０２は、焦点時間トラックエリア内の対応するエ
リア９０４を有する。そのようなディスプレイは、再生
する興味がない或るエリアが存在することが判っている
ときには望ましい（例えば、ＬｉｖｅＢｏａｒｄ上の特
定のページに関する議論を検討したいだけということが
前もって判っている場合）。デフォルトにより、焦点時
間トラックエリアは、同じスケールの上で二つの焦点セ
グメントに均等に分けられる。しかしながら、図１０で
説明したように、セッション期間に割り当てられた焦点
時間トラックディスプレイの一部を修正することができ
る。ここでは、図９のエリア９０４は、図１０のエリア
１００１へ増加され、図９のエリア９０３は図１０のエ
リア１００２へ減少させられた。サイズのこの増加は、
エリア９０４の左側を左に移動するドラッグ動作により
行うことができる。

【０１００】図１１−図１４は、以下のキャプチャ装
置、すなわち、Ｌｉｖｅｂｏａｒｄ、オーディオレコー
ダ、パーソナルコンピュータによる二つのユーザテーキ
ングノート、ビデオレコーダ、及び、各ユーザ毎のボタ
ン、から成るシステムについてのタイムラインインター
フェースディスプレイ上で変化を示す。勿論、キャプチ
ャ装置の他の組み合わせが利用される場合があり、ま
た、幾つかのキャプチャ装置からのイベントは省略さ
れ、これにより、異なったタイムラインインターフェー
スディスプレイとなる。この例についてのセッション参
加者は、アダム、ベティ、及び、チャーリーと名付けら
れる。

【０１０１】図１１を参照すると、概観時間トラックエ
リアの１１０１は、全体のセッションについての情報を
表示し、全体のセッションを示す焦点セグメントを有す
る。このようにして、焦点時間トラックエリア１１０２
は、全体のセッションの詳細を表示する。再生インジケ
ータ１１１３と１１１４は、それらのそれぞれの期間の
中の現在の再生位置を示す。

【０１０２】更に、セッションエリア１１０１と関連が
あるのが、セッション識別子１１０３である。セッショ
ン識別子は、再生されるセッションを識別する。

【０１０３】概観セッション時間トラックエリアと関連
している情報が提供され、従って、全体のセッション
は、セッション開始時間１１０４とセッション終了時間
１１０５を含む。セッション開始時間１１０４とセッシ
ョン終了時間１１０５の各々は、セッションが起きた日
の実際の時間を示すことができ、或いは、０：０：０に
対する相対時間である（図１１で説明したように）。

【０１０４】焦点時間トラックエリア１１０２と関連し
ている情報は、スパン開始時間１１０６とスパン終了時
間１１０７を含む。スパン開始時間１１３４とスパン終
了時間１１３５の各々は、特定のスパンの日の実際の時
間によるか、または、セッション開始時間０に対するも
のである。

【０１０５】焦点時間トラックエリア１１０２は、各ト
ラックが何を表すかの情報を提供するためのトラックラ
ベルセクション１１１１を含む。トラック１１１７と１
１１８は、ＬｉｖｅＢｏａｒｄ上で行なわれた編集イベ
ントを表す。トラック１１１８は、ＬｉｖｅＢｏａｒｄ
ウィンドウで行なわれる選択動作に応じて発生するもの
であり、以下に詳細に述べられる。トラック１１１７
は、ＬｉｖｅＢｏａｒｄ上のオブジェクトで行なった種
々の編集動作を表す。トラック１１１７において、各々
の編集動作は独特にカラーコード化されたビジュアルイ
ンジケータを有する。そこで、赤色はオブジェクトの削
除を表し、緑色はオブジェクトの付加を表し、青色はオ
ブジェクトの移動を表す。

【０１０６】トラック１１１９−１１２１は、オーディ
オのイベントを示す。トラック１１１９は、“アダム”
が話しているセグメントを示し、トラック１１２０は
“ベティ”が話しているセグメントを示し、トラック１
１２１は“チャーリー”が話しているセグメントを示
す。参加者が話しているとき、セグメントの各々のビジ
ュアルインジケータは、視覚的に区別される（典型的に
は、色かテクスチャにより）。

【０１０７】トラック１１２２−１１２３は、ミーティ
ングの参加者であるアダムとチャーリーにより取られた
ノートの開始点を示す。ノートは、キャプチャ装置とし
て動作しているパーソナルコンピュータ、または、他の
テキスト生成装置で取られた。

【０１０８】トラック１１２４は、“ボタン”押圧のイ
ベントのインスタンスを示す。各々のミーティング参加
者は、参加者が何か重要なものが議論されていると感じ
るときに押すことができるボタンを持っている。再び、
ビジュアルインジケータは、ボタンを押圧した人を識別
するために、カラーコード化される。そこで、例えば、
青はベティが彼女のボタンを押圧したことを表し、緑は
チャーリーが彼のボタンを押圧したことを表す。

【０１０９】トラック１１２５は、ビデオタイムストリ
ームに関するイベントのインスタンスを示す。そのよう
なイベントは、人が話すために立ち上がること、或い
は、ホワイトボードに関しての何らかの型の身振りをす
ることを含むことができる。そのようなイベントは、ビ
デオタイムストリームの分析により識別される。

【０１１０】上述したように、選択トラック１１１８
は、ＬｉｖｅＢｏａｒｄウィンドウ内の選択相互作用の
結果として自動的に発生させられる。選択相互作用は、
ＬｉｖｅＢｏａｒｄ上に表示される種々のオブジェクト
（例えば、言葉或いは図）が選択されるところである。
次いで、選択されたオブジェクトに関するイベントは、
タイムラインウィンドウ上に表示される。同様に、選択
が空間的エリアに関して生じるかもしれないことは、注
意すべきである。そのような選択においては、エリアが
選択され、選択されたエリアに配置されたオブジェクト
についてのイベントは、タイムラインの上に表示され
る。これは、特にマーキングがＬｉｖｅＢｏａｒｄから
消されたセッションの一部の再生するために有用である
（例えば、再生のプロセスの間、スキップが行われ、オ
ブジェクトが消されたことに気付くか、または、それが
別のオブジェクトと取り替えられた。）。図１１に戻っ
て参照すると、種々の選択イベントが説明される。再
び、好適には、ビジュアルインジケータは、イベントの
型を示すためにカラーコード化される。生成イベント１
１２７は、オブジェクトが生成された時間の点を示し、
移動イベント１１２８は、オブジェクトがＬｉｖｅＢｏ
ａｒｄ上で動かされた時間の点を示し、カラー変化イベ
ント１１２９は、オブジェクトカラーが変えられたこと
を示し、削除イベント１１３０は、オブジェクトが削除
されたことを示す。

【０１１１】各々の時間トラックエリアの内容は、ユー
ザが修正可能である。トラックは、併合し、付加し、隠
蔽し、或いは、移動することができる。時間トラックエ
リアの内容を修正するために、動作は対応するラベルセ
クションの中で行なわれる。例えば、図１１を参照する
と、オーディオトラック１１１９−１１２１は、選択さ
れ、併合される場合がある。そのような併合されたトラ
ックの結果は、図１２で説明され、そこでは併合された
トラック１２０１が生成されている。トラックの選択
は、カーソル制御装置を操作して、カーソル制御装置に
関連したスイッチをスイッチを押圧し、カーソルをトラ
ックのラベルを通過するように移動させることにより、
達成することができる。ラベルの選択の指示は、逆のビ
デオモードで選択されたラベルを表すような、或る視覚
的な刺激により達成される。選択されたラベルの識別
は、スイッチを離すことにより達成される。この時点
で、種々のトラック動作オプションが表示される。次い
で、ユーザは所望の動作（この場合は、併合動作）を選
択する。しかし、これはトラックディスプレイ動作を実
行することができる一つの方法である。他の技術は、プ
ルダウンメニューにより、或いは、コマンドラインから
入力されたコマンドにより呼び出すことができる。 −トラックの動作は、以下のものを含む −トラックを選択する −トラックを選択から外す −トラックを生成する（所定のＨｔｙｐｅｓ） −選択されたトラックを再配置する −選択されたトラックを削除する −選択されたトラックを（一つのトラックの中へ）折り
畳む −選択されたトラックを（そのＨｔｙｐｅｓに基づいて
トラックのシーケンスの中へ）拡張する −選択されたトラックのディスプレイパラメータを編集
する −トラックラベルを編集する

【０１１２】異なったビジュアルインジケータの上のポ
イントとクリック動作は、異なった事を生じさせる。各
々の場合において、タイムストリームの次の再生は、ビ
ジュアルインジケータの始まりに対応する時間にセット
される。ノート（Ｎｏｔｅｓ）の場合には、ノート内の
テキストを含むウィンドウが開けられる。そのような動
作の発生は、図１３で説明される。図１３を参照する
と、ビジュアルインジケータ１３０１がポイントされ、
カーソル制御装置上のスイッチがクリックされた。これ
は、ミーティングの間に生成されたテキストを含んだテ
キストウィンドウ１３０２を開けさせる（ここでは、テ
キスト“ベティにより有用な指摘がなされた。上司との
ミーティングにおいてこの議論を使う必要あり。”）。
テキストウィンドウは、時間トラックディスプレイエリ
アの外の異なった位置で同様に現れる場合があることに
注意すべきである。

【０１１３】タイムラインは、垂直或いは水平方向に表
示することができ、または、連続したデータの長いスト
リングを示すために他の視覚化技術と組み合わせて使う
ことができることに注意すべきである。

【０１１４】プレーヤのフォームは、セッションの一時
的データの、それが生成されたときと全く同じ形態で再
生されることに限定されるものではない。そのようなプ
レーヤの例は、ミーティングプレーヤである。ミーティ
ングプレーヤは、種々のミーティングダイナミックスを
目に見えるように表現するために使われる。これは例え
ば人が再生される声を認識することができないが、話者
を識別したいときに有用である。本発明のミーティング
プレーヤは、ミーティングの間に発生する活動をシミュ
レートする。図１４は、ミーティングプレーヤを表示す
るウィンドウ１４００を説明する。図１４を参照する
と、ミーティングは、各々が、ミーティング参加者を表
現するビジュアルインジケータ１４０１−１４０３を含
み、ビジュアルインジケータ１４０４と１４０５はノー
トテーキング装置（例えばラップトップコンピュータ）
を表現し、ビジュアルインジケータ１４０６−１４０８
は“ボタン”を表現する。再生の間、生じている現在の
イベントを表現するアイコンはハイライトされる。ここ
では、アイコン１４０１により表現された話者が話して
いるので、アイコン１４０１がハイライトされる。同様
に、だれかがボタンを押したときに、対応するボタンア
イコンはハイライトされて表示される。

【０１１５】話者のアイコンの中に話者のごく小さい画
像を含ませることは可能であることに注意すべきであ
る。各々の関連づけられたアイコンが、タイムライン上
の対応するトラックと同じ視覚的特徴を維持できること
も同様に望ましい。そこで、もし、話者アイコン１４０
１、ボタンアイコン１４０６、及び、コンピュータアイ
コン１４０４が、青の視覚的特徴を有するアダムと関連
していれば、これらのアイコンは青となる。しかしなが
ら、表示可能な色或いは他の要因の制限のために、これ
が不可能である状況もあり得ることが認められる。

【０１１６】更に、ミーティングプレーヤウィンドウに
表示されているのが、ＬｉｖｅＢｏａｒｄページとタイ
トルインジケータ１４１０とクロック１４１１である。
ページとタイトルインジケータ１４１０は、再生のこの
瞬間にＬｉｖｅＢｏａｒｄの上で現在見られている“ペ
ージ”を示す。クロック１４１１は、再生時間を示す。
テーブル１４０９は、セッションがミーティングを表現
するという事実に関して、ビジュアルキューを提供する
ために同様に表示される。

【０１１７】ミーティングプレーヤは、再生を異なった
話者に変えるために使う事もできる。これは、ユーザが
特定の話者によりミーティングを容易に横切ることを可
能にする。異なった話者への切り替えは、所望の話者の
アイコンに対して“ポイントしてクリックする”動作に
より達成される。これは、選択された話者に関して時間
的に次の点へ再生をジャンプさせることになる。更に、
この動作はあらゆるアイコンに対して作用し、そこで
は、選択されたアイコンと関連づけられたイベントの次
のインスタンスへのジャンプが行われる（例えば、ペー
ジとタイトルインジケータ１４１０は、ＬｉｖｅＢｏａ
ｒｄの次のページの始まりに再生をスキップするため
に、“ポイントしてクリックする”動作が行われ
る。）。このように、この例のミーティングプレーヤ
は、セッションの再生を制御するために更に動作する。

【０１１８】ミーティングプレーヤは、分析することが
できる種々の他のイベントを示すように設計される場合
がある。例えば、笑い或いは拍手がいつ生じているかを
表すために、または、笑い或いは拍手の次の一時的な出
来事へスキップするために、“笑い”アイコン１４１２
或いは“拍手かっさい”アイコン１４１３を提供するこ
とができる。更に、好適な実施態様は、ミーティングを
表現するために使われるが、同様の方法で、他の型の活
動、例えば、プレゼンテーションを表現することができ
る。

【０１１９】現時点で好適な実施態様のＬｉｖｅＢｏａ
ｒｄウィンドウは、ＬｉｖｅＢｏａｒｄタイムストリー
ム、再生制御装置、及び、エディタのプレーヤとして同
時に動作する。ＬｉｖｅＢｏａｒｄウィンドウは、前述
のＴｉｖｏｌｉソフトウェアに基づく。ＬｉｖｅＢｏａ
ｒｄウィンドウは、異なった再生モードで動作する。す
なわち、過去の状態の正確な外観を再構築するアニメー
テッドモード、カーソルがマーキング／編集が起きてい
るエリアをポイントする“バウンシング−ボール”モー
ド、及び、“ナル（ｎｕｌｌ）”モードである。アニメ
ーテッドモードにおいては、ＬｉｖｅＢｏａｒｄウィン
ドウは、記録された順序でで、ＬｉｖｅＢｏａｒｄタイ
ムストリーム（すなわちタイムスタンプされた履歴リス
ト）を再生する。“バウンシング−ボール”モードにお
いては、セッションの終わり（またはページの終了状
態）におけるＬｉｖｅＢｏａｒｄの状態が表示され、オ
ブジェクトに関係したイベントが起き、オブジェクトが
ハイライトされ、カーソルによりポイントされる。“バ
ウンシング−ボール”モードにおいては、カーソルの形
はイベント（例えば、オブジェクトを生成するためのペ
ン、オブジェクトを動かすための手、オブジェクトを削
除するための消しゴム）の型を示すために変化する。
“ナル”モードにおいては、セッション（またはページ
の終了状態）の終りにおけるＬｉｖｅＢｏａｒｄの終了
状態が表示される。ナルモードは、ＬｉｖｅＢｏａｒｄ
ウィンドウの更新が望ましくないときに使用される（例
えば、それはユーザを当惑させる）。

【０１２０】各々の再生モードにおいては、ゴーストと
呼ばれる追加の特徴は、それが削除される後でも、ディ
スプレイ上にオブジェクトのかすかなバージョン（その
ゴースト）を残す。この特徴は、ユーザによりオン・オ
フすることができる。ゴーストオブジェクトは、セッシ
ョンの中へのインデックスとして使うことができる。

【０１２１】アニメーションモードとバウンシング−ボ
ールモードは、各々特定の時間に生じるイベントの型を
示す。バウンシングボールモードにおいては、カーソル
はイベントの型を知らせるが、フルアニメーションモー
ドにおいては、アニメーションが、それがどのようにア
ニメートされたかによりイベントの型を示す。

【０１２２】再生制御は、再生の間に表示されたオブジ
ェクトとの相互作用により生じる。簡単な例として、ユ
ーザはオブジェクトを選択して、ＬｉｖｅＢｏａｒｄ上
で再生コマンドを直接呼び出すことができる（例えば、
ＬｉｖｅＢｏａｒｄ上に書かれた時間）。他の再生制御
の特徴は、以下に述べられる。

【０１２３】全てのＬｉｖｅＢｏａｒｄの機能を利用す
ることができるので、ＬｉｖｅＢｏａｒｄウィンドウ
は、エディタとして動作することができる。そこで、ユ
ーザは、表示されたオブジェクトのそれら自身の操作を
行なうことができ、或いは、図面を付加することができ
る。そのような操作は、それら自身のタイムストリーム
を発生させることになる。

【０１２４】ＬｉｖｅＢｏａｒｄウィンドウが、プレー
ヤと再生制御装置の両方として動作することは重要であ
る。既知のノートテーキングシステムとは反対に、Ｌｉ
ｖｅＢｏａｒｄウィンドウは、ノートテーキング媒体の
終了状態には厳密には基づかない再生制御手段を提供す
る。ユーザは、再生の間のあらゆる点でＬｉｖｅＢｏａ
ｒｄと相互に作用することができる。そこで、例えば、
ユーザはセッションを再生して、セッションの先方の点
にスキップし（例えばクロック上のポイント及びクリッ
ク動作により）、言葉がＬｉｖｅＢｏａｒｄから消され
たことに気付くことができる。これは、言葉の削除に関
連している再生の一部を詳細に検討するためにユーザを
トリガーすることができる。

【０１２５】図１５は、現時点で好適な実施態様のＬｉ
ｖｅＢｏａｒｄウィンドウを説明する。図１５を参照す
ると、ＬｉｖｅＢｏａｒｄウィンドウ１５０１は、セッ
ションアクセスワークステーション上で実行されＴｉｖ
ｏｌｉアプリケーションのためのユーザインターフェー
スのインスタンスである。ＬｉｖｅＢｏａｒｄウィンド
ウは、両側が、オブジェクトエリア１５０３に境を接す
る制御エリア１５０２から成る。制御エリア１５０２の
種々の制御は、ＬｉｖｅＢｏａｒｄウィンドウ１５０１
でアクティブである。アクティブで選択可能なオブジェ
クトは、オブジェクトエリア１５０３に表示されたマー
キングである。同様に、再生ツール１５０４が説明され
る。再生ツール１５０４は、選択されたオブジェクトに
関連がある点において、再生を始めるために使われる。

【０１２６】生成された履歴リストの故に、オブジェク
トを選択して最も早い点を聞くためのＬｉｖｅＢｏａｒ
ｄとの相互作用の例が可能である。上述したように、履
歴リストは実行されたプリミティブ動作のリストであ
り、各々のプリミティブ動作はタイムスタンプされ、オ
ブジェクトと関連づけられる。オブジェクトは、典型的
には、空間的に定義され、機能として実行された。例え
ば、点Ｘ１，Ｙ１からＸ２，Ｙ２へ線を引く。そこで、
オブジェクトの選択がされるとき、空間的な位置を見
て、その位置のオブジェクトを見つけ出し、オブジェク
トに関連したプリミティブオブジェクトを見つけ出し、
次いで、もっとも顕著なイベントの時間を選ぶことは簡
単なことである。一般的な場合には、もっとも顕著なイ
ベントは“生成”イベントである。しかしながら、他の
時間がユーザに興味を起こさせるかもしれないので、ユ
ーザがもっとも顕著なイベント（以下に説明される）を
選択できる選択動作が提供される。

【０１２７】ＬｉｖｅＢｏａｒｄタイムストリームは、
概して二つの型、すなわち、単調と非単調に分類するこ
とができる。単調タイムストリームは、主に“生成”イ
ベントを有する。起こる唯一の事は、新しいオブジェク
トが生成される（移動、変更、消去はない）ことであ
る。単調タイムストリームにおいては、圧倒的な大多数
のオブジェクトは、それ（その生成イベント）と関連し
たたった一つのイベントを有する。

【０１２８】非単調タイムストリームは、生成、変更、
移動、及び、削除イベントから成る。このように、各々
のオブジェクトは、それに関連した一つ以上のイベント
を有することができる。オブジェクトの位置が変化する
変化（すなわち、移動）と、そうではない変化を区別す
ることは有用である。もしタイムストリームが、どのよ
うな位置変化イベントも有していなければ、各々のオブ
ジェクトはディスプレイの上で唯一の位置を有する。も
し移動イベントがあれば、オブジェクトはセッションの
間、多数の位置を占めるかもしれない。最後に、もしタ
イムストリームが削除イベントを有すれば、オブジェク
トはセッションの間に、或る時間で消えるかもしれな
い。

【０１２９】Ｌｉｖｅｂｏａｒｄウィンドウは、スタン
ドアローンの、或いは、タイムラインインターフェース
と相関した再生制御装置として使用することができる。
タイムラインインターフェースとの相関は、以下に述べ
られる。スタンドアローンモードにおいては、単調タイ
ムストリームについて、オブジェクトの選択及び再生ツ
ール（ｐｌａｙｔｏｏｌ）の呼び出しは、オブジェクト
についての“生成”イベントの時間における再生を引き
起こすことになる（なぜなら、これはオブジェクトと関
連している唯一のイベントであるからである）。

【０１３０】非単調タイムストリームの場合において
は、問題は選択されたオブジェクトの再生時間を開始す
るために、何の“イベント”を使うかである。ユーザが
再生ツールでオブジェクトをポイントすると、システム
は、オブジェクトと関連したもっとも早いイベントの時
期のセッションを再生する。しかしながら、オブジェク
トについての他の時間が重要かもしれない。例えば、オ
ブジェクトが移動された時間が重要かもしれない。オブ
ジェクトについて他のイベント時間にアクセスする別の
方法がある。例えば、オブジェクトと関連した全てのイ
ベントを表にしたイベントメニューが提供される。ユー
ザは、単に所望のイベントを選択する、再生はイベント
と関連した時間で始まる。

【０１３１】別の技術は、再生時間を現在のオブジェク
トに関連した次のイベントにスキップする次イベント再
生ボタンを使うことである。タイムライン相関性を使う
更に別の技術が以下に述べられる。

【０１３２】ＬｉｖｅＢｏａｒｄ上の、また、Ｌｉｖｅ
ｂｏａｒｄウィンドウ内のクロックの観念は、上述され
た。クロックは、Ｌｉｖｅｂｏａｒｄウィンドウで何時
活動が起きたかの一時的な参照を提供するので、セッシ
ョンの再生の際に有用である。クロックがクロックジェ
スチャーにより生成されたグラフィックオブジェクトで
あることを思い出すべきである。クロックは、全てのグ
ラフィックアートオブジェクトと同じやり方で操作して
編集することができる。しかし、クロックオブジェクト
は特別であり、それは、それ自身の自分の“内部”時間
を表現するそのデータ構造に、特別な特性を含む。再生
ツールがクロックに触れると、再生点は、クロックの内
部時間にセットされ、クロックと関連した幾つかのイベ
ントの時間（例えばその生成時間）へセットされない。
従って、クロックはそれ自身の履歴から独立した時間と
して取り扱うために使用することができる。デフォルト
により、クロックの内部時間は、クロックの生成動作と
同じ時間である。しかし、そうである必要はなく、これ
は種々の有用な機能を導く。

【０１３３】クロックの内部時間は変えることができ
る。現時点で好適な実施態様においては、クロック上で
編集ジェスチャー（現在、ポイントして保持している）
が行われると、ユーザがクロックの内部時間を変えるこ
とができるメニューがポップアップする。これらの変化
は、相対的（例えば、内部時間をＮ秒だけ前方或いは後
方へ移動する）、或いは、絶対的（すなわち、内部時間
を特定の時間Ｔに移動する）のいずれかとすることがで
きる。前者は、インデックスを付けるためにクロックの
内部時間僅かに調整するときに一層正確であるので、も
っとも有用である。

【０１３４】例えば、ミーティングにおいては、興味あ
る問題は取り上げられて議論される。ＬｉｖｅＢｏａｒ
ｄのユーザは、クロックを生成して、ノートを書くこと
により、この討論にインデックスを付けることができ
る。しかし、通常、討論が始まってからある程度後に、
クロックは生成される。従って、討論の開始に一層正確
にインデックスを付けるために、その時間を僅かに逆方
向に調整するために、クロックを編集することができ
る。この編集は、ミーティングの間、或いは、後でアク
セスセッションへの間にすることができる。後者は、セ
ッティングが正確かどうかを判別するために、現在のク
ロックセッティングからミーティングを再生するのに便
利であるので、もっとも有用である。現在の実施におい
ては、編集が行われた後に再生を開始させて、ユーザに
時間セッティングの妥当性をユーザに即時にフィードバ
ックすることにより、ユーザに利便を計っている。

【０１３５】ユーザは、ＬｉｖｅＢｏａｒｄウィンドウ
（以下、エディタとしてＬｉｖｅＢｏａｒｄウィンドウ
を参照）経由でクロックを付加することによりアクセス
セッションの間に、クロックを生成することができる。
しかし、この状況においては、クロックの内部時間は、
再生ツールの現在の再生点にセットされるものであり、
アクセスセッションにおける（全く有用ではない）その
生成時間にではない。例えば、一層早いミーティングを
アクセスするユーザを考える。彼は、ミーティングのオ
ーディオを聞き、ミーティングの間にインデックスを付
けられなかった重要なアイディアを聞く。そこで、再生
のこの点で、彼はクロックを生成し、次いでその隣にノ
ートをタイプする。このクロックは、ミーティングへの
新しいインデックスである。従って、オリジナルのミー
ティングにおける時間を保持するオブジェクトを生成す
ることができるようにすることにより、インデックス付
加の質と量を、アクセス時間において強化することがで
きる。

【０１３６】オブジェクトと関連した全てのイベントを
見ることは、しばしば望ましい。例えば、ユーザは、オ
ブジェクトの変更或いは削除の有無及び時期を知ること
を望むかもしれない。上述したように、ＬｉｖｅＢｏａ
ｒｄで選択したオブジェクトに関連した全てのイベント
は、タイムラインインターフェースの選択トラックの上
に表示される。これは、ＬｉｖｅＢｏａｒｄとタイムラ
インインターフェースの間の相関性により、ユーザが特
定した関連があるセッションの中へのインデックスを表
示するための手段を提供する。

【０１３７】ＬｉｖｅＢｏａｒｄウィンドウとの相互作
用による相互関係の他の特徴は、図１６−図２０に関し
て述べられる以下のシナリオで説明される。ＬｉｖｅＢ
ｏａｒｄウィンドウとタイムラインインターフェースの
表現は、単純化されていることに注意すべきである。特
に、ＬｉｖｅＢｏａｒｄウィンドウ上の制御エリアと、
タイムラインインターフェースの概観時間トラックエリ
アは、図には示されていない。

【０１３８】図１６を参照すると、ユーザはＬｉｖｅＢ
ｏａｒｄウィンドウ１６０１で言葉を見て、この言葉が
書かれた時の会話の再生することを欲する。ユーザは、
適当な選択技術（ここでは、ペン／マウスを使用して言
葉を円で囲むジェスチャーにより））を利用して、言葉
１６０２の“冗長”を選択する。次いで、タイムライン
インターフェース１６０３は、選択された言葉と関連し
ている全てのイベントを示すために、選択トラック上で
更新される。ここでは、ビジュアルインジケータ１６０
４は、選択トラック１６０５に表示される。ビジュアル
インジケータ１６０４は、言葉を書き込むイベントを表
現する。この例では、他のイベントは、言葉“冗長”と
関連づけられない

【０１３９】同様に、タイムラインインターフェース１
６０３で説明されているのは、再生時間インジケータ１
６０６である。そこで、今度は、再生は言葉“冗長”が
書かれた“後”の点であることに注意すべきである。

【０１４０】図１７は、ＬｉｖｅＢｏａｒｄウィンドウ
とタイムラインインターフェースの間の同期を説明す
る。ユーザは、タイムラインインターフェース１７０２
内の再生時間インジケータ１７０３をビジュアルインジ
ケータ１６０４の直前に移動する。次いで、ＬｉｖｅＢ
ｏａｒｄウィンドウ１７０１は、ちょうどその時にＬｉ
ｖｅＢｏａｒｄの上にあったものを表示するために、更
新される。特に、図１６と比較された時、言葉“冗長”
はＬｉｖｅＢｏａｒｄウィンドウに現れないことに注意
すべきである。

【０１４１】再生コマンドが呼び出されると、Ｌｉｖｅ
Ｂｏａｒｄウィンドウとタイムラインインターフェース
の両方は、同期して更新される。しばらくして、言葉
“冗長”は、ＬｉｖｅＢｏａｒｄに現れる。

【０１４２】ここで、ユーザは、選択トラックの上のイ
ベントの直前に、タイムラインの上にいくつかのイベン
トがあったことに気がつく。ユーザは、タイムラインの
上のこれらのイベントを表現するビジュアルインジケー
タを選択し、すぐに、図面の対応している要素はＬｉｖ
ｅＢｏａｒｄウィンドウでハイライトされる。すなわ
ち、図面とタイムラインの相互関係は双方向性である。

【０１４３】これは、図１８で説明される。ビジュアル
インジケータ１８０４は、タイムラインインターフェー
ス１８０３から選択される。ＬｉｖｅＢｏａｒｄウィン
ドウ１８０１において、言葉“ルーター（ｒｏｕｔｅ
ｒ）”１８０２はハイライトされる（ここでは点線の円
で示した）。従って、ビジュアルインジケータ１８０４
に対応するイベントは、言葉“ルーター”と関連づけら
れる。

【０１４４】次に、ユーザは、Ｌｉｖｅｂｏａｒｄウィ
ンドウの図の上で太いボックスを見る。そして、ボック
スを選択する。三つのビジュアルインジケータは、タイ
ムラインインターフェース（または、三つのビジュアル
インジケータは、編集トラック上でハイライトすること
ができる）の選択トラック上に表示される。第１の型の
ビジュアルインジケータは、ボックスのための生成イベ
ントを示し、第２の型のビジュアルインジケータは、ボ
ックスが太くされた時にライン幅変更イベントを示し、
第３の型のビジュアルインジケータは、図面上のボック
スの移動のイベントを示す。上記されたように、タイム
ラインインターフェースの上のビジュアルインジケータ
は、それらが表現するイベントの種類を示すために視覚
的に区別される。ユーザは、ボックスが太い理由に興味
があり、時間マーカーをライン幅変更イベントへ移動
し、再生ツールを使って再生を呼び出す。

【０１４５】これは、図１９で説明される。ボックス１
９０２は、ＬｉｖｅＢｏａｒｄウィンドウ１９０１でハ
イライトされる。ビジュアルインジケータ１９０４−１
９０６は、タイムラインインターフェース１９０３でハ
イライトされる。上述したように、これらのビジュアル
インジケータの各々は、オブジェクトと関連したイベン
トの特定の型を表現する。更に、現時点で好適な実施態
様においては、各々のビジュアルインジケータは、イベ
ントの型へ対応する或る視覚的な特性、典型的には色を
有する。

【０１４６】ユーザは、どちらから再生を開始するかビ
ジュアルインジケータ１９０４を選択する。

【０１４７】次に、ユーザは、図面の別のページの上の
図を考える。この図は、ミーティングの間に、何度も描
かれ、消され、描き直されたものであり、ユーザは、以
前のバージョンが正しいと思われなかった理由を聞きた
い。ユーザは、図が位置している図面のエリアを選択す
る。ここで、タイムラインの幾つかのセクションがハイ
ライトされ、削除或いは移動されたオブジェクトを含
む、図のそのエリアにあった全てのオブジェクトについ
てのイベントが明らかになる。ユーザは、時間マーカー
を、第１のハイライトされた削除のビジュアルインジケ
ータに移動し、なぜ第１のバージョンが変更されたかの
議論を見つける。

【０１４８】特定の位置でオブジェクトがなる、或い
は、なったビジュアルキューは、ゴーストオブジェクト
である。ゴーストオブジェクトは、セッションの間の或
る時間の点において、オブジェクトがこの特定の位置に
存在したことを示すために使用されるオブジェクトのか
すかな輪郭である。ユーザは、種々のオブジェクトゴー
ストに気がつくことができ、そこに何が有ったのか、或
いは、有ることになるのかを知ることを欲する（例え
ば、セッションの終わりにおいて項目が消されたことが
ゴーストオブジェクトにより明らかになる項目のリス
ト）。

【０１４９】これは、図２０で説明される。図２０を参
照すると、ユーザは、ＬｉｖｅＢｏａｒｄウィンドウ２
００１の図のエリア２００２を選択した。簡単に図１６
を参照すると、エリア２００１は、言葉のリスト、“付
加”、“ルーター”、及び、“冗長”を含むエリアに対
応する。タイムラインインターフェース２００３は、こ
こでハイライトされた多数のビジュアルインジケータ２
００４−２００６を有する。これらは、エリア２００２
と関連したイベントに対応するイベント、すなわち、言
葉“付加”、“ルーター”、及び、“冗長”に関連する
イベントに関係する。これは、単に空間的な相関である
こと、すなわち、リストから消された言葉を表現するイ
ベントも同様にハイライトされたことに注意すべきであ
る。更に、図２０に説明されているのは、“ゴースト”
オブジェクト２００７である。再生のこの点で、“ゴー
スト”オブジェクト２００７により示された位置のオブ
ジェクトは２００７は消された。

【０１５０】上述したように、エディタは、ユーザが事
実の後にタイムストリームとイベントデータを付加する
ことを許す。ＬｉｖｅＢｏａｒｄウィンドウがエディタ
としていつ使われるか、何が編集されるかは、Ｌｉｖｅ
Ｂｏａｒｄ（または、付加された新しいマーキング）の
上のマーキングである。この場合には、ＬｉｖｅＢｏａ
ｒｄタイムストリームへの付加及び／又は削除は、その
ような編集の結果として行われる。また、別のタイムス
トリームを生成することもできる。

【０１５１】エディタとして使われるとき、ＬｉｖｅＢ
ｏａｒｄウィンドウは、非参加者が記録されたセッショ
ンを効率的に検討することができる非常に有効な手段を
提供する。これは、部分的には、ＬｉｖｅＢｏａｒｄの
全ての基本的な能力がセッションの再生の間利用するこ
とができるからである。これは、編集セッションの前後
の両方のセッションの終わりにおけるＬｉｖｅＢｏａｒ
ｄウィンドウを示す図２１と図２２に関して、もっとも
よく述べられる。この例のＬｉｖｅＢｏａｒｄは、バウ
ンシングボール再生モードで動作している。

【０１５２】図２１を参照すると、種々の手書きのマー
キングがＬｉｖｅＢｏａｒｄウィンドウ２１０１に現れ
ている。上述したように、各々のこれらの手書きのマー
キングは、セッションの中へインデックスを付けるため
に使うことができる。しかしながら、或るミーティング
の間、マーキングのいくつかは無関係（例えば、マーク
２１０２）であったり、判読し難い（例えば、マーク２
１０３）場合がある。更に、議論された重要な点がある
がＬｉｖｅＢｏａｒｄに対してはなにも成されていない
ような場合もある。

【０１５３】図２２は、だれかが編集した後の、図２１
のＬｉｖｅＢｏａｒｄウィンドウを説明する。図２２を
参照すると、編集されたＬｉｖｅＢｏａｒｄウィンドウ
２２０１は、エディタにより成された注記に適応させる
ために拡張された。編集されたＬｉｖｅＢｏａｒｄウィ
ンドウ２２０１はクロックを使用してテキストを挿入
し、一層多くのインデックスと情報を提供する。図２２
において、何がその点で議論されているかを表すため
に、テキストは各々のクロックと関連づけられた。そこ
で、例えば、テキスト２２０３は、マーク２１０３が何
を意味するかを表すために使うことができる。クロック
／テキスト２２０２は、マーキングの収集が何を表す
か、そして、何時マーキングの生成が始まったかを表
す。明らかに、編集されたＬｉｖｅＢｏａｒｄウィンド
ウは、次の視聴者が再生制御装置としてＬｉｖｅＢｏａ
ｒｄウィンドウを一層効果的に使うことを可能にする。

【０１５４】エディタとして、ＬｉｖｅＢｏａｒｄウィ
ンドウの上に存在するマーキングを変えることができ
る。これは、例えば、ウィンドウの次の視聴者の注意が
そらされないように、無関係なマーキング、例えば、図
２１のマーキング２１０２を消すために行うことができ
る。

【０１５５】タイムストリームアーキテクチャの別の局
面は、獲得されたタイムストリームに対する制御であ
る。ユーザは、獲得されたタイムストリーム、特に、オ
ーディオとビデオのように“文字通り”の記録であるタ
イムストリームに非常に関心がある。彼らは、彼らの活
動及び会話の文字通りの記録に誰がアクセスしたかに関
心がある。彼らは、彼らが何時記録されたを知ることに
関心があり、彼らはこれに対する制御を望む。他方で
は、興味はあるが記録されなかった議論の後で、ユーザ
はし彼らがそれを記録していたらとばしば望む。

【０１５６】ユーザ制御は、タイムストリームアーキテ
クチャでサポートされる。しかしながら、実施は、セッ
ションのキャプチャの間とその後の両方で、ユーザに制
御を効果的に与えるためのユーザインターフェースツー
ルを必要とする。

【０１５７】タイムストリームアーキテクチャは、“制
御イベント”の特別な取扱いの提供する。制御イベント
は、以下のものを指定する −時間スパン（時間と期間を開始させる） −制御すべきタイムストリーム −制御の種類（保護のパージレベル） −制御が有効になるとき

【０１５８】獲得されたセッションが多数のタイムスト
リームを有することができるとすると、制御イベントは
それらを選択的に制御することができる。例えば、議論
の微妙なスパンの間のオーディオだけを制御することが
有用である。制御イベントは、セッションの全てのタイ
ムストリームを特定することもできる。

【０１５９】いくつかの種類の制御がある。記録された
資料を、データベースから物理的にパージすることがで
きる。記録された資料を聞くか見ることへのアクセス
は、拒否したり、特定のユーザ或いはユーザのグループ
に与えることができる。アクセスは、読むことのみが可
能なアクセス、新しい資料をアペンドすることが可能な
アクセス、資料を完全に編集することが可能なアクセ
ス、或いは、アクセス制御を変更することが可能なアク
セスのような、異なった型とすることができる。例え
ば、制御イベントは、ミーティングの議長だけがミーテ
ィング記録を編集することができ、グループのマネージ
ャーだけがアクセス制御を変えることができ、ミーティ
ングの参加者だけが新しい資料を獲得された資料にアペ
ンドすることができ、特定の組の他の個人のみが獲得さ
れたオーディオを聞くことができきるように特定するこ
とができる。

【０１６０】最後に、制御のタイミングを指定すること
ができる。これは、パージするためにもっとも有用であ
る。獲得された記録は、明細を記すと直ちに（例えば、
総員の議論を消すために）、セッションの直後に（例え
ば、興味をそそらないミーティングを消すために）、或
いは、何日か何ヵ月後に（例えば、文書整理と保管管理
のために）のように、異なった時間にパージすることが
できる。しかし、非参加者に対してはミーティング記録
へのアクセスを１週間拒否して、議長に記録を編集する
という時間を与えるように指定することもできる。

【０１６１】タイムストリームアーキテクチャは、制御
イベントが種々の制御を指定するのを可能にするが、ア
ーキテクチャはそれらを直接には実施せず、アーキテク
チャの種々の構成要素への制御を代表する。指定の多く
は、それらを実施するために、データベースでコード化
することができる。タイムストリームプレーヤとタイム
ラインインターフェースも、同様に或るアクセス制御を
実施する補助となる。パージすることは、レコーダによ
り、または、特定のタイムストリームのデータフォーマ
ットを理解しているなんらかのプロセスにより通常実施
されなければならない。パージするプロセスは、パージ
すべきデータを重ね書きするか（“ゼロで埋める”）、
或いは、実際に再度書き込んでパージすべきデータを外
部に出したままにしておくことにより記録を圧縮するか
のいずれかとすることができる。タイムストリームアー
キテクチャは、それ自身は制御イベントの完全な実施を
保証しないが、与えられた状況の中で利用可能な構成要
素により行うことができる最善のことを行う。

【０１６２】時間に基づいた方法でアクセス制御を提供
することは、一般に非常に微妙であることが判ってい
る。例えば、微妙な決定を取り扱っているので、或る１
０分のスパンの議論のオーディオ／ビデオ記録をパージ
することを考え、また、ビデオ記録が壁のホワイトボー
ドを示していると考える。たとえ、１０分のスパンがビ
デオからパージされるとしても、そのスパンの後に、そ
の討論の残部がホワイトボードの上に残らないという保
証はない。しかしながら、実際的な問題として、時間に
基づいた制御は、殆どの時間で有用である。

【０１６３】制御イベントは、ユーザがそれらを容易に
生成して編集することができる場合にのみ有用である。
ユーザにとっては、セッションの後にタイムラインイン
ターフェースで制御イベントを指定することが自然であ
る。

【０１６４】現時点で好適な実施態様においては、ユー
ザにセッションの間のオーディオの記録に対する控え目
の制御を与えるために、ユーザインターフェースツール
の簡単なセットが提供される。ユーザに何時記録が開始
されたかを気付かせることは重要である。ビデオカメラ
の上の赤い光がこれを行う。Ｌｉｖｅｂｏａｒｄについ
ては、記録が行われている間に、点滅する“記録中”が
表示される。両方とも物理的な装置の上のハードボタン
であるポーズボタン及び記録ボタンと、ＬｉｖｅＢｏａ
ｒｄ或いはコンピュータディスプレイの上のソフトボタ
ンにより、ユーザがレコーダをオン・オフすることがで
きる。しかし、この制御は予期されなければならない。
すなわち、ユーザは、記録またポーズのいずれとするた
めに、興味があるか微妙であるかのいずかであるかを前
もって知っていなければならない。実際には、これは有
効ではない。すなわち、それらが始まってから十分あと
になるまでは、ユーザはこれらの状況をしばしば認識で
きない。従って、ポストホック（ｐｏｓｔ−ｈｏｃ）制
御が必要とされる。

【０１６５】我々のユーザインターフェースは、“記録
オン”と“記録オフ”（ポーズと記録に加えて）の概念
を実施することにより、これを提供するものであり、こ
れは、セッション中に適当な方法により、ユーザが事実
の後の記録を制御することを可能にするものである。こ
のアイディアは、全体のセッションが実際に記録される
ことであり、ユーザは、セッションの部分に記録オンで
ある或いは記録オフであるかをマークすることができ、
セッションの後で記録の記録オフの部分はパージされ
る。

【０１６６】セッションが記録するために開始させられ
ると、点滅する“記録オン”注意が、記録オフボタンと
一緒に表示される。記録オフボタンが押されると、ユー
ザは、現時点で或いはＮ分前の時点で、セッションに記
録がオフであることをマークすることができる。例え
ば、もし議論が微妙な話題に移って、討議者が数分後に
ノートに書き込むと、彼らは、記録オフとなる最後の、
例えば、５分間にセットすることができる。同様に、セ
ッションが記録されていないときには、点滅する“記録
オフ”が、記録オンボタンと一緒に表示され、これによ
り、ユーザがセッションに記録がオンであることをマー
クすることができる。例えば、討論が面白くなったとき
に、記録の上に最後の１０分を元へ戻すことができる。
これらの制御は、ユーザが全体のセッションを記録すべ
きか否かを決定することができるセッションの終わりへ
固執する。

【０１６７】これらのユーザインターフェースツールが
行うことは、セッションの間に制御イベントを生成させ
ることである（記録オフセグメントはパージされたとし
てマークされ、記録オンセグメントはアクセスを許可す
るとしてマークされる。）。セッションが閉会した後、
プロセスは、矛盾する指定（すなわち、セッションのス
パンが記録オンとオフの両方にマークされている）につ
いて作りだされた制御イベントを分析するプロセスが実
行され、次いで、記録をパージするためにレコーダがコ
ールされる。対立解決のための一つの技術は、一層最近
の制御イベントに優先権を与えることである。しかしな
がら、ユーザは、タイムラインインターフェース経由で
制御イベントを見て、パージをコールする前にそれらを
編集するように頼むことができる。

【０１６８】このユーザインターフェースの一つの困難
な点は、記録を変えるために何分戻るのかを知ることが
ユーザにとって困難であることである。これに対する一
つの改良は、ユーザに一層意味がある時間点を与える我
々のオーディオ分析ツールを使うことだろう。例えば、
記録オフボタンを押した後に、最近のオーディオのポー
ズに対するバックアップ点或いは話者の変化のメニュー
を現すことができる。ユーザは、正しい時間点を決定す
るために、これらから再生することができた。

【図面の簡単な説明】

【図１】 本発明の現時点での好適な実施態様における
一時的データの捕獲及び再生のためのシステムのブロッ
ク図である。

【図２】 本発明の現時点での好適な実施態様において
利用することができるセッションアクセスワークステー
ションのブロック図である。

【図３】 本発明の現時点での好適な実施態様のセッシ
ョンアクセスワークステーションの動作の単純化された
疑似状態である。

【図４】 本発明の現時点での好適な実施態様のセッシ
ョンアクセスワークステーションに連結されるディスプ
レイのビジュアルユーザインターフェースの図である。

【図５】 本発明の現時点での好適な実施態様のセッシ
ョンのためのタイムラインユーザインターフェースディ
スプレイの図である。

【図６】 概観時間トラックディスプレイエリアと焦点
時間トラックディスプレイエリアの関係をハイライトす
るタイムラインインターフェースの単純化された図であ
る。

【図７】 図６の焦点バーが引き伸ばされこれに従って
焦点時間トラックディスプレイエリアの寸法が変えられ
ている動作の結果を示す図である。

【図８】 二つのセッションの再生を制御するためのタ
イムラインユーザインターフェースディスプレイシステ
ムの図である。

【図９】 二つの不連続な焦点セグメントが概観時間ト
ラックエリアに表示され、焦点時間トラックエリアが各
々の焦点セグメントの詳細を含むタイムラインインター
フェースの図である。

【図１０】 図９の焦点時間トラックエリアのサイズ修
正の結果を示すタイムラインインターフェースの図であ
る。

【図１１】 ＬｉｖｅＢｏａｒｄウィンドウの選択動作
の結果として生じたトラックセクションを含む複数のキ
ャプチャ装置で記録したセッションの再生のためのタイ
ムラインインターフェースの例である。

【図１２】 一つのトラックの上で図１１のオーディオ
のトラックを併合した結果を示すタイムラインユーザイ
ンターフェースディスプレイの更なる図である。

【図１３】 ノートトラックの上にノートを開けた結果
を示す図１１のタイムラインユーザインターフェースデ
ィスプレイの更なる図である。

【図１４】 図１１のタイムラインユーザインターフェ
ースを生成するのに使用した同じセッションについての
ミーティングプレーヤの図である。

【図１５】 本発明の現時点での好適な実施態様におけ
るＬｉｖｅＢｏａｒｄウィンドウの図である。

【図１６】 ＬｉｖｅＢｏａｒｄウィンドウとタイムラ
インインターフェースの間の相関性の図である。すなわ
ち、グラフィックオブジェクトからタイムラインへのイ
ンデックス付けである。

【図１７】 Ｌｉｖｅｂｏａｒｄウィンドウとタイムラ
インインターフェースの間の相関性の図である。すなわ
ち、ＬｉｖｅＢｏａｒｄウィンドウとタイムラインイン
ターフェースの両方が同時に同じものを反映する同期化
されたディスプレイ状態である。

【図１８】 Ｌｉｖｅｂｏａｒｄウィンドウとタイムラ
インインターフェースの間の相関性の図である。すなわ
ち、一時的なものから空間のへのインデックス付けであ
る。

【図１９】 ＬｉｖｅＢｏａｒｄウィンドウとタイムラ
インインターフェースの間の相関性の図である。すなわ
ち、グラフィックオブジェクトにつき多数のイベントで
ある。

【図２０】 ＬｉｖｅＢｏａｒｄウィンドウとタイムラ
インインターフェースの間の相関性の図表である。すな
わち、オブジェクトエリアの位置選定によってインデッ
クスを付ける。

【図２１】 ＬｉｖｅＢｏａｒｄウィンドウが編集され
た前の“バウンシング−ボール”再生モードにおけるＬ
ｉｖｅＢｏａｒｄウィンドウの例を提供する。

【図２２】 ＬｉｖｅＢｏａｒｄウィンドウが編集され
た後の“バウンシング−ボール”再生モードにおけるＬ
ｉｖｅＢｏａｒｄウィンドウの例を提供する。

【符号の説明】

１０１ キャプチャセッション始動モジュール、１０２
ａ キャプチャ装置、１０２ｂ キャプチャ装置、１０
２ｃ キャプチャ装置、１０３ セッション蓄積装置、
１０４ 一時データ分析器、１０５ セッションアクセ
スワークステーション、１０６ プレーヤ、１０７ 再
生制御装置、１０８ エディタ、１０７タイムストリー
ム／イベント、１０８ タイムストリーム／イベント、
１０９タイムストリーム／イベント、１１０ イベン
ト、１１１ 一時データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウイリアム・ジェイ・バン−メッレ アメリカ合衆国 カリフォルニア州 94022 ロスアルトス ディステルドライ ブ 651 (72)発明者 ゴードン・ピー・クルテンバッハ カナダ エム５エイ２ジェイ５ オンタリ オ トロント スプルースストリート 126 (72)発明者 パトリック・チウ アメリカ合衆国 カリフォルニア州 94025 メンロパーク ＃３ ユニバーシ ティードライブ 564

Claims (2)

【特許請求の範囲】
1. 【請求項１】 複数のメディアキャプチャ装置で獲得さ
   れたセッションの再生を制御するためのコンピュータ制
   御型ディスプレイシステムであって、前記複数のメディ
   アキャプチャ装置の少なくとも一つが共有表現メディア
   であり、前記共有表現メディアはグラフィックオブジェ
   クトを生成して表示するためのものであり、前記コンピ
   ュータ制御型ディスプレイシステムは前記セッションを
   再生するために一つ或いはそれ以上のプレーヤに連結さ
   れており、前記コンピュータ制御型ディスプレイシステ
   ムが、 ディスプレイと、 前記獲得されたセッションの一時的データを受け取るた
   めのセッション入力手段であって、前記一時的データが
   タイムストリームとイベントから成るものと、 ユーザーが前記コンピュータ制御型ディスプレイシステ
   ムと相互に作用できるようにするためのユーザ入力手段
   と、 前記一つ或いはそれ以上のプレーヤによって前記セッシ
   ョンの再生を同期させるための同期手段と、 前記共有表現メディアで実行されたタイムストリーム表
   現動作からディスプレイ情報を発生させるための処理回
   路であって、前記ディスプレイ情報は前記ディスプレイ
   のウィンドウに表示するためのものであり、前記ウィン
   ドウは前記共有表現メディアで実行された動作の一時的
   な順序を再生するためのプレーヤとして動作し、前記再
   生が一つ或いはそれ以上のグラフィックオブジェクトを
   前記ウィンドウに表示させるものであり、前記ウィンド
   ウは更に前記セッションの再生を制御するためのユーザ
   インターフェースとして動作するものであり、 前記ウィンドウの一つ或いはそれ以上のグラフィックオ
   ブジェクトへのユーザの相互作用を検出し前記同期手段
   への再生制御信号を発生させるウィンドウ制御回路であ
   って、前記再生制御信号が前記ユーザの相互作用に対応
   しているものとからなるコンピュータ制御型ディスプレ
   イシステム。
2. 【請求項２】 セッションの再生を制御するためのコン
   ピュータ制御型ディスプレイシステムにおいて、前記セ
   ッションの再生時間を変えるための方法であって、前記
   セッションは複数のメディアキャプチャ装置で獲得さ
   れ、前記複数のメディアキャプチャ装置の少なくとも一
   つが共有表現メディアであり、前記共有表現メディアは
   グラフィックオブジェクトを生成して表示するためのも
   のであり、前記方法が ａ） 複数のイベントを識別するために前記共有表現メ
   ディアのタイムストリームを分析するステップであっ
   て、前記複数のイベントの各々が前記セッションの間に
   共有表現メディアで生成されたオブジェクトに対応して
   おり、前記イベントの各々が前記セッションの時間の点
   に対応しており、 ｂ） 前記コンピュータ制御型ディスプレイシステムに
   連結されたディスプレイのウィンドウで前記共有表現メ
   ディアの前記タイムストリームを再生するステップと、 ｃ） 前記ウィンドウでユーザがグラフィックオブジェ
   クトを選択したことを検出するステップであって、前記
   グラフィックオブジェクトは前記共有表現メディアで成
   されたマーキングを表すものであり、 ｄ） 前記グラフィックオブジェクトに関連したイベン
   トを識別するステップと、 ｅ） 前記イベントのどれが再生時間を移動させるのに
   使用されるのかを判別するステップと、 ｆ） 前記セッションの再生をステップｅ）で判別した
   前記イベントに関連した時間に移動させるキューをプレ
   ーヤに出すステップとから成る方法。