JPH09179709A - コンピュータ制御型ディスプレイシステム - Google Patents
コンピュータ制御型ディスプレイシステムInfo
- Publication number
- JPH09179709A JPH09179709A JP8288852A JP28885296A JPH09179709A JP H09179709 A JPH09179709 A JP H09179709A JP 8288852 A JP8288852 A JP 8288852A JP 28885296 A JP28885296 A JP 28885296A JP H09179709 A JPH09179709 A JP H09179709A
- Authority
- JP
- Japan
- Prior art keywords
- session
- time
- timestream
- event
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 70
- 238000003860 storage Methods 0.000 abstract description 21
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 39
- 230000008859 change Effects 0.000 description 21
- 230000009471 action Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 230000003993 interaction Effects 0.000 description 11
- 230000001052 transient effect Effects 0.000 description 11
- 239000000463 material Substances 0.000 description 9
- 230000000977 initiatory effect Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000010926 purge Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 5
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 238000007792 addition Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003121 nonmonotonic effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 239000006227 byproduct Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 241000218657 Picea Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009834 selective interaction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Operations Research (AREA)
- Economics (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
時的データの再生を制御するためのユーザインターフェ
ースを提供する。 【解決手段】 獲得されたタイムストリームとイベント
を含む一時的データを受け取るためのセッション入力手
段と、入力手段に連結されたタイムライン発生回路と、
ユーザーがディスプレイに表示されたビジュアルインジ
ケータを選択することを可能にするための選択装置と、
選択されたビジュアルインジケータと関連した時間の点
において再生を開始するために、プレーヤを同期させる
ための同期手段とからなるコンピュータ制御型ディスプ
レイシステム。前記タイムライン発生回路はイベントメ
ニューを表示するための表示情報を生成し、ディスプレ
イのタイムライン上の、それぞれがイベントに対応し、
前記セッションへの一時的インデックスを表すビジュア
ルインジケータに対応する。
Description
チメディアキャプチャ、再生、及び、編集の分野に関す
る。
たミーティングような整理されたセッティングが行われ
ている場合でさえ、会話による言葉のやりとりのような
カジュアルな相互作用の形態を採っており、これによ
り、グループは、彼らの仕事の技術、プロセス、関係が
ある様相を共通に理解することができる。このカジュア
ルな活動は、そのような活動の結果に焦点が合ってお
り、グループがどのようにそれらの結果に達したかとい
うことについては殆ど無視するコンピュータ使用のツー
ルによっては十分にはサポートされてはいない。更に、
そのような情報を収集する試みは、かれらの自然な仕事
の慣例をサポートするより、むしろ、活動を公式なもの
として、参加者を情報収集ツールに都合が良い方法に従
わせる結果となっている。
び、コンピュータ記録を収集することは、グループプロ
セスの十分な検討可能な記録を提供する。残念ながら、
そのような記録の利点は、しばしば必要とされたシーケ
ンシャルなアクセスのために扱い難い傾向があった。そ
のような情報のデジタル記録の出現で、そのような情報
に即時にアクセスすることが可能である。しかしなが
ら、即時アクセスは、行くべき場所が判っているときの
み有用である。従って、意味を持つ要素かイベントに基
づいて、そのような記録にインデックスを付けること
は、必要であり望ましいことである。
ローチは、リアルタイムノートテーキング(Real−
Time notetaking)と称される。そし
て、そこで、人は,ノートの種々の個々の要素にタイム
スタンプするシステムを使用して、ミーティングの間に
ノートを取る。これは、ミーティングの記録への理解可
能なインデックスを提供する。ノートの任意の要素を単
に選択することによって、システムはノート要素のタイ
ムスタンプに対応するAV記録の部分を、検索して再生
することができる。
り、そこでは、ユーザは、ミーティングが進むに従って
テキストを単にタイプするだけである(テキストは、発
言されたことの文字通りの書写或いはミーティングに関
する任意のノートとすることができる)。ノートは、テ
キストのストリングから成り、タイムスタンプされたノ
ート要素は、テキストの個々の文字である。ノートテー
キングが完成した後に、ユーザは、文字を選択すること
ができ、ミーティング記録の対応する部分が検索されて
再生されることになる。
覚的な表現(すなわちノート)を構成するのを可能にす
る。そして、その可視の要素はミーティング記録へのイ
ンデックスとして機能を果たす。各々のインデックス要
素は、それと関連づけられた時間を有する。この時間
は、ユーザがそれを生成した時間である。各々のインデ
ックス要素が可視なので、ユーザは、単に指示によって
それにそれを選択することができ、また、それは関連づ
けられた時間を有するので、ミーティング記録へアドレ
スを得ることができる。
現の構造が、イベントを生成する要素のシーケンスのみ
から成っている限りは良好に動作する。表現がミーティ
ングのコースの間に編集されるのを許されると、すなわ
ち、要素変更及び要素−削除イベントも同様に存在する
と、問題が起こる。問題の原因は、インデックスが可視
の要素であって、イベントではないことである。
るアプローチの不利な点は、人がノートテーキングの仕
事に専念しなければならないことである。従って、人
を、自然なミーティング活動それ自身の副作用であるノ
ートテーキングの仕事に専念させないで、ミーティング
記録中へインデックスを生成することは望ましい。
のような共同作業を表現する一時的データの再生を制御
するためのユーザーインターフェースを目指すものであ
る。そのような一時的データは、一つ或いはそれ以上の
キャプチャ装置(例えばオーディオレコーダか電子ホワ
イトボード)によって獲得される。複数のキャプチャ装
置は、共同作業を記録するために使われるかもしれな
い。一時的データは、タイムストリームとイベントから
成る。タイムストリームは、ミーティングの何らかの記
録可能な局面を表現するセットのタイムスタンプされた
データである。オーディオ及びビデオのの記録、或い
は、電子ホワイトボードの上の行動の蓄積された履歴
は、タイムストリームの例である。イベントは、タイム
ストリームの中の出来事である。イベントは、共同作業
の間の時間の点またはスパンへの直接的なアクセスを提
供するインデックスを生成するために使われる。タイム
ストリームは、イベントを固有に定義するかもしれな
い。または、イベントを識別するために、分析される場
合がある。イベント情報は、タイムスタンプ、イベント
型、及び、イベントのインスタンスの様々な特性のリス
トから成る。
ンピュータ制御型ディスプレイシステムの上で実行され
る。コンピュータ制御型ディスプレイシステムは、処理
手段、ディスプレイ、貯蔵手段、及び、様々な再生装置
から成る。様々な再生装置の各々は、特定のタイムスト
リームを再生するために使用される。処理手段は、ユー
ザーインターフェースを発生させ、様々な再生装置を横
切ってタイムストリームの再生を同期させるのに使用さ
れる。ユーザーインターフェースは、ディスプレイの上
に現れ、概観時間トラックエリア、焦点時間トラックエ
リア、及び、ボタンエリアから成る。概観時間トラック
エリアは、全体のセッションを表現するトラックを表示
する。焦点時間トラックエリアは、それぞれがイベント
(例えばオーディオのタイムストリームの異なった話
者)の異なったクラスを表現する多数のトラックを表示
する。異なったイベントは、ビジュアルインジケータを
使うタイムラインの上にグラフィックで表現される。各
々のトラックとその上の成分は、それについて視覚的に
区別される。再生は、ビジュアルインジケータとの相互
作用により制御される。様々なインターフェースの特徴
は、タイムストリームを表現するトラックの数、或い
は、タイムラインの上で表示された共同作業の期間のよ
うに、ユーザーによって制御される場合がある。ボタン
エリアは、ユーザーが様々な再生制御動作を呼び出すこ
とを可能にするためにある。
な実施態様における一時的データの獲得及び再生のため
のシステムのブロック図である。図2は、本発明の現時
点での好適な実施態様において利用することができるセ
ッションアクセスワークステーションのブロック図であ
る。図3は、本発明の現時点での好適な実施態様のセッ
ションアクセスワークステーションの動作の単純化され
た疑似状態である。図4は、本発明の現時点での好適な
実施態様のセッションアクセスワークステーションに連
結されるディスプレイのビジュアルユーザインターフェ
ースの図である。図5は、本発明の現時点での好適な実
施態様のセッションのためのタイムラインユーザインタ
ーフェースディスプレイの図である。図6は、概観時間
トラックディスプレイエリアと焦点時間トラックディス
プレイエリアの関係をハイライトするタイムラインイン
ターフェースの単純化された図である。図7は、図6の
焦点バーが引き伸ばされこれに従って焦点時間トラック
ディスプレイエリアの寸法が変えられている動作の結果
を示す図である。図8は、二つのセッションの再生を制
御するためのタイムラインユーザインターフェースディ
スプレイシステムの図である。図9は、二つの不連続な
焦点セグメントが概観時間トラックエリアに表示され、
焦点時間トラックエリアが各々の焦点セグメントの詳細
を含むタイムラインインターフェースの図である。図1
0は、図9の焦点時間トラックエリアのサイズ修正の結
果を示すタイムラインインターフェースの図である。図
11は、LiveBoardウィンドウの選択動作の結
果として生じたトラックセクションを含む複数のキャプ
チャ装置で記録したセッションの再生のためのタイムラ
インインターフェースの例である。図12は、一つのト
ラックの上で図11のオーディオのトラックを併合した
結果を示すタイムラインユーザインターフェースディス
プレイの更なる図である。図13は、ノートトラックの
上にノートを開けた結果を示す図11のタイムラインユ
ーザインターフェースディスプレイの更なる図である。
図14は、図11のタイムラインユーザインターフェー
スを生成するのに使用した同じセッションについてのミ
ーティングプレーヤの図である。図15は、本発明の現
時点での好適な実施態様におけるLiveBoardウ
ィンドウの図である。図16は、LiveBoardウ
ィンドウとタイムラインインターフェースの間の相関性
の図である。すなわち、グラフィックオブジェクトから
タイムラインへのインデックス付けである。図17は、
Liveboardウィンドウとタイムラインインター
フェースの間の相関性の図である。すなわち、Live
Boardウィンドウとタイムラインインターフェース
の両方が同時に同じものを反映する同期化されたディス
プレイ状態である。図18は、Liveboardウィ
ンドウとタイムラインインターフェースの間の相関性の
図である。すなわち、一時的なものから空間のへのイン
デックス付けである。図19は、LiveBoardウ
ィンドウとタイムラインインターフェースの間の相関性
の図である。すなわち、グラフィックオブジェクトにつ
き多数のイベントである。図20は、LiveBoar
dウィンドウとタイムラインインターフェースの間の相
関性の図表である。すなわち、オブジェクトエリアの位
置選定によってインデックスを付ける。図21及び図2
2は、LiveBoardウィンドウが編集された前後
の“バウンシング−ボール”再生モードにおけるLiv
eBoardウィンドウの例を提供する。
業、及び、他の非共同作業の記録の再生の提供する。
産物である共同作業のミーティング記録へインデックス
を生成することである。これは、人々が記録されたセッ
ションの一部への直接アクセスを得る直観的な方法を提
供する。話者の変更、ホワイトボードへの書き込み及び
マーキング操作、ノートを取ることのようなイベント
は、有益なインデックスポイントを提供するミーティン
グの自然の副産物の例である。
いたタイムストリームアーキテクチャ及びシステムアー
キテクチャを参照して述べられる。タイムストリームア
ーキテクチャは、現時点での好適な実施態様が実行され
るソフトウェアフレームワークを述べる。システムアー
キテクチャは、本発明の機能の構成要素を述べる。
チャの記述で使われる用語は、ここで定義される。
m)は、キャプチャ装置で獲得されたタイムスタンプさ
れたメディアデータを意味し、プレーヤーで再生するこ
とができる。
活動の間の或る点または間隔で発生する出来事、例え
ば、話者の交代或いはホワイトボードへの書き込みであ
る。
a)は、タイムストリームとイベントの結合を意味す
る。
ティングのように密着して獲得された活動を表現する一
時的データの収集物に名前が付けられる。
形態で、または、タイムストリームのダイナミックスを
示す形態で、タイムストリームを再生することができ
る。
ルインジケータを変化させることができる、或いは、イ
ベントとタイムストリームをセッションに付加すること
ができるユーザインターフェースを意味する。
trollers)は、セッションの再生が制御される
ユーザインターフェースを意味する。
ices)は、一時的データを獲得して蓄積する装置で
ある。異なった型のキャプチャ装置は、セッションの異
なったメディア(例えば、オーディオ、ビデオ、ホワイ
トボード上の書き込み)を獲得する。
した記録と再生のための拡張性があるセットのツールの
使用をサポートする。これは、特定のマシンの一つのア
ドレス空間に存在するが、ネットワーク内の同一の或い
は他のマシンの同一の或いは異なったアドレス空間に存
在する“代理”オブジェクトを有するオブジェクトを、
ユーザが容易に構築することを可能にする分散型オブジ
ェクトシステムに基づいている。この分散型オブジェク
トシステムは、言語間統一(Inter−Langua
ge Unification)(ILU)と称され、
Janssenによる“ILUマニュアル”、ゼロック
ス技術報告書、ISTL−CSA−94−01−02、
1994年1月に述べられている。タイムストリームア
ーキテクチャの基本的なデータ構成要素は、イベント、
タイムストリーム、及び、セッションである。
ト’イベントについては多分ゼロ)、型、及び、型に依
存することがある可能のある特性からなる。(例えば、
LiveBoardページイベントは、’ページ数’
と’ページ表題’特性を有するかもしれない。)イベン
トオブジェクトへのインターフェースは、以下のように
なる。 TYPE Event=CLASS SUPERCLASS PersistentObject END METHODS getType():String, getStartTime():Time, getDuration():Time END
は、上述したILUシステムの指定言語のスタイルをし
ているが、文字通りそのままであることを意図するもの
ではなく、オブジェクト指向プログラミングを熟知して
いる者によって、容易に翻訳することができる。データ
型ストリングと時間の意味は自明である。付加的に、P
ersistentObjectのサブクラスとして、
イベントは以下の方法を受け継ぐ getPropertyNames():StringSequence setProperty(name:String,value:Stri ng) getProperty(name:String):String
ョンオブジェクトへのコールによって生成される。
メディア型のために蓄積されたデータを参照するために
使用される。一般的に言えば、タイムストリームと関連
したデータは、記録されたメディアの時間に基づいたア
クセスを可能にする。記録されたオーディオのように、
多くのデジタルメディアの関しては、これは、イベント
と見なすことができたデータ時間サンプルデータから成
るけれども、大量で大きくメディア(また、装置にも)
に依存するサンプルされたデータの翻訳は、タイムスト
リームを’不透明’と見ることを一層実際的にする。す
なわち、タイムストリームデータは、タイムストリーム
のメディアとフォーマットと関連している特別なツール
によってのみ正常に操作される。特に、データは、レコ
ーダオブジェクトによって生成され、プレーヤオブジェ
クトによって再生される。同様に、イベントを作り出す
ために、メディアの特定のツールによって分析すること
もできる。(例えば話者セグメント、沈黙/中断、場面
変化など)タイムストリームオブジェクトを不透明とし
て取り扱うことにより、アーキテクチャがアナログメデ
ィアに適応することができることに注意すべきである。
(例えば、レコーダとプレーヤは、コンピュータソフト
ウェアで制御されるビデオテープレコーダかもしれず、
タイムストリームは、テープが使われるべきである情報
を備えたソフトウェアと、テープの初めと関連付けられ
るべき絶対時間を提供するかもしれない。)タイムスト
リームオブジェクトへのインターフェースは、以下の通
りである。 TYPE Timestream=CLASS SUPERCLASS PersistentObject END METHODS mediaType():String, e.g. audio format():String, e.g. sun au startTime():Time, duration():Time, END
ム、及び、他のセッションを含むかもしれない階層構造
の収集物である。用語’セッション’のこの使用は、時
々遭遇するものよりも広義であり、例えば、所定のミー
ティング或いは討論と関連するデータの狭い意味の’セ
ッション’は特別な場合であることに注意すべきであ
る。セッションは、本質的にタイムストリームデータを
組織するための汎用の簿記機構である。セッションオブ
ジェクトへのインターフェースは、以下のようなもので
ある。 TYPE Session = CLASS SUPERCLASS PersistentObject END METHODS getTimestreamByName(name:String):T imestream, getAllTimestreams():Timestream Seq uence, getSessionByName(name:Session):Ses sion, getAllSessions():Session Sequence, createEvent(start:Time,dur:Time,ty pe:String,props: PropertyList):Event END
ーヤとレコーダオブジェクトがメディア型から独立して
いる共通のインターフェースを共有しており、また、サ
ポートされたメディアの型のセットが固定されていない
という意味で拡張性がある。プレーヤとレコーダオブジ
ェクトへの単純化されたインターフェースは、以下の通
りである。 TYPE Player=CLASS METHODS seek(t:Time), 再生時間をtに変更する location():Time, 最新の再生時間に戻る play(s:Speed), 速度係数sで再生する(1=通常) stop(), 再生を停止する ... attach(timestream:Timestream) 所定のタ イムストリームを再生するためにプレーヤをセットする END; TYPE Recorder=CLASS METHODS record(), pause(), createRecording(session:Session, name:Name):Timestream, finishRecording(), END;
コーダオブジェクトは、そのメディア型と関連した’M
ediaServer’によって実施される。当然、新
しいメディア型をサポートすることは、新しいMedi
aServerの実施を必要とするが、アーキテクチャ
へ(すなわち、レコーダとプレーヤを作り出すか制御す
るために必要なインターフェースへ)の変化は必要とさ
れない。これは、汎用のアプリケーション(例えば、記
録制御プログラム、或いは、アクセス及び再生制御プロ
グラム)を書き込むことができ、新しいメディア型、或
いは、存在するメディア型についての新しいサービスの
実施を自動的にサポートすることになることを意味す
る。MediaServerオブジェクトへのインター
フェースの単純化された記述は、下式により与えられ
る。 TYPE MediaServer= CLASS METHODS getRecorder(format:String,contex t:String):Recorder, getPlayer(format:String,context: String):Player END
関する情報を指定する。例えば、オーディオ入力/出力
のために使われたホスト及び装置名を指定することがで
きる。
ムストリームと関連したデータを処理して、イベントを
作り出すために使うことができる。現時点での好適な実
施態様で使われた二つのそのようなアナライザが、以下
に述べられる。アナライザへのインターフェースの単純
化された記述は、下式で与えられる。 TYPE Analyzer=CLASS METHODS produceEvents(session:Session,spec s:String) END
ストリームのデータにアクセスし、セッションと関連し
たイベントを生成する。どの型のタイムストリーム(例
えば、オーディオ、ビデオなど)が、アナライザの型に
依存してアナライザによりアクセスされる。’spec
s’の議論は、分析が行なわれる方法についてのあらゆ
る必要な情報を提供する。例えば、アナライザは、所定
のワード(specsストリングの一部である)が話さ
れる度にイベントを生成するオーディオのワード監視器
とすることができる。アナライザは、セッションが記録
された後に、或いは、記録プロセスの間にリアルタイム
で動作させることができることに注意すべきである。リ
アルタイムの場合には、アナライザによって作り出され
たイベントは、ユーザインターフェースを実施するプロ
セスのような他のプロセス(以下に述べるイベント通知
を参照のこと)により’観察’することができる。
テクチャは、指定された型のメディアをサポートするた
めの適切なMediaServersを配置するブロー
カオブジェクトを提供する。ブローカは、同様にアナラ
イザのような他の種類のオブジェクトを配置するのを補
助することができる。ブローカは、共有されたネットワ
ークファイルに蓄積される情報を使って、実行プロセス
が所定のオブジェクト型(例えばオーディオのMedi
aServer)を実施し、及び/又は、これらのプロ
セスを生成するために実行しなければならないトラック
を維持することができる。他のネットワークベースのネ
ームサービスも同様に使うことができた。ブローカへの
インターフェースの単純化された記述は、下式で与えら
れる Type Broker=CLASS METHODS getMediaServer(media:String):Media Server getAnalyzer(type:String):Analyzer END
ションデータは、タイムストリームデータベースに蓄積
される。タイムストリームデータベースを使うアプリケ
ーションプログラムは、他のオブジェクトを作り出すか
配置する方法を有するタイムストリームマスターオブジ
ェクトを最初に得る。マスターオブジェクトは、上述し
たブローカによって使われたものと同じ機構を使用する
(多分別のホストの上の)別のプロセスで実行されるタ
イムストリームサーバから得ることができる。または、
タイムストリームサーバ(及び、マスターオブジェク
ト)を実施するプログラムコードは、アプリケーション
プロセスに直接に含ませることができる。
ョンのために必要な基本的なステップは、以下の通りで
ある。 ...’マスター’ と呼ばれるトップレベルタイムストリームオブジェ クトを得る... session=master.getSessionByName(’R ecordings’ ) broker=master.getBroker() mserver=broker.getMediaServer(’aud io’) recorder=mserver.getRecorder(’mu l aw’, ’default audio device’) recorder.createRecording(session, ’recording1’) recorder.record() ... あるコードは、記録がポーズ、レジューム、或いは、完了であ るべきことを示すユーザインターフェースイベントを探す。 ... 記録を閉じるためのルーチンをコールする。 recording.finishRecording() exit
呼ばれる現存するセッションの’recording
1’と名付けられたオーディオ記録を生成するために必
要とされるステップを述べる。
は、以下の通りである。 ... マスターと呼ばれるトップレベルタイムストリームオブジェクトを得る 。 session=master.getSessionByName(’Rec ordings’) timestream=session.getTimestreamByNa me(’recording1’) broker=master.getBroker() mserver=broker.getMediaServer(’audio ’) player=mserver.getPlayer(’mu law’,’d efault audio device’) player.play(1) 再生が停止されるべきこと、或いは、異なった時間の探
索がコールされるべきことを示すユーザインタフェース
イベントを待つ。
に互いに協調するアプリケーションを補助し、特に、多
数のプレーヤとレコーダに対する協調制御を補助するい
くつかの機構を提供する。1つの機構は、単一のプレー
ヤ及び/又はレコーダとして動作するプレーヤ及び/又
はレコーダの収集体である連合(Confederat
ion)オブジェクトである。プレーヤ或いはレコーダ
は、動的に連合に付加され、或いは、連合から削除する
ことができる。連合へのインターフェースの単純化され
た記述は、下式により与えられる。 TYPE Confederation=CLASS SUPERCLASSES Player, Recorder END METHODS registerPlayer(player:Player), unregisterPlayer(player:Player), registerRecorder(recorder:Recorder ), unregisterRecorder(recorder:Record er), ... END
連合は、再生と記録のようなそれらのクラスの方法をサ
ポートすることが暗示される。また連合は、時間範囲の
シーケンスの再生として振る舞い(behavior
s)を実施する付加的な方法もサポートする。
ing#3’と呼ばれるセッションについて、記録され
た全ての媒体の再生をセットして制御するための単純化
されたコードは、以下のようになる。 マスターと呼ばれるトップレベルタイムストリームオブジェクト ...session=master.getSessionByName( ’ProjectMeeting#3 ’) ...broker=master.getBroker() ...conf=master.getConfederation(’xy z’) ..timestreams=session.getAllStreams () for each timestream in timestream s do begin ...mserver=broker.getMediaServer(t imestream.mediaType()) ...player=mserver.getPlayer(timest ream.format(),’host1’) ...conf.registerPlayer(player) end conf.play()... ... どのように再生が制御されるかを示すユーザインターフェースイベントを待つ 。
ることに注意すべきである。他のプログラムは、マスタ
ーオブジェクトからこの連合を得、これを使用して再生
を制御するができる。これは、同じホストの上でいくつ
かのプログラムを実行することを可能とするが、しかし
再生を共同して制御するために、多分、非常に異なった
インターフェースを必要とする。なお、上述したのと同
じであるが、異なったホストの上で実行されるプログラ
ムは、そのホストと関連してプレーヤを生成することが
でき、それらを’xyz’構成と共に登録することがで
きる。結果は、実施するための追加のプログラミング負
担を本質的に必要としない共有分散型の再生ツールとな
る。
ログラムは、’noticeEvent’に呼ばれる方
法を有するオブジェクトであるEventNotifi
erを実施することができる。ノティファイアは、セッ
ションオブジェクトと共に登録することができ、つい
で、イベントがそのセッションに付け加えられる度に、
その時イベントで引数としてイベントと共にコールされ
る。例えば、LiveBoardウィンドウにおいて、
いくつかのオブジェクトが選択されるときに、選択され
たオブジェクトに関連した時間を示すイベントを生成す
ることができ、登録されたEventnotifier
を備えたタイムラインインターフェースに接触すること
ができ(すなわち、コールされたnoticeEven
t方法)、これらの時間をグラフィック的に示すことが
できる。この例が、以下に詳細に述べられる。
々の形態で発生する。最初に、キャプチャの間、エラー
が再生の間知覚的に苛立たせていないように、タイムス
トリームを十分に整列した状態にしておくという必要性
がある。オーディオとビデオの場合には、これは、ビデ
オと音が約1/30秒で(例えば、苛立たしい唇同期の
問題が発生する前に)整列させ続けなければならないこ
とを意味する。二つのタイムストリームは、異なったマ
シン上で独立して獲得される場合があるので、各種のソ
ースの間で或る共通のクロックを使う(または再建す
る)ことが必要である。現時点での好適な実施態様にお
いては、完全に接続されて実行しているときには、RF
C−1769で述べられたネットワーク時間プロトコー
ル(NTP)が、クロックをミリ秒以内に精密に維持す
るために分散型マシンの間で使用される(これは適応型
のプロトコールであり、単に共通の標準に再同期させる
ことによってではなく、マシンのドリフトにどの様に適
合するかを学習することによって、通常より良い結果が
得られる。好適には、タイムストリームのデータの各々
の量はタイムスタンプされるが(ビデオではリアルタイ
ムプロトコールパケットを使ったので)、データが正確
なクロックレートでサンプルされるというシステムの確
実性も同様に十分である。
ムストリームにインデックスを付ける文の注釈の場合に
は、そのような厳密な同期のための要求を緩和すること
ができる。再び、どのようなエラーも再生の間に苛立た
せなることがない十分な正確さを必要とした測定基準が
適用される。文のノートについては、これは、マークが
記録された材料へ機能的なポインタであるように、ノー
トは、ユーザが意図したものに十分に近い位置で、タイ
ムストリームにインデックスを付けなければならないこ
とを意味する。或る状況の下では、何秒かのこぼれは許
容可能であるが、他の場合には1秒の端数でも許容でき
ない場合がある。もしユーザが注釈ソフトウェアを走ら
せているハードウェアの上に、NTPを走らせていれ
ば、その測定は、一般に十分な正確さを提供するだろ
う。他のオプションは、注釈がされる度に、NTP装備
マシンから現在の時間を得るために、時間サーバをコー
ルするか、または、注釈マシンとNTP時間のと間のオ
フセットを計算するために、ミーティングの開始にクロ
ックを同期させることを含む。この最後の形態の訂正
は、特別な“同期イベント”の形態を使用するかもしれ
ない。これは、分散型の資源の二つ或いはそれ以上のデ
ータ内に注記されている、或いは、それから分析するこ
とができる。
係に、種々のキャプチャ装置を完全に切り離した状態で
動作させる準備ができる。これは、接続(コンピュー
タ、オーディオ、ビデオ等)が望ましくないか不可能な
セッティングにおいて記録が行われる場合には望ましい
ことである。装置の異種のクロックを最終的に整列させ
るための手段が提供されるとすれば、ハンドヘルドコン
ピュータ或いは商用のカムコーダは、受け入れることが
できるキャプチャ装置である。切り離されたラップトッ
プをオーディオの記録と一列に整列する技術の例は、騒
々しくラップトップキーを打つことであり、有効な同期
イベントである。キーストロークは、ラップトップによ
ってピックアップされ、そのクロックによってタイムス
タンプされ、オーディオは、キーヒットを表現するオー
ディオイベントを見つけ出すために分析され、このイベ
ントは、オーディオレコーダのクロックによりタイムス
タンプされる。これから、二つのクロックの間のオフセ
ットを計算することができる。そして、タイムスタンプ
のセットの一方が他方に合わせられる。
記録するセッションの間、同様に問題である。独立した
クロックが採用されたセッションにおいて必要とされる
正確さの程度に依存して、システム的な利得或いは損失
を補正するために、或いは、オフセット補正のためにク
ロックを繰り返しチェックするために、セッションの開
始と終了を読み取ることが必要かもしれない。もし調整
的な動作(例えば、通常速度再生が所望のときは、80
57/8000で再生))を提案するためにデータを収
集することができれば、それら自身がクロック動作する
システム(例えば、8057サンプル/秒となるべきで
あるが8000サンプル/秒で動作しているとされたオ
ーディオ装置)のこれらの要素におけるドリフトは、再
生の間に付加的な微調整を必要とするかもしれない。
般にシステムの適切な場所でバッファすることによって
処理される。
チャセッションとしばしば同時に発生したり、または、
キャプチャのセッティングにおいてある種の“入れ子状
態”となるかもしれない)における同期の問題は、マル
チメディアシステムにおいて典型的に取り扱われるもの
に一層接近している。
タイムストリーム(オーディオ、ビデオ、計算ログ)が
獲得され、獲得された活動が再体験できるように、密接
に同期してこれらのタイムストリームの全部或いは所望
のサブセットを再生しながら蓄積されると仮定する。更
に、全て記録が完全なデータを備えており、補正すべき
ドリフト、ジッター、または、オフセットがない状態で
獲得されたと仮定する。
々のタイムストリームプレーヤは、適度に接近して同期
させるために、十分に同期した無ドリフトシステムクロ
ックを使用して、フリーホイールモードで動作する。こ
れは、各々のプレーヤが、システム時間の経過に合う方
法で、そのタイムストリームを再生する責任があること
を意味する。普通の再生スピードにおいては、これは再
生(及び、システム時間経過)の1秒が、オリジナルデ
ィスク記録の各々の秒毎に正確に発生すべきであること
を意味し、一層速い及び一層遅い再生レートは、再生さ
れる記録が一層多いか一層少ないことを単に表す。これ
らの高い及び低いスピード再生の最も良い表現は、ユー
ザの必要に応じてカスタマイズすることができることに
注意すべきであり、高速のピッチ保存スピーチは、ミー
ティングをざっと知るために望まれる場合があり、或い
は、適切な間隔から連鎖する4分の1秒のビデオクリッ
プは、非常に高速のビデオ再生を最もよく伝えるかもし
れない。
面は、記するに値するものあり、それは良好な開始と休
止の機会である。第1のものは、伝送時間、バッファリ
ング等に無関係に、そのようなアプローチの訂正動作
は、全てが同時に開始するプレーヤに単に依存すること
である。これは、プレーヤが予定された開始についての
依頼を受け取るべきであることを意味する(例えば、Y
システム時間で記録された材料の100%の通常速度で
Xシステム時間(少ないけれども未来への十分な時間
(秒の端数)に再生を開始する)。開始のこのモード
は、次に続くリアルタイムクロック固守(Adhere
nce)が所望の動作を生み出す調和した開始を保証す
る。休止の機会は、単に、特定のユーザ行動がプレーヤ
に分同期補正(例えば、マスターであるべき一つのプレ
ーヤを宣言し、ユーザが再生を停止或いは休止する度
に、全てのチャイルドプレーヤをそれに同期させる。
ロック図は、図1を参照して説明される。図1を参照す
ると、セッション始動モジュール101は、セッション
を記録する準備として種々の“ハウスキーピング”機能
を行なう。セッション始動モジュールは、好適には、種
々の記録構成要素に連結されるコンピュータに基づいた
システム上で実行されるソフトウェアとして具体化され
る。そのタスクの間で、セッション始動モジュールは、
セッション蓄積装置103が生成することができる一時
的データを蓄積するための十分な利用することができる
蓄積容量を有することを確かめなければならない。これ
は、記録されるセッションの長さ、及び、使用されるキ
ャプチャ装置の数/型に関する推定を行うことにより達
成される。キャプチャセッション始動モジュール101
は、各々のキャプチャ装置102a−cによって“記
録”の開始を同様に同期させる。各々のキャプチャ装置
は、同時に、或いは、異なった時間に記録を開始するこ
とができる。
ディアのタイムストリームを獲得し、或るインスタンス
においてはイベントを生成する。キャプチャ装置102
aは、タイムストリームとイベントデータ107を発生
させる。現時点での好適な実施態様においては、キャプ
チャ装置102aの例は、カリフォルニア州、サンホセ
のゼロックスカンパニー(Xerox Compan
y)のLiveWorks(商標)から入手可能な市販
の製品LiveBoard(商標)のような電子ホワイ
トボードである。相互作用が発生するに従って、Liv
eBoardから獲得されたタイムストリームデータ
は、非同期的に発生する。イベントも、所定の機能(例
えば、LiveBoardの上でページの変更)の呼び
出しによって同様に発生させられる場合がある。
ーム108を発生させる。そのような型のキャプチャ装
置においては、キャプチャ装置は絶えずタイムストリー
ムデータを獲得するモードにある。キャプチャ装置10
2bの典型的な例は、ビデオ及びオーディオのレコーダ
である。そのようなキャプチャ装置102bの別の例
は、ポインタである。ポインタキャプチャ装置は、ポイ
ンタ、例えば、投影されたスライド或いは他の視覚部材
の上で何かを指し示すために、プレゼンテーションの間
に典型的に使われるレーザーポインタの動きを獲得する
ものである。ポインタキャプチャ装置は、一般的に見ら
れる材料が前もって用意されているときに、正式のプレ
ゼンテーションのために特に有益である。ポインタタイ
ムストリームの再生は、このようにプレゼンテーション
の再生の間のポインタの動きを示す。
9を単に発生させる。キャプチャ装置102cの例は、
ボタンである。ボタンは、ボタンタイムストリームのイ
ベントの生成を、ボタンを操作するユーザと関連づける
装置である。ボタンイベントは、興味があるトピックの
開始、特に有益な対話、トピックの切り換わりのような
種々の活動を指し示すために、ユーザによって生成され
る場合がある。別の例は、スライドプロジェクタであ
る。スライドプロジェクタタイムストリームにおけるイ
ベントは、スライドの変更を指し示す。
は、デジタルフォーマットでタイムストリームを獲得す
る。タイムストリームの種々の部分への直接的且つラン
ダムなアクセスを容易にするため、デジタルフォーマッ
トでタイムストリームを蓄積することは望ましい。しか
しながら、アナログフォーマットでタイムストリームデ
ータを獲得して蓄積することは、本発明の範囲内であ
る。タイムストリームのフォーマットは、タイムストリ
ームを生成するために使用されるキャプチャ装置に対応
する。例えば、オーディオのタイムストリームは、或る
規則的な間隔で取られた一組のオーディオのサンプルか
ら成るが、一方、LiveBoardタイムストリーム
がタイムスタンプされたプリミティブな動作(以下より
の詳細に説明される)の履歴ファイルである。獲得され
たタイムストリームデータの管理は、どのような方法で
あるにせよ、それらが最も適切であると見做す方法で、
それらのデータを蓄積するために選択することができる
種々のメディアサーバによって行なわれる。
積装置103に蓄積される。セッション蓄積装置103
は、データの異なった型、すなわち、セッションデー
タ、イベントデータ、及び、タイムストリームデータに
ついて永久的な蓄積装置を提供する。セッション蓄積装
置103は、実際には、異なった物理的な蓄積装置に分
散され、タイムストリームアーキテクチャ(以下に述べ
る)の異なった構成要素によって管理される。
されているのは、一時的データアナライザ104であ
る。一時的データアナライザ104は、イベント110
を識別するために、一時的データ111を分析するため
に使われる処理手段(例えば、コンピュータに基づいた
システム)である。イベント情報は、セッション蓄積装
置103に同様に蓄積される。
ッションアクセスワークステーション105により達成
される。このアクセスは、ネットワーク(例えばクライ
アント−サーバアーキテクチャで)を介して、或いは、
直接接続とすることができる。アクセスセッション始動
モジュール109は、セッションを再生するために必要
な種々の“ハウスキーピング”機能を行う。アクセスセ
ッション始動モジュールの機能性は、典型的にはセッシ
ョンアクセスワークステーション105によって行なわ
れる。セッションアクセスワークステーション105
は、典型的にはコンピュータ制御型ディスプレイシステ
ムであり、そこでは、セッション再生に対する制御は、
ディスプレイ上に表示されたグラフィックユーザインタ
ーフェースにより達成される。そのようなグラフィック
ユーザインターフェースは、以下に述べられる。現時点
での好適な実施態様においては、セッションアクセスワ
ークステーションは、カリフォルニア州、マウンテンビ
ューのSUN Microsystems Inc.か
ら入手可能なX−Windowsグラフィックユーザイ
ンターフェースを備えたSun OS 4.1オペレー
ティングシステムが実行されるSUN SparcSt
ation−10である。
ョン105に連結されているのは、プレーヤ106、再
生制御装置107、及び、エディタ108である。種々
のプレーヤ、再生制御装置、及びエディタの各々は、セ
ッションアクセスワークステーションの中で統合され
る。そこで、電子ホワイトボードタイムストリームの再
生は、ワークステーションのディスプレイ上の第1のウ
ィンドウにより達成され、ビデオタイムストリームはワ
ークステーションのディスプレイ上の第2のウィンドウ
により達成され、オーディオタイムストリームは、ワー
クステーションのオーディオサブシステムにより達成さ
れる。しかしながら、プレーヤはセッションアクセスワ
ークステーションの中で統合される必要がなく、個別の
再生装置とすることができることは当業者にとって明白
だろう。更に、現時点での好適な実施態様においては、
単一のウィンドウが、プレーヤ、再生制御装置、及び、
エディタの機能を行なうことができる。現時点での好適
な実施態様におけるウィンドウの組織及びそれらに付随
する機能性は、図3を参照して以下に詳細に述べられ
る。
新しい一時的データ112は、セッション蓄積装置10
3に蓄積される。
要な機能は、各々のユーザが見ることができて、相互に
作用することができる“共有表現”を提供することであ
る。LiveBoardとそのオペレーティンングソフ
トウェアは、そのような“共有表現”が単一のLive
Board装置の上にある必要がないように設計される
ことに注意すべきである。実際の共同作業が異なった物
理的な位置で行われるように、多数のLiveBoar
dsがネットワーク経由で一緒に連結することができ
る。
たようなLiveBoardは、主にセッション記録へ
インデックスを生成するための手段であるようには意図
されていない。しかしながら、以下に一層詳細に議論さ
れるように、LiveBoardは、それを記録された
セッションの次の再生を制御するための有益なツールに
する独特の能力を有する。LiveBoardは、Ti
voliアプリケーションの制御の下で動作する。Ti
voliアプリケーションは、Pedersen、
E.、K.McCall、T.Moran、及び、F.
Halaszによる““Tivoli:An Elec
tronic Whiteboard for Inf
ormal Workgroup Meeting
s”,Proceedings of the lNT
ERCHI’93 Conferenceon Hum
an Factors in Computing S
ystems,pp.391−389,April 1
993に詳細に説明されている。
られている画像生成プログラムのクラスに似ているユー
ザインターフェースを有している。描画プログラムは、
グラフィックオブジェクトの収集物のような画像を生成
し操作する。Tivoli図面は、グラフィックオブジ
ェクトとして描かれる。グラフィックオブジェクトは、
以下のものを含む。 −ストローク:ペン入力装置により生成された“デジタ
ルインク”オブジェク。 −文字:キーボード経由で生成されるか、テキストファ
イルから持ち込まれた。 −画像/アイコンオブジェクト:持ち込まれた或いはコ
ピーされた。 −構造化オブジェクト:データベースから持ち込まれ
た。 −クロック:クロックジェスチャーと共に生成される。
クロックは、その生成時間を表す丸いアナログ時計文字
盤として現れるLiveBoardの上で生成される特
別なマークである。
な動作の履歴リストを維持する。例えば、オブジェクト
を付け加える、オブジェクトを削除する、オブジェクト
を生成する、オブジェクトを変える、オブジェクトを選
択する、または、ページを変える。履歴リストの全ての
プリミティブな動作は、タイムスタンプされてオブジェ
クトと関連付けられる。以下に詳細に述べられるよう
に、イベントを識別するために分析されるのがこの履歴
リストである。
オブジェクトは、ミーティングのコースの間に作られる
か、或いは、パーソナルコンピュータ上のワードプロセ
ッシングファイルを開ける操作に似た方法で、或るメモ
リ媒体(例えば、フロッピーディスク)からロードされ
るかのいずれかとすることができる。この後者のインス
タンスは、セッションが正式のプレゼンテーションであ
るときに、特に有益である。
面は、ジェスチャーの使用である。ジェスチャーは、例
えば他の任意の“インクストローク(inkstrok
e)”のように生成されるが、コマンド(例えば編集コ
マンド)として解釈されるLiveBoardとの相互
作用である。例えば、もし特定のオブジェクトが“削
除”されるべきであれば、オブジェクトはペンにより囲
むジェスチャーと、呼び出された削除コマンド(例え
ば、ピグテールジェスチャー)で選択される。削除が生
じた後、ジェスチャーによって引き起こされたマーキン
グは、もはやLiveBoardには現れないしかしな
がら、後で述べられるように、本発明においては、セッ
ションが再生されるとき、“ゴースト”画像が残る場合
がある)。
異なった型のデータ、すなわち、セッションデータ、イ
ベントデータ、及び、タイムストリームデータについて
の永久的な蓄積を提供するタイムストリームアーキテク
チャの機能構成要素である。セッション蓄積装置は、実
際には、異なった物理的な蓄積装置に分散され、タイム
ストリームアーキテクチャの異なった構成要素によって
管理される。セッション蓄積装置を、タイムストリーム
データベース(セッションとイベントデータ用)、及
び、バルクタイムストリーム蓄積装置(タイムストリー
ムデータ用)に分けることが最も実際的である。
ムストリームの実際のデータが蓄積され管理されるとこ
ろである。ビデオの場合には、これは、デジタル化され
て圧縮されデジタル化されたビデオフレームの長いかさ
ばったシーケンスから成る。タイムストリームアーキテ
クチャにおいては、タイムストリームデータの管理は、
どのような方法であれ、それらが最も適切であると見做
す方法でそれらのデータを蓄積するために選択すること
ができる種々のメディアサーバに任される。現時点での
好適な実施態様においては、大部分のメディアサーバ
は、それらのデータを通常のUnixファイルに蓄積す
るが、他の蓄積機構(例えばオーディオ/ビデオタイム
ストリームのアナログ蓄積のためのコンピュータ制御型
VCR)のためのメディアサーバも同様に実施された。
メディアサーバについては、断続した少容量データ(例
えば、ラップトップコンピュータによって作り出された
文のノート)を備えたタイムストリームのための最も便
宜的な機構とすることができる、そのタイムストリーム
データのためのタイムストリームデータベースを使うこ
とも可能である。
ョンとイベントデータ、すなわち、全ての情報をセッシ
ョンに組織化し、セッションの要素を記述するデータ、
を蓄積して検索するための蓄積場所である。タイムスト
リームデータベースは、ユーザが、所望のセッションを
位置決めし、どのタイムストリームがそのセッションに
関連付けられているのかを決定し、セッションとそのタ
イムストリームに連付けられているイベントを見つけ出
すことをサポートする。タイムストリームデータベース
は、セッションデータの閲覧をサポートするだけでな
く、セッションとイベントの選択的な検索を可能と質問
能力を有するデータベースであるべきである。セッショ
ンとイベント情報は、数ヶ月、数年にわたって持続しな
ければならず、したがって、不揮発性装置(通常はディ
スク)に蓄積されなければならない。タイムストリーム
アーキテクチャはオブジェクト志向であるので、オブジ
ェクト志向のデータベースが、タイムストリームデータ
ベースのための持続性があるオブジェクト蓄積装置とし
て適切である。現時点での好適な実施態様においては、
タイムストリームデータベースは、Unixファイルシ
ステム上で実施される。
トリームと所望のイベントによって獲得された情報に対
して特定のものである。オーディオの情報のタイムスト
リームの場合には、イベントの一つの有益な形態は、特
定の人がいつ話しているかを知ることである。従って、
1)異なった人がいつ話しているかを表すためにタイム
ストリームをセグメント化し、2)話している人に種々
のセグメントを割り当てて、オーディオストリームを分
析することが望ましい。したがって、これらのセグメン
トは、タイムストリームにおけるイベントを表現するこ
とになる。オーディオストリーム上でそのような分析を
行なうための技術は、両方とも本出願と同じ譲受人に譲
渡されている“Unsupervised Speak
er Clustering For Automat
ic Speaker Indexing Of Re
corded Audio Data”と題された、同
時継続中の出願番号08/226,525号、及び、
“SegmentationOf Audio Dat
a For Indexing Of Convers
atinal Speech For Real−Ti
me Or Postprocessing Appl
ications”と題された出願番号8/226,5
19号に説明されている。いずれの場合でも、いったん
そのような分析が行なわれると、オーディオのタイムス
トリームのためのイベントのリストは、それぞれがタイ
ムスタンプ、期間、及び、話者識別子を含む複数のデー
タ項目から成ることになる。
イムストリームの分析の場合には、イベントは、図面の
描画或いは言葉の書き込み、ページ変更、図面或いは言
葉の消去、既存のマーキングに対してなされた注記、或
いは、特定のコマンドのLiveBoardユーザイン
ターフェースへの入力とすることができる。上述したよ
うに、LiveBoardは、Tivoliアプリケー
ションの制御の下で動作する。Tivoliによって発
生させられたタイムストリームは、一時的な順序で記録
されたタイムスタンプされたプリミティブな動作の履歴
リストである。そのようなタイムストリームの分析は、
意味のあるイベントを識別するための、プリミティブな
動作のシーケンスを構文解析することを伴う。
は、オブジェクトと呼ばれる。各々のオブジェクトは、
それと関連づけられた一つ或いはそれ以上のイベントを
有する。本発明にとって、オブジェクトと関連している
全てのイベントが識別され、セッションの中へのインデ
ックスとしてユーザに提供されることが必要である。セ
ッションの中へのインデックスとしてユーザに確認さ
れ、提供されることが、必要である。従って、本発明に
おける一時的データ分析は、オブジェクト上の種々のイ
ベントを識別し、そのイベントを蓄積する。全てのオブ
ジェクトについて、オブジェクト生成イベントが存在す
る。オブジェクトは、オブジェクト変更イベントとオブ
ジェクト削除イベントを同様に有することができる。L
iveBoardタイムストリームの更なる局面は、L
iveBoardウィンドウに関して以下に議論され
る。
ッションアクセスワークステーションは、蓄積媒体上に
蓄積されるプログラムインストラクションの制御の下で
動作するコンピュータ制御型ディスプレイシステムであ
り、図2を参照して述べられる。図2を参照すると、コ
ンピュータに基づいたシステムは、バス201経由で連
結される複数の構成要素から成る。ここで説明されるバ
ス201は、本発明を不明瞭にしないために、単純化さ
れる。バス201は、(例えば、プロセッサーバス、ロ
ーカルバス、及び、I/Oバス)の階層構造と同様に、
複数のパラレルバス(例えば、アドレスバス、データバ
ス、及び、ステータスバス)から構成することができ
る。いずれの場合でも、コンピュータシステムは、内部
メモリー203(内部メモリー203は、典型的には、
ランダムアクセスメモリー或いはかリードオンリーメモ
リーの組み合わせであることに注意すべきである)から
バス201経由で提供されるインストラクションを実行
するためのプロセッサー202を更に含んでいる。動作
中に、本発明の種々の機能構成要素を実行するためのプ
ログラムインストラクションは、内部メモリー203に
蓄積される。プロセッサー202と内部メモリー203
は、個別の構成要素、或いは、用途特定集積回路(AS
IC)チップのような単一の集積装置とすることができ
る。プロセッサー202と内部メモリー203は、ここ
に述べられる種々の処理機能を行なうための電気回路か
ら成る。
ためのキーボード204、データを蓄積するための外部
蓄積装置205、カーソルを操作するためのカーソル制
御装置206、及び、視覚的出力を表示するためのディ
スプレイ207が連結される。キーボード204は、典
型的には標準のQWERTYキーボードであるが、同様
に、電話機のようなキーパッドにすることもできる。外
部蓄積装置205は、固定の或いはリムーバブルの磁気
或いは光学ディスク装置とすることができる。カーソル
制御装置206は、典型的には、或る機能の実行をプロ
グラムすることができるそれと関連したボタン或いはス
イッチを有する。更に、バス201へ、オーディオ出力
手段208が連結される。オーディオ出力手段208
は、典型的には、何らかのオーディオ信号発生手段(例
えば、デジタル・アナログ変換器)及びスピーカーから
成る。オーディオ出力手段208は、プレーヤとしても
動作することができる。最後に、バス201に連結され
るのが、ビデオ出力手段209である。ビデオ出力手段
は、典型的には、ビデオ信号をディスプレイ207に表
示できるようにするための市販の処理手段、例えば、ビ
デオボードである。
が、蓄積媒体に蓄積されたプログラムされたインストラ
クションに従って動作するコンピュータに基づいたシス
テム上で具体化されているが、本発明は、固定機能のタ
ーミナル或いはLiveBoardのような任意のコン
ピュータ制御型ディスプレイシステム上で実行すること
ができる。
は、上述したように、タイムストリームアーキテクチャ
を参照し、再生と制御のためのプログラムインストラク
ションを使って動作する。図3は、セッションアクセス
ワークステーションの基本的なローレベル動作を説明す
る単純化された状態図である。図3を参照すると、セッ
ションアクセスワークステーションは、セッションを再
生する依頼が受信されるとき、最初は、開始状態301
にある。次いで、セッション始動状態302に入る。セ
ッション始動状態302の間、再生されるべきセッショ
ンがユーザによって選択される。選択されたセッション
の一時的データは検索され、種々のプレーヤ、制御装
置、及び、エディタが同期化される。種々のプレーヤ
は、セッションアクセスワークステーションとして同じ
物理的な装置に統合することができる、或いは、それら
を分離した装置とすることもできることに注意すべきで
ある。次いで、種々のウィンドウ(すなわち、プレー
ヤ、再生制御装置、及び、エディタ)は、セッションア
クセスワークステーションに連結されたディスプレイに
表示される。この時点において、“作動”状態303と
名付けられた状態に入る。ここで述べられた作動状態3
03は、セッションアクセスワークステーションが相互
作用を行っており、セッションアクセスワークステーシ
ョンについてのユーザインタフェースの種々の機能を何
時でも呼び出すことができるという意図を伝えるために
使われる。いずれの場合でも、最初に“作動”状態30
3に入ったときに、セッションには、初めからセッショ
ンを再生するためのキューが与えられる。“作動”状態
303にある間は、ユーザ入力に応じて種々のプリミテ
ィブな機能が行なわれる。“再生”コマンド、または、
等価なグラフィックユーザインターフェース入力(例え
ば特定のアイコンの上でクリックすること)の呼び出し
は、セッションの開始を引き起こすことになる(ボック
ス304)。これにより、再生状態は“再生”にセット
される。“停止”コマンドの呼び出しは、セッションの
再生を停止させ、再生状態は“停止”にセットされる
(ボックス305)。特定のウィンドウにおける“ディ
スプレイ修正”コマンド或いは制御の呼び出しは、ウィ
ンドウを修正させる(ボックス306)。そのような修
正は、タイムラインインターフェースで表示されたトラ
ックを変えることができる。再生制御の呼び出しは、再
生点を変更させる(ボックス307)。これは、新しい
点でキューを与えてセッションの再生を引き起こす。編
集コマンドの呼び出しは、既存の一時的データへの修
正、或いは、新しい一時的データの生成のいずれかを引
き起こす(ボックス308)。種々の状態における動作
の開始により、作動状態303への復帰が生じる。
セスワークステーション上で特定の機能を達成するため
に、呼び出される場合があることに注意すべきである。
例えば、LiveBoardウィンドウのオブジェクト
を選択する動作は、“停止”に続いて“ディスプレイを
修正”を呼び出すことができる。
去”コマンドの呼び出しは、アクセスセッションを停止
させることになる(停止状態309)。
ションのスクリーンディスプレイを説明する。図4のス
クリーンディスプレイは、同時に開いている複数のウィ
ンドウを示す。ほとんどのグラフィックユーザインター
フェース指向のウィンドウに関しては、ウィンドウのサ
イズと配置はユーザの選択事項である。図4を参照する
と、同時に表示されているのは、LiveBoardウ
ィンドウ401、ビデオウィンドウ402、タイムライ
ンインターフェースウィンドウ403、ノートウィンド
ウ404−405、オーディオのウィンドウ406、マ
ルチメディア編集ウィンドウ407、及び、ミーティン
グプレーヤウィンドウ408である。LiveBoar
dウィンドウ401は、プレーヤ、再生制御装置とし
て、或いは、エディタとして動作することができる。プ
レーヤとして、それはLiveBoardタイムストリ
ームを再生するために使用される。制御装置として、そ
れは、そこに表示されたオブジェクトとの相互作用を通
してセッションの再生に対する制御を可能にする(以下
に詳細に述べる)。エディタとして、ユーザは、新しい
オブジェクトを生成するか、或いは、セッションの次の
再生で表示されるセッションに関する特定の注釈を作る
ことができる。
ムストリームを再生するために使用されるプレーヤであ
る。ノートウィンドウ404と405は、ミーティング
のコースの間のキャプチャ装置として使用可能なラップ
トップコンピュータ或いは同様な装置とすることができ
るノートを再生するために使用されるプレーヤである。
は、プレーヤと再生制御装置である。ミーティングプレ
ーヤウィンドウ408は、種々な他の一時的データのイ
ベントを使って、それが再生されるにつれてミーティン
グのダイナミックスのシミュレーションを提供する。再
生は、ミーティングプレーヤウィンドウ408に現れる
種々のアイコンとの相互作用により制御される。ミーテ
ィングプレーヤウィンドウは、以下に詳細に述べられ
る。
オのタイムストリームの再生、特にセッションのオーデ
ィオ再生のための話者の音量を制御するために使用され
る制御装置である。
ストリームとしてセッションに導入して戻すことができ
るノート、イベント、或いは、他の情報を生成するため
に使用されるエディタである。更に、マルチメディアエ
ディタ407は、見ためのセッションアクセスワークス
テーションを必要としないマルチメディア文書を生成す
るために使うことができる。
403は、再生制御装置である。タイムラインインター
フェースウィンドウ403は、イベントの一時的なもの
に基づいたビューを、それらがセッションの間に発生す
るに従って具体的に表現する。タイムラインインターフ
ェースウィンドウ403は、以下に詳細に述べられる。
ラインインターフェースは、タイムラインに沿ったイベ
ントの表現との相互作用により再生制御を提供する。イ
ベントは、固定期間、或いは、期間不定(生成時間だけ
が重要である)のいずれでもよい。セッション始動の
間、イベントデータはセッションアクセスワークステー
ションの中へロードされる。イベントデータは、タイム
ライン上で縮尺調整されたビジュアルインジケータを生
成するために使われる。これらのビジュアルインジケー
タは、再生をセッションの対応する時間に直接移動させ
るインデックス点として使用することができる。イベン
トデータをタイムライン表現に組織するための内部構造
がここで述べられる。
イベントデータを簡単な方法で制御させるために組織さ
れる。この組織は、型マップ、イベントメニュー、及
び、トラックマップにより定義される。全てのイベント
型は、Htypesと呼ばれる階層構造の名前を有す
る。例えば: Speaker/Adam LiveBoard/Edit/Move Button/Betty Note/Laptop/Charlie ユーザが定義した型マップは、そのようなHtypes
を生成するために使われる。型マップは、各々のイベン
トのパラメータを使用し、Htypeを作り出すルール
のセットである。次いで、Htypesのセットは、時
間トラックエリアのラベルエリア内でユーザに対して示
される簡単な階層構造のイベントメニューの中へ整えら
れる。全てのイベントは、トラック上でユーザに表示す
ることができる。レイアウトは、トラックマップにより
定義される。トラックマップは、各々が対応するトラッ
ク上に表現されるHtypesのリストを持つ複数のト
ラックのリストである。
pesについて生成される。ビジュアルインジケータ
は、どのようなグラフィックスタイルでもよいが、ビジ
ュアルインジケータの二つの概略のクラスが最も一般的
に使われる。第1のクラスは、セグメントと称される。
セグメントは、イベントが生じる期間に対応するため
に、タイムラインの上でサイズ調整され、縮尺調整され
た長方形のボックスとして表示される。第2のクラス
は、開始点と称される。これらは、左端がイベントが始
まった時間の点に垂直に位置し、右端がイベントに対応
する活動が無期限に続くことを表すために、右を“指
す”三角形として表示される。そのようなイベントにつ
いては、イベント(例えば、人がノートを取りはじめる
ことを示すイベント)の期間についての関心はない。種
々の動作は、ビジュアルインジケータに関して行うこと
ができる。ビジュアルインジケータの動作は、以下のも
のを含む。 −ビジュアルインジケータを生成する(所定の型又はデ
フォルトによる型)。 −ビジュアルインジケータを選択する。 −ビジュアルインジケータを選択から外す。 −異なったトラックへビジュアルインジケータを動かす
(時間は同じまま)。 −異なったトラックへビジュアルインジケータをコピー
する(時間は同じまま)。 −ビジュアルインジケータにより表現されたイベントに
関する一層多くの情報を見る。 −選択されたビジュアルインジケータのディスプレイパ
ラメータを編集する。 −ビジュアルインジケータ時間を編集する。 −ビジュアルインジケータ開始時間を調整する。 −ビジュアルインジケータ(セグメント)終了時間を調
整する。 −ビジュアルインジケータ時間位置を調整する。
的なエリアを説明する。図5を参照すると、タイムライ
ンウィンドウ501は、複数のディスプレイエリアから
成る。概観時間トラックエリア502は、セッションの
概観を提供するために使われ、焦点時間トラックエリア
503は、全体のセッションより少ないか等しい期間に
わたって一層詳細な情報を提供する。各々のトラックエ
リアの動作が、同じ型の一時的な情報を提供することが
できることは注意すべきである。違いは、情報が意図す
る詳細さ(すなわち、全体のセッション対セッションの
一部)のスケールである。
のはクロックエリア512であり、焦点時間トラック5
03内に定義されたのはクロックエリア513である。
対応する時間トラックエリアの時間スパンとスケールを
示すために、各々のクロックエリア512と513は、
クロック時間と印マークを現す。概観時間トラックエリ
ア502は、その中に、焦点トラック508と称される
特別なトラックを定義した。焦点トラック508の上に
あるのは、焦点セグメント509である。焦点セグメン
ト509は、焦点時間トラックエリア503に詳述され
るセッションの期間に対応する。更に、それぞれのトラ
ックエリアに関連するのは、ラベルエリアである。各々
のラベルエリアは、対応する時間トラックエリアで表示
される“トラック”を識別するためにのものである。ラ
ベルエリア504は概観時間トラックエリア502に対
応し、ラベルエリア505は焦点時間トラックエリア5
03に対応する。概観時間トラックエリア502と焦点
時間トラックエリア503の間の関係は、焦点エリア5
07で示される。この関係は、焦点セグメント509の
終わりから焦点時間トラックエリア503の終わりへ広
がるアーム510と511により、明白に目で見えるよ
うにされる。
506である。ボタンエリア506は、種々の再生制御
機能を呼び出すための“ソフト”ボタンを含む静的なエ
リアである。そのようなボタンは、カーソル制御装置を
使うことにより、ポイントしてクリックする方法で呼び
出される。ボタンの配置と機能は、例示的なものであ
り、特定の一般に使用される機能への簡単なアクセスを
提供することを意図している。
て戻させるために使用され、ボタン521は、再生を1
0秒スキップして先送りさせる。ボタングループ522
の方向を示す矢は、文脈に応じた移動或いはスクロール
のために用意される。ボタン523は、セッションの再
生を停止するために用意される。ボタン524は、セッ
ションの再生を始める。ボタン525は、選択されたト
ラック或いは選択されたトラックのセットの上の次のイ
ベントへスキップすることを可能とする。ボタン526
は、編集モードに入って、タイムラインインターフェー
ス、或いは、その上に表示されたビジュアルインジケー
タを修正するために用意される。ボタングループ527
は、文脈に応じた削除或いはコピー(例えば、ビジュア
ルインジケータをコピー或いは削除する)のために用意
される。ボタングループ528は、文脈に応じた拡張或
いは折り畳み(例えば、トラックのセットを単一のトラ
ックの中へ折り畳むか、または、折り畳まれたトラック
のセットを拡大する)のために用意される。ボタン52
9は、セッションメニューを表示するために使われる。
セッションメニューは、ユーザが、セッションのために
データをロードし、セッションをセーブし、或いは、セ
ッションを止めることを可能にする。
スプレイエリアに示されるセッションの一部は、概観時
間トラックエリアの焦点トラックの上に含まれる焦点セ
グメントにより示される。焦点時間トラックエリアにお
いて焦点のスパンを変えるために、焦点セグメントはユ
ーザによりサイズが修正される。これは、図6−7で説
明される。図6において、焦点セグメント601は、焦
点トラックエリア602に示されるセッションの一部を
示す。この関係を識別する他のビジュアルキューは、そ
れぞれのクロックエリア603と604に対する変化、
すなわち、時間トラックエリアについての印マークとそ
れぞれの開始及び終了時間のサイズ修正、及び、時間イ
ンジケータ605と606の相対位置決めを含む。同様
に、図6に示されるには、現在の再生時間を示す再生時
間インジケータ607である。
ーソル制御動作により達成される。現時点で好適な実施
態様においては、カーソルが焦点セグメントの右端の上
に位置している間にマウスのボタンが押されると、焦点
セグメントはカーソルの移動の方向に引き伸ばされる。
焦点セグメントの左側も、同じ方法で操作される。
たスパンを増加するために、右に引き伸ばされた焦点セ
グメント701の右側の結果の図である。この増加した
スパンは、クロックエリア702と703の変化により
も同様に反映される(印マークの縮尺修正と焦点時間ト
ラックエリアについての終了時間の変化)。
セッションの再生を制御するために、或いは、単一のセ
ッションの多数のスパンに焦点を合わせるために使用す
ることができる。図8は、二つのセッションのためのタ
イムラインインターフェースの図である。二つのセッシ
ョンは、一日中のミーティングの午前半分と午後半分を
表現するかもしれない。または、それらは、毎週のプロ
ジェクト検討ミーティングのような定期的に予定された
ミーティングの異なった出来事を表現するかもしれな
い。典型的には、二つのセッションは或る共通性を有す
る。図8を参照すると、タイムラインインターフェース
ウィンドウ801は、二つの概観時間トラックエリア8
02と803と、対応する焦点時間トラックエリア80
4と805から成る。焦点セグメント806は、概観時
間トラックエリア802に対応するセッションにおける
スパンと、焦点時間トラックエリア804におけるその
スパンについての詳細を示す。同様に、焦点セグメント
807は、概観時間トラックエリア803に対応するセ
ッションにおけるスパンと、焦点時間トラックエリア8
05におけるそのスパンについての詳細を示す。実際の
トラックは、それぞれの焦点時間トラックエリア804
と805で同一である必要はないことを示す。もしそれ
らが異なっていれば、分離ラベルエリアが必要とされ
る。ディスプレイエリアで非常に多くのスペースを使用
するので、これは望ましくない。
の詳細が焦点時間トラックエリアに表示される場合があ
ることを表す更なる図である。これは、多数の焦点セグ
メントを概観時間トラックエリアの焦点トラックの上に
表示させる。図9を参照すると、第1の焦点セグメント
901は、焦点時間トラックエリア内の対応するエリア
903に示された詳細を有する一方、第2の焦点セグメ
ント902は、焦点時間トラックエリア内の対応するエ
リア904を有する。そのようなディスプレイは、再生
する興味がない或るエリアが存在することが判っている
ときには望ましい(例えば、LiveBoard上の特
定のページに関する議論を検討したいだけということが
前もって判っている場合)。デフォルトにより、焦点時
間トラックエリアは、同じスケールの上で二つの焦点セ
グメントに均等に分けられる。しかしながら、図10で
説明したように、セッション期間に割り当てられた焦点
時間トラックディスプレイの一部を修正することができ
る。ここでは、図9のエリア904は、図10のエリア
1001へ増加され、図9のエリア903は図10のエ
リア1002へ減少させられた。サイズのこの増加は、
エリア904の左側を左に移動するドラッグ動作により
行うことができる。
置、すなわち、Liveboard、オーディオレコー
ダ、パーソナルコンピュータによる二つのユーザテーキ
ングノート、ビデオレコーダ、及び、各ユーザ毎のボタ
ン、から成るシステムについてのタイムラインインター
フェースディスプレイ上で変化を示す。勿論、キャプチ
ャ装置の他の組み合わせが利用される場合があり、ま
た、幾つかのキャプチャ装置からのイベントは省略さ
れ、これにより、異なったタイムラインインターフェー
スディスプレイとなる。この例についてのセッション参
加者は、アダム、ベティ、及び、チャーリーと名付けら
れる。
リアの1101は、全体のセッションについての情報を
表示し、全体のセッションを示す焦点セグメントを有す
る。このようにして、焦点時間トラックエリア1102
は、全体のセッションの詳細を表示する。再生インジケ
ータ1113と1114は、それらのそれぞれの期間の
中の現在の再生位置を示す。
あるのが、セッション識別子1103である。セッショ
ン識別子は、再生されるセッションを識別する。
している情報が提供され、従って、全体のセッション
は、セッション開始時間1104とセッション終了時間
1105を含む。セッション開始時間1104とセッシ
ョン終了時間1105の各々は、セッションが起きた日
の実際の時間を示すことができ、或いは、0:0:0に
対する相対時間である(図11で説明したように)。
ている情報は、スパン開始時間1106とスパン終了時
間1107を含む。スパン開始時間1134とスパン終
了時間1135の各々は、特定のスパンの日の実際の時
間によるか、または、セッション開始時間0に対するも
のである。
ラックが何を表すかの情報を提供するためのトラックラ
ベルセクション1111を含む。トラック1117と1
118は、LiveBoard上で行なわれた編集イベ
ントを表す。トラック1118は、LiveBoard
ウィンドウで行なわれる選択動作に応じて発生するもの
であり、以下に詳細に述べられる。トラック1117
は、LiveBoard上のオブジェクトで行なった種
々の編集動作を表す。トラック1117において、各々
の編集動作は独特にカラーコード化されたビジュアルイ
ンジケータを有する。そこで、赤色はオブジェクトの削
除を表し、緑色はオブジェクトの付加を表し、青色はオ
ブジェクトの移動を表す。
オのイベントを示す。トラック1119は、“アダム”
が話しているセグメントを示し、トラック1120は
“ベティ”が話しているセグメントを示し、トラック1
121は“チャーリー”が話しているセグメントを示
す。参加者が話しているとき、セグメントの各々のビジ
ュアルインジケータは、視覚的に区別される(典型的に
は、色かテクスチャにより)。
ングの参加者であるアダムとチャーリーにより取られた
ノートの開始点を示す。ノートは、キャプチャ装置とし
て動作しているパーソナルコンピュータ、または、他の
テキスト生成装置で取られた。
ベントのインスタンスを示す。各々のミーティング参加
者は、参加者が何か重要なものが議論されていると感じ
るときに押すことができるボタンを持っている。再び、
ビジュアルインジケータは、ボタンを押圧した人を識別
するために、カラーコード化される。そこで、例えば、
青はベティが彼女のボタンを押圧したことを表し、緑は
チャーリーが彼のボタンを押圧したことを表す。
ームに関するイベントのインスタンスを示す。そのよう
なイベントは、人が話すために立ち上がること、或い
は、ホワイトボードに関しての何らかの型の身振りをす
ることを含むことができる。そのようなイベントは、ビ
デオタイムストリームの分析により識別される。
は、LiveBoardウィンドウ内の選択相互作用の
結果として自動的に発生させられる。選択相互作用は、
LiveBoard上に表示される種々のオブジェクト
(例えば、言葉或いは図)が選択されるところである。
次いで、選択されたオブジェクトに関するイベントは、
タイムラインウィンドウ上に表示される。同様に、選択
が空間的エリアに関して生じるかもしれないことは、注
意すべきである。そのような選択においては、エリアが
選択され、選択されたエリアに配置されたオブジェクト
についてのイベントは、タイムラインの上に表示され
る。これは、特にマーキングがLiveBoardから
消されたセッションの一部の再生するために有用である
(例えば、再生のプロセスの間、スキップが行われ、オ
ブジェクトが消されたことに気付くか、または、それが
別のオブジェクトと取り替えられた。)。図11に戻っ
て参照すると、種々の選択イベントが説明される。再
び、好適には、ビジュアルインジケータは、イベントの
型を示すためにカラーコード化される。生成イベント1
127は、オブジェクトが生成された時間の点を示し、
移動イベント1128は、オブジェクトがLiveBo
ard上で動かされた時間の点を示し、カラー変化イベ
ント1129は、オブジェクトカラーが変えられたこと
を示し、削除イベント1130は、オブジェクトが削除
されたことを示す。
ザが修正可能である。トラックは、併合し、付加し、隠
蔽し、或いは、移動することができる。時間トラックエ
リアの内容を修正するために、動作は対応するラベルセ
クションの中で行なわれる。例えば、図11を参照する
と、オーディオトラック1119−1121は、選択さ
れ、併合される場合がある。そのような併合されたトラ
ックの結果は、図12で説明され、そこでは併合された
トラック1201が生成されている。トラックの選択
は、カーソル制御装置を操作して、カーソル制御装置に
関連したスイッチをスイッチを押圧し、カーソルをトラ
ックのラベルを通過するように移動させることにより、
達成することができる。ラベルの選択の指示は、逆のビ
デオモードで選択されたラベルを表すような、或る視覚
的な刺激により達成される。選択されたラベルの識別
は、スイッチを離すことにより達成される。この時点
で、種々のトラック動作オプションが表示される。次い
で、ユーザは所望の動作(この場合は、併合動作)を選
択する。しかし、これはトラックディスプレイ動作を実
行することができる一つの方法である。他の技術は、プ
ルダウンメニューにより、或いは、コマンドラインから
入力されたコマンドにより呼び出すことができる。 −トラックの動作は、以下のものを含む −トラックを選択する −トラックを選択から外す −トラックを生成する(所定のHtypes) −選択されたトラックを再配置する −選択されたトラックを削除する −選択されたトラックを(一つのトラックの中へ)折り
畳む −選択されたトラックを(そのHtypesに基づいて
トラックのシーケンスの中へ)拡張する −選択されたトラックのディスプレイパラメータを編集
する −トラックラベルを編集する
イントとクリック動作は、異なった事を生じさせる。各
々の場合において、タイムストリームの次の再生は、ビ
ジュアルインジケータの始まりに対応する時間にセット
される。ノート(Notes)の場合には、ノート内の
テキストを含むウィンドウが開けられる。そのような動
作の発生は、図13で説明される。図13を参照する
と、ビジュアルインジケータ1301がポイントされ、
カーソル制御装置上のスイッチがクリックされた。これ
は、ミーティングの間に生成されたテキストを含んだテ
キストウィンドウ1302を開けさせる(ここでは、テ
キスト“ベティにより有用な指摘がなされた。上司との
ミーティングにおいてこの議論を使う必要あり。”)。
テキストウィンドウは、時間トラックディスプレイエリ
アの外の異なった位置で同様に現れる場合があることに
注意すべきである。
示することができ、または、連続したデータの長いスト
リングを示すために他の視覚化技術と組み合わせて使う
ことができることに注意すべきである。
的データの、それが生成されたときと全く同じ形態で再
生されることに限定されるものではない。そのようなプ
レーヤの例は、ミーティングプレーヤである。ミーティ
ングプレーヤは、種々のミーティングダイナミックスを
目に見えるように表現するために使われる。これは例え
ば人が再生される声を認識することができないが、話者
を識別したいときに有用である。本発明のミーティング
プレーヤは、ミーティングの間に発生する活動をシミュ
レートする。図14は、ミーティングプレーヤを表示す
るウィンドウ1400を説明する。図14を参照する
と、ミーティングは、各々が、ミーティング参加者を表
現するビジュアルインジケータ1401−1403を含
み、ビジュアルインジケータ1404と1405はノー
トテーキング装置(例えばラップトップコンピュータ)
を表現し、ビジュアルインジケータ1406−1408
は“ボタン”を表現する。再生の間、生じている現在の
イベントを表現するアイコンはハイライトされる。ここ
では、アイコン1401により表現された話者が話して
いるので、アイコン1401がハイライトされる。同様
に、だれかがボタンを押したときに、対応するボタンア
イコンはハイライトされて表示される。
像を含ませることは可能であることに注意すべきであ
る。各々の関連づけられたアイコンが、タイムライン上
の対応するトラックと同じ視覚的特徴を維持できること
も同様に望ましい。そこで、もし、話者アイコン140
1、ボタンアイコン1406、及び、コンピュータアイ
コン1404が、青の視覚的特徴を有するアダムと関連
していれば、これらのアイコンは青となる。しかしなが
ら、表示可能な色或いは他の要因の制限のために、これ
が不可能である状況もあり得ることが認められる。
表示されているのが、LiveBoardページとタイ
トルインジケータ1410とクロック1411である。
ページとタイトルインジケータ1410は、再生のこの
瞬間にLiveBoardの上で現在見られている“ペ
ージ”を示す。クロック1411は、再生時間を示す。
テーブル1409は、セッションがミーティングを表現
するという事実に関して、ビジュアルキューを提供する
ために同様に表示される。
話者に変えるために使う事もできる。これは、ユーザが
特定の話者によりミーティングを容易に横切ることを可
能にする。異なった話者への切り替えは、所望の話者の
アイコンに対して“ポイントしてクリックする”動作に
より達成される。これは、選択された話者に関して時間
的に次の点へ再生をジャンプさせることになる。更に、
この動作はあらゆるアイコンに対して作用し、そこで
は、選択されたアイコンと関連づけられたイベントの次
のインスタンスへのジャンプが行われる(例えば、ペー
ジとタイトルインジケータ1410は、LiveBoa
rdの次のページの始まりに再生をスキップするため
に、“ポイントしてクリックする”動作が行われ
る。)。このように、この例のミーティングプレーヤ
は、セッションの再生を制御するために更に動作する。
できる種々の他のイベントを示すように設計される場合
がある。例えば、笑い或いは拍手がいつ生じているかを
表すために、または、笑い或いは拍手の次の一時的な出
来事へスキップするために、“笑い”アイコン1412
或いは“拍手かっさい”アイコン1413を提供するこ
とができる。更に、好適な実施態様は、ミーティングを
表現するために使われるが、同様の方法で、他の型の活
動、例えば、プレゼンテーションを表現することができ
る。
rdウィンドウは、LiveBoardタイムストリー
ム、再生制御装置、及び、エディタのプレーヤとして同
時に動作する。LiveBoardウィンドウは、前述
のTivoliソフトウェアに基づく。LiveBoa
rdウィンドウは、異なった再生モードで動作する。す
なわち、過去の状態の正確な外観を再構築するアニメー
テッドモード、カーソルがマーキング/編集が起きてい
るエリアをポイントする“バウンシング−ボール”モー
ド、及び、“ナル(null)”モードである。アニメ
ーテッドモードにおいては、LiveBoardウィン
ドウは、記録された順序でで、LiveBoardタイ
ムストリーム(すなわちタイムスタンプされた履歴リス
ト)を再生する。“バウンシング−ボール”モードにお
いては、セッションの終わり(またはページの終了状
態)におけるLiveBoardの状態が表示され、オ
ブジェクトに関係したイベントが起き、オブジェクトが
ハイライトされ、カーソルによりポイントされる。“バ
ウンシング−ボール”モードにおいては、カーソルの形
はイベント(例えば、オブジェクトを生成するためのペ
ン、オブジェクトを動かすための手、オブジェクトを削
除するための消しゴム)の型を示すために変化する。
“ナル”モードにおいては、セッション(またはページ
の終了状態)の終りにおけるLiveBoardの終了
状態が表示される。ナルモードは、LiveBoard
ウィンドウの更新が望ましくないときに使用される(例
えば、それはユーザを当惑させる)。
呼ばれる追加の特徴は、それが削除される後でも、ディ
スプレイ上にオブジェクトのかすかなバージョン(その
ゴースト)を残す。この特徴は、ユーザによりオン・オ
フすることができる。ゴーストオブジェクトは、セッシ
ョンの中へのインデックスとして使うことができる。
ールモードは、各々特定の時間に生じるイベントの型を
示す。バウンシングボールモードにおいては、カーソル
はイベントの型を知らせるが、フルアニメーションモー
ドにおいては、アニメーションが、それがどのようにア
ニメートされたかによりイベントの型を示す。
ェクトとの相互作用により生じる。簡単な例として、ユ
ーザはオブジェクトを選択して、LiveBoard上
で再生コマンドを直接呼び出すことができる(例えば、
LiveBoard上に書かれた時間)。他の再生制御
の特徴は、以下に述べられる。
ることができるので、LiveBoardウィンドウ
は、エディタとして動作することができる。そこで、ユ
ーザは、表示されたオブジェクトのそれら自身の操作を
行なうことができ、或いは、図面を付加することができ
る。そのような操作は、それら自身のタイムストリーム
を発生させることになる。
ヤと再生制御装置の両方として動作することは重要であ
る。既知のノートテーキングシステムとは反対に、Li
veBoardウィンドウは、ノートテーキング媒体の
終了状態には厳密には基づかない再生制御手段を提供す
る。ユーザは、再生の間のあらゆる点でLiveBoa
rdと相互に作用することができる。そこで、例えば、
ユーザはセッションを再生して、セッションの先方の点
にスキップし(例えばクロック上のポイント及びクリッ
ク動作により)、言葉がLiveBoardから消され
たことに気付くことができる。これは、言葉の削除に関
連している再生の一部を詳細に検討するためにユーザを
トリガーすることができる。
veBoardウィンドウを説明する。図15を参照す
ると、LiveBoardウィンドウ1501は、セッ
ションアクセスワークステーション上で実行されTiv
oliアプリケーションのためのユーザインターフェー
スのインスタンスである。LiveBoardウィンド
ウは、両側が、オブジェクトエリア1503に境を接す
る制御エリア1502から成る。制御エリア1502の
種々の制御は、LiveBoardウィンドウ1501
でアクティブである。アクティブで選択可能なオブジェ
クトは、オブジェクトエリア1503に表示されたマー
キングである。同様に、再生ツール1504が説明され
る。再生ツール1504は、選択されたオブジェクトに
関連がある点において、再生を始めるために使われる。
トを選択して最も早い点を聞くためのLiveBoar
dとの相互作用の例が可能である。上述したように、履
歴リストは実行されたプリミティブ動作のリストであ
り、各々のプリミティブ動作はタイムスタンプされ、オ
ブジェクトと関連づけられる。オブジェクトは、典型的
には、空間的に定義され、機能として実行された。例え
ば、点X1,Y1からX2,Y2へ線を引く。そこで、
オブジェクトの選択がされるとき、空間的な位置を見
て、その位置のオブジェクトを見つけ出し、オブジェク
トに関連したプリミティブオブジェクトを見つけ出し、
次いで、もっとも顕著なイベントの時間を選ぶことは簡
単なことである。一般的な場合には、もっとも顕著なイ
ベントは“生成”イベントである。しかしながら、他の
時間がユーザに興味を起こさせるかもしれないので、ユ
ーザがもっとも顕著なイベント(以下に説明される)を
選択できる選択動作が提供される。
概して二つの型、すなわち、単調と非単調に分類するこ
とができる。単調タイムストリームは、主に“生成”イ
ベントを有する。起こる唯一の事は、新しいオブジェク
トが生成される(移動、変更、消去はない)ことであ
る。単調タイムストリームにおいては、圧倒的な大多数
のオブジェクトは、それ(その生成イベント)と関連し
たたった一つのイベントを有する。
移動、及び、削除イベントから成る。このように、各々
のオブジェクトは、それに関連した一つ以上のイベント
を有することができる。オブジェクトの位置が変化する
変化(すなわち、移動)と、そうではない変化を区別す
ることは有用である。もしタイムストリームが、どのよ
うな位置変化イベントも有していなければ、各々のオブ
ジェクトはディスプレイの上で唯一の位置を有する。も
し移動イベントがあれば、オブジェクトはセッションの
間、多数の位置を占めるかもしれない。最後に、もしタ
イムストリームが削除イベントを有すれば、オブジェク
トはセッションの間に、或る時間で消えるかもしれな
い。
ドアローンの、或いは、タイムラインインターフェース
と相関した再生制御装置として使用することができる。
タイムラインインターフェースとの相関は、以下に述べ
られる。スタンドアローンモードにおいては、単調タイ
ムストリームについて、オブジェクトの選択及び再生ツ
ール(playtool)の呼び出しは、オブジェクト
についての“生成”イベントの時間における再生を引き
起こすことになる(なぜなら、これはオブジェクトと関
連している唯一のイベントであるからである)。
は、問題は選択されたオブジェクトの再生時間を開始す
るために、何の“イベント”を使うかである。ユーザが
再生ツールでオブジェクトをポイントすると、システム
は、オブジェクトと関連したもっとも早いイベントの時
期のセッションを再生する。しかしながら、オブジェク
トについての他の時間が重要かもしれない。例えば、オ
ブジェクトが移動された時間が重要かもしれない。オブ
ジェクトについて他のイベント時間にアクセスする別の
方法がある。例えば、オブジェクトと関連した全てのイ
ベントを表にしたイベントメニューが提供される。ユー
ザは、単に所望のイベントを選択する、再生はイベント
と関連した時間で始まる。
トに関連した次のイベントにスキップする次イベント再
生ボタンを使うことである。タイムライン相関性を使う
更に別の技術が以下に述べられる。
boardウィンドウ内のクロックの観念は、上述され
た。クロックは、Liveboardウィンドウで何時
活動が起きたかの一時的な参照を提供するので、セッシ
ョンの再生の際に有用である。クロックがクロックジェ
スチャーにより生成されたグラフィックオブジェクトで
あることを思い出すべきである。クロックは、全てのグ
ラフィックアートオブジェクトと同じやり方で操作して
編集することができる。しかし、クロックオブジェクト
は特別であり、それは、それ自身の自分の“内部”時間
を表現するそのデータ構造に、特別な特性を含む。再生
ツールがクロックに触れると、再生点は、クロックの内
部時間にセットされ、クロックと関連した幾つかのイベ
ントの時間(例えばその生成時間)へセットされない。
従って、クロックはそれ自身の履歴から独立した時間と
して取り扱うために使用することができる。デフォルト
により、クロックの内部時間は、クロックの生成動作と
同じ時間である。しかし、そうである必要はなく、これ
は種々の有用な機能を導く。
る。現時点で好適な実施態様においては、クロック上で
編集ジェスチャー(現在、ポイントして保持している)
が行われると、ユーザがクロックの内部時間を変えるこ
とができるメニューがポップアップする。これらの変化
は、相対的(例えば、内部時間をN秒だけ前方或いは後
方へ移動する)、或いは、絶対的(すなわち、内部時間
を特定の時間Tに移動する)のいずれかとすることがで
きる。前者は、インデックスを付けるためにクロックの
内部時間僅かに調整するときに一層正確であるので、も
っとも有用である。
る問題は取り上げられて議論される。LiveBoar
dのユーザは、クロックを生成して、ノートを書くこと
により、この討論にインデックスを付けることができ
る。しかし、通常、討論が始まってからある程度後に、
クロックは生成される。従って、討論の開始に一層正確
にインデックスを付けるために、その時間を僅かに逆方
向に調整するために、クロックを編集することができ
る。この編集は、ミーティングの間、或いは、後でアク
セスセッションへの間にすることができる。後者は、セ
ッティングが正確かどうかを判別するために、現在のク
ロックセッティングからミーティングを再生するのに便
利であるので、もっとも有用である。現在の実施におい
ては、編集が行われた後に再生を開始させて、ユーザに
時間セッティングの妥当性をユーザに即時にフィードバ
ックすることにより、ユーザに利便を計っている。
(以下、エディタとしてLiveBoardウィンドウ
を参照)経由でクロックを付加することによりアクセス
セッションの間に、クロックを生成することができる。
しかし、この状況においては、クロックの内部時間は、
再生ツールの現在の再生点にセットされるものであり、
アクセスセッションにおける(全く有用ではない)その
生成時間にではない。例えば、一層早いミーティングを
アクセスするユーザを考える。彼は、ミーティングのオ
ーディオを聞き、ミーティングの間にインデックスを付
けられなかった重要なアイディアを聞く。そこで、再生
のこの点で、彼はクロックを生成し、次いでその隣にノ
ートをタイプする。このクロックは、ミーティングへの
新しいインデックスである。従って、オリジナルのミー
ティングにおける時間を保持するオブジェクトを生成す
ることができるようにすることにより、インデックス付
加の質と量を、アクセス時間において強化することがで
きる。
見ることは、しばしば望ましい。例えば、ユーザは、オ
ブジェクトの変更或いは削除の有無及び時期を知ること
を望むかもしれない。上述したように、LiveBoa
rdで選択したオブジェクトに関連した全てのイベント
は、タイムラインインターフェースの選択トラックの上
に表示される。これは、LiveBoardとタイムラ
インインターフェースの間の相関性により、ユーザが特
定した関連があるセッションの中へのインデックスを表
示するための手段を提供する。
用による相互関係の他の特徴は、図16−図20に関し
て述べられる以下のシナリオで説明される。LiveB
oardウィンドウとタイムラインインターフェースの
表現は、単純化されていることに注意すべきである。特
に、LiveBoardウィンドウ上の制御エリアと、
タイムラインインターフェースの概観時間トラックエリ
アは、図には示されていない。
oardウィンドウ1601で言葉を見て、この言葉が
書かれた時の会話の再生することを欲する。ユーザは、
適当な選択技術(ここでは、ペン/マウスを使用して言
葉を円で囲むジェスチャーにより))を利用して、言葉
1602の“冗長”を選択する。次いで、タイムライン
インターフェース1603は、選択された言葉と関連し
ている全てのイベントを示すために、選択トラック上で
更新される。ここでは、ビジュアルインジケータ160
4は、選択トラック1605に表示される。ビジュアル
インジケータ1604は、言葉を書き込むイベントを表
現する。この例では、他のイベントは、言葉“冗長”と
関連づけられない
603で説明されているのは、再生時間インジケータ1
606である。そこで、今度は、再生は言葉“冗長”が
書かれた“後”の点であることに注意すべきである。
とタイムラインインターフェースの間の同期を説明す
る。ユーザは、タイムラインインターフェース1702
内の再生時間インジケータ1703をビジュアルインジ
ケータ1604の直前に移動する。次いで、LiveB
oardウィンドウ1701は、ちょうどその時にLi
veBoardの上にあったものを表示するために、更
新される。特に、図16と比較された時、言葉“冗長”
はLiveBoardウィンドウに現れないことに注意
すべきである。
Boardウィンドウとタイムラインインターフェース
の両方は、同期して更新される。しばらくして、言葉
“冗長”は、LiveBoardに現れる。
ベントの直前に、タイムラインの上にいくつかのイベン
トがあったことに気がつく。ユーザは、タイムラインの
上のこれらのイベントを表現するビジュアルインジケー
タを選択し、すぐに、図面の対応している要素はLiv
eBoardウィンドウでハイライトされる。すなわ
ち、図面とタイムラインの相互関係は双方向性である。
インジケータ1804は、タイムラインインターフェー
ス1803から選択される。LiveBoardウィン
ドウ1801において、言葉“ルーター(route
r)”1802はハイライトされる(ここでは点線の円
で示した)。従って、ビジュアルインジケータ1804
に対応するイベントは、言葉“ルーター”と関連づけら
れる。
ンドウの図の上で太いボックスを見る。そして、ボック
スを選択する。三つのビジュアルインジケータは、タイ
ムラインインターフェース(または、三つのビジュアル
インジケータは、編集トラック上でハイライトすること
ができる)の選択トラック上に表示される。第1の型の
ビジュアルインジケータは、ボックスのための生成イベ
ントを示し、第2の型のビジュアルインジケータは、ボ
ックスが太くされた時にライン幅変更イベントを示し、
第3の型のビジュアルインジケータは、図面上のボック
スの移動のイベントを示す。上記されたように、タイム
ラインインターフェースの上のビジュアルインジケータ
は、それらが表現するイベントの種類を示すために視覚
的に区別される。ユーザは、ボックスが太い理由に興味
があり、時間マーカーをライン幅変更イベントへ移動
し、再生ツールを使って再生を呼び出す。
902は、LiveBoardウィンドウ1901でハ
イライトされる。ビジュアルインジケータ1904−1
906は、タイムラインインターフェース1903でハ
イライトされる。上述したように、これらのビジュアル
インジケータの各々は、オブジェクトと関連したイベン
トの特定の型を表現する。更に、現時点で好適な実施態
様においては、各々のビジュアルインジケータは、イベ
ントの型へ対応する或る視覚的な特性、典型的には色を
有する。
ジュアルインジケータ1904を選択する。
図を考える。この図は、ミーティングの間に、何度も描
かれ、消され、描き直されたものであり、ユーザは、以
前のバージョンが正しいと思われなかった理由を聞きた
い。ユーザは、図が位置している図面のエリアを選択す
る。ここで、タイムラインの幾つかのセクションがハイ
ライトされ、削除或いは移動されたオブジェクトを含
む、図のそのエリアにあった全てのオブジェクトについ
てのイベントが明らかになる。ユーザは、時間マーカー
を、第1のハイライトされた削除のビジュアルインジケ
ータに移動し、なぜ第1のバージョンが変更されたかの
議論を見つける。
は、なったビジュアルキューは、ゴーストオブジェクト
である。ゴーストオブジェクトは、セッションの間の或
る時間の点において、オブジェクトがこの特定の位置に
存在したことを示すために使用されるオブジェクトのか
すかな輪郭である。ユーザは、種々のオブジェクトゴー
ストに気がつくことができ、そこに何が有ったのか、或
いは、有ることになるのかを知ることを欲する(例え
ば、セッションの終わりにおいて項目が消されたことが
ゴーストオブジェクトにより明らかになる項目のリス
ト)。
照すると、ユーザは、LiveBoardウィンドウ2
001の図のエリア2002を選択した。簡単に図16
を参照すると、エリア2001は、言葉のリスト、“付
加”、“ルーター”、及び、“冗長”を含むエリアに対
応する。タイムラインインターフェース2003は、こ
こでハイライトされた多数のビジュアルインジケータ2
004−2006を有する。これらは、エリア2002
と関連したイベントに対応するイベント、すなわち、言
葉“付加”、“ルーター”、及び、“冗長”に関連する
イベントに関係する。これは、単に空間的な相関である
こと、すなわち、リストから消された言葉を表現するイ
ベントも同様にハイライトされたことに注意すべきであ
る。更に、図20に説明されているのは、“ゴースト”
オブジェクト2007である。再生のこの点で、“ゴー
スト”オブジェクト2007により示された位置のオブ
ジェクトは2007は消された。
実の後にタイムストリームとイベントデータを付加する
ことを許す。LiveBoardウィンドウがエディタ
としていつ使われるか、何が編集されるかは、Live
Board(または、付加された新しいマーキング)の
上のマーキングである。この場合には、LiveBoa
rdタイムストリームへの付加及び/又は削除は、その
ような編集の結果として行われる。また、別のタイムス
トリームを生成することもできる。
oardウィンドウは、非参加者が記録されたセッショ
ンを効率的に検討することができる非常に有効な手段を
提供する。これは、部分的には、LiveBoardの
全ての基本的な能力がセッションの再生の間利用するこ
とができるからである。これは、編集セッションの前後
の両方のセッションの終わりにおけるLiveBoar
dウィンドウを示す図21と図22に関して、もっとも
よく述べられる。この例のLiveBoardは、バウ
ンシングボール再生モードで動作している。
キングがLiveBoardウィンドウ2101に現れ
ている。上述したように、各々のこれらの手書きのマー
キングは、セッションの中へインデックスを付けるため
に使うことができる。しかしながら、或るミーティング
の間、マーキングのいくつかは無関係(例えば、マーク
2102)であったり、判読し難い(例えば、マーク2
103)場合がある。更に、議論された重要な点がある
がLiveBoardに対してはなにも成されていない
ような場合もある。
のLiveBoardウィンドウを説明する。図22を
参照すると、編集されたLiveBoardウィンドウ
2201は、エディタにより成された注記に適応させる
ために拡張された。編集されたLiveBoardウィ
ンドウ2201はクロックを使用してテキストを挿入
し、一層多くのインデックスと情報を提供する。図22
において、何がその点で議論されているかを表すため
に、テキストは各々のクロックと関連づけられた。そこ
で、例えば、テキスト2203は、マーク2103が何
を意味するかを表すために使うことができる。クロック
/テキスト2202は、マーキングの収集が何を表す
か、そして、何時マーキングの生成が始まったかを表
す。明らかに、編集されたLiveBoardウィンド
ウは、次の視聴者が再生制御装置としてLiveBoa
rdウィンドウを一層効果的に使うことを可能にする。
ンドウの上に存在するマーキングを変えることができ
る。これは、例えば、ウィンドウの次の視聴者の注意が
そらされないように、無関係なマーキング、例えば、図
21のマーキング2102を消すために行うことができ
る。
面は、獲得されたタイムストリームに対する制御であ
る。ユーザは、獲得されたタイムストリーム、特に、オ
ーディオとビデオのように“文字通り”の記録であるタ
イムストリームに非常に関心がある。彼らは、彼らの活
動及び会話の文字通りの記録に誰がアクセスしたかに関
心がある。彼らは、彼らが何時記録されたを知ることに
関心があり、彼らはこれに対する制御を望む。他方で
は、興味はあるが記録されなかった議論の後で、ユーザ
はし彼らがそれを記録していたらとばしば望む。
クチャでサポートされる。しかしながら、実施は、セッ
ションのキャプチャの間とその後の両方で、ユーザに制
御を効果的に与えるためのユーザインターフェースツー
ルを必要とする。
御イベント”の特別な取扱いの提供する。制御イベント
は、以下のものを指定する −時間スパン(時間と期間を開始させる) −制御すべきタイムストリーム −制御の種類(保護のパージレベル) −制御が有効になるとき
リームを有することができるとすると、制御イベントは
それらを選択的に制御することができる。例えば、議論
の微妙なスパンの間のオーディオだけを制御することが
有用である。制御イベントは、セッションの全てのタイ
ムストリームを特定することもできる。
資料を、データベースから物理的にパージすることがで
きる。記録された資料を聞くか見ることへのアクセス
は、拒否したり、特定のユーザ或いはユーザのグループ
に与えることができる。アクセスは、読むことのみが可
能なアクセス、新しい資料をアペンドすることが可能な
アクセス、資料を完全に編集することが可能なアクセ
ス、或いは、アクセス制御を変更することが可能なアク
セスのような、異なった型とすることができる。例え
ば、制御イベントは、ミーティングの議長だけがミーテ
ィング記録を編集することができ、グループのマネージ
ャーだけがアクセス制御を変えることができ、ミーティ
ングの参加者だけが新しい資料を獲得された資料にアペ
ンドすることができ、特定の組の他の個人のみが獲得さ
れたオーディオを聞くことができきるように特定するこ
とができる。
ができる。これは、パージするためにもっとも有用であ
る。獲得された記録は、明細を記すと直ちに(例えば、
総員の議論を消すために)、セッションの直後に(例え
ば、興味をそそらないミーティングを消すために)、或
いは、何日か何ヵ月後に(例えば、文書整理と保管管理
のために)のように、異なった時間にパージすることが
できる。しかし、非参加者に対してはミーティング記録
へのアクセスを1週間拒否して、議長に記録を編集する
という時間を与えるように指定することもできる。
イベントが種々の制御を指定するのを可能にするが、ア
ーキテクチャはそれらを直接には実施せず、アーキテク
チャの種々の構成要素への制御を代表する。指定の多く
は、それらを実施するために、データベースでコード化
することができる。タイムストリームプレーヤとタイム
ラインインターフェースも、同様に或るアクセス制御を
実施する補助となる。パージすることは、レコーダによ
り、または、特定のタイムストリームのデータフォーマ
ットを理解しているなんらかのプロセスにより通常実施
されなければならない。パージするプロセスは、パージ
すべきデータを重ね書きするか(“ゼロで埋める”)、
或いは、実際に再度書き込んでパージすべきデータを外
部に出したままにしておくことにより記録を圧縮するか
のいずれかとすることができる。タイムストリームアー
キテクチャは、それ自身は制御イベントの完全な実施を
保証しないが、与えられた状況の中で利用可能な構成要
素により行うことができる最善のことを行う。
することは、一般に非常に微妙であることが判ってい
る。例えば、微妙な決定を取り扱っているので、或る1
0分のスパンの議論のオーディオ/ビデオ記録をパージ
することを考え、また、ビデオ記録が壁のホワイトボー
ドを示していると考える。たとえ、10分のスパンがビ
デオからパージされるとしても、そのスパンの後に、そ
の討論の残部がホワイトボードの上に残らないという保
証はない。しかしながら、実際的な問題として、時間に
基づいた制御は、殆どの時間で有用である。
生成して編集することができる場合にのみ有用である。
ユーザにとっては、セッションの後にタイムラインイン
ターフェースで制御イベントを指定することが自然であ
る。
ザにセッションの間のオーディオの記録に対する控え目
の制御を与えるために、ユーザインターフェースツール
の簡単なセットが提供される。ユーザに何時記録が開始
されたかを気付かせることは重要である。ビデオカメラ
の上の赤い光がこれを行う。Liveboardについ
ては、記録が行われている間に、点滅する“記録中”が
表示される。両方とも物理的な装置の上のハードボタン
であるポーズボタン及び記録ボタンと、LiveBoa
rd或いはコンピュータディスプレイの上のソフトボタ
ンにより、ユーザがレコーダをオン・オフすることがで
きる。しかし、この制御は予期されなければならない。
すなわち、ユーザは、記録またポーズのいずれとするた
めに、興味があるか微妙であるかのいずかであるかを前
もって知っていなければならない。実際には、これは有
効ではない。すなわち、それらが始まってから十分あと
になるまでは、ユーザはこれらの状況をしばしば認識で
きない。従って、ポストホック(post−hoc)制
御が必要とされる。
オン”と“記録オフ”(ポーズと記録に加えて)の概念
を実施することにより、これを提供するものであり、こ
れは、セッション中に適当な方法により、ユーザが事実
の後の記録を制御することを可能にするものである。こ
のアイディアは、全体のセッションが実際に記録される
ことであり、ユーザは、セッションの部分に記録オンで
ある或いは記録オフであるかをマークすることができ、
セッションの後で記録の記録オフの部分はパージされ
る。
ると、点滅する“記録オン”注意が、記録オフボタンと
一緒に表示される。記録オフボタンが押されると、ユー
ザは、現時点で或いはN分前の時点で、セッションに記
録がオフであることをマークすることができる。例え
ば、もし議論が微妙な話題に移って、討議者が数分後に
ノートに書き込むと、彼らは、記録オフとなる最後の、
例えば、5分間にセットすることができる。同様に、セ
ッションが記録されていないときには、点滅する“記録
オフ”が、記録オンボタンと一緒に表示され、これによ
り、ユーザがセッションに記録がオンであることをマー
クすることができる。例えば、討論が面白くなったとき
に、記録の上に最後の10分を元へ戻すことができる。
これらの制御は、ユーザが全体のセッションを記録すべ
きか否かを決定することができるセッションの終わりへ
固執する。
行うことは、セッションの間に制御イベントを生成させ
ることである(記録オフセグメントはパージされたとし
てマークされ、記録オンセグメントはアクセスを許可す
るとしてマークされる。)。セッションが閉会した後、
プロセスは、矛盾する指定(すなわち、セッションのス
パンが記録オンとオフの両方にマークされている)につ
いて作りだされた制御イベントを分析するプロセスが実
行され、次いで、記録をパージするためにレコーダがコ
ールされる。対立解決のための一つの技術は、一層最近
の制御イベントに優先権を与えることである。しかしな
がら、ユーザは、タイムラインインターフェース経由で
制御イベントを見て、パージをコールする前にそれらを
編集するように頼むことができる。
な点は、記録を変えるために何分戻るのかを知ることが
ユーザにとって困難であることである。これに対する一
つの改良は、ユーザに一層意味がある時間点を与える我
々のオーディオ分析ツールを使うことだろう。例えば、
記録オフボタンを押した後に、最近のオーディオのポー
ズに対するバックアップ点或いは話者の変化のメニュー
を現すことができる。ユーザは、正しい時間点を決定す
るために、これらから再生することができた。
一時的データの捕獲及び再生のためのシステムのブロッ
ク図である。
利用することができるセッションアクセスワークステー
ションのブロック図である。
ョンアクセスワークステーションの動作の単純化された
疑似状態である。
ョンアクセスワークステーションに連結されるディスプ
レイのビジュアルユーザインターフェースの図である。
ョンのためのタイムラインユーザインターフェースディ
スプレイの図である。
時間トラックディスプレイエリアの関係をハイライトす
るタイムラインインターフェースの単純化された図であ
る。
焦点時間トラックディスプレイエリアの寸法が変えられ
ている動作の結果を示す図である。
イムラインユーザインターフェースディスプレイシステ
ムの図である。
ラックエリアに表示され、焦点時間トラックエリアが各
々の焦点セグメントの詳細を含むタイムラインインター
フェースの図である。
正の結果を示すタイムラインインターフェースの図であ
る。
の結果として生じたトラックセクションを含む複数のキ
ャプチャ装置で記録したセッションの再生のためのタイ
ムラインインターフェースの例である。
のトラックを併合した結果を示すタイムラインユーザイ
ンターフェースディスプレイの更なる図である。
を示す図11のタイムラインユーザインターフェースデ
ィスプレイの更なる図である。
ースを生成するのに使用した同じセッションについての
ミーティングプレーヤの図である。
るLiveBoardウィンドウの図である。
インインターフェースの間の相関性の図である。すなわ
ち、グラフィックオブジェクトからタイムラインへのイ
ンデックス付けである。
インインターフェースの間の相関性の図である。すなわ
ち、LiveBoardウィンドウとタイムラインイン
ターフェースの両方が同時に同じものを反映する同期化
されたディスプレイ状態である。
インインターフェースの間の相関性の図である。すなわ
ち、一時的なものから空間のへのインデックス付けであ
る。
インインターフェースの間の相関性の図である。すなわ
ち、グラフィックオブジェクトにつき多数のイベントで
ある。
インインターフェースの間の相関性の図表である。すな
わち、オブジェクトエリアの位置選定によってインデッ
クスを付ける。
た前の“バウンシング−ボール”再生モードにおけるL
iveBoardウィンドウの例を提供する。
た後の“バウンシング−ボール”再生モードにおけるL
iveBoardウィンドウの例を提供する。
a キャプチャ装置、102b キャプチャ装置、10
2c キャプチャ装置、103 セッション蓄積装置、
104 一時データ分析器、105 セッションアクセ
スワークステーション、106 プレーヤ、107 再
生制御装置、108 エディタ、107タイムストリー
ム/イベント、108 タイムストリーム/イベント、
109タイムストリーム/イベント、110 イベン
ト、111 一時データ
Claims (1)
- 【請求項1】 一つ或いはそれ以上のキャプチャ装置で
獲得されたセッションを表現する一時的データの再生を
制御するためのコンピュータ制御型ディスプレイシステ
ムであって、前記コンピュータ制御型ディスプレイシス
テムは前記一時的データの再生が可能な一つ或いはそれ
以上のプレーヤに連結されており、前記コンピュータ制
御型ディスプレイシステムが、 ディスプレイと、 一つ或いはそれ以上の獲得されたタイムストリームとイ
ベントを含んでいる一時的データを受け取るためのセッ
ション入力手段と、 前記入力手段に連結されたタイムライン発生回路であっ
て、このタイムライン発生回路はイベントメニューを表
示するための表示情報を生成し、前記ディスプレイのタ
イムライン上のビジュアルインジケータに対応するもの
であり、前記ビジュアルインジケータのそれぞれはイベ
ントに対応し、前記セッションへの一時的インデックス
を表すものである、前記タイムライン発生回路と、 ユーザーが前記のディスプレイに表示されたビジュアル
インジケータを選択することを可能にするための選択装
置と、 選択されたビジュアルインジケータと関連した時間の点
において再生を開始するために、前記一つ或いはそれ以
上のプレーヤを同期させるための同期手段とからなるコ
ンピュータ制御型ディスプレイシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/552,968 US5717869A (en) | 1995-11-03 | 1995-11-03 | Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities |
US552968 | 1995-11-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09179709A true JPH09179709A (ja) | 1997-07-11 |
Family
ID=24207576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8288852A Pending JPH09179709A (ja) | 1995-11-03 | 1996-10-30 | コンピュータ制御型ディスプレイシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US5717869A (ja) |
JP (1) | JPH09179709A (ja) |
Families Citing this family (155)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11506575A (ja) * | 1995-03-07 | 1999-06-08 | インターバル リサーチ コーポレイション | 情報の選択記憶システム及び方法 |
FR2752125B1 (fr) * | 1996-08-01 | 1998-09-11 | Bull Sa | Distribution de tickets dans un systeme informatique multinodal |
US6229533B1 (en) * | 1996-08-02 | 2001-05-08 | Fujitsu Limited | Ghost object for a virtual world |
JP3758754B2 (ja) * | 1996-08-02 | 2006-03-22 | 富士ゼロックス株式会社 | 情報蓄積再生装置および情報蓄積再生方法 |
US6263507B1 (en) * | 1996-12-05 | 2001-07-17 | Interval Research Corporation | Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data |
US5893062A (en) | 1996-12-05 | 1999-04-06 | Interval Research Corporation | Variable rate video playback with synchronized audio |
US7657835B2 (en) * | 1997-01-31 | 2010-02-02 | Making Everlasting Memories, L.L.C. | Method and system for creating a commemorative presentation |
US6340978B1 (en) * | 1997-01-31 | 2002-01-22 | Making Everlasting Memories, Ltd. | Method and apparatus for recording and presenting life stories |
US6292170B1 (en) * | 1997-04-25 | 2001-09-18 | Immersion Corporation | Designing compound force sensations for computer applications |
US7162532B2 (en) * | 1998-02-23 | 2007-01-09 | Koehler Steven M | System and method for listening to teams in a race event |
GB2336022A (en) * | 1998-04-03 | 1999-10-06 | Discreet Logic Inc | Edit processing audio-visual data |
US6185553B1 (en) * | 1998-04-15 | 2001-02-06 | International Business Machines Corporation | System and method for implementing cooperative text searching |
US6518978B1 (en) * | 1998-05-29 | 2003-02-11 | Hitachi, Ltd. | Image-display edit processing method, image editing apparatus and storage medium |
US6714909B1 (en) * | 1998-08-13 | 2004-03-30 | At&T Corp. | System and method for automated multimedia content indexing and retrieval |
US6622171B2 (en) * | 1998-09-15 | 2003-09-16 | Microsoft Corporation | Multimedia timeline modification in networked client/server systems |
US6415326B1 (en) | 1998-09-15 | 2002-07-02 | Microsoft Corporation | Timeline correlation between multiple timeline-altered media streams |
GB2342802B (en) * | 1998-10-14 | 2003-04-16 | Picturetel Corp | Method and apparatus for indexing conference content |
US6411733B1 (en) | 1998-11-25 | 2002-06-25 | Xerox Corporation | Method and apparatus for separating document image object types |
US6377710B1 (en) | 1998-11-25 | 2002-04-23 | Xerox Corporation | Method and apparatus for extracting the skeleton of a binary figure by contour-based erosion |
US6952803B1 (en) | 1998-12-29 | 2005-10-04 | Xerox Corporation | Method and system for transcribing and editing using a structured freeform editor |
US6934461B1 (en) * | 1999-01-05 | 2005-08-23 | Interval Research Corporation | Low attention recording, with particular application to social recording |
US6825875B1 (en) | 1999-01-05 | 2004-11-30 | Interval Research Corporation | Hybrid recording unit including portable video recorder and auxillary device |
US6529920B1 (en) | 1999-03-05 | 2003-03-04 | Audiovelocity, Inc. | Multimedia linking device and method |
US6452615B1 (en) * | 1999-03-24 | 2002-09-17 | Fuji Xerox Co., Ltd. | System and apparatus for notetaking with digital video and ink |
US7293280B1 (en) * | 1999-07-08 | 2007-11-06 | Microsoft Corporation | Skimming continuous multimedia content |
US7313808B1 (en) | 1999-07-08 | 2007-12-25 | Microsoft Corporation | Browsing continuous multimedia content |
JP3895892B2 (ja) | 1999-09-22 | 2007-03-22 | 株式会社東芝 | マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体 |
US7155735B1 (en) | 1999-10-08 | 2006-12-26 | Vulcan Patents Llc | System and method for the broadcast dissemination of time-ordered data |
US7299405B1 (en) | 2000-03-08 | 2007-11-20 | Ricoh Company, Ltd. | Method and system for information management to facilitate the exchange of ideas during a collaborative effort |
US6976032B1 (en) * | 1999-11-17 | 2005-12-13 | Ricoh Company, Ltd. | Networked peripheral for visitor greeting, identification, biographical lookup and tracking |
US7653925B2 (en) * | 1999-11-17 | 2010-01-26 | Ricoh Company, Ltd. | Techniques for receiving information during multimedia presentations and communicating the information |
US7149359B1 (en) | 1999-12-16 | 2006-12-12 | Microsoft Corporation | Searching and recording media streams |
US6928655B1 (en) * | 1999-12-16 | 2005-08-09 | Microsoft Corporation | Live presentation searching |
US6757682B1 (en) | 2000-01-28 | 2004-06-29 | Interval Research Corporation | Alerting users to items of current interest |
US6868440B1 (en) * | 2000-02-04 | 2005-03-15 | Microsoft Corporation | Multi-level skimming of multimedia content using playlists |
US7237254B1 (en) | 2000-03-29 | 2007-06-26 | Microsoft Corporation | Seamless switching between different playback speeds of time-scale modified data streams |
US6985966B1 (en) | 2000-03-29 | 2006-01-10 | Microsoft Corporation | Resynchronizing globally unsynchronized multimedia streams |
US7222120B1 (en) | 2000-04-12 | 2007-05-22 | Making Everlasting Memories, L.L.C. | Methods of providing a registry service and a registry service |
US7302490B1 (en) | 2000-05-03 | 2007-11-27 | Microsoft Corporation | Media file format to support switching between multiple timeline-altered media streams |
US7174503B2 (en) * | 2000-06-13 | 2007-02-06 | Brother Kogyo Kabushiki Kaisha | Information recording and reproducing apparatus |
US6592573B2 (en) | 2000-10-11 | 2003-07-15 | Popcab, Llc | Through-port heart stabilization system |
US6910186B2 (en) * | 2000-12-08 | 2005-06-21 | Kyunam Kim | Graphic chatting with organizational avatars |
US6816174B2 (en) * | 2000-12-18 | 2004-11-09 | International Business Machines Corporation | Method and apparatus for variable density scroll area |
US7299416B2 (en) * | 2001-02-15 | 2007-11-20 | Denny Jaeger | Metro for creating and using linear time line and play rectangle |
JP2002358329A (ja) * | 2001-02-28 | 2002-12-13 | Sony Computer Entertainment Inc | 情報提供装置、情報処理装置、情報提供方法、情報処理方法、プログラム、その記録媒体 |
US7032178B1 (en) | 2001-03-30 | 2006-04-18 | Gateway Inc. | Tagging content for different activities |
US7134093B2 (en) * | 2001-04-18 | 2006-11-07 | International Business Machines Corporation | Graphical user interface for direct control of display of data |
EP1427206A4 (en) * | 2001-09-14 | 2006-10-04 | Sony Corp | INFORMATION GENERATION PROCESS, INFORMATION GENERATOR AND NETWORK INFORMATION PROCESSING SYSTEM |
CN1620695A (zh) * | 2001-12-25 | 2005-05-25 | 松下电器产业株式会社 | 用于回放内容的装置、方法与计算机可读程序 |
US7424715B1 (en) * | 2002-01-28 | 2008-09-09 | Verint Americas Inc. | Method and system for presenting events associated with recorded data exchanged between a server and a user |
US20040135974A1 (en) * | 2002-10-18 | 2004-07-15 | Favalora Gregg E. | System and architecture for displaying three dimensional data |
JP2004145685A (ja) * | 2002-10-25 | 2004-05-20 | Fujitsu Ten Ltd | シミュレ−ション装置、及び操作情報記憶方法 |
US7862428B2 (en) | 2003-07-02 | 2011-01-04 | Ganz | Interactive action figures for gaming systems |
JP2005031830A (ja) * | 2003-07-09 | 2005-02-03 | Fuji Photo Film Co Ltd | 画像表示方法及び画像表示用プログラム |
US20050013589A1 (en) * | 2003-07-14 | 2005-01-20 | Microsoft Corporation | Adding recording functionality to a media player |
US7590941B2 (en) * | 2003-10-09 | 2009-09-15 | Hewlett-Packard Development Company, L.P. | Communication and collaboration system using rich media environments |
US20050125717A1 (en) * | 2003-10-29 | 2005-06-09 | Tsakhi Segal | System and method for off-line synchronized capturing and reviewing notes and presentations |
US7689712B2 (en) | 2003-11-26 | 2010-03-30 | Ricoh Company, Ltd. | Techniques for integrating note-taking and multimedia information |
US7534157B2 (en) | 2003-12-31 | 2009-05-19 | Ganz | System and method for toy adoption and marketing |
EP1704517A4 (en) | 2003-12-31 | 2008-04-23 | Ganz An Ontario Partnership Co | SYSTEM AND METHOD FOR THE TAKEOVER ACQUISITION AND MARKETING |
US20060031916A1 (en) * | 2004-04-30 | 2006-02-09 | Vulcan Inc. | Management and non-linear presentation of broadcasted or streamed multimedia content |
US20060031879A1 (en) * | 2004-04-30 | 2006-02-09 | Vulcan Inc. | Management and non-linear presentation of news-related broadcasted or streamed multimedia content |
US20050246625A1 (en) * | 2004-04-30 | 2005-11-03 | Ibm Corporation | Non-linear example ordering with cached lexicon and optional detail-on-demand in digital annotation |
US20060031885A1 (en) * | 2004-04-30 | 2006-02-09 | Vulcan Inc. | Management and non-linear presentation of music-related broadcasted or streamed multimedia content |
US7516407B2 (en) * | 2004-06-01 | 2009-04-07 | General Electric Company | Timeline random access for multi-format time-based file recording and playback |
US7099798B2 (en) * | 2004-10-25 | 2006-08-29 | Microsoft Corporation | Event-based system and process for recording and playback of collaborative electronic presentations |
US20060101022A1 (en) * | 2004-10-25 | 2006-05-11 | Microsoft Corporation | System and process for providing an interactive, computer network-based, virtual team worksite |
CN1773536A (zh) * | 2004-11-11 | 2006-05-17 | 国际商业机器公司 | 生成话音纪要的方法、设备和系统 |
JP2006165824A (ja) * | 2004-12-03 | 2006-06-22 | Fuji Xerox Co Ltd | 画像表示プログラム、画像表示方法及び画像表示装置 |
JP4595600B2 (ja) * | 2005-03-16 | 2010-12-08 | ソニー株式会社 | コンテンツ再生装置,コンテンツ再生方法,およびプログラム |
US8805929B2 (en) * | 2005-06-20 | 2014-08-12 | Ricoh Company, Ltd. | Event-driven annotation techniques |
US7554576B2 (en) * | 2005-06-20 | 2009-06-30 | Ricoh Company, Ltd. | Information capture and recording system for controlling capture devices |
US20070006077A1 (en) * | 2005-06-30 | 2007-01-04 | I7 Corp | Sectorizing a display to present audience targeted information within different ones of the sectors |
US20070256007A1 (en) * | 2006-04-26 | 2007-11-01 | Bedingfield James C Sr | Methods, systems, and computer program products for managing information by annotating a captured information object |
US8701005B2 (en) * | 2006-04-26 | 2014-04-15 | At&T Intellectual Property I, Lp | Methods, systems, and computer program products for managing video information |
US20070256008A1 (en) * | 2006-04-26 | 2007-11-01 | Bedingfield James C Sr | Methods, systems, and computer program products for managing audio information |
US8407670B2 (en) * | 2006-06-02 | 2013-03-26 | Microsoft Corporation | Collaborative code conflict detection, notification and resolution |
US7653705B2 (en) * | 2006-06-26 | 2010-01-26 | Microsoft Corp. | Interactive recording and playback for network conferencing |
US20080005235A1 (en) * | 2006-06-30 | 2008-01-03 | Microsoft Corporation | Collaborative integrated development environment using presence information |
US8275243B2 (en) * | 2006-08-31 | 2012-09-25 | Georgia Tech Research Corporation | Method and computer program product for synchronizing, displaying, and providing access to data collected from various media |
KR101368713B1 (ko) | 2006-11-20 | 2014-03-04 | 삼성전자주식회사 | A/v기기 및 그 표시방법 |
US7827490B2 (en) * | 2006-11-30 | 2010-11-02 | Microsoft Corporation | Media state user interface |
AU2007237363B2 (en) | 2006-12-06 | 2010-04-29 | 2121200 Ontario Inc. | Feature codes and bonuses in virtual worlds |
US8712757B2 (en) * | 2007-01-10 | 2014-04-29 | Nuance Communications, Inc. | Methods and apparatus for monitoring communication through identification of priority-ranked keywords |
WO2008083868A1 (en) * | 2007-01-12 | 2008-07-17 | Nokia Siemens Networks Gmbh & Co. Kg | Apparatus and method for processing audio and/or video data |
US8296662B2 (en) * | 2007-02-05 | 2012-10-23 | Brother Kogyo Kabushiki Kaisha | Image display device |
US8650489B1 (en) * | 2007-04-20 | 2014-02-11 | Adobe Systems Incorporated | Event processing in a content editor |
WO2008137432A2 (en) * | 2007-05-01 | 2008-11-13 | Dyyno | Sharing of information and formatting information for transmission over a communication network |
US8010900B2 (en) * | 2007-06-08 | 2011-08-30 | Apple Inc. | User interface for electronic backup |
US9542394B2 (en) * | 2007-06-14 | 2017-01-10 | Excalibur Ip, Llc | Method and system for media-based event generation |
JP5313466B2 (ja) * | 2007-06-28 | 2013-10-09 | ニュアンス コミュニケーションズ,インコーポレイテッド | 音声の再生に同期して音声の内容を表示させる技術 |
US8442923B2 (en) * | 2007-08-14 | 2013-05-14 | John Nicholas Gross | Temporal document trainer and method |
US9076457B1 (en) * | 2008-01-15 | 2015-07-07 | Adobe Systems Incorporated | Visual representations of audio data |
US20090193327A1 (en) * | 2008-01-30 | 2009-07-30 | Microsoft Corporation | High-fidelity scalable annotations |
US8321582B2 (en) * | 2008-02-08 | 2012-11-27 | Voxer Ip Llc | Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode |
US9054912B2 (en) | 2008-02-08 | 2015-06-09 | Voxer Ip Llc | Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode |
US8655953B2 (en) * | 2008-07-18 | 2014-02-18 | Porto Technology, Llc | System and method for playback positioning of distributed media co-viewers |
US9400597B2 (en) * | 2008-07-23 | 2016-07-26 | Microsoft Technology Licensing, Llc | Presenting dynamic grids |
US8751921B2 (en) * | 2008-07-24 | 2014-06-10 | Microsoft Corporation | Presenting annotations in hierarchical manner |
US20100031152A1 (en) * | 2008-07-31 | 2010-02-04 | Microsoft Corporation | Creation and Navigation of Infinite Canvas Presentation |
US8108777B2 (en) | 2008-08-11 | 2012-01-31 | Microsoft Corporation | Sections of a presentation having user-definable properties |
US9275684B2 (en) * | 2008-09-12 | 2016-03-01 | At&T Intellectual Property I, L.P. | Providing sketch annotations with multimedia programs |
US20100125791A1 (en) * | 2008-11-14 | 2010-05-20 | Rebelvox, Llc | User interface for a telecommunication and multimedia management system and method |
US8639086B2 (en) | 2009-01-06 | 2014-01-28 | Adobe Systems Incorporated | Rendering of video based on overlaying of bitmapped images |
US8301879B2 (en) * | 2009-01-26 | 2012-10-30 | Microsoft Corporation | Conversation rights management |
US8380866B2 (en) * | 2009-03-20 | 2013-02-19 | Ricoh Company, Ltd. | Techniques for facilitating annotations |
US20100299621A1 (en) * | 2009-05-20 | 2010-11-25 | Making Everlasting Memories, L.L.C. | System and Method for Extracting a Plurality of Images from a Single Scan |
US10127524B2 (en) * | 2009-05-26 | 2018-11-13 | Microsoft Technology Licensing, Llc | Shared collaboration canvas |
US20100306018A1 (en) * | 2009-05-27 | 2010-12-02 | Microsoft Corporation | Meeting State Recall |
US20100325182A1 (en) * | 2009-06-17 | 2010-12-23 | Ganz, An Ontario Partnership Consisting Of 2121200 Ontario Inc., And 2121812 Ontario Inc. | Downloadable multimedia with access codes |
US8595194B2 (en) * | 2009-09-15 | 2013-11-26 | At&T Intellectual Property I, L.P. | Forward decay temporal data analysis |
US20110107236A1 (en) * | 2009-11-03 | 2011-05-05 | Avaya Inc. | Virtual meeting attendee |
US20110161166A1 (en) * | 2009-12-30 | 2011-06-30 | Mindrum G Scott | System and method for capturing, processing, and presenting information |
US8391455B2 (en) * | 2010-03-17 | 2013-03-05 | Avaya Inc. | Method and system for live collaborative tagging of audio conferences |
US9050534B2 (en) | 2010-04-23 | 2015-06-09 | Ganz | Achievements for a virtual world game |
US9083756B2 (en) * | 2010-08-09 | 2015-07-14 | Ebay Inc. | Session analysis systems and methods |
US9013573B2 (en) * | 2010-09-01 | 2015-04-21 | Schlumberger Technology Corporation | Knowledge capture and sharing for exploration and production tool sessions |
US20120059651A1 (en) * | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Mobile communication device for transcribing a multi-party conversation |
US9383888B2 (en) | 2010-12-15 | 2016-07-05 | Microsoft Technology Licensing, Llc | Optimized joint document review |
US9118612B2 (en) | 2010-12-15 | 2015-08-25 | Microsoft Technology Licensing, Llc | Meeting-specific state indicators |
US8868657B2 (en) * | 2010-12-17 | 2014-10-21 | Avaya Inc. | Method and system for generating a collaboration timeline illustrating application artifacts in context |
US9864612B2 (en) | 2010-12-23 | 2018-01-09 | Microsoft Technology Licensing, Llc | Techniques to customize a user interface for different displays |
US9161085B2 (en) | 2011-05-23 | 2015-10-13 | Microsoft Technology Licensing, Llc | Adaptive timeline views of data |
US9923982B2 (en) * | 2011-06-24 | 2018-03-20 | Avaya Inc. | Method for visualizing temporal data |
US10079039B2 (en) * | 2011-09-26 | 2018-09-18 | The University Of North Carolina At Charlotte | Multi-modal collaborative web-based video annotation system |
US8682973B2 (en) | 2011-10-05 | 2014-03-25 | Microsoft Corporation | Multi-user and multi-device collaboration |
US9544158B2 (en) | 2011-10-05 | 2017-01-10 | Microsoft Technology Licensing, Llc | Workspace collaboration via a wall-type computing device |
US9996241B2 (en) | 2011-10-11 | 2018-06-12 | Microsoft Technology Licensing, Llc | Interactive visualization of multiple software functionality content items |
US10198485B2 (en) | 2011-10-13 | 2019-02-05 | Microsoft Technology Licensing, Llc | Authoring of data visualizations and maps |
US9015109B2 (en) | 2011-11-01 | 2015-04-21 | Lemi Technology, Llc | Systems, methods, and computer readable media for maintaining recommendations in a media recommendation system |
US9245020B2 (en) * | 2011-12-14 | 2016-01-26 | Microsoft Technology Licensing, Llc | Collaborative media sharing |
US9400592B2 (en) | 2012-03-26 | 2016-07-26 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for digital-marking-surface space and display management |
US9767110B2 (en) | 2012-06-14 | 2017-09-19 | Ntrepid Corporation | Case data visualization application |
US9075895B2 (en) | 2012-06-14 | 2015-07-07 | Ntrepid Corporation | Case data visualization application |
US10629188B2 (en) | 2013-03-15 | 2020-04-21 | International Business Machines Corporation | Automatic note taking within a virtual meeting |
US20140280186A1 (en) * | 2013-03-15 | 2014-09-18 | International Business Machines Corporation | Crowdsourcing and consolidating user notes taken in a virtual meeting |
US9727544B2 (en) | 2013-05-06 | 2017-08-08 | Dropbox, Inc. | Animating edits to documents |
USD769884S1 (en) * | 2013-09-30 | 2016-10-25 | Huawei Device Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD775643S1 (en) * | 2013-11-15 | 2017-01-03 | Yandex Europe Ag | Display screen with graphical user interface |
USD784372S1 (en) * | 2013-11-15 | 2017-04-18 | Yandex Europe Ag | Display screen or portion thereof with graphical user interface for a search engine result page |
US9292186B2 (en) * | 2014-01-31 | 2016-03-22 | 3M Innovative Properties Company | Note capture and recognition with manual assist |
US20160042765A1 (en) * | 2014-08-05 | 2016-02-11 | Avid Technology, Inc. | Media composition with timing blocks |
US10511551B2 (en) * | 2014-09-06 | 2019-12-17 | Gang Han | Methods and systems for facilitating virtual collaboration |
US20160378734A1 (en) * | 2015-06-29 | 2016-12-29 | Microsoft Technology Licensing, Llc | Visualizing document revisions |
US10204105B2 (en) * | 2016-02-16 | 2019-02-12 | Cisco Technology, Inc. | Conversation timeline mapping |
EP3669539A4 (en) * | 2017-08-15 | 2021-06-16 | Touchcast LLC | SYSTEM AND PROCESS FOR PROVIDING COORDINATED PRESENTATIONS AND INTERACTING WITH THEM |
US10902676B2 (en) | 2018-03-13 | 2021-01-26 | Canon Kabushiki Kaisha | System and method of controlling a virtual camera |
US10895972B1 (en) * | 2018-04-20 | 2021-01-19 | Palantir Technologies Inc. | Object time series system and investigation graphical user interface |
US10902654B2 (en) | 2018-04-20 | 2021-01-26 | Palantir Technologies Inc. | Object time series system |
FR3080942B1 (fr) * | 2018-05-04 | 2020-04-17 | Thales | Procede et systeme d'aide au pilotage d'aeronef |
CN108854069B (zh) * | 2018-05-29 | 2020-02-07 | 腾讯科技(深圳)有限公司 | 音源确定方法和装置、存储介质及电子装置 |
US11308427B2 (en) | 2018-09-28 | 2022-04-19 | Evernote Corporation | Event transcript presentation |
US11389735B2 (en) | 2019-10-23 | 2022-07-19 | Ganz | Virtual pet system |
US11358059B2 (en) | 2020-05-27 | 2022-06-14 | Ganz | Live toy system |
JP2022145219A (ja) * | 2021-03-19 | 2022-10-03 | 株式会社リコー | 表示装置、データ共有システム、表示制御方法およびプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5307456A (en) * | 1990-12-04 | 1994-04-26 | Sony Electronics, Inc. | Integrated multi-media production and authoring system |
GB9100732D0 (en) * | 1991-01-14 | 1991-02-27 | Xerox Corp | A data access system |
US5321396A (en) * | 1991-02-07 | 1994-06-14 | Xerox Corporation | Indexing of audio/video data |
US5317732A (en) * | 1991-04-26 | 1994-05-31 | Commodore Electronics Limited | System for relocating a multimedia presentation on a different platform by extracting a resource map in order to remap and relocate resources |
US5359712A (en) * | 1991-05-06 | 1994-10-25 | Apple Computer, Inc. | Method and apparatus for transitioning between sequences of digital information |
DE69222102T2 (de) * | 1991-08-02 | 1998-03-26 | Grass Valley Group | Bedienerschnittstelle für Videoschnittsystem zur Anzeige und interaktive Steuerung von Videomaterial |
JPH0756652B2 (ja) * | 1992-03-24 | 1995-06-14 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像のフレーム列の検索 |
JPH0778804B2 (ja) * | 1992-05-28 | 1995-08-23 | 日本アイ・ビー・エム株式会社 | シーン情報入力システムおよび方法 |
US5404316A (en) * | 1992-08-03 | 1995-04-04 | Spectra Group Ltd., Inc. | Desktop digital video processing system |
GB9315448D0 (en) * | 1993-07-26 | 1993-09-08 | Rank Xerox Ltd | Recording and retrieval of information relevant to the activities of a user |
US5461711A (en) * | 1993-12-22 | 1995-10-24 | Interval Research Corporation | Method and system for spatial accessing of time-based information |
US5550965A (en) * | 1993-12-27 | 1996-08-27 | Lucent Technologies Inc. | Method and system for operating a data processor to index primary data in real time with iconic table of contents |
US5574845A (en) * | 1994-11-29 | 1996-11-12 | Siemens Corporate Research, Inc. | Method and apparatus video data management |
-
1995
- 1995-11-03 US US08/552,968 patent/US5717869A/en not_active Expired - Lifetime
-
1996
- 1996-10-30 JP JP8288852A patent/JPH09179709A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US5717869A (en) | 1998-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3943636B2 (ja) | コンピュータ制御型ディスプレイシステム | |
JP3943635B2 (ja) | コンピュータ制御型ディスプレイシステムにおいてセッションの再生ポイントを制御する方法 | |
JPH09179709A (ja) | コンピュータ制御型ディスプレイシステム | |
JPH09179712A (ja) | 共同作業を表現する一時的データの獲得及び再生のためのシステム | |
US5537529A (en) | Apparatus and method for creating versions of computer models and creating communications incorporating created versions therefrom | |
EP0695446B1 (en) | Multimedia synchronization system | |
JP4064489B2 (ja) | 時間事象指定機能を使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム | |
US5596696A (en) | Method and apparatus for synchronizing graphical presentations | |
US5680639A (en) | Multimedia control system | |
US5751281A (en) | Apparatus and method for storing a movie within a movie | |
US8161452B2 (en) | Software cinema | |
US7506262B2 (en) | User interface for creating viewing and temporally positioning annotations for media content | |
JP3378759B2 (ja) | スペーサ・ツールを使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム | |
US6148304A (en) | Navigating multimedia content using a graphical user interface with multiple display regions | |
JPH1031662A (ja) | 同期ツールを使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム | |
WO1994027235A1 (en) | Midi synchronization system | |
WO1994027233A1 (en) | Audio synchronization system | |
EP3982237A1 (en) | Method and apparatus for operating intelligent interaction tablet, terminal device, and storage medium | |
US20210397652A1 (en) | Method and apparatus for producing video material, electronic device and computer readable medium | |
JPH08160989A (ja) | サウンドデータリンク編集方法 | |
US20240073368A1 (en) | System and method for documenting and controlling meetings with labels and automated operations | |
JP2565048B2 (ja) | シナリオ提示装置 | |
Fouse | Navigation of time-coded data | |
CN117319728A (zh) | 用于视听内容分享的方法、装置、设备和存储介质 | |
JPH1031661A (ja) | マルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060203 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060502 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060901 |