JP3675239B2

JP3675239B2 - 仮想空間におけるコンピュータを介在したマルチモーダルおよび非同期な会議を行なう方法およびシステム

Info

Publication number: JP3675239B2
Application number: JP19748699A
Authority: JP
Inventors: ロリ・トミー; リア・アダムス
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1998-07-28
Filing date: 1999-07-12
Publication date: 2005-07-27
Anticipated expiration: 2019-07-12
Also published as: JP2000050226A; US6119147A

Description

【０００１】
【発明が属する技術分野】
この発明はコンピュータによって支援された共同作業環境に関するものである。特に仮想空間におけるコンピュータを介在した、マルチモーダルで非同期的な会議の実施、再検討、補足をおこなう方法およびシステムに関連するものである。
【０００２】
【従来の技術】
より多くの企業が世界的に分散され、またネットワークインフラの発達によって在宅勤務などが可能になってくるにつれて、会談形式に代わる形態の会議の必要性が高まってきている。ビデオ会議やテレビ会議といった現存の遠隔会議技術はある程度この必要性を満たしているが、それぞれに短所をかかえている。従来の遠隔会議システムは多くの費用がかかり、準備なしで急いで行われるような議論には向いていない。より新しいデスクトップ遠隔会議システムによってこの問題はある程度解決されているが、参加者の写真や映像をリアルタイムで送信することからプライバシーの問題があり、利用を妨げがちである。さらに、従来の技術においては全ての参加者が同時に参加出来る状態でなくてはならない。このような条件を満たすのは、例えば１つのワーキンググループのメンバーが世界中に散らばっていてそれぞれ時差がある場合など特に困難となる。
【０００３】
【発明が解決しようとする課題】
ビデオ会議やテレビ会議システムにおける会議セッションは後の再生用に録画することが出来るが、このように再生された会議の視聴者は参加者ではなく、単なる傍観者にすぎない。再生された会議への参加をサポートするための第一歩は注釈（ａｎｎｏｔａｔｉｏｎ）ツールである。しかしながら、現存のシステムにおいては注釈は既に行われたセッションの最後に追加するようになっていて、会議そのものとは区別された存在になってしまう。つまり、一つの同時性のあるセッションとして組み込むことはできないのである。
【０００４】
【課題を解決するための手段】
本発明は、仮想環境における会議のためのシステムおよび方法を提供する。
【０００５】
また、本発明におけるシステムおよび方法は同一の場所に必ずしもいない、複数の参加者が同期、もしくは非同期に会い、対話する仮想環境を提供する。
【０００６】
さらに、仮想環境において会議の実施、再検討、補足をおこなう方法およびシステムを提供するものである。
【０００７】
会議の参加者は多次元で仮想環境における表示位置を基本とした（ｐｌａｃｅ−ｂａｓｅｄ）グラフィカルな環境において、アバターを通じて対話する。アバターとは各参加者をグラフィックスで表現したものである。会議は、後に再生および追加を行うためにマルチモーダルドキュメントとして保存される。このシステムは、マルチモーダルドキュメント（ｍｕｌｔｉ−ｍｏｄａｌｄｏｃｕｍｅｎｔ）中の議論のテキストデータ、音声コマンド、グラフィックス、ドキュメントといった複数の「トラック」を使用し、後の参加者のために会議の記録を保存する。後の参加者は会議のマルチモーダルドキュメントを再生し、無限にそこに補足することができ、１つの会議の流れを作り出すことが出来る。さらに、アバターを利用することによって複数の会議セッションの内容を組み込んだ合成画面を簡単に生成することができ、またユーザーのプライバシーに関する懸念を軽減することが出来る。
【０００８】
対話はコンピュータネットワークを介して行われるため、参加者は同一の場所にいる必要はない。同じ時間に「会う」ことも必要とされていない。同一の場所にいない参加者同士がリアルタイムに会話を行なうことをサポートする以外にも、仮想環境における対話は電子的に記録されている。これらの記録された対話は保存され、後に会議に「参加」する人たちが再検討したり、補足したりすることができる。
【０００９】
対話は、１人が別の人に簡単な質問をするといった簡潔なものから、決まった時間と議題のもとに行われたよりきちんとした構造のものまでありうる。これらのセッションは本発明のシステムおよび方法によって記録され、他人が非同期にそれを見たり参加することが可能となる。後からの参加者は、会議を再度再生して自分の発言などを追加した時に、元の参加者達と対話している自分の姿を見ることが出来る。よって、他人の対話を後から単に見ている場合よりもより参加意識が高まり、グループの一員であるということをより強く感じることが出来るのである。
【００１０】
後からの参加者の対話は、録画された会議セッションの中に挿入され、後から伸参加者は新しい発言がそれ以前の議論と入り交ざったものを見ることになる。一つの会議として統合されたものは、必要であれば更に後からの参加者が再生し、それに補足することも可能である。
【００１１】
本発明におけるシステムおよび方法の使用は不定期な非同期会議のみに制限されている訳ではないのでユーザーは特別でたまにしか使われないコマンドや操作を覚える必要はない。さらに、通常のデスクトップ環境の一部とすることもできるので、非同期会議を行う環境をセットアップするための更なるコストはかからない。更に、同僚のアバターと頻繁に同期的に対話することによってアバターに対する違和感がなくなり、同じ仮想空間に存在するアバターとの非同期的な対話もより自然に感じることができるであろう。
【００１２】
同期的および非同期的な参加を可能にする仮想環境は、多次元で仮想環境における表示位置を基本とした（ｐｌａｃｅ−ｂａｓｅｄ）システムであり、参加者はアバターを通して議論を行う。それぞれの発言の内容はアバターから漫画のふきだしのような形で発せられる。このような仮想環境における表示位置を基本とした（ｐｌａｃｅ−ｂａｓｅｄ）システムにおいては、参加者が集まることの出来る複数の「部屋」が存在し、ある部屋において行われるある議論はその特定の「部屋」に「居る」参加者のみが体験出来るものである。議論を増強するために参加者は違うアバターを用いたり「ペイント」ツールを使ってクエスチョンマーク等を描いて、混乱、不満などの感情を表わすことも出来る。
【００１３】
会議を補足する資料としては、ブレーンストーミングの段階で生成されうる会議アジェンダやアイディアリストや、各ユーザーのインターフェイスを更新するコマンドを通して共有される提案やデザイン資料などがある。作業に関連するこれらの資料類は参加者達の活動を調和させるために重要な役割を担っている。更に、特別な部屋においては「トークン」を用いた投票や、共有されたホワイトボードへの書込みなどが可能となる。
【００１４】
本発明のシステムおよび方法にしたがって行われた会議における全てのイベントは後の再生、および必要があった場合の更なる補足のために記録されている。後の参加者は会議で何が行われたかということについて単なる要約を読むのではなく、実際の会議の録画を再生し、意思決定のプロセスを観察することが出来る。この再生のプロセスには、各参加者のアバターが「話し」ているところや表情の変化、また会議が進むにつれて資料の内容やホワイトボード上の記述が変化していくところを観察することを含む。更にユーザーは自分の意見を加えることによって自らをその会議に「はめ込み」、単に観察するよりもより参加意識をもつことができる。これらの追加意見は会議ドキュメントの中に組み込まれ、それ以降の再生の際には含まれていることになる。
【００１５】
コンピュータによって支援された共同作業において再生機能の使用は台頭しつつある。しかし、本発明のシステムおよび方法によれば、かつては受動的であった観察者が録画された会議に入り込んで既に行われた会議における積極的な参加者となることができる。さらに、本発明はユーザーは先に行われた会議セッションを見ることしか出来なかった従来の技術とは違って、複数のユーザーが会議を見つつそれに補足することを可能とするものである。アバターや部屋などの背景はシンプルなグラフィックスを使用しているため、以前のシーンに後から参加した人たちのアバターを挿入した合成画面を作り出すことは容易である。この合成プロセスはビデオを使用した場合に比べてはるかに容易である。ビデオを用いた場合、複数の動画ソースの内、ある１つのソースから選択された部分が別のソースに現れるように合成するためには相当な労力を要する。また、グラフィックスであるアバターを使用するためビデオ会議に伴うプライバシーの問題は生じない。
【００１６】
後の会議セッションが行われるに従って、合成された画面上で「生」に参加している参加者と録画されているセッションにおける参加者との混乱を防ぐために、録画と生の参加者で異なった外見を与えることが出来る。更に、ある参加者がどのセッションに出席していたかを明確に特定するために、アバターの近くに数字のラベルをつけることも出来る。
【００１７】
共有されるホワイトボードやエディタのような共同作業ツールを同期および非同期会議のための機能や仮想環境におけるアバターと統合することによって、本発明におけるテキスト／グラフィックスベースのシステムと分散されたワーキンググループにおける自覚とコラボレーションのための方法をより応用的で、ユーザーフレンドリーな、包括的で、生産性の高いものにしている。
【００１８】
第１の発明は仮想環境と、仮想空間に関連して行われる複数のイベントそれぞれの複数の側面の説明を記録することができる同期マルチモーダルドキュメントを保存する、メモリに記憶されたデータ構造と、ネットワークに接続され、前記データ構造をその内１つに保存し、それ以外はそれぞれユーザーと前記データ構造との通信を行う複数のコンピュータ装置とを有し、少なくとも１人のユーザーによる少なくとも１つの、前記同期マルチモーダルドキュメントとマージされ更新された同期マルチモーダルドキュメントを生成する非同期な追加が加えられる前記同期マルチモーダルドキュメントに、各ユーザーが前記複数のイベントの内少なくとも１つを入力するために前記データ構造と対話出来ることを特徴とした、仮想環境における、コンピュータを介在したマルチモーダルな非同期なイベントを記録するシステムである。
【００１９】
第２の発明は、第１の発明において前記更新された同期マルチモーダルドキュメントに更に補足し、マージできることを特徴とするシステムである。
【００２０】
第３の発明は、第１の発明において各ユーザーが前記更新された同期マルチモーダルドキュメントを更に検討することができることを特徴とするシステムである。
【００２１】
第４の発明は、第１の発明において前記マルチモーダルドキュメントに各イベントを記録するための少なくとも１つのマルチモード録画制御手段と、前記同期マルチモーダルドキュメントへの追加をおこなうための補足制御手段と、少なくとも１人のユーザーが前記同期的マルチモーダルドキュメントの内少なくとも１つのイベントを再生するための再生制御手段を有する少なくとも１つのデータ制御手段を有することを特徴とするシステムである。
【００２２】
第５の発明は、第１の発明において前記仮想環境が、前記仮想環境内に位置し、移動することができる少なくとも１つの小道具を有することを特徴とするシステムである。
【００２３】
第６の発明は、第１の発明において前記仮想環境が、他の仮想環境へのリンクを有することを特徴とするシステムである。
【００２４】
第７の発明は、第１の発明において前記仮想環境が、イベントが行われる仮想空間を有することを特徴とするシステムである。
【００２５】
第８の発明は、第７の発明において前記仮想空間が仮想会議室であることを特徴とするシステムである。
【００２６】
第９の発明は、第１の発明においてユーザーによって入力された文字列が前記仮想環境内でふきだしとして表示されることを特徴とするシステムである。
【００２７】
第１０の発明は、第１の発明において前記仮想環境が、前記複数のイベントに関連した情報を表示する少なくとも一つのエリアを有することを特徴とするシステムである。
【００２８】
第１１の発明は、第１の発明において前記仮想環境が、各ユーザーがシステムに対してコマンドを入力する手段を有することを特徴とするシステムである。
【００２９】
第１２の発明は、第１１の発明において前記コマンドが記録開始、記録停止、再生、情報のロード、早送り、巻戻しを含むことを特徴とするシステムである。
【００３０】
第１３の発明は、第１１の発明において前記コマンドが更に新規会議、ｇｏｔｏ、情報のロード、音声再生、ビデオ再生を含むことを特徴とするシステムである。
【００３１】
第１４の発明は、仮想環境におけるコンピュータを介在した、マルチモーダルな、非同期会議の記録および追加を行う方法において、前記仮想環境におけるイベントを保存するデータ構造を作成し、前記仮想環境に関連して行われる複数のイベントを前記データ構造を使用して同期マルチモーダルドキュメントに記録し、少なくとも１つの非同期な追加を入力し、前記少なくとも１つの非同期な追加と記録されたイベントを並べ替え、更新された同期マルチモーダルドキュメントを生成することを含む、仮想環境におけるコンピュータを介在した、マルチモーダルな、非同期会議の記録および追加を行う方法である。
【００３２】
第１５の発明は、第１４の発明において更なる非同期な追加を入力し、前記更なる非同期的な追加と前記更新された同期マルチモーダルドキュメントのイベントを並べ替え、
前記同期マルチモーダルドキュメントを更新することを含む方法である。
【００３３】
第１６の発明は、第１４の発明において前記少なくとも１つの非同期な追加をモニターし、各非同期な追加に基づいて、少なくとも１つのユーザーインターフェイスを更新することを含む方法である。
【００３４】
第１７の発明は、第１４の発明においてユーザーインターフェイスを通して、少なくとも１人のユーザーに対して少なくとも１つのイベントが再生されることを含む方法である。
【００３５】
【発明の実施の態様】
図１は本発明におけるコンピュータを介在した、マルチモーダルな非同期会議システム１００の実施の態様を示している。このシステム１００は、マルチモーダルドキュメント１０５といくつかのユーザーインターフェース・ディスプレイ１２０を含んでいる。ユーザーインターフェースとディスプレイ１２０はそれぞれマルチモーダルドキュメント１０５に接続している。他のユーザーから空間的および／もしくは時間的に離れているユーザーは各ユーザーインターフェースとディスプレイ１２０を使用して、一人のもしくは複数のユーザーに関連しているマルチモーダルドキュメント１０５と非同期的に対話することができる。ユーザー同士がユーザーインターフェースとディスプレイ１２０を通して対話するに従って、仮想空間における非同期会議は成立し、また記録される。ユーザーの内の１人は会議における議長を務める。
【００３６】
マルチモーダルドキュメント１０５は、非同期会議の全ての側面を記録することのできるメモリ内に蓄積されたデータ構造である。通常蓄積されているデータ構造は議論のテキストデータ、音声コマンド、グラフィックス、資料、会議アジェンダを含んでいる。これらやその他のデータ構造がマルチモーダルドキュメント１０５として組み合わされると、後の参加者のために会議の完全な内容を供給することができる。
【００３７】
図２は図１におけるシステム１００を実行するためのサーバーといった汎用コンピュータ２００を示している。通常、様々なユーザーインターフェース・ディスプレイ１２０（クライアント）と汎用コンピュータ２００は従来のクライアント・サーバーアーキテクチャにおいて実行可能である。特に、汎用コンピュータ２００はマルチモーダルドキュメント１０５、インプット・アウトプットインターフェース２１０、補足制御手段２２０、マルチモーダル録画制御手段２３０、再生制御手段２４０とシステム時計２５０を備えている。
【００３８】
マルチモーダル録画制御手段２３０、補足制御手段２２０および再生制御手段２４０はマルチモーダルドキュメント１０５にデータをインプットおよび／もしくはマルチモーダルドキュメント１０５からアウトプットされたデータを受け取る。ユーザーインターフェース・ディスプレイ１２０はリンク１３０およびインプット・アウトプットインターフェース２１０を通して非同期会議システム１００を実装している汎用コンピュータ２００と接続している。会議の参加者達はインプット・アウトプットインターフェース２１０を通してお互いと対話を行う。参加者達のインプットやディスプレイはそれぞれのユーザーインターフェース・ディスプレイ１２０からインプット・アウトプットインターフェース２１０と適切な１つもしくは複数の２２０から２４０までの制御手段を通してルーチングされる。どの制御手段が使用されるかは、非同期会議システム１００が会議を録画しているのか、既に録画された会議を補足しているのか、また会議を再生しているかによる。
【００３９】
マルチモーダル録画制御手段２３０、補足制御手段２２０および再生制御手段２４０は、会議の参加者が進行中の会議もしくは既に録画された会議を録画、再生、補足出来るよう構成されている。
【００４０】
システム時計２５０はマルチモーダルドキュメント１０５に接続されていて、マルチモーダルドキュメント１０５内に保存されている参加者同士の対話に打刻する。これによって、後に会議が再生される際に各出来事が正しい順序で再生される。システム時計２５０はユーザーのインタラクションのそれぞれに２つの打刻をする。１つ目はインタラクションが実際に行われた時間を記録する「本当の」刻印である。２つ目は補足された会議セッションにおける参加者のインタラクションの順序を記録し保存するためのものである。これら２つの刻印については、次の会議再生オプションに関する記述において詳しく説明する。
【００４１】
マルチモーダルドキュメント１０５内に記録されている会議を録画、再生もしくは補足するために、本実施の態様における非同期会議システム１００はクライアントーサーバーアーキテクチャを用いていて、そこにおいて会議が実際に「開催」され、またサーバーは会議における各出来事をその都度録画し、保存するようプログラムされている。会議における各出来事はマルチモーダルドキュメント１０５内に録画される。このマルチモーダルドキュメント１０５はテキストインプットデータ、事前に録音されたサウンドファイルといった音声コマンド、アバターや小道具といった参加者たちをグラフィックスで表現したもの、部屋や背景などの会議風景、参加者によって作られたり供給された資料やホワイトボードの書込みといった複数の「トラック」の情報を含んでいる。会議の録画は刻印と会議イベントの記録を含んでいる。会議における各イベントはこれらの「トラック」の内１つもしくは複数に変更をもたらすものである。
【００４２】
刻印には２つの機能がある。１つはイベントすなわちユーザーインタラクションが実際に行われた日付と時間を記録することである。２つ目としては会議を構成するイベントの順序における位置を示すための番号として機能するために、イベントに追記されるというものである。
【００４３】
図３は作動中の仮想環境を示している。本発明におけるシステムおよび方法による、コンピュータを介在した、マルチモーダルな非同期会議は仮想空間において始まる。会議の議長は、通常既定のシーンテンプレートの中から使用したい仮想環境を合成、または選択する。図３に示されるように、仮想環境は通常会議室のように参加者達が自分のアバターを配置出来るような環境を含んでいる。ただし、参加者のニーズに合わせていかなる仮想環境でも作り出すことが出来る。
【００４４】
会議の最初のセッションの際には、各ユーザーは仮想空間において他のユーザーと合流するために本発明におけるクライアントソフトウェアプログラムを起動する。クライアントからのイベントはサーバーに受理され、キュー（待ち行列）に入れられる。サーバーは各イベントをキューから取り出し処理する。各イベントについて、サーバーはユーザーとイベントが行われた時間、イベントの種類、そしてイベントの内容の内いくらかを特定することが出来る。これらのイベントは、発言のテキスト、音声コマンド、部屋の外見の変更、アバターの変更、アバターの位置の変更、小道具の外見や変更、小道具の位置の変更、ブラウザへのロードやホワイトボードへの書込みなど、ユーザーからのインプットを含んでいる。
【００４５】
文字での発言は、文字列を含むイベントである。会議中は、図３で示されるようにそれぞれの発言１００５は発言者のアバターから漫画のふきだしのようなスタイルで発せられているように表示される。発言の内容のテキストデータはユーザーに付随する個人情報と打刻と共に、マルチモーダルドキュメント１０５内に保存される。
【００４６】
音声コマンドとはあらかじめ録音されている音である。ユーザーから音声コマンドが提示されるとサーバーはユーザー、時間、そのイベントの識別情報およびその音声コマンドが保存されている音声ファイルの周期的な冗長性チェックを保存する。そしてサーバーはマルチモーダルドキュメント１０５内に各音声ファイルのコピーを保存しておく。音声ファイルが必要となった場合は、クライアントはサーバーから必要な音声ファイルをダウンロードし、その音声ファイルをキャッシュし、再生する。サーバーによる同様のオンデマンドアップロードはイベントの中で新しいサウンドファイル、小道具説明、アバター説明や仮想環境背景ファイルが参照されている際に行われる。
【００４７】
図３における仮想環境１０００、すなわち会議室環境は会議の開始時に議長がいる部屋である。部屋説明のイベントはクライアントから（この場合は議長のクライアントから）サーバへ送られる。部屋説明のイベントは仮想環境１０００の部屋の名称、部屋の実際の背景に対応しているグラフィックスファイルと時間を含んでいる。サーバーはグラフィックスファイルの名前と識別情報とクライアントＩＤを保存し、打刻と周期的な冗長性チェックを行う。会議中にその部屋に入ってくるユーザーは図３に示されていて、かつ部屋説明のイベントにおいて説明されているグラフィックスの背景を見ることになる。
【００４８】
ファイル、音声および／もしくはグラフィックスを使用するたびに取り込み、版管理することで、ユーザーもしくはクライアントが保存された会議をダウンロードし、ネットワークへの接続が切断されたクライアントマシン上で再度訪れることも可能となる。
【００４９】
アバター１０１０は会議参加者たちをグラフィックスで表現したものである。ユーザーはアバター１０１０を作成してもよいし、あらかじめ用意されているキャラクターの中から選んでもよい。アバター１０１０を構成しているパーツの内の１つ、もしくはそれ以上が動画であってもよい。ユーザーが初めて登場した時、もしくはユーザーがアバターの外見を変えた時は、クライアントはサーバーにユーザー外見イベントを送信する。ユーザー外見イベントはクライアントの識別情報、時間、新しいアバターの外見を保存しているグラフィックスファイル、アバター１０１０のパーツリストの周期的な冗長性チェック、１つのアバターを作成するためにいくつのグラフィックスファイルがオーバーレイされたかを通常示す配列サイズ、仮想環境１０００におけるアバターの座標位置を含む。複数のグラフィックスファイルをオーバーレイすることによって、より複雑なアバターを作成することが出来る。さらに、複数のグラフィックスファイルをオーバーレイすればユーザーは例えば感情を表現する際にアバターの「ベース」を変えることなく部分的に変更することができる。音声と部屋のグラフィックスに関しては、もし名前、識別情報、もしくは周期的な冗長性チェックによってサーバーが最新のアバター１０１０のグラフィックスファイルをサーバーが保有していないということが示されたならば、サーバーはクライアントに対して必要なファイルをアップロードしそのグラフィックスファイルの構成要素の識別情報を生成するよう別に要求する。従って、会議中にユーザーがアバター１０１０の外見を変更した時には、全てのユーザーが更新された外見を見ることになる。サーバーは一人一人の参加者について構成要素の識別情報、クライアント識別情報、時間、各イベント後のアバターの位置の配列を保存する。
【００５０】
ユーザーポジションは、仮想空間１０００におけるユーザーのアバター１０１０の位置を示す。ユーザーが仮想空間において自分のアバターを移動させると、クライアントはサーバーにクライアント識別情報、時間、そして仮想空間におけるアバターの新しい位置を含むユーザーポジションイベントを送信する。この情報はマルチモーダルドキュメント１０５に保存される。
【００５１】
小道具１０２０は仮想空間において移動可能なその他の物である。小道具１０２０はアバターの構成要素のように仮想空間１０００に取り入れ、また仮想空間において移動することができる。図３に示されているコーヒーカップ１０２１やメモ１０２２のような小道具１０２０が始めて登場した時、もしくは小道具１０２０の外見が変更した時には、クライアントはクライアント識別情報、グラフィックスファイルの名前、グラフィックスファイルの識別情報と周期的な冗長性のチェックおよび仮想空間における小道具の位置を含んだ小道具外見イベントを送信する。音声と部屋のグラフィックスに関しては、もし名前、識別情報、もしくは周期的名冗長性チェックによってサーバーが最新の小道具１０２０のグラフィックスファイルをサーバーが保有していないということが示されたならば、サーバーはクライアントに対して必要なファイルをアップロードしそのグラフィックスファイルの構成要素の識別情報を生成するよう別に要求する。サーバーはその小道具１０２０に関して小道具識別情報を生成する。そして、システムは小道具識別情報、クライアント識別情報、時間と位置を保存する。
【００５２】
小道具１０２０が仮想空間１０００内で移動されたときには、クライアントはクライアント識別情報、時間と小道具の仮想空間における新しい位置を含んだ小道具位置イベントを送信する。会議中、各ユーザーには仮想空間１０００における小道具１０２０の動きが見える。サーバーはマルチモーダルドキュメント１０５にクライアント識別情報、時間、そして仮想空間内の小道具１０２０の新しい位置を保存する。
【００５３】
図４はブラウザを示している。ブラウザロードコマンドはブラウザもしくは同様のディスプレイインターフェースと共に用いられる。クライアントがブラウザロードコマンドを送信する際、このイベントはロードされるデータのＵＲＬ（ｕｎｉｆｏｒｍｒｅｓｏｕｒｃｅｌｏｃａｔｏｒ）もしくはアドレスといった文字列、クライアント識別情報、そして時間を含んでいる。会議中および図４に示されているＷｏｒｌｄＷｉｄｅＷｅｂドキュメント１０３０の場合のように、ページは各ユーザーのグラフィカルユーザーインターフェイスにロードされている。
【００５４】
図５はペイントストローク１０４０の一例を示している。ペンもしくはペイントストローク、および補足的な消しゴムストロークは仮想環境１０００のいずれの場所においてもユーザーが描きうる「絵」である。ストローク１０４０の位置、色、線の幅、方向といった全ての側面はユーザーによって決定される。ユーザーが共有のホワイトボード上、もしくは仮想環境１０００のいずれかの場所においてペイントストロークや消しゴムストロークを行った際に、クライアントはサーバーに色、線幅、そしてストローク１０４０を定める点の位置を含むストローク情報を時間と識別情報と共に送信する。サーバーは時間、クライアント識別情報、そしてストローク情報をストロークの始点と終点にかかわる情報と共に保存する。この情報によって、サーバーは後にストローク１０４０を正しい方向に再現することができる。
【００５５】
本発明における非同期会議システム１００によって録画された会議を再度訪れるための方法は少なくとも２つある。シーケンシャルモードにおいては、ユーザーは会議を再生する際に会議の最初から上に述べたような実際の時間もしくは、論理的なイベントの順番を示すための時間という２種類の内どちらかの刻印に従って進めていけばよい。ランダムアクセスモードにおいては、ユーザーは既に録画された会議の途中に飛び込むことが出来る。
【００５６】
シーケンシャルモードにおいては、録画された会議は議長が会議を始めた時点から再生される。実際の時間にそった配列によって、ユーザーは会議をイベントが行われた実際の順番で再生することが出来る。論理的な時間の配列の場合はサーバーは会議が同期的に行われたかのようにイベントを再編成する。
【００５７】
ランダムアクセスモードにおいては、録画された会議の特定のイベントや部分に直接進みたいユーザーは、２つある内いずれかの会議サマリーをナビゲーションツールとして使用することができる。ユーザーはサマリーを実際の時間の刻印に基づいた時系列順に表示するか、イベント刻印に基づいた論理的な順番で表示するかを特定する。論理的な順番というのは非同期会議において後から挿入されたイベントも含められているイベント刻印の順番である。
【００５８】
いずれのモードにおいてもユーザーには複数のサマリー画面が表示される。サマリー画面は、特定の行動、イベント、発言などと会議中のそのイベントが行われた場所とをリンクさせている。
【００５９】
図１２は議論のテキストログであるサマリー１０４５と音声ログを示している。ログ１０４５における１つ１つのエントリーは選択されたエントリーに対応している時点から録画された会議の再生を始めるリンクである。
【００６０】
このビューは、２つの重要なプロセスを支援している。１つはブラウズおよびサーチゴールを支援することによって、すばやくスキャンできる会議の大要であり、もう１つは興味のある箇所に直接アクセスできるようにすることによって、会議をある特定の興味を基準として部分的に再生出来るようにしている。よって、１人のユーザーがグループのほかのメンバーとの会議を再構築しようとしていてあるコンファレンスに係る議題に関して特に興味を持っていた場合、ユーザーはその議題が議論されていた時点に直接行くことが出来る。なぜならサマリーによって、たとえばそのコンファレンスに係る資料がいつ提示されたかが分かるからである。同様に、もしグループのあるメンバーがブラウジングしていて、ある人による、あるトピックに関する意見に興味を持ったとすると、サマリーをみればその時参加者達がいつ発言し、どの資料を見ることができたのか明らかになる。この簡単な例において仮想環境１０００は会議中ほとんど変化しない。しかし、実際の会議においては人々が部屋を出入りしたり、各自の役割が変わるにつれて位置を替えたりする場合があり、会議自体が開催場所を変えることもある。
【００６１】
従って、コメントを付け加えるために初めて会議を再生する参加者にとってアクセスするポイントはいくつも設けられていて、またサマリーレビューによって会議の構造や会議中に行われた議論を容易に理解することができる。それまでに行った対話からどのような変化があったのかを見る目的で会議を再生する参加者たちにとってはサマリーは素早く、有意義な会議の再構築を提供している。
【００６２】
録画された会議を最初から再生することは、いずれかのイベント順序を使って簡単に行うことが出来る。サーバーは単にイベントをユーザーが希望する順番にソートし再生するだけである。仮想環境１０００の状態、小道具１０２０やアバター１０１０は選択されたイベントが始めて行われた時の状態に復元される。
【００６３】
しかし、会議の途中のある時点から参加したいという場合には、システムは会議のグラフィカルな状態を再構築することが出来なくてはならない。より詳しく言うと、アバター１０１０の存在や外見、小道具１０２０の存在や外見、仮想環境１０００の外見、および共有ブラウザのコンテンツが再統合される必要がある。テキスト発言１００５および音声はごく短い時間のみを占めるものであり、また状態の変化に寄与するものというよりはイベントであるので、本発明における非同期会議システム１００は会議の状態を再生成する際に、最も新しいテキストまたは音声イベントは再構築しない。非同期会議システム１００は単に選択された時点以降に行われたテキスト発言１００５および音声を再生する。
【００６４】
会議の状態を再生成する際には２つの異なったクラスのイベントを再構築しなくてはならない。すなわち、仮想環境１０００における部屋の背景を変えるというように、ある状態を別の状態で置き換えることによって更新していくイベントと、ホワイトボードへの書込みのように、蓄積された状態に寄与するイベントの２つである。
【００６５】
ある状態を別の状態で置き換えることによって更新していくイベントとしては、小道具およびアバターの有無、外見、動き、仮想環境における部屋の背景の変更、ブラウザのコンテンツの変更などが挙げられる。このようなイベントに関しては、イベント履歴を遡り、非同期会議システム１００が最も新しい、関連性のある上書きイベントを見つけることによって状態が再構築される。そのようなイベントが、会議の開始時点でしか行われていない可能性もある。そのような場合、非同期会議システム１００は目的の再開ポイントにおける状態を再現するために、会議の開始時点までずっとスキャンする必要がある。
【００６６】
蓄積イベントに関しては、イベント履歴を遡り、目的の再開ポイントに達するまでの関連する全てのイベントを会議の開始時点から蓄積することによって、状態が再構築される。
【００６７】
会議の再生中、大部分においてユーザーは「生」の同期セッションに参加している時と同じものを目にすることになるが、１つ例外がある。その例外というのは、アバター１０１０の中に、「生」の外見が表示される場合と「録画された」外見が表示されるものがあるのである。「録画された」外見のアバター１０１０によって表現された参加者たちはその時点ではオンライン環境にはいないということを示し、彼らの対話は以前に録画されたものであるということを示している。会議が再生されている際に、ある１人のユーザーのアバターの「生」の外見と「録画された」外見がどちらも現れる場合があれば、それはそのユーザーは現在会議に参加中であり、かつ以前に録画された対話にも参加していた、ということを表わしている。
【００６８】
会議の再生中は、ユーザーはどの時点においても再生を一時停止し、自分のコメント、図等などをつけ加えることができる。再生中に会議を補足するために行われたイベントは、数値刻印を除いて、元のセッションにおいて行われたイベントと同じように録画される。イベントが行われた実際の日付と時間は本当の刻印として保存される。ただし、元のセッションにおけるイベントは整数のイベント刻印がされているのだが、再生中に追加されたイベントは元のイベント刻印Ｘに、ピリオドと補足番号Ｙを足すことによって元のイベント刻印の順番の中に挿入される。すなわち、再生イベントＸの直後に追加されたイベントの追加番号は、Ｘ．１となる。次の再生イベントの前に引き続き追加される各イベントのイベントと追加番号Ｘ．Ｙは、その前に追加されたイベントのイベントと追加番号Ｘ．Ｙを１ずつ増やせばよい。例えば、再生イベント３と４の間に、３つの新しいイベントを追加すると、それらのイベントは３．１、３．２、３．３というイベント刻印が与えられることになる。そして、再生が終わった時に追加されたものを含む全てのイベントは整数のイベント刻印に基づいて新たに番号を振られる。同様のプロセスは後の再生や補足の際にも行われる。
【００６９】
図６と７は、ユーザーイベントがどのように記録され会議の他の参加者達のディスプレイ上で表示されるのかを示している。図６はユーザーによる次のシーンの要求がどのように扱われるのかを大まかに図示している。（１）では、ユーザーインターフェース・ディスプレイ１２０は非同期会議システム２００に次のシーンの要求を行う。（２）においては、非同期会議システム２００は論理的な時間を進め、（３）で次のイベントの要求をマルチモーダルドキュメント１０５に送信する。（４）では、マルチモーダルドキュメント１０５は非同期会議システム２００にイベントを送信し、（５）で非同期会議システム２００は各ユーザーにそれぞれイベントを配布する。（６）で、各ユーザーインターフェース・ディスプレイ１２０は、「ノック」ファイルを再生する。
【００７０】
図７は新しいイベントの記録について図示したものである。（１）では、入力された文字列「Ｈｉ」をユーザー１２０から受信する。（２）においては、非同期会議システム２００によってユーザーＩＤと刻印が文字列に追加される。（３）で、新しいイベントはマルチモーダルドキュメント１０５の中に記録される。（４）では、ユーザーＩＤおよび関連づけられた文字列はそれぞれの各ユーザーインターフェース・ディスプレイ１２０に配布され、その後表示される。
【００７１】
図８から１１は、２人の会議参加者１１００と１１２０が参加している会議が行われている仮想環境１０００を表示する一連のグラフィカルユーザーインターフェイスを示している。仮想環境１０００には、再生の際にコメントを時系列的に並べるために使用することの出来る時計１１３０を含むいくつもの小道具がおいてある。会議の参加者はそれぞれ写真で作られた静的なアバター１１００と１１２０によって表わされている。これらのアバターはジェスチャーという意味では静的だが、仮想環境１０００の中のいずれの場所にも置くことが出来る。本実施の態様においては、小道具を動かすにはユーザーは目的の小道具を選び、新しい場所へドラッグする必要がある。反対に、アバター１１００または１１２０を動かすにはユーザーはその部屋内で自分のアバターを置きたい場所を選択するだけでよい。それを受けて、そのユーザーのアバターは、自動的に選択された位置に置かれる。更に、仮想環境１０００内にはいくつかの「ホット・スポット」と呼ばれる場所がある。アバターが「ホット・スポット」の内の１つに置かれると、ユーザーは別の仮想環境に自動的に移動する。ここでは、例として別のホワイトボード仮想環境が作られている。アバター１１００もしくは１１２０を図８から１１に示されている仮想環境１０００の左上にあるホワイトボード１１４５の上に置くことによって、ホワイトボード仮想環境に入ることが出来る。ホワイトボードの部屋においては、全てのグループメンバーが説明図を描いたり、お互いにメッセージを残したりすることが出来る。図やメッセージはこのホワイトボード仮想環境において後まで残るものであるので、後から参加するメンバーもホワイトボードへの記入を見ることができ、またそれに対するコメントをホワイトボードに記入することが出来る。
【００７２】
ユーザーは各ユーザーインターフェース・ディスプレイ１２０の入力エリア１１４０にテキストを打ち込むことによって、会議の中で対話をし、またナビゲーションを制御することが出来る。ユーザーは入力エリア１１４０を選択し、そこに文字を打ち込んでいく。もしそれが以下に説明するようなコマンドであれば、サーバに送られる。もしそれが会話であれば、そのユーザーのアバター１１００もしくは１１２０に隣接した吹き出し１００５の形で、「スピーチ」として表わされる。このようにして、ユーザー同士はリアルタイムに議論を行うことが出来る。図１２は、ログ１０４５の一例を示している。ログ１０４５は、関連するリンク１１６０と共にウェブ・ブラウザで見ることができる。図１２における対話は、図８−１１において図示されている会議の部分とは異なった部分であるということに留意する必要がある。ログ１０４５についてはこの後、ナビゲーションと共に詳細に説明する。
【００７３】
会議の開始、終結、再生、特定のシーンへの訪問、ウェブ・ブラウザのロード、会議のサマリーのロードのためにユーザーがサーバーに提示するコマンドには”ＮｅｗＭｅｅｔｉｎｇ”、”ＥｎｄＭｅｅｔｉｎｇ”、”ＲｅｐｌａｙＭｅｅｔｉｎｇ”、”ＬｏａｄＢｒｏｗｓｅｒ”、”ＧｏｔｏＳｃｅｎｅ”、”ＮｅｘｔＳｃｅｎｅ”といったものが含まれる。”ＮｅｗＭｅｅｔｉｎｇ”コマンドに対してシステムは新しい会議ドキュメントの名前を返すことによってレスポンスする。このコマンドを発するユーザーが会議の議長である。”ＥｎｄＭｅｅｔｉｎｇ”コマンドに対してはシステムは現在行われているミーティングを終わらせる。すなわち録画を停止し、会議ドキュメントを閉じる。「論理的」もしくは「時系列的」な”ＲｅｐｌａｙＭｅｅｔｉｎｇ＜会議ドキュメントの名称＞”コマンドに対しては、システムは要求された会議の開始時の仮想環境を表示する。”ＬｏａｄＢｒｏｗｓｅｒ，＜ＵＲＬ＞”、”ＬｏａｄＳｏｕｎｄＣｌｉｐ，＜ファイル名＞”もしくは”ＬｏａｄＶｉｄｅｏＣｌｉｐ，＜ファイル名＞”に対しては、システムはそれぞれ特定されたＵＲＬ、音声ファイルもしくはビデオファイルを全ての参加者のブラウザにロードする。”ＧｏｔｏＳｃｅｎｅ＜番号＞”に対しては、システムは指示されたシーンを表示する。そのシーンが現在のシーンとなる。再生が行われていない時には、このコマンドは何の効果も持たない。”ＮｅｘｔＳｃｅｎｅ”コマンドに対しては、システムは現在のシーンの後に次のシーンに進む。もし、再生が始まった直後であれば、”ＮｅｘｔＳｃｅｎｅ”コマンドによって、シーン１の再生に進む。再生が行われていない時には、このコマンドは何の効果も持たない。
【００７４】
さらに、この仮想空間からデータを取り出すことが可能である。図１３−１５においては、様々なトピックに関連するウェブページが図示されている。図１３は、会議のアジェンダを示している。一人のユーザーが、議長の役割をしている人の場合が多いが、議題の項目を１つずつ追っていく。このアジェンダは議長が会議を構成し、また後の参加者達のために会議の再生・補足セッションを体型化する役割がある。本発明における非同期会議システム１００は、行われたこと全てを録画し、またログを記録する。図８−１１に図示されている会議の例においては、会議の参加者達が興味を持っているトピックに関する資料が幾つも提示されている。これらの資料は、図１４および図１５に示されている。図１６に示されているように、これらの資料が提示されると仮想環境１０００に隣接して表示されるグラフィカルユーザーインターフェイス１１７０上で全ての参加者がそれを見ることが出来る。このようにページを起動させることによって、参加者達は自分が提供した情報、もしくは会議に関連する外部の資料を共有することが出来る。
【００７５】
図１７−２０は、会議に後から参加した参加者達によって行われた次の対話を示している。アバター１１９０および１２００によって表わされている２人の新たな参加者は、既に行われた議論の内容を把握するために会議の最初の部分を訪れる。以前の参加者達は実際に今オンラインで参加している訳ではないので、前の参加者たちを表わすアバター１１００および１１２０は、ここでは録画された外見をしている。
【００７６】
図２１では、グラフィカルユーザーインターフェイス１１７０のウィンドウに表示されているアジェンダに記載されていた参加者達の名前の欄に新しい参加者達の名前が加えられている。会議において以前打ち込まれた対話の各ラインが再生される。元の発言者たちを表わすアバター１１００および１１２０はそれぞれがテキスト発言１００５を行った時の場所に表示される。ただし、これらのアバターは現在、「生」で参加している参加者達と区別出来るように録画された外見をしている。現在会議に参加している２人の参加者は再生中いつでもコメントを挿入することができ、挿入されたコメントはログ１０４５に追加され、刻印される。前の会議セッション中に資料が提示され、また更新された場合は新しい参加者達のディスプレイ１２０にもこれらの資料が表示される。例えばこのシナリオにおいては、図２２に示されているようにアジェンダ１１７５は、現在の進行項目を示し、古い項目を削除し（研修の時間や場所など）、新しい情報を示す（後の参加者達の名前）ために色々と更新されている。更新された情報は、違う色で表示されるなどして注釈事項であること、またどの参加者がそれぞれの項目を追加したしたかを示している。
【００７７】
会議の再生中、特に図３２において示されているようにアジェンダ１１７５はＣＳＣＷコンファレンスに誰が参加するかについての合意がなされたことを示す更新が行われている。会議の両セッション終了時にはアジェンダ１１７５は部分的に会議で行われたことの記録へと変わっている。そしてアジェンダ１１７５におけるいくつかの実行項目は特定の人に割り当てられている。
【００７８】
バージョンコントロールを使用し、会議中行われたこと全てのログを保存することによって、ある決定に至るまでにどのような反対意見があり、どのようにそれらを解決したかということをひも解くことが出来る。更に、本発明における非同期会議システム１００は後の再生および補足を容易にするために、録画された会議の特定の部分にアクセスするための特定の方法を提供している。全ての対話や会議中に参照された補足資料を含む会議そのものが、マルチモーダルドキュメント１０５を定義づけている。本発明における非同期会議システム１００は参加者に、録画された会議ドキュメント１０５の重要な部分にアクセスする方法を幾つも提供している。これらは、再生ビュー、テキストビューそしてマルチビューである。
【００７９】
再生ビューは１つ１つのシーンを追っていくことによって会議を全て再生し、注釈を加えることを可能にする。再生ビューにおいて、後の参加者達は対話を元の順番で見、コメントを挿入し、会議中提示された補足資料を検討、更新し、また再生された時間の流れのいずれの時点においても新しい資料を作成することが出来る。再生ビューを使うことによって、違う場所にいるグループメンバーは仮想環境１０００の同じグラフィックスの状態、音声コマンド、資料を共有し、同僚との会議にあたかもその会議が行われている時に実際に参加していたように参加することが出来る。
【００８０】
テキストビューは会議の内容および仮想空間に入力された全ての文字列のログ１０４５の基本的な発表内容である。図１２に示されているように、ログ中の１つ１つの発言に対してテキストビューは発言者１２２０、刻印１２３０そしてその発言がどのスレッド内で行われたかを示す時系列番号１２４０を示す。図１２は、オンラインで行われている会議を示している。本発明における非同期会議システム１００は最初の対話を時系列番号１とし、それ以降のいずれのユーザーによる訪問には次に小さな時系列番号を与える。
【００８１】
テキストビューはテキストログ１０４５を迅速にざっと目を通すことを可能とし、またキーワードのルックアヘッドとバックアップ探索を容易に行えるようにすることで、高速なスキャンを支援している。テキストビューを使用して、ユーザーはテキストをざっと目を通すか、キーワード探索を使ってナビゲーションする、および／もしくは会議ドキュメント１０５をスクロールすることによってテキストの中身を一通り読むことが出来る。テキストビューのいずれの列からでも読み手は完全な会議ドキュメントを形成する他の資料へのリンクをたどることが出来る。それらの他の資料はそのテキスト列が入力された時点での状態で表示される。テキストビューからは、ユーザーは参加者達の発言などの会議の内容のテキストから、会議のコンテクストへとナビゲートすることが出来る。会議のコンテクストとは既になされた発言、その会議に誰が参加していたか、そして共有した道具の状態を含む。すなわち、テキストビューは会議をかなり簡略化して表わすことができ、またより多くの情報を含んだメディアへすぐにナビゲーション出来るようになっている。
【００８２】
図２３−２７は簡単な会議の流れの一例を示している。図２３−２７は特にこの会議の１回目の録画、すなわち最初に行われた時のものを示すものである。図２８−３２はこの会議が２回目に行われた、すなわち元の会議が終了し、後の参加者達が既に録画された会議を検討および／もしくは補足している時のものを示している。
【００８３】
図２３は各ユーザーのディスプレイ上にどのような表示がされうるかを示している。会議のアジェンダ１１７５はグラフィカルユーザーインターフェイス１１７０内のグラフィカルユーザーインターフェイススクリーン１１５０の左側に表示され、会議の仮想環境１０００はグラフィカルユーザーインターフェイススクリーン１１５０の右上部分に位置するグラフィカルユーザーインターフェイスウィンドウ１１８０に表示されている。更に、参加者達が文字を入力する入力エリア１１４０が仮想環境１０００の下の部分に表示されている。図２３からこの会議の第１回目のセッションの参加者は２人であるということが明らかである。図２４では会議が始まると、参加者の内の１人から文字による発言１００５があったことがわかる。図２５は会議の中間点におけるスナップショットである。アジェンダ１１７５から分かるように参加者達は現在「項目３」に取りかかっており、アジェンダ１１７５中の「議題」の内の対応する部分１２５５がハイライトされ、現在議論されているトピックであるということが示されている。更に、グラフィカルユーザーインターフェイスウィンドウ１１８０上で一人のユーザーのアバター１０１０の上にクエスチョンマーク１０４０が見える。以前に述べたように、これらのクエスチョンマークはグラフィカルユーザーインターフェイスウィンドウ１１８０に追加されたペイントによる入力の結果か、もしくはアバター１０１０がユーザーの感情を示すために変更されたことを示すものである。
【００８４】
図２６は同じ会議がさらに進行した時のスナップショットである。図２６においては、グラフィカルユーザーインターフェイス１１７０の左側は先に議論されていたコンファレンスのプログラムを示す画面に変わっている。図２７においては、参加者の内の１人が会議の終わりを告げている。
【００８５】
図２８−３２はこの会議が２度目のセッションのものであり、前の参加者たちのアバター１１００と１１２０は録画された外見で示されていて、新しい参加者達のアバター１１９０と１２００は生の外見で表わされている。図２９は会議の第２セッションの開始を示している。図２９を見るとアジェンダ１１７５中の参加者名の欄が２人から４人に増えている。図３０はアジェンダ１１７５における「項目２」について議論している際のスナップショットである。図３０に示されているように、異なった参加者達からの同時に行われた発言を示す吹出し１２６０が同時に表示されることができることが分かる。図３１は以前リンクされたプログラムが新しい参加者達のためにも表示されることを示している。さらに、図３２ではアジェンダ１１７５における議題が、決定がなされ会議が終了するにつれてどのように進んでいくかを示している。
【００８６】
図３３はマルチモーダルな会議がどのように生成されまた非同期的に補足されていくかを示すフローチャートである。Ｓ２００ではシステムは会議が新しい会議であるかどうか判断する。もしそうであれば、Ｓ３００に進み、そうでなければＳ９００に飛ぶ。
【００８７】
Ｓ３００において、議長が決められ、本発明における非同期会議システム１００が初期化される。初期化は会議が行われる仮想環境を定め、最初から会議に参加する参加者達を相互に接続することを含む。Ｓ４００においてマルチモーダルドキュメントの録画が開始される。Ｓ５００においては参加者達の間で会議が開始し、Ｓ６００に進む。
【００８８】
Ｓ６００では、参加者達のインタラクションは録画され、マルチモーダルドキュメントに保存される。先に述べたように、これらのインタラクションは文字インプット、音声コマンド、グラフィックス、ホワイトボードへの書込み、その他後の参加者達に会議の完全な内容を提供するために必要なもしくは望ましい録画可能なインタラクションを含むことができる。Ｓ７００では会議の終了時に録画が停止される。そしてＳ８００では、会議が終了後に参加者たちは会議全体または一部分を再生したいか質問される。会議を再生することを選択する参加者が１人もいなかった場合は、Ｓ１６００に進む。もし会議内容の再検討または更なる補足のために会議を再生することを選択する参加者が１人以上いた場合にはＳ９００に進む。
【００８９】
Ｓ９００では、マルチモーダルドキュメント１０５は元の参加者もしくは新たな参加者である現在の参加者達のために再生される。次にＳ１０００では現在の参加者は既に録画されたマルチモーダルドキュメントに補足するかどうかいう選択肢がある。もし既に録画されたマルチモーダルドキュメントに補足することを選択する参加者が１人以上いた場合にはＳ１２００に進む。もし既に録画されたマルチモーダルドキュメントに追加する選択する参加者が１人もいなかった場合は、Ｓ１１００に進む。Ｓ１１００では会議の再生は終了しＳ１６００に進む。
【００９０】
Ｓ１２００において現在の参加者達による既に録画されたマルチモーダルドキュメントへの補足が開始する。Ｓ１３００では参加者達の対話は、同期な会議を作り出すためにマルチモーダルドキュメント内で会議の中で時系列的になるような箇所に挿入される。Ｓ１４００では１人もしくはそれ以上の参加者が既に録画されたマルチモーダルドキュメントへの補足を終了した時に、録画が停止する。Ｓ１５００において、その１人もしくはそれ以上の参加者は既に録画された会議の再生を続行するか、もしくは更なる発言をしないのであれば再生を終了することを選択する。もし、Ｓ１５００において現在の参加者達が会議の検討を終了したのであれば、Ｓ１６００に進む。もし、さらなる再検討もしくは補足のために会議の再生を続行することを選択したならば、Ｓ９００に戻って再生および補足のプロセスが続けられる。Ｓ１６００において処理は終了する。
【００９１】
すなわち、非同期マルチモーダルドキュメントの生成および非同期的な補足のための方法は３つの基本的なプロセスに分割される。１つ目のプロセスは会議をマルチモーダルドキュメントに取り込む。２つ目のプロセスはマルチモーダルドキュメントに取り込まれた会議を再生し、３つ目のプロセスで後の検討のためにマルチモーダルドキュメントに取り込まれた会議を補足し統合された録画を作成する。
【００９２】
本実施例における例示的なシステムはウェブ・ブラウザのようなアプリケーションを介在して作用しているが、それ以外のアプリケーションを介在させることもできる。例えば、非同期会議において後のセッションの参加者が、前の参加者が提示した質問に対する答えを提供した時、システムが前の参加者に電子メールを送ることができる。更に、ユーザーが会議で行われたイベントに精通しているならば、会議を再生せずに注釈を加えることもできる。
【００９３】
図１及び２に示されているように、非同期マルチモーダル会議システムは単一プログラムもしくは分散プログラムの汎用コンピュータ上に実現されるのが好ましい。しかし、非同期マルチモーダル会議システムはまた、１つもしくはそれ以上の専用コンピュータ、プログラムされたマイクロプロセッサまたはマイクロコントローラ、周辺集積回路、ＡＳＩＣまたは他の集積回路、ディジタル信号プロセッサ、ディジタル回路のような電子ワイヤ回路または論理ワイヤ回路、ＰＬＤ，ＰＬＡ，ＦＰＧＡ，ＰＡＬその他のプログラム可能な論理デバイスなどの上でも実現できる。一般的に、図３３に示されたフローチャートを実現することのできる装置ならどのようなものでも、１つもしくはそれ以上の非同期マルチモーダル会議装置を実現するために用いられることができる。
【００９４】
さらに非同期マルチモーダル会議システムはローカルエリアネットワーク、ワイドエリアネットワーク、イントラネット、インターネット、その他分散形ネットワーク上のサーバもしくはそれ以外のノードで実現することができる。また、仮想環境およびアバターは二次元グラフィックスに限定されない。三次元アバターであればよりリアルな画像を提供することができる。また、リンク１３０は非同期会議システム２００への有線または無線によるリンクのどちらでもよい。
【００９５】
更に、テキストボックス１１４０に入力される文字コマンドに関連して会議制御が示されているが、アバター、小道具といった非同期会議システムにおける全ての選択可能な要素は少なくともユーザーインターフェイス１２０に接続されたマウスおよび／もしくはキーボード、もしくはグラフィカルユーザーインターフェイスのために使用されるその他のいかなるコントローラーでも選択、制御することができる。更に、マウスやキーボード以外にもジョイスティック、トラックボール、タッチパッド、光学ペン、タッチスクリーンディスプレイなどのその他の制御可能な選択装置を使用することもできる。
【００９６】
本発明は上記特定の実施の態様に沿って述べられて来たが、当業者が多くの代案、修正、及び変形をすぐに理解できることは明白である。したがって、上に述べられた本発明の好ましい実施の態様は、限定を目的とするものではなく、説明を目的とするものであり、特許請求の範囲において定義される発明の趣旨及び範囲から逸脱することなく多様に変化させることが可能である。
【００９７】
【発明の効果】
以上説明したように、本発明によれば、会議セッションは後に再生され補足ができるようにマルチモーダルドキュメント内に録画され、後の参加者によって際限なく再生し、補足することができ、同時性に拘束されることなく共同作業を行うことができる。さらに参加者を表象するアバターを使用すれば、複数のセッションの合成スクリーンを容易に生成することができ、またユーザーのプライバシーに関する懸念を軽減することができる。
【図面の簡単な説明】
【図１】本発明における非同期会議システムの機能を表わすブロック図である。
【図２】図１をより詳細に示したブロック図である。
【図３】本発明における非同期会議システムの典型的な仮想環境を示す図である。
【図４】会議中表示される第１のグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図５】会議中表示される第２のグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図６】次のシーンへのリクエストの処理を示すブロック図である。
【図７】イベントの録画およびユーザーのディスプレイの更新を示すブロック図である。
【図８】会議の第１回目のセッションの開始時における仮想環境のグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図９】会議の第１回目のセッションにおける２つ目のイベントを示す仮想環境のグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１０】会議の第１回目のセッションにおける３つ目のイベントを示す仮想環境のグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１１】会議の第１回目のセッションにおける４つ目のイベントを示す仮想環境のグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１２】本発明における非同期会議システムのテキストログの一例である。
【図１３】会議のアジェンダを表示しているグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１４】ブラウザを使用してアクセスしたデータを表示しているグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１５】ブラウザを使用してアクセスしたデータを表示しているグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１６】会議の第１回目のセッション中におけるユーザーおよび代表者の画面の一例を表示しているグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１７】会議の第２回目のセッションの開始時における仮想環境のグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１８】会議の第２回目のセッションにおける２つ目のイベントを示す仮想環境のグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図１９】会議の第２回目のセッションにおける３つ目のイベントを示す仮想環境のグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図２０】会議の第２回目のセッションにおける４つ目のイベントを示す仮想環境のグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図２１】会議の第２回目のセッション中におけるユーザーおよび代表者の画面の一例を表示しているグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図２２】会議の第２回目のセッションが進行していくに従ってアジェンダが更新されたことを示すグラフィカルユーザーインターフェイススクリーンを示す中間調画像である。
【図２３】会議の第１回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示すを示す中間調画像である。
【図２４】会議の第１回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図２５】会議の第１回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図２６】会議の第１回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図２７】会議の第１回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図２８】会議の第２回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図２９】会議の第２回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図３０】会議の第２回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図３１】会議の第２回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図３２】会議の第２回目のセッション中における更なるグラフィカルユーザーインターフェイススクリーンの例を示す中間調画像である。
【図３３】本発明における非同期会議システムの方法を示したフローチャートである。
【符号の説明】
１００マルチモーダルな非同期会議システム
１０５マルチモーダルドキュメント
１２０ユーザーインターフェース・ディスプレイ
２００汎用コンピュータ
２１０インプット・アウトプットインターフェース
２２０補足制御手段
２３０マルチモーダル録画制御手段
２４０再生制御手段
１０００仮想環境
１００５テキスト発言
１０１０アバター
１０２０小道具
１０２１コーヒーカップ
１０２２メモ
１０３０ＷＷドキュメント
１０４０ペイントストローク
１０４５テキストログであるサマリー
１１００、１１２０静的なアバター
１１３０再生の際にコメントを時系列的に並べるために使用する時計
１１４０入力エリア
１１４５ホワイトボード

Claims

仮想環境においてコンピュータを介在させてなされ異なる会議セッションで起こった非同期なマルチモーダルなイベントを記録するシステムであって、
メモリに記憶されたデータ構造であって、上記仮想環境と上記仮想環境に関連して起こった複数のイベントの各々の複数の側面との説明を１つの会議セッションとして記録することができる同期マルチモーダルドキュメントをストアするものと、
ネットワークに相互接続された複数のコンピュータ装置であって、そのうちの１のコンピュータ装置に上記データ構造が記憶されるものとを有し、
上記複数のコンピュータ装置の残りの各々はユーザおよび上記データ構造との間の通信を可能にし、
さらに、上記システムは、各ユーザが上記データ構造と相互作用して１つの会議セッションとして記録された上記同期マルチモーダルドキュメントに、当該１つの会議セッションを記録した時点より後の時点で行なわれた当該１つの会議セッションと異なる会議セッションで発生したイベントのうちの少なくとも１つのイベントを、挿入させることができるようにし、上記同期マルチモーダルドキュメントが少なくとも１人のユーザによる上記１つの会議セッションと異なるセッションにおける少なくとも１つの注釈に従属し、当該少なくとも１つの注釈が上記同期マルチモーダルドキュメントとマージして、上記少なくとも１つの注釈が、上記１つの会議セッションにおいて入力されたように見える態様で更新された同期マルチモーダルドキュメントを生成することを特徴とする、異なる会議セッションで起こったマルチモーダルなイベントを記録するシステム。
前記更新された同期マルチモーダルドキュメントに更に補足し、マージできることを特徴とする請求項１に記載のシステム。
各ユーザーが前記更新された同期マルチモーダルドキュメントを更に検討することができることを特徴とする請求項１に記載のシステム。
前記マルチモーダルドキュメントに各イベントを記録するための少なくとも１つのマルチモード録画制御手段と、
前記同期マルチモーダルドキュメントへの追加をおこなうための補足制御手段と、
少なくとも１人のユーザーが前記同期的マルチモーダルドキュメントの内少なくとも１つのイベントを再生するための再生制御手段を有する少なくとも１つのデータ制御手段を有することを特徴とする請求項１に記載のシステム。
前記仮想環境が、前記仮想環境内に位置し、移動することができる少なくとも１つの小道具を有することを特徴とする請求項１に記載のシステム。
前記仮想環境が、他の仮想環境へのリンクを有することを特徴とする請求項１に記載のシステム。
前記仮想環境が、イベントが行われる仮想空間を有することを特徴とする請求項１に記載のシステム。
前記仮想空間が仮想会議室であることを特徴とする請求項７に記載のシステム。
ユーザーによって入力された文字列が前記仮想環境内でふきだしとして表示されることを特徴とする請求項１に記載のシステム。
前記仮想環境が、前記複数のイベントに関連した情報を表示する少なくとも一つのエリアを有することを特徴とする請求項１に記載のシステム。
前記仮想環境が、各ユーザーがシステムに対してコマンドを入力する手段を有することを特徴とする請求項１に記載のシステム。
前記コマンドが記録開始、記録停止、再生、情報のロード、早送り、巻戻しを含むことを特徴とする請求項１１に記載のシステム。
前記コマンドが更に新規会議、ｇｏｔｏ、情報のロード、音声再生、ビデオ再生を含むことを特徴とする請求項１１に記載のシステム。
仮想環境においてコンピュータを介在させてなされ異なる会議セッションで起こった非同期なマルチモーダルなイベントを記録する方法であって、
前記仮想環境におけるイベントを保存するデータ構造を作成し、
前記仮想環境に関連して行われる複数のイベントを前記データ構造を使用して前記仮想環境と関連させて１つの会議セッションとして同期マルチモーダルドキュメントに記録し、
前記１つの会議セッションを前記仮想環境と関連させて記録した時点より後の時点で当該１つの会議セッションと異なる会議セッションで少なくとも１つの注釈をを入力し、
前記少なくとも１つの注釈と、すでに前記データ構造中に記録されているイベントを並べ替え、上記少なくとも１つの注釈が、上記１つの会議セッションにおいて入力されたように見える態様で更新された同期マルチモーダルドキュメントを生成することを含む、前記方法。
前記１つの会議セッションを前記仮想環境と関連させた記録した時点より後の時点より、さらに後の時点の会議セッションで、更なる注釈を入力し、
前記更なる注釈と前記更新された同期マルチモーダルドキュメント中のイベントを並べ替え、
前記同期マルチモーダルドキュメントを更新することを含む請求項１４に記載の方法。
前記少なくとも１つの注釈をモニターし、
前記注釈の各々に基づいて、少なくとも１つのユーザーインターフェイスを更新することを含む請求項１４に記載の方法。
ユーザーインターフェイスを通して、少なくとも１人のユーザーに対して少なくとも１つのイベントが再生されることを含む請求項１４に記載の方法。