JPH0997220A

JPH0997220A - 電子会議システムおよび時系列データの記録再生方法

Info

Publication number: JPH0997220A
Application number: JP7253258A
Authority: JP
Inventors: Shinsuke Sawajima; 信介澤島; Tetsuo Kimura; 哲郎木村; Takeshi Fujino; 剛藤野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-29
Filing date: 1995-09-29
Publication date: 1997-04-08

Abstract

(57)【要約】【課題】本発明は、会議記録の際の通信量の低減を実現
でき、しかも所望するデータの再生を効率よく行うこと
もできる電子会議システムおよび時系列データの記録再
生方法を提供する。【解決手段】音声記録時は音声入力装置２３から入力さ
れた音声データを同じ会議端末２上の音声記録装置２５
で個別に録音し、再生時に各会議端末２上の記録データ
を再生要求を受けた会議端末２に送付するようにしてい
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワークによ
り接続されたコンピュータなどを使用して会議を行うい
わゆる遠隔会議に適用される電子会議システムおよび時
系列データの記録再生方法に関するものである。

【０００２】

【従来の技術】最近、電子会議システムとして通信ネッ
トワークにより接続されたコンピュータやワークステー
ションなどの会議端末を使用して、互いにカメラやディ
スプレイ装置を通し相手の顔などを表示したり、マイク
やスピーカ、ヘッドホンなどを通し相手の音声を伝える
などして会議を行う、いわゆる遠隔会議が実用化されて
いる。

【０００３】また、このような遠隔会議では、ウインド
ウシステムなどで動作するアプリケーションを共用する
ことで、アプリケーションの動作状態を会議参加者が同
じように見たり、そのアプリケーションを同じように操
作したりすることも可能にしている。

【０００４】そして、このような電子会議システムで
は、記録再生手段を付加することにより、遠隔会議で発
生した種々のデータを記録するとともに、必要によりこ
れらデータを再生できるようにもなっている。

【０００５】この場合、このような電子会議システムに
用いられる記録再生手段は、システムに対して共通に設
けられていて、遠隔会議で発生した会議参加者の音声デ
ータを始めとする各種データを集中的に転送して記録す
るとともに、この記録内容を再生できるようにしてい
る。

【０００６】

【発明が解決しようとする課題】ところが、このように
して共通に設けられた記録再生手段により遠隔会議で発
生した各種データを集中的に記録するのでは、かかる記
録の開始時刻から終了時刻までの間は、会議を進行させ
るための音声データなどの各種データの通信とは別に、
記録のための音声データなどの各種データの通信も必要
となるため、ネットワークを含む通信設備での通信量が
膨大なものになり、通信設備に多大な負担を掛けること
があるため、会議端末の機能低下や通信遅延の増大を引
き起こすという問題点がある。

【０００７】また、記録手段には、会議中の発言を行っ
ていない無データ部を含めて全てのデータが集められる
ので、この無データ部に対しても記録容量が浪費される
ことになり、このことは、このようなシステムに用いら
れる記録媒体には、従来の磁気テープなどと比べて非常
に高価なものが用いられることからも、経済的に不利に
なり、さらに無データ部に対する処理のために無駄にコ
ンピュータを動作させ負荷を高めてしまうという問題点
もある。

【０００８】さらに、記録手段の記録内容のうち特定の
参加者の発言のみを再生したいような場合は、記録内容
をこまめに早送りして該当する記録部分を探し当てるし
かなく、さらに所定区間の記録データをスキップしたい
場合や高速再生したいような場合でも、該当部分を早送
りして排除したり、該当区間を注目しながら高速再生を
操作するしかなく、そのための操作の手間が面倒で煩わ
しいという問題点がある。

【０００９】本発明は、上記事情に鑑みてなされたもの
で、会議記録の際の通信量の低減を実現でき、しかも所
望するデータの再生を効率よく行うこともできる電子会
議システムおよび時系列データの記録再生方法を提供す
ることを目的とする。

【００１０】

【課題を解決するための手段】請求項１記載の発明は、
複数の会議端末を通信ネットワークにより接続して遠隔
会議を行う電子会議システムにおいて、各会議端末から
入力される音声データを該音声データが入力される会議
端末ごとに分散記録し、再生要求により前記各会議端末
に分散記録された音声データを該音声データの記録開始
時刻に基づいて再生し前記各会議端末に転送するように
している。

【００１１】請求項２記載の発明は、一定時間単位の音
声データにタイムスタンプを付与したパケットを形成
し、これらパケットのうち音声データが無音部のパケッ
トを削除するとともに音声データが有音部を有するパケ
ットのみ記憶し、再生時は、前記記録された各パケット
のタイムスタンプに基づいて前記削除された音声データ
の無音部を補完するとともに前記有音部を有する音声デ
ータを再生するようにしている。

【００１２】請求項３記載の発明は、指定された時間帯
の時系列データとともに、該指定された時間帯の各時点
において着目する状態データを記録し、所定の選択条件
が成立する時点を前記状態データより検索し、該時点に
記録された時系列データを選択して再生するようにして
いる。

【００１３】請求項４記載の発明は、請求項３記載にお
いて、前記選択条件の成立する時点が検出されない時系
列データのスキップ処理をさらに指示し、このスキップ
処理の指示により前記検索されなかった時点の時系列デ
ータを処理するようにしている。

【００１４】この結果、請求項１記載の発明によれば、
録音時の通信量を大幅に減らすことができて、通信設備
への負担を軽減でき、会議端末の機能低下や通信遅延な
どを確実に防止できる。また、各会議端末に個別に記録
された会議参加者の音声データを各音声データの記録開
始時刻に基づいて再生することで、会議の様子を忠実に
再現することができる。

【００１５】また、請求項２記載の発明によれば、記録
容量が無駄に浪費されるのを防止でき、経済的に有利に
でき、さらに無音部に対する処理のために無駄にコンピ
ュータが動作するようなことも回避できる。

【００１６】また、請求項３記載の発明によれば、ある
条件に合致する時系列データを取り出し再生を行いたい
時、時系列データが記録された時点に対応する時点の各
状態を利用することで、様々な選択条件を指定すること
が可能となり、きめ細かな選択条件の指定による時系列
データの出力が可能となる。

【００１７】また、請求項４記載の発明によれば、選択
条件に合致した時系列データについては通常速度で出力
する通常再生を行い、合致しない部分については高速出
力を指定して早送り再生などのスキップ処理ができる。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態を図面
に従い説明する。（第１の実施の形態）図１は、本発明が適用される電子
会議システムの概略構成を示している。図において、１
は通信ネットワークで、この通信ネットワーク１には、
複数の会議端末２および会議制御部３を接続している。

【００１９】ここで、通信ネットワーク１は、ＬＡＮ
（Local Area Network）やＩＳＤＮ（Integrated Servi
ces Digital Network ）などが用いられている。会議端
末２は、ワークステーション、パソコンなどが用いられ
るもので、図２に示すように通信装置２１、記録再生装
置２２の他に、マイクロフォンなどの音声入力装置２
３、スピーカなどの音声出力装置２４および記録装置２
５を具備し、さらに、このうちの通信装置２１には、送
信装置２１１、受信装置２１２および音声混合装置２１
３を有している。、会議制御部３は、会議情報管理部３
１と録音制御部３２を有している。ここで、会議制御部
３は、会議参加者が利用する各会議端末２に通信指令を
送って参加者間の通信路を設定するなど会議の進行を司
るものである。また、会議情報管理部３１は、会議記録
を登録管理するもので、図３に示すように会議名、日
時、参加者（マシン）リストを各会議ごとに会議ＩＤを
付して記録している。録音制御部３２は、会議参加者の
各会議端末２に録音開始要求などを行うものである。

【００２０】しかして、このような構成によると、各会
議参加者はそれぞれの会議端末２より通信ネットワーク
１を介して相互に接続されており、会議制御部３より各
会議参加者が利用する会議端末２の通信装置２１に通信
指令が出力されると、各会議参加者間の通信路が設定さ
れる。

【００２１】この状態から、任意の会議参加者の発言が
会議端末２の音声入力装置２３より入力されると、この
会議参加者の音声データは、通信装置２１の送信装置２
１１より通信ネットワーク１を介して他の会議参加者の
会議端末２に転送され、同会議端末２の通信装置２１の
受信装置２１２を通って音声出力装置２４より出力さ
れ、通信ネットワーク１上で複数の会議参加者による電
子会議が実現されることになる。

【００２２】この場合、発言のあった会議参加者の会議
端末２からの音声データは、他の全ての会議参加者の会
議端末２に送られ、また、複数の他の会議参加者からの
音声データは、音声データを音声混合装置２１３で混合
され、音声出力装置２４より出力される。これにより、
会議端末２を利用する会議参加者は、他の会議参加者の
音声を聞くことができる。

【００２３】一方、このような電子会議の記録／再生
は、各会議端末２が具備する記録再生装置２２により実
現される。この場合、会議制御部３の録音制御部３２よ
り各会議端末２に録音開始要求が与えられると、音声入
力装置２３から入力された音声データは、通信装置２１
の送信装置２１１へ送られ、各会議参加者の会議端末２
に送信されと同時に、この入力音声データは記録再生装
置２２にも送られ、記録装置２５内に記録される。

【００２４】この場合も、他の会議参加者の会議端末２
からの音声データは、通信装置２１内の受信装置２１２
で受信されると、音声混合装置２１３に送られ、ここで
複数の参加者の音声データが混合され、一つの音声デー
タにして音声出力装置２４に出力されるが、この音声デ
ータは、記録再生装置２２に送られず、記録装置２５に
記録されることがない。

【００２５】これにより、各会議端末２での音声データ
の記録は、会議端末２を利用している会議参加者の音声
データのみを記録することとなり、他の会議参加者の音
声データは各々利用している会議端末２上で別々に記録
される。

【００２６】次に、このようにして各会議端末２ごとに
分散記録された会議内容を再生するには、会議に参加し
た会議参加者の会議端末２が協調して会議内容の再生を
行うようになる。

【００２７】この場合、会議制御部３の会議情報管理部
３１に登録されている、例えば図３に示す会議記録の中
から所望する会議を指定する。すると、会議制御部３で
は、指定された会議について、各参加者が利用してた会
議端末２に対し会議ＩＤを送付し、記録装置２５の参加
者音声データの記録ファイルを検索／オープンして再生
準備をするよう指令する。

【００２８】なお、ネットワークファイルシステムなど
の導入により、各会議端末２の記録装置２５に記録した
各参加者の音声データを他の会議端末２からも参照でき
るような場合は、音声データが格納されているファイル
名を会議情報管理部３１に登録しておき、再生時には負
荷の軽い会議端末２をそれぞれの参加者の再生用に割り
当てるようにしてもよい。

【００２９】そして、各会議参加者の会議端末２の記録
装置２５から再生されるそれぞれの会議端末２を利用す
る会議参加者の音声データは、後述の同期方法にしたが
って通信ネットワーク１上に出力され、各会議端末２の
受信装置２１２を介して音声混合装置２１３で混合さ
れ、音声出力装置２４より出力される。これにより、各
会議端末２を利用する会議参加者は、他の会議参加者の
音声を交えて再現された会議内容を聞くことができる。

【００３０】ところで、このように分散記録された音声
データを再生する際の同期方法には以下の２通りがあ
る。まず、会議参加者が会議の開始時に全員揃っている
ような場合は、同時開始方法が用いられる。この方法
は、録音制御部３２が全ての会議参加者の会議端末２に
同時に記録開始要求を送ることにより、各参加者の音声
データの記録の同期をとる方法である。

【００３１】そして、再生時には、会議制御部３から各
会議参加者の会議端末２へ同時に再生要求を送付し、各
会議端末２の記録装置２５より各々の会議参加者の音声
データを読み出し、各会議端末２の受信装置２１２に転
送するようになる。

【００３２】この場合、会議端末２に再生要求を送付す
れば、これら会議端末２が要求を受け付ける時間はほぼ
同一時刻であると仮定できるので、各会議端末２でリア
ルタイムに記録装置２５より音声データを再生すれば、
通信ネットワーク１上で各会議参加者の音声データの同
期が取れることになる。

【００３３】一方、各参加者の記録開始時間が異なって
いたり、会議途中で参加するものがあったような場合
は、時刻付与方式が用いられる。この方法は、各会議端
末２上に時間管理装置（図示せず）を用意し、会議参加
者の音声データの記録とともに、記録データの属性とし
て記録開始時刻を付与する。

【００３４】そして、再生時には、会議制御部３から各
会議参加者の会議端末２へ再生要求を送付する際に、再
生差分時間ΔＴを付与して送る。この再生差分時間ΔＴ
は、記録開始時刻Ｔstart と再生要求発行時刻Ｔnow 、
各会議端末へ要求を送付してから各会議端末が再生を開
始するまでの所要時間の想定される最大値（以下、再生
遅延時間）Ｔdelay から次式により算出される。

【００３５】ΔＴ＝Ｔnow −Ｔstart ＋Ｔdelay すると、再生要求を受け取った各会議端末２は、要求を
受理した時刻ＴRecvReq と、会議端末２の時間管理装置
に保持されている記録データの記録開始時刻ＴRecStart
により下式から待ち時間Ｔwaitを求め、この待ち時間Ｔ
waitの後に再生を開始するようにする。

【００３６】Ｔwait＝ＴRecvReq −ＴRecStart−ΔＴこれらの同期方法を分散記録された音声データの再生に
用いれば、各会議端末２から送信される会議参加者の音
声データの同期が取れて、会議端末２の受信装置２１２
で受信され、同時刻の各会議参加者の音声が音声混合装
置２１３で混合され、音声出力装置２４より出力される
ことで、会議の様子が再現できるようになる。

【００３７】従って、このような第１の実施の形態によ
れば、音声記録時は音声入力装置２３から入力された音
声データを同じ会議端末２上の音声記録装置２５で個別
に録音し、再生時に各会議端末２上の記録データを再生
要求を受けた会議端末２に送付するようにしたので、録
音時の通信量を大幅に減らすことができ、通信設備への
負担を軽減でき、会議端末の機能低下や通信遅延などを
確実に防止できる。また、各会議端末２に個別に記録さ
れた会議参加者の音声データを各音声データの記録開始
時刻に基づいて再生することにより会議の様子を忠実に
再現することができる。（第２の実施の形態）ところで、第１の実施の形態で述
べた音声データの記録再生では、会議の論議内容の記録
という観点から見ると、誰も発言していない状態もかな
りあり、この情報量が無い部分にも関わらず、議論が行
われていると同じだけの時間あたりのデータ量を必要と
し、この無音部のために記憶容量を浪費してしまう。

【００３８】そこで、第２の実施の形態では、この無音
部のための記憶容量の浪費を防止できる記録再生方法を
示している。なお、第２の実施の形態では、上述した第
１の実施の形態の図１および図２を引用するものとす
る。

【００３９】そして、ここでの会議端末２は、記録再生
装置２２を、図４に示すように音声記録部４１と音声再
生部４２から構成し、音声記録部４１に、音声入力装置
２３、音声再生部４２に、音声出力装置２４をそれぞれ
接続し、これら音声記録部４１と音声再生部４２に記録
装置２５を接続している。

【００４０】音声記録部４１は、音声入力装置２３から
音声データを獲得する音声データ入力部４１１、無音部
検出部４１２、時刻管理部４１３、記録データ作成部４
１４、データ記録部４１５で構成している。ここで、無
音部検出４１２は、音声入力装置２３から入力される会
議参加者の声を解析し、入力された音声データ中に該当
する音声が含まれるかどうかを判定するものである。人
の会話などを再現することを目的とした音声の記録再生
においては、無音部は殆ど情報量を持たないため、この
部分を削除して記録するデータ量を削減するために利用
される。時刻管理部４１３は、無音部削除によって時間
経過情報が失われないようにするために、音声データに
時間情報を付与するために利用される。記録データ作成
部４１４は、無音部検出部４１２からの情報を元に音声
データから無音部分を削除し、有音部分（無音部でない
部分）の音声データを時間情報と関連付けて記録用デー
タ構造にデータを生成する。データ記録部４１５は、記
録データ作成部４１４から転送される記録用データを記
録装置２５に記録するためのものである。

【００４１】また、音声再生部４２は、記録装置２５に
記録された音声データと時間情報を読み出すデータ読み
出し部４２１、時刻管理部４２２、削除された無音部を
疑似的に作る疑似無音部作成部４２３、無音部を削除さ
れた音声データと疑似無音部から音声データを復元する
音声データ復元部４２４、復元された音声データを音声
出力装置２４に出力する音声データ出力部４２５で構成
している。

【００４２】ここで、疑似無音部作成部４２３により、
無音部削除で失われた空白部分（話者が黙っている時間
に相当する音声データ）を再現するには、上述の無音部
検出部４１２で生成された音声データとそれに付随する
時間情報に加え、再生時の時間経過とを比較しながら削
除された空白部分を疑似的に作り出し、無音部を含む音
声データを復元するようにしている。

【００４３】次に、音声記録部４１における音声データ
の記録方法の流れを図５に従い説明する。この場合、音
声データが音声入力装置２３より音声データ入力部４１
１に与えられると、ステップＡ０１で、音声データを記
録データ作成部４１４に送出するためのパケットを作成
する。この場合、音声データは、連続ストリームデータ
であるため、音声データ入力部４１１では、一定時間単
位（Δｔ）の音声データを一塊として読み込み、そのデ
ータを元にパケットを形成し、記録データ作成部４１４
に送出する（ステップＡ０２）。

【００４４】なお、システムの負荷変動等の理由によ
り、入力データの読み込み時間間隔が変動する場合があ
るが、このような場合を想定して、読み込んだ音声デー
タに対して、読み込み開始時刻と、読み込んだデータの
長さを音声データに属性として与えパケットを形成して
いる。

【００４５】図６は、このようなパケットの構造を示す
もので、パケットの先頭に、タイムスタンプとして音声
データ先頭に与えられた時刻（読み込み開始時刻）を配
置し、続けて音声データの長さ、および音声データをそ
れぞれ配置するようにしている。

【００４６】なお、ここでの音声データは、単位時間あ
たりのデータ量が一定であり、単位の変換が簡単である
ため、音声データの長さは、ｂｙｔｅ数を単位として
も、時間を単位としても良い。また、音声データ入力部
でのデータ読み込み間隔が一定であれば、パケットのヘ
ッダ内のデータ長を記録する欄を省略することが可能で
ある。

【００４７】パケット化された音声データを受け取った
音声記録データ作成部４１４では、このパケットを無音
部検出部４１２に送り、ステップＡ０３で、パケット内
に有音部分があるかどうかの判定を依頼する。すると、
ステップＡ０４で、無音部検出部４１２では、フレーム
エネルギー法などを利用して、与えられたパケット内に
有音部分があるかどうかを判定し、判定結果を音声記録
データ作成部４１４に通知する。

【００４８】そして、判定結果を受けた音声記録データ
作成部４１４は、該パケットに有音部分が含まれていな
い場合は、ステップＡ０５で、そのパケットを破棄し、
有音部分が含まれる場合には、ステップＡ０６で、記録
装置２４内に保存する。なお、有音部分が連続する場合
には、複数のパケットを結合して、単一のパケットに再
構成することによりパケットのヘッダに費やす記憶容量
を削減することが可能である。

【００４９】図７は、時刻ｔ₀ から時刻ｔ₇ までに発生
した音声データ（入力音声データ）について、上述した
処理により記録用データ構造に変換する例を示すもので
ある。この場合、入力音声データは、時刻ｔ₀ からｔ₁
にかけて有音部データｄ1 を有するパケットＰ1 〜Ｐ3
が続き、時刻ｔ₁ からｔ₂ にかけては無音部データｄ2
を有するパケットＰ3 が続く。以下、ｔ₂ 〜ｔ₃ ，ｔ₄
〜ｔ₅ ，ｔ₆ 〜ｔ₇ の各区間が有音部データｄ3 、ｄ5
、ｄ7 ｔ₃ 〜ｔ₄ ，ｔ₅ 〜ｔ₆ の各区間が無音部デー
タｄ4 、ｄ6 で、これら無音部データｄ2 、ｄ4 、ｄ6
を有するパケットが廃棄されることになる。

【００５０】次に、記録装置２５に格納された音声デー
タ（上述のパケット構造をとる）を読み出し、音声デー
タを復元する音声再生部４２の再生方法の流を図８に従
い説明する。

【００５１】この場合、ステップＢ０１で、データ読み
出し部４２１がパケットを読み出すと、ステップＢ０２
で、パケットを音声データ復元部４２４に与えパケット
の先頭データの時刻と末尾データの時刻を求める。

【００５２】そして、ステップＢ０３で、該当パケット
の音声データを音声データ出力部４２５に送り、ステッ
プＢ０４で、該当パケットの末尾時刻を保存する。次
に、ステップＢ０５で、再びデータ読み出し部４２１が
パケットを読み出すと、ステップＢ０６で、パケットを
音声データ復元部４２４に与えパケットの先頭データの
時刻と末尾データの時刻を求める。

【００５３】この状態で、ステップＢ０７で、先頭デー
タの時刻を直前のパケットの末尾データの時刻と比較す
る。そして、ステップＢ０８で、比較結果が等しい場合
は、連続した２つのパケットは連続する音声データを表
現していることから、ステップＢ０９で、この時のパケ
ットの音声データを音声データ出力部４２５に送り、ス
テップＢ１０で、該当パケットの末尾時刻を保存して、
再びステップＢ０５に戻って、上述した動作を繰り返
す。

【００５４】一方、ステップＢ０８で、比較結果に差が
あれば、連続した２つのパケットの間は無音部であり、
記録データ作成部４１４にて削除されたことを示してい
るので、この場合はステップＢ１１に進み、削除された
無音部分に相当する疑似無音部を疑似無音部作成部４２
３にて生成し、音声データ復元部４２４にてこれらのデ
ータを結合し、音声データ出力部４２５に送るようにな
る。

【００５５】この場合、疑似無音部作成部４２３は、無
音部分として完全な無音状態（全く音の無い状態）を出
力するか、記録時に無音部の一部をサンプルデータとし
て保存しておきそのデータを複数結合させて無音部分の
データとしても良い。

【００５６】このような処理により、ユーザの音声は正
確に記録再生され、電子会議において発言がなく録音再
生にとって情報量の無い無音部分の記憶容量を削減でき
ることになる。

【００５７】従って、このような第２の実施の形態によ
れば、音声記録時は音声入力装置２３から入力された音
声データから無音部を削除し、一連の有音部にタイムス
タンプを付与して記録し、再生時には、付与されたタイ
ムスタンプから削除された無音部の長さを算出して補完
して再生するようにしたので、記録容量が無駄に浪費さ
れるのを防止でき、経済的に有利にでき、さらに無デー
タ部に対する処理のために無駄にコンピュータが動作す
るようなことも回避できる。（第３の実施の形態）ところで、電子会議を動画や音声
などを含んだ時系列データとして記録し、それを再生す
る際に、この記録内容のうち特定の参加者の説明してい
る場面や発言のみを再生したいような場合は、記録内容
をこまめに早送りして該当する記録部分を探し当てるし
かなく、さらに所定区間の記録データをスキップしたい
ような場合や高速再生したいような場合でも、該当部分
を早送りして排除したり、該当区間を注目しながら高速
再生を操作するしか方法がなかった。

【００５８】そこで、この第３の実施の形態では、これ
ら所望するデータの再生を効率よく行うことができるよ
うにしている。この場合、図９は、第３の実施の形態の
概略構成を示すもので、時系列データ記憶部１０１、時
系列データ出力部１０２、時系列データ再生部１０３、
状態記憶部１０４、条件入力部１０５およびスキップ方
法入力部１０６により構成している。

【００５９】これらの構成要素は、上述した第１の実施
の形態の図１に示す電子会議システムの構成に対して、
時系列データ記憶部１０１は、各会議端末２に含まれ、
時系列データ出力部１０２および状態記憶部１０４は、
会議制御部３に含まれ、残りの時系列データ再生部１０
３、条件入力部１０５およびスキップ方法入力部１０６
は、これらを纏めて通信ネットワーク１に接続されるよ
うになっている。

【００６０】時系列データ記憶部１０１は、指定された
時間帯の時系列データを記憶するものである。ここで、
時系列データは、時間に直接関係付けられるデータのこ
とで、基本的には直接再生され得るデータである。上述
したような電子会議における時系列データとしては、各
会議参加者の映像データ、会議参加者の発した音声デー
タ、共有したアプリケーションの映像データ、アプリケ
ーションがウインドウシステムや他の入出力装置と送受
信したデータ、各参加者がマウスやキーボードなどの入
力装置を操作することで発生したイベント列などであ
る。また、状態記憶部１０４は、指定された時間帯の各
時点において着目する状態のデータを記憶するものであ
る。ここで、状態データは、時間に関係付けられる記録
時の状態を表すデータであり基本的には直接再生されな
いデータである。電子会議における状態データの例とし
ては、ある時点で動作しているアプリケーションの識別
子、アプリケーション操作者の識別子、席を外した会議
参加者の識別子などである。

【００６１】条件入力部１０５は選択条件を入力するも
のである。ここで、選択条件は、あるパケットについ
て、そのパケットに付随する情報、状態データ、現時刻
などから、そのパケットを同期出力するかを判定するた
めの条件である。なお、ここでのパケットは、時系列デ
ータの一単位で、記録された時刻を表すためのタイムス
タンプを一つ有している。また、同期出力は、現時刻に
同期させながら時系列データを出力することである。

【００６２】スキップ方法入力部１０６は、スキップ処
理方法を入力するものである。ここで、スキップ処理方
法は、選択条件が成立しなかったパケットをスキップす
る時の方法で、例としては、そのパケットをタイムスタ
ンプよりも高速に出力、出力せずに破棄、スキップする
前のパケットを繰り返し出力、一定時間出力しないなど
がある。

【００６３】時系列データ再生部１０３は、時系列デー
タ出力部１０２から出力された時系列データを再生し、
上述した各会議端末２に転送するものである。なお、時
系列データは、上述したように動画や音声やイベント列
など、さまざまなデータタイプがあるため、この時系列
データ再生部１０３は、データタイプ別の再生部を総称
したものである。

【００６４】そして、時系列データ出力部１０２は、時
系列データ記憶部１０１から次に評価すべきパケットを
取得するとともに、状態記憶部１０４からそのパケット
のタイムスタンプに該当する状態データを取得し、これ
ら取得したパケットに付随する情報や、取得した状態デ
ータ、現時刻などから条件入力部１０５に入力された選
択条件を評価し、この結果に基づいて取得したパケット
を時系列データ再生部１０３に同期出力するかスキップ
処理するようにしている。ここで、スキップ処理をする
ときはスキップ方法入力部１０６から入力されるスキッ
プ処理方法に従って処理を行う。

【００６５】次に、時系列データ記憶部１０１と状態記
憶部１０４におけるデータ構造を説明すると、まず、時
系列データ記憶部１０１では、図１０に示すようにチャ
ンネル別に時系列データを記憶している。

【００６６】ここで、チャンネルは、時系列データの主
に発生元を区別する単位で、例としては、会議参加者別
の映像や音声、会議参加者別のウインドウシステムに対
して発生させたイベント列、アプリケーション別の送受
信データなどをそれぞれ個々のチャンネルとみなすこと
ができる。

【００６７】この場合、チャンネルＡ、チャンネルＢ、
…の時系列データは、チャンネル３０１を持ち、続けて
複数のパケット１、パケット２、…が記憶される。そし
て、各パケットは、パケットサイズ３０２、タイムスタ
ンプ３０３、データタイプ３０４、エンコード方式３０
５、パケットデータ３０６の情報を持っている。

【００６８】ここで、パケットサイズ３０２は、該当す
るパケットのサイズを表し、タイムスタンプ３０３は、
該当するパケットが記録された時刻を表し、データタイ
プ３０４は、データのタイプを表している。ここで、デ
ータのタイプとしては動画、音声、ユーザイベント、ア
プリケーション発生データなどがある。さらに、エンコ
ード方式３０５は、パケットデータのエンコード方式を
表している。ここで、エンコード方式としては、動画な
らＭＰＥＧ方式やＪＰＥＧ方式など、音声ならばＡＤＰ
ＣＭ方式やＭＰＥＧオーディオ方式などがある。そし
て、パケットデータ３０６は、データの実体を表してい
る。

【００６９】なお、ここではチャンネル別に時系列デー
タが記憶されているが、これは、各チャンネルの時系列
データが、分散して離れた記憶媒体に記録された場合に
も対応できるからである。勿論、図１１に示すように、
パケット１、パケット２、…毎にチャンネルを持たせて
直列に記憶させるようにしても同様の処理を行わせるこ
とができる。

【００７０】そして、これらパケットの順序は、記録時
および取得時の効率を考えて、タイムスタンプの小さい
順、すなわち記録時の時間順に並んでいるものとする。
次に、状態記憶部１０４は、図１２に示すように複数の
状態データ１、状態データ２、…を有し、それぞれの状
態データ１、状態データ２、…は、サイズ５０１、開始
時刻５０２、終了時刻５０３、タイプ５０４、値５０５
のフィールドを有している。ここで、サイズ５０１は、
状態データのサイズを表し、開始時刻５０２、終了時刻
５０３は時区間を表している。

【００７１】なお、ここではより一般的に、状態が基本
的には時区間に対応しているものとしているが、時区間
でなく、ある時刻に対応させたい時は、開始時刻５０２
をその時刻とし、終了時刻５０３は指定しないようにし
てもよい。また、この時区間に付随する情報は、タイプ
と値の組であり、一つの状態データにタイプと値の組が
複数あるが、これらは互いに関連すべきデータを表現し
ている。

【００７２】例えば、一つの状態データ内に、タイプ＝アプリケーション、値＝１タイプ＝操作者、値＝Ｂと記録されているような場合は、この時区間では「アプ
リケーション１の操作者Ｂ」と解釈される。実際に選択
条件を評価する時は、同一状態データ内はａｎｄ論理を
とるものとし、別の状態データ間ではｏｒ論理をとるも
のとする。

【００７３】次に、条件入力部１０５より入力される選
択条件について説明すると、この場合、例えば「会議の
開始から３０分以降でアプリケーション１の操作者がＡ
またはＢ」に該当する時系列データを再生したいような
場合、その選択条件は、経過時間＞＝３０分＆＆アプリケーション＝＝１＆＆（操作者＝＝Ａ｜｜操作者＝＝Ｂ）となり、この選択条件が条件入力部１０５から入力され
る。ここで入力される文法は、Ｃ言語の論理式を想定し
ているが、他の文法や中間言語形式などでも従来の構文
解析技術を利用して解析し、評価することができる。

【００７４】また、スキップ方法入力部１０６からは、
予め時系列データ出力部１０２に登録されるスキップ処
理方法のうちどれを使用するかを表す番号が入力され
る。次に、このようにした第３の実施の形態での処理の
流れを説明する。

【００７５】図１３は、時系列データ出力部１０２での
処理を表す流れ図であり、まず、ステップＣ０１で初期
化を行う。次いで、ステップＣ０２からループ処理に入
るが、このステップＣ０２で、時系列データ記憶部１０
１から次に評価すべきパケットを取得する。ここで、次
に評価するパケットとは、まだ取得していないパケット
の中で最も小さなタイムスタンプを持つパケットのこと
である。また、時系列データ内のパケットは、タイムス
タンプの小さい順に並べてあるので、最小タイムスタン
プのパケットは検索することなく先頭から順に取得して
いけば良い。なお、実際はチャンネル別に時系列データ
が記録されているので、各チャンネル内の最小タイムス
タンプのパケット間でさらに最小のものを選ぶ必要があ
る。最小のタイムスタンプを持つパケットが複数ある時
は、結局そのタイムスタンプが互いに等しいので、その
複数のパケットをまとめて取り扱うことにより同様の処
理ができる。

【００７６】次に、ステップＣ０３で、上述のステップ
Ｃ０２において時系列データをすべて取得し終ったかを
判断し、もう取得すべきパケットがない場合は処理の終
了（ステップＣ０４）となる。

【００７７】次に、ステップＣ０５で、状態記憶部１０
４に記憶される状態データから、その状態データの持つ
時区間が先に取得したパケットのタイムスタンプを含む
ものすべてを検索する。そして、ステップＣ０６で、条
件入力部１０５から選択条件を取得する。

【００７８】次に、ステップＣ０７で、先に検索した状
態データや取得したパケット、現在時刻などの情報によ
り選択条件を評価する。状態データは、既に説明したよ
うに論理式としてはａｎｄとｏｒを含んで構成されるの
で、選択条件の計算には従来の論理式評価の方法が利用
できる。また、選択条件の構文解析には従来の構文解析
技術が利用できる。評価の結果として、真または偽の値
が導かれる。真の時は選択条件が成立したことを表し、
偽の時には成立しなかったことを表す。

【００７９】そして、ステップＣ０８で、選択条件の計
算結果に応じて処理を分岐させる。ここで、選択条件が
成立したならば、ステップＣ０９で、パケットの同期出
力処理し、成立しなかったならば、ステップＣ１０で、
スキップ処理をする。

【００８０】ここで、図１３のステップＣ０９における
パケットの同期出力処理の流れをさらに詳しく説明する
と、この場合、図１４において、同期出力のタイミング
を制御するため、ｄｔという現在時刻とタイムスタンプ
のずれの目安になる変数を用いる。

【００８１】まず、ステップＤ０１で、ｄｔが定義され
ていれば、現在時刻＞＝ｄｔ＋タイムスタンプとなるまで待って（ステップＤ０２）、パケットを出力
する（ステップＤ０４）。一方、ｄｔが未定義なら
ば、ｄｔ＝現在時刻−タイムスタンプと代入したのち（ステップＤ０３）、パケットをすぐに
出力する（ステップＤ０４）。

【００８２】また、図１３のステップＣ１０におけるス
キップ処理の流れをさらに詳しく説明すると、この場
合、図１５において、まず、上述したｄｔを未定義化す
る（ステップＥ０１）。これにより、もし次のパケット
が同期出力されるならば、待ち時間なしにすぐに出力さ
れることになる。次に、スキップ方法入力部１０６に記
憶されるスキップ処理方法に従って処理を分岐させる
（ステップＥ０２）。例えば、ステップ処理方法として
「一定時間待つ」を表す番号が指定されていた時は、一
定時間待つ処理がなされる（ステップＥ０３）。

【００８３】なお、本実施の形態におけるスキップ処理
は、パケットの一つ一つについて独立に処理を行ってい
る。例えばスキップ処理方法が「一定時間待つ」ならば
パケット一つ一つにつき一定時間持つことになる。しか
し、用途によってはスキップされるパケットをまとめて
処理したい場合もある。例えば同期処理されるパケット
が来るまで、スキップされるパケットが何個来るかに関
わらず一定時間待つ場合である。この様な拡張は、例え
ば一つ前のパケットや待ち時間の合計などを記憶するこ
とで容易に実現可能である。

【００８４】また、図１５では、スキップ処理方法が
「直前パケットの繰り返し」ならば直前のパケットを一
定回数繰り返して出力（ステップＥ０４）、スキップ処
理方法が「入力待ち」ならばユーザからの入力を待つ
（ステップＥ０５）、スキップ処理方法が「早送り」な
らばパケットをすぐ出力（ステップＥ６）になってい
る。

【００８５】なお、この実施の形態では、スキップ処理
方法として幾つかの例を挙げているが、これ以外のもの
も必要ならば追加すれば良い。次に、図１６は、ユーザ
インタフェースの例を示している。

【００８６】この場合、図１６は、ウインドウシステム
上に構築されたユーザインタフェースの例を示すもの
で、図において、ウインドウ９０１は選択条件入力用ウ
インドウである。ユーザはここに選択条件を書き込むこ
とで、選択条件を変更することができる。ウインドウ９
０２はスキップ処理方法選択ウインドウである。図では
スキップ処理方法２が選択されている。ウインドウ９０
３は操作ウインドウである。記録データの再生開始や停
止などの指示を行う。ウインドウ９０４、ウインドウ９
０５、ウインドウ９０６は記録された会議の参加者の再
生中の映像である。図示されないスピーカを通して各参
加者の音声も再生されている。ウインドウ９０７は共有
アプリケーションウインドウの再生中の映像である。ウ
インドウ９０４、ウインドウ９０５、ウインドウ９０
６、ウインドウ９０７や音声は、選択条件が成立する時
だけ選択的に再生され、そうでない時は選択されたスキ
ップ処理方法に従って処理がなされている。

【００８７】従って、このような第３の実施の形態によ
れば、ある条件に合致する時系列データを取り出し再生
などを行いたい時、時系列データが記録された時点に対
応する時点の各状態を利用するようにしたので、時系列
データのみから判定できる条件に比べ、様々な選択条件
を指定することが可能となり、きめ細かな選択条件の指
定による時系列データの出力が可能となる。

【００８８】また、選択条件に合致しなかった時系列デ
ータについては、任意のスキップ処理方法を指定するこ
とが可能にしているので、例えば、合致した時系列デー
タについては通常速度で出力する通常再生を行い、合致
しない部分については高速出力を指定して早送り再生
や、３秒間ブランク出力を指定して３秒間のブランクを
挿入するなどの種々のスキップ処理ができるようにもな
る。

【００８９】

【発明の効果】以上述べたように、本発明によれば、録
音時の通信量を大幅に減らすことができて、通信設備へ
の負担を軽減でき、会議端末の機能低下や通信遅延など
を確実に防止できる。また、各会議端末に個別に記録さ
れた会議参加者の音声データを各音声データの記録開始
時刻に基づいて再生することで、会議の様子を忠実に再
現することができる。

【００９０】また、記録容量が無駄に浪費されるのを防
止でき、経済的に有利にでき、さらに無音部に対する処
理のために無駄にコンピュータが動作するようなことも
回避できる。

【００９１】また、ある条件に合致する時系列データを
取り出し再生を行いたい時、時系列データが記録された
時点に対応する時点の各状態を利用することで、様々な
選択条件を指定することが可能となり、きめ細かな選択
条件の指定による時系列データの出力が可能となり、所
望するデータの再生を効率よく行うことができる。

【００９２】また、選択条件に合致した時系列データに
ついては通常速度で出力する通常再生を行い、合致しな
い部分については高速出力を指定して早送り再生などの
スキップ処理を実行できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の概略構成を示す
図。

【図２】第１の実施の形態の会議端末の概略構成を示す
図。

【図３】第１の実施の形態の会議情報管理部に登録され
る会議記録の一例を示す図。

【図４】本発明の第２の実施の形態に用いられる記録再
生装置の概略構成を示す図。

【図５】第２の実施の形態の音声データの記録方法を説
明するための図。

【図６】第２の実施の形態のパケットの構造を示す図。

【図７】第２の実施の形態の音声データの記録方法を説
明するための図。

【図８】第２の実施の形態の音声データの再生方法を説
明するための図。

【図９】本発明の第３の実施の形態の概略構成を示す
図。

【図１０】第３の実施の形態の時系列データの構造を示
す図。

【図１１】第３の実施の形態の時系列データの他の例の
構造を示す図。

【図１２】第３の実施の形態の状態データの構造を示す
図。

【図１３】第３実施例の時系列データ出力部での処理を
表す図。

【図１４】第３実施例の同期出力処理の流れを示す図。

【図１５】第３実施例のスキップ処理の流れを示す図。

【図１６】第３実施例のユーザインタフェースの例を示
す図。

【符号の説明】

１…通信ネットワーク、２…会議端末、２１…通信装置、２１１…送信装置、２１２…受信装置、２１３…音声混合装置、２２…記録再生装置、２３…音声入力装置、２４…音声出力装置、２５…記録装置、３…会議制御部、３１…会議情報管理部、３２…録音制御部、４１…音声記録部、４１１…音声データ入力部、４１２…無音部検出部、４１３…時刻管理部、４１４…記録データ作成部、４１５…データ記録部、４２…音声再生部、４２１…データ読み出し部、４２２…時刻管理部、４２３…疑似無音部作成部、４２４…音声データ復元部、４２５…音声データ出力部、１０１…時系列データ記憶部、１０２…時系列データ出力部、１０３…時系列データ再生部、１０４…状態記憶部、１０５…条件入力部、１０６…スキップ方法入力部、９０１、９０２、９０３、９０４、９０５、９０６、９
０７…ウインドウ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｍ 3/42 Ｈ０４Ｍ 3/56 Ａ 3/50 9466−5ＫＨ０４Ｌ 11/20 １０１Ｃ 3/56

Claims

【特許請求の範囲】

【請求項１】複数の会議端末を通信ネットワークによ
り接続して遠隔会議を行う電子会議システムにおいて、各会議端末から入力される音声データを該音声データが
入力される会議端末ごとに分散記録し、再生要求により前記各会議端末に分散記録された音声デ
ータを該音声データの記録開始時刻に基づいて再生し前
記各会議端末に転送することを特徴とする電子会議シス
テム。
【請求項２】一定時間単位の音声データにタイムスタ
ンプを付与したパケットを形成し、これらパケットのうち音声データが無音部のパケットを
削除するとともに音声データが有音部を有するパケット
のみ記憶し、再生時は、前記記録された各パケットのタイムスタンプ
に基づいて前記削除された音声データの無音部を補完す
るとともに前記有音部を有する音声データを再生するこ
とを特徴とする時系列データの記録再生方法。
【請求項３】指定された時間帯の時系列データととも
に、該指定された時間帯の各時点において着目する状態
データを記録し、所定の選択条件が成立する時点を前記状態データより検
索し、該時点に記録された時系列データを選択して再生
することを特徴とする時系列データの記録再生方法。
【請求項４】前記選択条件の成立する時点が検出され
ない時系列データのスキップ処理をさらに指示し、該スキップ処理の指示により前記検索されなかった時点
の時系列データを処理することを特徴とする請求項３記
載の時系列データの記録再生方法。