JP4011573B2 - 会議構造把握支援方法、装置、プログラム、及び該プログラムを格納した記録媒体 - Google Patents

Description

本発明は、遠隔地にいる参加者が通信回線等を介して会議を行う遠隔会議システム（電子会議システムともいう）に関し、特に、遠隔会議における議事録作成支援、議事進行支援、欠席者補助、途中参加者補助などを実現するために、遠隔会議における会議構造の把握を支援する会議構造把握支援方法及び装置に関する。

遠隔会議（電子会議）を録音・録画するための蓄積方法や、録音・録画された遠隔会議に対して検索を行うための方法は、古くから知られており、用いられている。

例えば、特開２０００−２２２４２５号公報（特許文献１）には、蓄積された会議音声データとその音声認識結果とを記憶装置上でリンクさせて保存しておき、音声認識結果を検索することにより、リンクされた音声を再生することができる音声検索システムが開示されている。しかしながら、この技術では、会議中における特定の話題の箇所を再生したいという場合には、記憶装置に保存されたデータに対してどこからどこまでがどの話題に関するものなのか、という指定を予め行っておく必要がある。そのような指定がなされていない場合（録音しただけの会議音声データから音声認識結果が生成されている場合など）には、議事録作成や欠席者支援のためなどに会議の録音データを再生しようとしたときに、会議での所望の話題の箇所を的確に探し出すことができず、会議を効率よく再生できない。

特許第３２６６９５９号明細書（特許文献２）には、音声画像の記録と入力手段（電子ペン）などからの入力をインデックス手段として、そのインデックスから蓄積された会議中の音声・映像を検索する発明が開示されている。この発明では、電子ペンなどの入力によってインデックス情報が与えられなかった場合には、うまく会議録を構造化することができない、という問題点がある。

特開平８−３１７３６５号公報（特許文献３）には、会議発言者の音声データを、そのデータの記憶量の大きさに応じた長さで時系列的に表示する発明が開示されている。しかしながら、この発明は、会議の構造（会議における話題の切れ目などの位置）を明示できるものではない。

"Speaker Segmentation for Browsing Recorded Audio," CHI95 Proceedings, pp.212-213 (1995)（非特許文献１）も、同様に、発言構造を表示する技術を開示しているが、この技術によっても、会議の構造を明示することはできない。
特開２０００−２２２４２５号公報 特許第３２６６９５９号明細書 特開平８−３１７３６５号公報 "Speaker Segmentation for Browsing Recorded Audio," CHI95 Proceedings, pp.212-213 (1995)

上述したように、会議の音声データに対して音声認識を行って文字化したり、会議中の音声データを時系列に表示したり、あるいは発言構造を明示する技術は存在するものの、会議における話題の転換などを検出して、会議の構造を明示し、議事録作成支援や欠席者支援を行うことができる技術は存在していない。音声認識技術を用い、構造化を行う技術はあるが、会議での発言のような場合には、原稿を読み上げる場合などとは異なって、発話者自体の発話のなまけ（や省略）、話速の大規模な変動があるので、会議における話し言葉の認識には相当な困難が伴うことが知られている。

そこで本発明の目的は、遠隔会議（電子会議）における、議事録作成・適切な会議データ蓄積媒体へのアクセス、会議欠席者への会議データの提供、途中参加者への補助を効率的に行うことができる、会議構造把握支援方法及び装置を提供することにある。

本発明の会議構造把握支援方法は、遠隔会議システムにおける会議構造把握支援方法であって、会議中に発生する各参加者のマルチメディア会議データを、メディア及び参加者ごとにランダムアクセス可能な時系列形式で蓄積する段階と、会議進行と同時に、会議の開始時刻から現時点までもしくは会議の終了時までのマルチメディア会議データを解析して、会議構造情報を抽出する段階と、を有する。

本発明の会議構造把握支援装置は、遠隔会議システムの会議データから会議構造情報を抽出する会議構造把握支援装置であって、会議中に発生する各参加者のマルチメディア会議データをメディア及び参加者ごとにランダムアクセス可能な時系列形式で蓄積する手段と、会議進行と同時に、会議の開始時刻から現時点までもしくは会議の終了時までのマルチメディア会議データを解析して、会議構造情報を抽出する手段と、を有する。

本発明では、マルチメディア会議データである発話情報、映像情報・共有資料を蓄積する手段と、その蓄積されたデータ及び蓄積されたデータに対する特徴量抽出結果や統計量を一覧して可視化する手段と、を設けることにより、会議欠席者や途中参加者の議事内容への理解を助け、議事内容へのアクセスを容易にすることができるようになる。

本発明は、マルチメディア会議データを可視化して表示するともに、話題の区切れを抽出してそれを示すので、議事録作成、会議検索、適切な会議データ蓄積媒体へのアクセス（閲覧）、途中参加への補助などを高速にあるいは効率よく行うことができるようになる、という効果がある。

次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は、本発明の実施の一形態の遠隔会議システム（電子会議システム）における会議構造把握支援装置の構成の概要を示す図である。

ネットワーク１０には、サーバ１１と複数のクライアント端末１２とが接続している。サーバ１１は、本発明に基づく会議構造把握支援装置として実装されている。クライアント端末１２は、典型的にはパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、図では、クライアントＡ、クライアントＢ、クライアントＣ、…が示されている。クライアント端末１２は、通常は、遠隔会議の参加者ごとに設けられ、参加者が遠隔会議に参加するために使用される。クライアント端末１２は、大別すると、ネットワーク１０とのインタフェースとなるネットワーク管理部２１と、ユーザからの入力を受け付けるユーザ入力部２２と、会議の映像や音声などが入力する情報入力部２３と、会議の映像や音声などを出力する情報出力部２４と、を備えている。会議の閲覧のためには用いられないクライアント端末には、情報出力部２４を設ける必要はない。逆に、会議の閲覧のために専ら使用されるクライアント端末であれば、情報入力部２３を設ける必要はない。

クライアント端末１２の内部構成が図２に示されている。典型的にはＰＣで構成されるクライアント端末１２は、マイクロホン、ビデオカメラ、キーボード、マウスなどのポインティングデバイスを備えている。そしてユーザ入力部２２には、キーボードからの入力を受け付けるキーボード入力管理部４１と、マウスなどのポインティングデバイスからの入力を受け付けるマウス入力管理部４２と、会議における共有資料に関する入力を受け付ける共有資料入力管理部４３とが設けられている。遠隔会議の進行中には、キーボード入力部４１には、チャットのデータが入力する。また、会議の閲覧中には、時間指定入力や再生指令が、キーボード入力管理部４１やマウス入力管理部４２に入力する。情報送信部２３には、ネットワークを介して各種情報を送信するために符号化を行う符号化部４４と、呼制御を行う呼制御部４５と、時間管理を行う時間管理部４６と、カメラ入力を受け付ける映像入力部４７と、マイクロホン入力を受け付ける音声入力部４８と、入力した音声における発話状態を検出するＶＯＤ（発話検出（音声アクティビティ検出））部４９と、入力した画像及び音声を一時的に蓄積する画像音声一時蓄積部５０と、を備えている。符号化部４４には、呼制御部４５及び時間管理部４６からの信号が入力し、画像音声一時蓄積部５０に蓄積された画像（映像）データ及び音声が入力し、さらには、ユーザ入力部２２の各入力管理部４１〜４３で受け付けた入力情報が入力する。なお、情報受信部２４には、後述するように、復号部３８及び表示装置３９が設けられている。

このようなクライアント端末１２では、会議参加者からの映像情報及び音声情報が映像入力部４７及び音声入力部４８にそれぞれ入力され、会議参加者からのチャット入力、マウスによる共有資料への書込み、ポインティングなどが、ユーザ入力部２２の各入力管理部４１〜４３に入力する。これらの入力されたそれぞれのモダリティの情報は、ネットワーク管理部２１を介して、クライアント端末１２から、ＬＡＮ、インターネットなどのネットワーク１０に送出され、サーバ１１に到着する。

サーバ１１には、図１に示すように、ネットワーク１０とのインタフェースとなるネットワーク部３１と、マルチメディア会議データを構成するそれぞれの情報を蓄積するための蓄積部３２と、映像・音声・チャット入力、マウスによる共有資料への書込み情報及びポインティング情報についてはミキシングなどの処理を行って再び各クライアント端末１２に配信する会議情報配信部３３と、会議における話題の区切れなどの会議構造を検出して会議構造情報を生成する会議構造情報生成部３４と、を備えている。本実施形態では、クライアント端末１２から送信された発話検出情報をもとに、話題の区切れ等を検出し、そのような会議構造をユーザの目に見える形に表現して（会議構造情報の可視化）、会議の構造化の把握支援を行う。

以下、会議記録蓄積時のクライアント端末１２及びサーバ１１の動作を説明し、その後、本実施形態における会議構造可視化時における動作、サーバ１１、クライアント１２の動作について説明を行う。

図２に示すクライアント端末において、音声入力部４８に入力したマイクロホン入力は適度に増幅されて、ＶＯＤ部４９に入力される。ＶＯＤ部４９では、音声の発話状態を監視しており、音声発話が検出されると、符号化部４４に指令を送り、音声の符号化を開始する。音声の発話が行われている間だけ、符号化が行われる。発話検出の技術としては、様々なものが知られており、携帯電話などに搭載されている一般的な技術を使うことができる。映像入力部４７に入力したカメラ入力も符号化部４４で符号化される。

ユーザ入力部２３において、マウス入力管理部４２には、マウスのロータリーエンコーダの回転量及びボタンのクリックの状態が入力される。マウス入力管理部４２は、ロータリーエンコーダの回転の相対量から、画面上のマウスによってポインティングされている位置をピクセル値に変換して出力する。またボタン入力は、ボタンの押すタイミングなどから、クリック・ダブルクリックなどの状態に判別されて、出力される。マウスのポインティング位置のピクセル値は、常時、符号化部４４に送信され、クリック・ダブルクリックなどの情報は、イベント発生時点で符号化部４４に送信されるように構成されている。

符号化部４４は、時間管理部４６からの時刻情報を参照して、符号化情報を符号化するとともに、時刻情報を付けて、ネットワーク符号化を行い、送信するように構成されている。ネットワーク管理部２１は、符号化された情報を適当にバッファリングしてパケット化し、ネットワーク１０に送出する。

一方、サーバ１１では、各クライアント端末１２からの音声・動画情報などをネットワーク部３１で受信し、会議情報配信部３３で受信した信号をミキシングし、再びネットワーク部を通じて各クライアントへ、音声・動画情報を送信する。またそれと同時に、各クライアント端末１２より受信した音声・動画情報などを蓄積部３２で蓄積する。会議構造情報生成部３４は、クライアント端末１２からの要求に応じて、蓄積部３２に蓄積されている情報から会議構造情報を生成し、ネットワーク部３１を介して、要求を行ったクライアント端末１２にその会議構造情報を送信する。会議構造情報生成部３４は、蓄積された音声・画像情報の送信も行う。

図３は、サーバ１１の蓄積部３２についてのブロック図である。サーバ１１においては、まずネットワーク上を流れてきたパケットをネットワーク部３１が受け取り、バッファ５１に蓄積する。バッファ５１に、復号できる量までパケットが貯まれば、ネットワーク復号部５２がネットワーク符号化の復号処理を開始する。ネットワーク復号処理を経た情報は、分離部５３によって、各クライアント端末１２から時刻情報付きの音声情報・画像情報・マウス入力情報・キーボード入力情報などに分離される。音声情報などはリニアＰＣＭ形式やμ−ｌａｗ形式などで保存するとともに、ＶＡＤ情報も保存されている。音声ＶＡＤ情報などはひとつの会議ごとに、論理的には、図４に示すようなフォーマットで記録されている。画像情報は、ＭＰＥＧ４やモーションＪＰＥＧやＡＶＩ形式などの圧縮形式での保存が考えられる。

記憶制御部５４は、このようにして分離された情報を、外部記憶装置（イベント情報蓄積部５５、共有資料情報蓄積部５６、画像蓄積部５７、会議情報蓄積部５８及び音声蓄積部５９）に記録する。時刻情報検索部６０には、時刻情報と各情報が格納されている外部記憶装置（蓄積部５５〜５９）上の番地が記録される。

次に、会議構造情報可視化時におけるサーバ１１の動作を説明する。

図５は、会議構造情報生成部３４の構成を示している。会議構造情報生成部３４は、ユーザが指定した範囲の情報を、時刻情報検索部６０の情報を利用して、蓄積部３２から各種情報を取得し、クライアント端末１２に対して音声・画像・チャット・共有資料情報のストリーミングを行うとともに、ＶＡＤ情報の解析を行い、会議構造の抽出、会議構造の可視化のためのグラフィックデータの作成を行う。会議構造情報生成部３４は、時刻情報検索部６０からの時刻・番地対応情報を利用して蓄積部３２から各種情報を取得するデータ取得部６１と、取得した情報をクライアント端末１２にストリーミング配信するストリーミング部１２と、ＶＯＤ情報（発話情報）の集計を行って会議構造の抽出を行う集計部６３と、集計結果に基づいてグラフ情報を生成するグラフ情報生成部６４と、グラフ情報を例えばＨＴＭＬ(HyperText Markup language)などで記述された文書に変換するＨＴＭＬ化部６５と、そのＨＴＭＬ文書を符号化してクライアント端末１２に送信する符号化部６６と、を備えている。ここでストリーミングに関しては、当業者によく知られた方法、例えば、Ｈ３６１、Ｔ１２０などのプロトコルを用いる方法を用いることができる。

次に、集計部６３における会議構造の抽出について説明する。集計部６３は、ＶＯＤ情報（発話情報）に基づいて会議構造、すなわち話題の区切れの抽出を行う。ここでは、会議の司会者・参加者のＶＡＤ情報から会議の構造の抽出を行う例について説明を行う。

一般的に会議においては、ある話題に関して会議が進行しているときにその話題の区切れに近づくにつれて、発話者の発話時間が徐々に減少し、減少し終わったところで、再び司会者が会議を盛り上げようとして発言し、その後、会議参加者の発言が再開される現象が観察されることが多い。そのようなところで、話題の転換が起きているものと考えられる。本実施形態では、そのような箇所を検出して、それを話題の区切れとして抽出する。

ここでは、Ｓｔｅｐ１［秒］ごとに話題区切れの候補を算出するものとする。会議終了までの経過時間をＥｎｄ［秒］、発話量合計のための窓（ウィンドウ）サイズをＷｉｎｄｏｗＳｉｚｅ［秒］、発話量変動の算出（傾きの算出）のための窓サイズをＷｉｎｄｏｗＳｉｚｅ２［秒］、ループ変数をｎとする。各参加者の発話時間をＩＤk（ｋは話者番号）とする。また、司会者の発話時間をＩＤmとする。

［Ａ１］ｎ＝０とする；
［Ａ２］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ＞Ｅｎｄ［秒］となるまで、以下のステップ［Ａ３］〜［Ａ５］を実行；
［Ａ３］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅからｎ＊Ｓｔｅｐ１＋ＷｉｎｄｏｗＳｉｚｅまでの各参加者の発話時間を算出し、ＩＤ1[ｎ]，ＩＤ2[ｎ]，…，ＩＤk[ｎ]に格納する。同様に、司会者の発話時間をＩＤm[ｎ]に格納する；
［Ａ４］各参加者の発話時間の合計値を算出：Ｓｕｍ[ｎ]＝ＩＤ1[ｎ]＋ＩＤ2[ｎ]＋…＋ＩＤk[ｎ]；
［Ａ５］ｎ＝ｎ＋１に更新する；
［Ａ６］ｎ＝０とする；
［Ａ７］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２＞Ｅｎｄ［秒］となるまで、以下のステップ［Ａ８］〜［Ａ１１］を実行；
［Ａ８］発話量の合計Ｓｕｍのｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２からｎ＊Ｓｔｅｐ１＋ＷｉｎｄｏｗＳｉｚｅ２までの傾きａ１を最小二乗法により求める；
［Ａ９］司会者の発話量の合計ＩＤm[ｎ]のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２からｎ＊Ｓｔｅｐ１＋ＷｉｎｄｏｗＳｉｚｅ２までの傾きａ２を最小二乗法により求める；
［Ａ１０］ａ１＜Ｔｈ１（しきい値），かつａ２＞Ｔｈ２（しきい値）であれば、該当のｎ＊Ｓｔｅｐ１を話題区切れの候補として保存する；
［Ａ１１］ｎ＝ｎ＋１に更新する。

図６は、傾きの算出方法を図解したものである。図示白丸で示すように、参加者の発話量の合計は、時間の経過とともにばらつきながら減少している。そこで、最小二乗法を適用することにより、図示一点鎖線で示されるように、参加者の発話量の減少を示す傾きａ１を求めることができる。一方、司会者の発話量に関しては、図示黒丸で示すように、比較的低い水準のまま推移していたが、時刻ｎ＊Ｓｔｅｐ１以降、急増している。そこで、最小二乗法を適用することにより、図示破線で示されるように、司会者の発話量の増加を示す傾きａ２を求めることができる。

図７は、上述した処理を示すフローチャートである。まず、ステップ１０１においてｎ＝０とおき（上述の［Ａ１］）、ステップ１０２において、ＩＤ1[ｎ]，ＩＤ2[ｎ]，…，ＩＤk[ｎ]，ＩＤm[ｎ]を格納し（上述の［Ａ３］）、ステップ１０３において、各参加者の発話時間の合計値Ｓｕｍ[ｎ]を算出し、ステップ１０４において、ｎに１加算し（上述の［Ａ５］）、ステップ１０５において、加算後のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅがＥｎｄを超えているかどうかを判定し、超えていない場合には、加算後のｎに基づいて同様の処理を行うためにステップ１０２に戻り、超えている場合にはステップ１０６に移行する。ステップ１０６では、ｎ＝０とおき（上述の［Ａ６］）、ステップ１０７において、傾きａ１を求め（上述の［Ａ８］）、ステップ１０８において、傾きａ２を求め（上述の［Ａ９］）、ステップ１０９において、ａ１＜Ｔｈ１かつａ２＞Ｔｈ２であれば、該当のｎ＊Ｓｔｅｐ１を話題区切れの候補として保存し（上述の［Ａ１０］）、ステップ１１０において、ｎに１加算し（上述の［Ａ１１］）、ステップ１１１において、加算後のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２がＥｎｄを超えているかどうかを判定し、超えていない場合には、加算後のｎに基づいて同様の処理を行うためにステップ１０７に戻り、超えている場合には処理を終了する。

以上のようにして、集計部６３は、話題の区切れの候補を抽出する。この場合、参加者の発話量の変動とその傾きａ１のみを用いて話題の区切れを検出するようにしてもよい。

算出された話題区切れ候補は、次に、グラフ情報生成部６４において、ＶＡＤ情報とともに、グラフィックイメージとして生成され、ＨＴＭＬ化部６５において、そのグラフィックイメージは、ＨＴＭＬ文書に埋め込まれる。グラフ生成とＨＴＭＬ文書の生成のための方法としては、当業者に周知の方法を用いることができる。その後、クライアント端末１２からの要求を契機として、生成されたＨＴＭＬ文書が符号化部６６で符号化されて送信され、クライアント端末１２側では会議構造情報を閲覧することができる。

以上のような会議構造情報生成を行ったことにより、クライアント端末１２の表示画面上には、会議上の音声・動画・チャット・共有資料のみならず、会議の構造も同時に表示することができる。

次に、クライアント端末１２における会議の閲覧について説明する。図２に示したクライアント端末１２において、ユーザ入力部２２では、ユーザからの再生時間指定、再生指令（再生・停止・早送りなど）をキーボードやマウス入力から受信し、サーバ１１のネットワーク部３１に送信する。また、情報受信部２４では、復号部３８が、サーバ１１の会議構造情報生成部３４より受信した情報を復号し、復号された画像情報・音声情報・共有資料情報・会議構造情報などが表示装置３９の表示画面上に表示される。

図８は、蓄積された各種情報を一覧するためのブラウジングツールの一例を説明するものであり、クライアント端末１２の表示装置３９の表示画面上での表示例を示している。このブラウジングツール画面（会議構造可視化ＧＵＩ（グラフィカルユーザインタフェース））は、会議閲覧者のクライアント端末１２の表示装置３９の画面上に表示されるものである。このように複数の出力を組み合わせてパーソナルコンピュータなどからなるクライアント端末の画面上に表示させる技術自体は、動画像を含むウェブページを動的に作成する方法、あるいはそのようなウェブページを表示する方法として、よく知られている。

表示画面は、顔画像表示部７１、チャット表示部７２、共有資料表示部７３、会議構造表示部７４に分かれている。顔画像表示部７１は、蓄積されている顔画像を表示する。チャット表示部７２では、蓄積されているチャットが、その入力が行われた時刻とともに表示されている。共有資料表示部７３では、共有資料が表示されるとともに、その資料に対する書込みなども表示される。

会議構造表示部７４では、各自の発話状況がＶＡＤ情報に基づいて表示され、また、その表示に重畳する形式で、話題区切れの候補が縦破線で表示される。会議構造表示部７４での横軸は時間情報を表しており、菱形のマークは、現在再生している場所を表している。会議構造表示部７４の最下部にはスクロールバーが表示されており、ここでタイムカーソルを操作することによって、ユーザは、会議の任意の時間を選択し会議を再生するようなことができるようになる。ユーザは、話題区切れ候補の近傍のみを再生することによって、会議の全体を聴かなくても、会議の概要を把握できるようになる。

次に、本発明の第２の実施形態について説明する。第２の実施形態の上述した第１の実施形態と同様のものであるが、集計部６３での動作が異なり、話題の区切れの抽出のための処理が異なっている。

そこで、第２の実施形態における集計部６３における会議構造の抽出について説明する。会議においては、ある話題に関して会議が進行しているときにその話題の区切れに近づくにつれて発話者の発話時間が徐々に減少し、減少し終わったところで、再び司会者が会議を盛り上げようとして発言し、その後、会議参加者の発言が再開される現象が観察されることが多いので、この第２の実施形態でも、そのような箇所を検出して、それを話題の区切れとして抽出する。以下の説明における変数Ｓｔｅｐ１、Ｅｎｄ、ＷｉｎｄｏｗＳｉｚｅ、ＷｉｎｄｏｗＳｉｚｅ２、ｎ、ＩＤk（ｋは話者番号）、ＩＤmは、第１の実施形態の場合と同様に定義されている。とする。

［Ｂ１］ｎ＝０とする；
［Ｂ２］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ＞Ｅｎｄ［秒］となるまで、以下のステップ［Ｂ３］，［Ｂ４］を実行する；
［Ｂ３］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅからｎ＊Ｓｔｅｐ１＋ＷｉｎｄｏｗＳｉｚｅまでの各参加者の発話時間を算出し、ＩＤ1[ｎ]，ＩＤ2[ｎ]，…，ＩＤk[ｎ]に格納する。同様に、司会者の発話時間をＩＤm[ｎ]に格納する；
［Ｂ４］ｎ＝ｎ＋１に更新に更新する；
［Ｂ５］ｎ＝０とする；
［Ｂ６］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２＞Ｅｎｄ［秒］となるまで、以下のステップ［Ｂ７］〜［Ｂ１０］を実行する；
［Ｂ７］各発話者の発話量のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２からｎ＊Ｓｔｅｐ１＋ＷｉｎｄｏｗＳｉｚｅ２までの傾きａＩＤ1，ａＩＤ2，…，ａＩＤkを最小二乗法により求める；
［Ｂ８］司会者の発話量のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２からｎ＊Ｓｔｅｐ１＋ＷｉｎｄｏｗＳｉｚｅ２までの傾きａ＿ｍを最小二乗法により求める；
［Ｂ９］ａＩＤ1＜Ｔｈ１（しきい値），ａＩＤ2＜Ｔｈ２（しきい値），…，ａＩＤk＜Ｔｈｋ（しきい値），ａ＿ｍ＞Ｔｈ＿ｍ（しきい値）であれば、該当のｎ＊Ｓｔｅｐ１を話題区切れの候補として保存する；
［Ｂ１０］ｎ＝ｎ＋１に更新する。

図９は、上述した処理を示すフローチャートである。まず、ステップ１２１においてｎ＝０とおき（上述の［Ｂ１］）、ステップ１２２において、ＩＤ1[ｎ]，ＩＤ2[ｎ]，…，ＩＤk[ｎ]，ＩＤm[ｎ]を格納し（上述の［Ｂ３］）、ステップ１２３において、ｎに１加算し（上述の［Ｂ４］）、ステップ１２４において、加算後のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅがＥｎｄを超えているかどうかを判定し、超えていない場合には、加算後のｎに基づいて同様の処理を行うためにステップ１２２に戻り、超えている場合にはステップ１２５に移行する。ステップ１２５では、ｎ＝０とおき（上述の［Ｂ５］）、ステップ１２６において、傾きａＩＤ1，ａＩＤ2，…，ａＩＤkを求め（上述の［Ｂ７］）、ステップ１２７において、傾きａ＿ｍを求め（上述の［Ｂ８］）、ステップ１２８において、ａＩＤ1＜Ｔｈ１，ａＩＤ2＜Ｔｈ２，…，ａＩＤk＜Ｔｈｋ，ａ＿ｍ＞Ｔｈ＿ｍであれば、該当のｎ＊Ｓｔｅｐ１を話題区切れの候補として保存し（上述の［Ｂ９］）、ステップ１２９において、ｎに１加算し（上述の［Ｂ１０］）、ステップ１３０において、加算後のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２がＥｎｄを超えているかどうかを判定し、超えていない場合には、加算後のｎに基づいて同様の処理を行うためにステップ１２６に戻り、超えている場合には処理を終了する。

次に、本発明の第３の実施形態について説明する。第３の実施形態の上述した第１の実施形態と同様のものであるが、集計部６３での動作が異なり、話題の区切れの抽出のための処理が異なっている。

そこで、第３の実施形態における集計部６３における会議構造の抽出について説明する。会議においては、話題の区切れにおいて、主たる話者が交代する場合も多く観察される。第３の実施形態では、そのような箇所を検出して、それを話題の区切れとして抽出する。以下の説明における変数Ｓｔｅｐ１、Ｅｎｄ、ＷｉｎｄｏｗＳｉｚｅ、ＷｉｎｄｏｗＳｉｚｅ２、ｎ、ＩＤk（ｋは話者番号）、ＩＤmは、第１の実施形態の場合と同様に定義されている。とする。

［Ｃ１］ｎ＝０とする；
［Ｃ２］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ＞Ｅｎｄ［秒］となるまで、以下のステップ［Ｃ３］〜［Ｃ５］を実行する；
［Ｃ３］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅからｎ＊Ｓｔｅｐ１までと、ｎ＊Ｓｔｅｐ１からｎ＊Ｓｔｅｐ１＋ＷｉｎｄｏｗＳｉｚｅまでの各参加者の発話時間、司会者の発話時間を算出する（それぞれ、Ｌ，Ｒと呼ぶ）；
［Ｃ４］各参加者ごとのＲ−Ｌの値をＩＤ1[ｎ]，ＩＤ2[ｎ]，…，ＩＤk[ｎ]に格納し、司会者のＲ−Ｌの値をＩＤm[ｎ]に格納する；
［Ｃ５］ｎ＝ｎ＋１に更新に更新する；
［Ｃ６］ｎ＝０とする；
［Ｃ７］ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２＞Ｅｎｄ［秒］となるまで、以下のステップ［Ｃ８］、［Ｃ９］を実行する；
［Ｃ８］｜ＩＤ1[ｎ]｜＋｜ＩＤ2[ｎ]｜＋…＋｜ＩＤk[ｎ]｜＋｜ＩＤm[ｎ]｜＞Ｔｈ（しきい値）であれば、該当のｎ＊Ｓｔｅｐ１を話題区切れの候補として保存する。ここで、記号｜｜は絶対値を示している；
［Ｃ９］ｎ＝ｎ＋１に更新する。

図１０は、上述した処理を示すフローチャートである。まず、ステップ１４１においてｎ＝０とおき（上述の［Ｃ１］）、ステップ１４２において、ｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅからｎ＊Ｓｔｅｐ１までと、ｎ＊Ｓｔｅｐ１からｎ＊Ｓｔｅｐ１＋ＷｉｎｄｏｗＳｉｚｅまでの各参加者の発話時間、司会者の発話時間を算出し（上述［Ｃ３］）、ステップ１４３において、ＩＤ1[ｎ]，ＩＤ2[ｎ]，…，ＩＤk[ｎ]，ＩＤm[ｎ]を格納し（上述の［Ｃ４］）、ステップ１４４において、ｎに１加算し（上述の［Ｃ５］）、ステップ１４５において、加算後のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅがＥｎｄを超えているかどうかを判定し、超えていない場合には、加算後のｎに基づいて同様の処理を行うためにステップ１４２に戻り、超えている場合にはステップ１４６に移行する。ステップ１４６では、ｎ＝０とおき（上述の［Ｃ６］）、ステップ１４７において、｜ＩＤ1[ｎ]｜＋｜ＩＤ2[ｎ]｜＋…＋｜ＩＤk[ｎ]｜＋｜ＩＤm[ｎ]｜を求めてこれがしきい値Ｔｈを超えていれば、該当のｎ＊Ｓｔｅｐ１を話題区切れの候補として保存し（上述の［Ｃ８］）、ステップ１４８において、ｎに１加算し（上述の［Ｃ９］）、ステップ１４９において、加算後のｎ＊Ｓｔｅｐ１−ＷｉｎｄｏｗＳｉｚｅ２がＥｎｄを超えているかどうかを判定し、超えていない場合には、加算後のｎに基づいて同様の処理を行うためにステップ１４７に戻り、超えている場合には処理を終了する。

以上説明した実施形態では、本発明に基づく会議構造把握支援装置は、サーバ１１に実装されている。しかしながら、会議構造把握支援装置の機能は、クライアント端末１２に持たせるようにしてもよいし、あるいは、サーバやクライアント端末とは独立に設けた別の装置に持たせるようにしてもよい。

上述した本発明の会議構造把握支援装置は、それを実現するための計算機プログラムを、サーバ用コンピュータやパーソナルスーパーコンピュータなどのコンピュータに読み込ませ、そのプログラムを実行させることによっても実現できる。そのようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体によって、あるいはネットワークを介して、コンピュータに読み込まれる。

本発明の実施の一形態の遠隔会議システムにおける会議構造把握支援装置の構成を示すブロック図である。 クライアント端末の構成を示すブロック図である。 サーバの蓄積部の構成を示すブロック図である。 音声ＶＡＤ情報の蓄積のためのフォーマットの一例を示す図である。 サーバの会議構造情報生成部の構成を示すブロック図である。 発話量の変化の傾きを求める処理を説明する図である。 第１の実施形態での話題区切れ候補の抽出の処理を示すフローチャートである。 会議構造可視化ＧＵＩの一例を示す図である。 第２の実施形態での話題区切れ候補の抽出の処理を示すフローチャートである。 第３の実施形態での話題区切れ候補の抽出の処理を示すフローチャートである。

符号の説明

１０ ネットワーク
１１ サーバ
１２ クライアント端末
２１ ネットワーク管理部
２２ ユーザ入力部
２３ 情報送信部
２４ 情報受信部
３１ ネットワーク部
３２ 蓄積部
３３ 会議情報配信部
３４ 会議構造情報生成部

Claims (12)

1. 遠隔会議システムにおける会議構造把握支援方法であって、
   会議中に発生する各参加者のマルチメディア会議データを、メディア及び参加者ごとにランダムアクセス可能な時系列形式で蓄積する段階と、
   会議進行と同時に、前記会議の開始時刻から現時点までもしくは前記会議の終了時までのマルチメディア会議データを解析して、会議構造情報を抽出する段階と、
   を有する会議構造把握支援方法。
2. 前記マルチメディア会議データは発話データである、請求項１に記載の会議構造把握支援方法。
3. 前記会議構造情報として、会議における話題の区切れの候補を提示する、請求項２に記載の会議構造把握支援方法。
4. 各参加者の発話量を検出し、前記発話量の変動に基づいて前記話題の区切れを検出する、請求項３に記載の会議構造把握支援方法。
5. 各参加者ごとに登録情報が設定され、前記登録情報に基づいて前記マルチメディア会議データの解析が行われる、請求項１または４に記載の会議構造把握支援方法。
6. 前記各参加者の登録情報の種類が、“参加者”及び“司会者”である、請求項５に記載の会議構造把握支援方法。
7. 遠隔会議システムの会議データから会議構造情報を抽出する会議構造把握支援装置であって、
   会議中に発生する各参加者のマルチメディア会議データをメディア及び参加者ごとにランダムアクセス可能な時系列形式で蓄積する手段と、
   会議進行と同時に、前記会議の開始時刻から現時点までもしくは前記会議の終了時までのマルチメディア会議データを解析して、会議構造情報を抽出する手段と、
   を有する、会議構造把握支援装置。
8. 前記マルチメディア会議データは発話データである、請求項７に記載の会議構造把握支援装置。
9. 各参加者の発話量を検出する手段を有し、
   前記発話量の変動に基づいて、会議における話題の区切れの候補を検出し、前記会議構造情報として、前記候補を提示する、請求項８に記載の会議構造把握支援装置。
10. 各参加者ごとに登録情報が設定され、前記登録情報に基づいて前記マルチメディア会議データの解析が行われる、請求項７または９に記載の会議構造把握支援装置。
11. コンピュータを、
    遠隔会議中に発生する各参加者のマルチメディア会議データをメディア及び参加者ごとにランダムアクセス可能な時系列形式で蓄積する手段、
    会議進行と同時に、前記会議の開始時刻から現時点までもしくは前記会議の終了時までのマルチメディア会議データを解析して、会議構造情報を抽出する手段、
    として機能させるプログラム。
12. コンピュータが読み取り可能な記録媒体であって、請求項１１に記載のプログラムを格納した記録媒体。

Images