JP5522369B2 - 会議記録要約システム、会議記録要約方法及びプログラム - Google Patents

Description

本発明は、会議記録要約システム、会議記録要約方法及びプログラムに関し、特にインタラクティブ・ホワイトボードを利用する会議記録要約システム、会議記録要約方法及びプログラムに関する。

ビデオカメラ等から得られる動画・音声データと、インタラクティブ・ホワイトボードと呼ばれる電子機器に対する操作により得られる操作データとを、それぞれ記録するとともに、記録された録画・音声データと記録された操作データとを相互に関連付けて表示する会議記録システムが提案されている（例えば、特許文献１、非特許文献１又は２参照）。

この種の会議記録システムでは、記録されたデータの効率的な利用を可能にするため、記録されたデータにテキスト情報等を加えたり、記録されたデータの構造化を行ったりできるように構成されている。

特開２００２−１０１３９８号公報

伊藤 周、外３名著「議論を誘発するカジュアルミーティング支援」、第２１回（２００７年６月１８〜２２日）人工知能学会全国大会論文集 伊藤 周、外３名著「創造的議論の再利用を促進するカジュアルミーティングシステム」、第７０回（２００８年３月１３〜１５日）情報処理学会全国大会論文集

特許文献１や非特許文献１又は２に記載された会議記録システムは、記録されたデータに対して、テキスト情報を追加したり、構造化を行ったりできるようにすることで、その後の利用（検索等）を容易にしている。

しかしながら、特許文献１や非特許文献１又は２に記載された会議記録システムは、記録した動画・音声データの要約を作成するものではない。

特許文献１に記載された会議記録システムは、入力が一定時間ないときにインデックス情報を生成する。この場合、インデックス生成から次の入力があるまでの時間は、議論に進展がない場合が多々ある。したがって、このようなインデックスを利用して抽出した動画・音声データは要約に適したものではない。

また、非特許文献１には、要約の必要性が記載され、動画・音声データを補助的に自動分割することは記載されているが、最終的に要約を作成するのは人である。

さらに、非特許文献２は、会議進行中に構造情報を記録することは難しいとして、会議中や終了直後にリフレクションと呼ぶ構造化を提案している。

本発明は、会議終了後に速やかに特定の意図に沿った要約を作成することができる会議記録要約システムを提供しようとするものである。

本発明の一側面に係る会議記録要約システムは、インタラクティブ・ホワイトボードを使用して行われる会議の様子を撮影して得られる動画・音声データを時間情報に関連付けて記録する録画・録音手段と、前記インタラクティブ・ホワイトボードからの操作情報を前記時間情報に関連付けて記録する操作情報記録手段と、前記録画・録音手段に記録された前記動画・音声データから発話区間を検出する発話区間検出手段を含み、外部入力される要約作成指令に応じて前記操作情報記録手段に記録された前記操作情報の一部を抽出し、抽出された操作情報に関連付けられた前記時間情報と前記発話区間とに基づいて、前記録画・録音手段に記録された前記動画・音声データから要約を作成する要約作成手段と、を備えることを特徴とする。

本発明の他の側面に係る会議記録要約システムは、インタラクティブ・ホワイトボードを使用して行われる会議の様子を撮影して得られる動画・音声データを時間情報に関連付けて録画・録音部に記録するステップと、前記インタラクティブ・ホワイトボードからの操作情報を前記時間情報に関連付けて操作情報記録部に記録するステップと、前記録画・録音部に記録された前記動画・音声データから発話区間を検出するステップと、外部入力される要約作成指令に応じて前記操作情報記録部に記録された前記操作情報の一部を抽出し、抽出された操作情報に関連付けられた前記時間情報を得るステップと、得られた時間情報と前記発話区間とに基づいて、前記録画・録音部に記録された前記動画・音声データから要約を作成するステップと、を含むことを特徴とする。

本発明のさらに別の側面に係るプログラムは、インタラクティブ・ホワイトボードを使用して行われる会議の様子を撮影して得られる動画・音声データを時間情報に関連付けて録画・録音部に記録するステップと、前記インタラクティブ・ホワイトボードからの操作情報を前記時間情報に関連付けて操作情報記録部に記録するステップと、前記録画・録音部に記録された前記動画・音声データから発話区間を検出するステップと、外部入力される要約作成指令に応じて前記操作情報記録部に記録された前記操作情報の一部を抽出し、抽出された操作情報に関連付けられた前記時間情報を得るステップと、得られた時間情報と前記発話区間とに基づいて、前記録画・録音部に記録された前記動画・音声データから要約を作成するステップと、をコンピュータに実行させるためのプログラムである。

本発明の会議記録要約システムは、記録された動画・音声データの発話区間を検出し、また、外部入力される要約作成指令に応じて操作情報記録手段に記録された操作情報の一部を抽出し、抽出された操作情報に関連付けられた時間情報と発話区間とに基づいて、録画・録音記録手段に記録された動画・音声データから要約を作成する要約作成手段を備えたことで、特定の意図に沿った会議記録の要約を作成することができる。

本発明の一実施の形態に係る会議記録要約システムの概略構成を示すブロック図である。 図１の会議記録要約システムの操作情報記録部の動作を説明するためのフローチャートである。 図１の会議記録要約システムのストローク情報記録部に記録される情報の一例を示す図である。 （ａ）、（ｂ）及び（ｃ）は、図３の（項目欄を除く）第１行乃至第３行目の情報がそれぞれ生成されたときのインタラクティブ・ホワイトボードの描画状態を示す図である。 （ａ）、（ｂ）及び（ｃ）は、図３の（項目欄を除く）第４行乃至第６行目の情報がそれぞれ生成されたときのインタラクティブ・ホワイトボードの描画状態を示す図である。 （ａ）、（ｂ）及び（ｃ）は、図３の（項目欄を除く）第７行乃至第９行目の情報がそれぞれ生成されたときのインタラクティブ・ホワイトボードの描画状態を示す図である。 （ａ）及び（ｂ）は、図３の（項目欄を除く）第１０行及び第１１行目の情報がそれぞれ生成されたときのインタラクティブ・ホワイトボードの描画状態を示す図である。 図１の会議記録要約システムの付加情報記録部に記録される情報の一例を示す図である。 図１の会議記録要約システムの録画・録音部の動作を説明するためのフローチャートである。 図１の会議記録要約システムの要約作成部の動作を説明するためのフローチャートである。 図１０の動画・音声抽出ステップの理解を容易にするための、描画・操作時間帯と発話時間帯との関係を示す図である。 図１の会議記録要約システムの実現に用いられるコンピュータシステムの一例を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

図１は、本発明の一実施の形態に係る会議記録要約システム１０の概略構成を示すブロック図である。

図示のように、会議記録要約システム１０には、インタラクティブ・ホワイトボード（以下、ＩＷＢと称する）２０、ビデオカメラ３０、及び出力装置４０が接続される。

ＩＷＢ２０は、その描画面に専用の描画用ペン等を用いて文字や図形を描き、また消去することができる。このときＩＷＢ２０は、描かれた（消去された）線や点などの描画オブジェクトの位置、長さ、太さ及び色等の情報（ストローク情報という）を生成する。互いに識別可能なＩＤ情報を付与した専用ペンを会議参加者に割り当てれば、描画オブジェクトの作成者情報をストローク情報に含ませることも可能である。ストローク情報は、描画用ペンが描画面に接してから離れるまで（一筆）を一単位として生成される。

また、ＩＷＢ２０は、専用の操作用ペン等を用いて行われた操作に応じて、会議記録要約システム１０に対する様々な付加情報や指令を生成する。あるいは、操作と付加情報等との関係を表す情報を会議記録要約システム１０側に保持させておき、ＩＷＢ２０は、操作が行われたことを通知するようにしてもよい。

ＩＷＢ２０に対して操作ペンを用いて行われる操作と生成される付加情報等との関係は、任意に設定することができる。例えば、ＩＷＢ２０の描画面の複数の特定領域にそれぞれ付加情報を割り当てておき、操作ペンでいずれかの特定領域が指示選択操作されると対応する付加情報が出力されるように設定される。この設定は、会議記録要約システム１０を用いて、あるいは、会議記録要約システム１０に接続された別のパーソナルコンピュータ等を用いて行うことができる。

操作ペンによる操作を容易にするため、ＩＷＢ２０の描画面に予め特定領域を描いておくとよい。あるいは、会議記録要約システム１０に接続されたプロジェクタを用いてアイコン等を投影することで、特定領域を表示するようにしてもよい。

上述したストローク情報、指令及び付加情報等のＩＷＢ２０からの出力信号は、以下では、一纏めにして操作情報と呼ばれることがある。

ビデオカメラ３０は、ＩＷＢ２０を用いて行われる会議の様子を撮影し、動画・音声データを作成する。ビデオカメラ３０は、撮影範囲にＩＷＢ２０の描画面が含まれるように設置される。ビデオカメラ３０の撮影開始及び停止等の制御は、ビデオカメラ３０側で行うようにしてもよいし、会議記録要約システム１０側から行うようにしてもよい。会議記録要約システム１０側からビデオカメラ３０を操作する場合、その操作入力装置としてＩＷＢ２０を用いることができる。

出力装置４０は、例えば、会議記録要約システム１０により作成された要約（動画・音声データ）を再生する表示装置とスピーカである。あるいは、出力装置４０は、作成された要約を記録するビデオレコーダ、あるいは、光ディスクや磁気ディスク、もしくは半導体記憶装置等の記録媒体に記録する記録装置であってもよい。

会議記録要約システム１０は、ＩＷＢ２０からの操作情報を記録するとともに、ビデオカメラ３０からの動画・音声データを記録する。そして、要約作成指令が入力されると、記録しておいたＩＷＢ２０からの操作情報に含まれる付加情報を利用して、記録しておいた動画・音声データの要約を作成する。要約作成指令は、ＩＷＢ２０から入力することができる。以下、会議記録要約システム１０の構成について詳細に説明する。

会議記録要約システム１０は、ＩＷＢ２０、ビデオカメラ３０及び出力装置４０がそれぞれ接続されるインタフェース部（Ｉ／Ｆ）１１，１２及び１３を有している。また、会議記録要約システム１０は、操作情報記録部（操作情報記録手段）１４、録画・録音部（録画・録音手段）１５及び要約作成部（要約作成手段）１６を有している。

操作情報記録部１４は、操作情報判断部（操作情報判断手段）１４１、操作情報記録制御部１４２、ストローク情報記録部１４３及び付加情報記録部１４４を含む。録画・録音部１５は、動画・音声記録制御部１５１と動画・音声記録部１５２とを含む。また、さらに、要約作成部１６は、要約処理部１６１、発話区間検出部（発話区間検出手段）１６２及び関係情報判断部（関係情報判断手段）１６３を含む。

操作情報判定部１４１は、Ｉ／Ｆ１１を介して入力されるＩＷＢ２０からの操作情報が、ストローク情報であるのか、付加情報であるのか、もしくは指令であるのか判断する。操作情報判定部１４１は、判断の結果に従い、ストローク情報及び付加情報を操作情報記録制御部１４２へ渡す。また、指令が要約作成指令の場合は、その指令を要約処理部１６１に渡す。その他の指令については、本発明に無関係なので説明を省略する。

操作情報記録制御部１４２は、操作情報判定部１４１からのストローク情報及び付加情報に、会議記録用約システム１０が有している時間情報を関連付けし、ストローク情報記録部１４３及び付加情報記録部１４４にそれぞれ格納する。ここで、ストローク情報と付加情報とを、それぞれストローク情報記録部１４３と付加情報記録部１４４とに記録するのは、情報管理の容易さのためである。したがって、ストローク情報と付加情報とを、同一情報記録部に記録するようにしてもよい。

動画・音声記録制御部１５１は、Ｉ／Ｆ１２を介して入力されるビデオカメラ３０からの動画・音声データに、会議記録用約システム１０が有している時間情報を関連付けし、動画・音声記録部１５２に格納する。

要約処理部１６１は、操作情報判断部１４１からの要約作成指令に応じて、発話区間検出部１６２及び関係情報判断部１６３を制御し、動画・音声データの要約を作成する。

発話区間検出部１６２は、要約処理部１６１からの指示に応じて、動画・音声記録部１５２に記録されている動画・音声データに基づいて発話区間（発話時間帯）を検出する。発話区間の検出は、所定時間以上連続する無音区間の開始時間と終了時間とを検出することにより行うことができる。即ち、無音区間の終了時間が発話区間の開始時間であり、無音区間の開始時間が発話区間の終了時間である。発話区間検出部１６２は、検出した発話区間の開始及び終了時間を発話時間帯情報として保持する。さらに、発話区間検出部１６２は、要約処理部１６１からの要求に応じて、発話時間帯情報に基づいて、要約の対象となる動画・音声データを動画・音声記録部１５２より読み出し、要約処理部１６１に渡す。

関係情報判断部１６３は、付加情報記録部１４４を検索して、要約処理部１６１から指示される条件に合致する付加情報を見つけ出す。関係情報判断部１６３は、見つけ出した付加情報が付加されたストローク情報と、それに関係するその他のストローク情報をストローク情報記録部１４３に記録されたストローク情報から見つけ出す。ただし、本実施の形態では、ストローク情報がグループ化されて付加情報記録部に格納されるので、関係するその他のストローク情報を見つけ出す必要はない。

要約処理部１６１は、関係情報判断部１６３が見つけ出したストローク情報に関連付けられている時間情報を発話区間検出部１６２へ渡し、発話区間検出部１６２からの応答として渡された複数に分割されている動画・音声データを統合して要約（動画・音声データ）を作成する。

以下、会議記録要約システム１０の動作について、図１に加え、図２乃至図１１を参照してさらに詳細に説明する。

ＩＷＢ２０を活用する会議への参加者（ユーザ）は、ＩＷＢ２０の描画面に文字や図形（描画オブジェクト）を描いたり、描画面に描かれた描画オブジェクトを選択（操作）したりしながら会議を進める。このとき、会議記録要約システム１０の操作情報記録部１４は、図２に示すように動作する。

まず、操作情報記録部１４は、ＩＷＢ２０から操作情報が入力されるのを待つ（ステップＳ２０１、ステップＳ２０２でＮｏ）。

ＩＷＢ２０から操作情報がＩ／Ｆ１１を介して入力されると（ステップＳ２０２でＹｅｓ）、操作情報判断部１４１は、入力された操作情報の内容（種別）を判断する（ステップＳ２０３）。

操作情報がストローク情報である場合（ステップＳ２０４でＹｅｓ）、操作情報判断部１４１は、その操作情報を操作情報記録制御部１４２に渡す。操作情報記録制御部１４２は、受け取った操作情報を時刻情報に関連付けてストローク情報記録部１４３に記録する（ステップＳ２０５）。その後、操作情報記録部１４は、入力待ち状態に戻る。なお、ストローク情報は、上述したように、ＩＷＢ２０に描かれた文字や図形における線や点（描画オブジェクト）に対応する情報である。ストローク情報記録部１４３に記録される情報は、例えば、描画オブジェクトを識別するためのＩＤ番号、描画時刻及び描画位置情報により構成される。描画位置情報は、例えば、描画オブジェクトを含む最も小さい矩形領域を表す。

図３に、ストローク情報記録部１４３に記録される情報の一例を示す。図３に示す例は、ＩＷＢ２０の描画面への図形の描画及び消去が、図４乃至図７に示すように時系列で行われた場合に対応している。

例えば、図３の１行目（項目欄を除く）のＯｂｊｅｃｔＩＤ“１”のデータは、ＩＷＢ２０の描画面に何も描かれていない状態から図４（ａ）に示す状態に変化した（図形描画を行った）ときに生成されるものである。また、図３の２行目のＯｂｊｅｃｔＩＤ“２”のデータは、ＩＷＢ２０の描画面が図４（ａ）の状態から図４（ｂ）の状態に変化した（図形追加描画を行った）ときに生成されるものである。このように、図形等が描画される場合には、一筆ごとにストローク情報が生成される。

また、図３の９行目のＯｂｊｅｃｔＩＤ“２”のデータは、ＩＷＢ２０の描画面が図６（ｂ）の状態から図６（ｃ）の状態に変化した（図形消去を行った）ときに生成されるものである。

図３の領域（描画位置情報）は、対象となる描画オブジェクトを含む矩形領域の左上座標（ｘ１、ｙ１）と右下座標（ｘ２、ｙ２）を表している。しかしながら、他の表現形式でもよい。また、描画オブジェクトを表す領域の形状として矩形以外の形状を採用してもよい。例えば、描画位置情報として、描画オブジェクトを含む最小円形領域の中心と半径とを用いてもよい。

図２に戻ると、操作情報が付加情報である場合（ステップＳ２０４でＮｏ、ステップＳ２０６でＹｅｓ）、操作情報判断部１４１は、その操作情報を操作情報記録制御部１４２に渡す。操作情報記録制御部１４２は、受け取った操作情報を時刻情報に関連付けて付加情報記録部１４４に記録する（ステップＳ２０５）。その後、操作情報判断部１４１は、入力待ち状態に戻る。なお、付加情報は、任意に設定可能な情報であるが、ここでは、描画オブジェクトに対して付加される情報、例えば、描画オブジェクトの作成者又は担当者情報、描画オブジェクトの重要度を表す情報等、を想定している。この場合、付加情報には付加対象となる描画オブジェクトを指定する情報が含まれる。

付加対象描画オブジェクトを指定する情報としては、例えば、インタラクティブ・ホワイトボード２０の描画面上で領域指定したとき、指定された領域に含まれる、もしくはその領域と重なりがある描画オブジェクトのＩＤ番号とすることができる。あるいは、選択操作された描画オブジェクトのＩＤ番号とすることができる。いずれにしも、一般的なコンピュータのＧＵＩを用いたオブジェクト選択方法と同様の方法を用いることができる。

付加対象描画オブジェクトを指定する情報が、領域指定された領域内あるいは重なりを持つ描画オブジェクトのＩＤ番号である場合、操作情報記録制御部１４２は、それらのＩＤ番号を付加情報とともに付加情報記録部１４４に記録する。一方、付加対象描画オブジェクトを指定する情報が、選択操作された描画オブジェクトのＩＤ番号の場合、操作情報記録制御部１４２は、選択操作された描画オブジェクトに関連する、即ち領域が重なる描画オブジェクトのＩＤ番号をストローク情報記録部１４３を検索して探し出す。そして、探し出した描画オブジェクトのＩＤ番号を付加情報とともに付加情報記録部１４４に記録する。このようなＩＤ番号の関連付け（グループ化）は、要約作成時に、関係情報判断部１６３で行うようにしてもよい。

付加情報記録部１４４に記録される情報は、例えば、付加情報を識別するためのグループＩＤ番号、指定日時、指定された付加対象描画オブジェクトのＩＤ番号、及び付加情報とを組にしたものである。

付加情報記録部１４４に記録される情報の一例を図８に示す。この例では、付加情報として重要度と担当者を示す情報が、記録される情報に含まれている。

再び図２に戻り、操作情報が要約作成指令である場合（ステップＳ２０４及びＳ２０６でＮｏ、ステップＳ２０８でＹｅｓ）、操作情報判断部１４１は、その操作情報を要約処理部１６１に渡す。要約処理部１６１は、受け取った操作情報に基づいて要約を作成する（ステップＳ２０９）。操作情報が要約作成指令でない場合（ステップＳ２０８でＮｏ）、操作情報判断部１４１は、入力待ち状態に戻る。

操作情報記録部１４が上記のように動作している間、録画・録音部１５は、図９に示すように動作する。

ビデオカメラ３０は、上述のようにＩＷＢ２０の描画面が撮影範囲に含まれるように、会議の様子を撮影する。録画・録音部１５の動画・音声記録制御部１５１は、ビデオカメラ３０からの動画・音声データが入力されると（ステップＳ９０１）、その動画・音声データを時間情報に関連付けて動画・音声記録部１５２に連続的に記録する（ステップＳ９０２）。なお、動画・音声情報に関連付けされる時間情報は、インタラクティブ・ホワイトボード２０からの操作情報に関連付けされる時間情報と同一の時間情報源からのものである。

次に、要約作成部１６の動作（図２のステップＳ２０９）について図１０のフローチャートを参照して詳細に説明する。

ＩＷＢ２０から入力される要約作成指令には、特定の意図に沿って編集された動画・音声データの要約を作成するための作成意図情報が含まれる。特定の意図とは、例えば、高重要度の指定を受けた描画オブジェクトに関係する部分のみを抽出することや、特定の担当者の指定を受けた描画オブジェクトに関係する部分のみを抽出することを意味する。どのような意図に沿った要約の作成ができるかは、付加情報の種類によって決まる。作成意図情報が含まれない場合は、高重要度の指定を受けた描画オブジェクトに関係する部分のみを抽出して要約を作成するようにしてもよい。

図８の例では、重要度“１”、担当者“ｕｓｅｒ１”及び担当者“ｕｓｅｒ２”のいずれかの指定を受けた描画オブジェクトに関連する要約を作成することができる。また、いずれかの指定を受けた描画オブジェクトに関する部分と、他の指定を受けた描画オブジェクトに関する部分との含む要約を作成することもできる。例えば、重要度“１”の指定を受けた描画オブジェクトに関連する部分と、担当者“ｕｓｅｒ１”の指定を受けた描画オブジェクトに関連する部分とを含む要約が可能である。また、担当者“ｕｓｅｒ１”の指定を受けた描画オブジェクトに関連する要約と、担当者“ｕｓｅｒ２”の指定を受けた描画オブジェクトに関連する要約とを、それぞれ作成することも可能である。なお、“担当者”とは、必ずしも会議の参加者を意味するものではなく、また、必ずしも人を意味するものでもない。例えば、議題ごとに要約を作成したい場合には、“担当者”を“議題”と読み替えればよい。

要約作成部１６の要約処理部１６１は、操作情報判断部１４１から要約作成指令を受けると、発話区間検出部１６２に対して処理開始を指示するとともに、要約作成指令に含まれる作成意図情報を関係情報判断部１６３に渡す。

処理開始の指示受けた発話区間検出部１６２は、動画・音声記録部１５２に記録されている連続的な動画・音声データから発話区間を検出し、各発話区間の開始及び終了時間を表す発話時間帯情報を生成し保持する（ステップＳ１００１）。

一方、関係情報判断部１６３は、作成意図情報に基づいて付加情報記録部１４４を検索する（ステップＳ１００１）。そして、要約作成の対象となるオブジェクトグループを特定する（ステップＳ１００２）。例えば、図８の例において、担当者“ｕｓｅｒ１”が作図意図情報により指定されたならば、ＧｒｏｕｐｕＩＤ番号“１”のグループが特定される。また、重要度“１”が作図意図情報により指定されたならば、ＧｒｏｕｐｕＩＤ番号“１”及び“２”が特定される。

関係情報判断部１６３は、さらに、特定したオブジェクトグループに属するオブジェクトを特定する。図８の例において、特定したオブジェクトグループがＧｒｏｕｐｕＩＤ番号“１”のグループの場合、オブジェクトＩＤ番号“１，３，４，９，１０”の描画オブジェクトが特定される。また、特定したオブジェクトグループがＧｒｏｕｐｕＩＤ番号“２”のグループの場合、オブジェクトＩＤ番号“５，６，７，８”の描画オブジェクトが特定される。

次に、関係情報判断部１６３は、特定されたオブジェクトＩＤ番号を用いてストローク情報記録部１４３を検索する。そして、関係情報判断部１６３は、特定されたオブジェクトＩＤ番号に対応する描画オブジェクトに対する操作が行われた時間情報（描画・操作時間情報）を取得する。ここでの操作には、描画、消去、選択等の描画オブジェクトに対する操作が含まれる。続いて関係情報判断部１６３は、取得した描画・操作時間情報を時系列にならべ、隣り合う描画・動作時間が予め設定した閾値以下の場合に、それらの描画・動作時間情報をひとまとめにしてサブグループとする。そして、各サブグループに属する描画・操作時間情報が示す最も早い時間と最も遅い時間とを表す描画・操作時間帯情報を生成する（ステップＳ１００４）。

例えば、図８のオブジェクトグループＩＤ番号“１”が要約の対象として特定された場合、そのグループに属する描画オブジェクトとしてオブジェクトＩＤ番号“１”，“３”，“４”，“９”，“１０”が特定される。この場合、特定されたグループに関連付けされた時間情報（図８の２つ）と、各オブジェクトに関連付けされた時間情報（図３の５つ）の、計７つの時間情報が得られる。サブグループを生成する際の閾値を３分とすると、オブジェクトＩＤ番号“１”，“３”及び“４”の時間情報が第１のサブグループを形成する。この第１のサブグループの描画・操作時間帯は、２００９年７月１日１０時２３分４５秒から同日１０時２６分２１秒までである。また、オブジェクトＩＤ番号９及び１０の時間情報が第２のサブグループを形成する。この第２のサブグループの描画・操作時間帯は、同日１０時５０分３０秒から同日１０時５１分４８秒までである。さらに、オブジェクトグループＩＤ番号１に対する２つの操作が行われたときの時間情報が第３のサブグループを形成する。この第３のサブグループの描画・操作時間帯は、同日１１時０３分０５秒から同日１１時０４分５２秒までである。こうして３つの描画・操作時間帯情報が生成される。

関係情報判断部１６３は、生成した描画・操作時間帯情報を、要約処理部１６１へ通知する（ステップＳ１００５）。

描画・操作時間帯情報の通知を受けた要約処理部１６１は、その描画・操作時間帯情報を発話区間検出部１６２に渡し、その時間帯に近接する動画・音声データの抽出を要求する（ステップＳ１００６）。

発話区間検出部１６２は、発話時間帯情報と描画・操作時間帯情報とに基づいて、動画・音声記録部１５２から動画・音声データを抽出する（ステップＳ１００７）。

例えば、図１１に示す例では、右から左へ進行する時間に対して５個の描画・操作時間帯がハッチングされた矩形で示されている。発話区間検出部１６２は、これら描画・操作時間帯の各々について、一定時間内で隣接する（一定時間以上離れていない）発話区間（発話時間帯）を特定する。図１１には、特定された発話時間帯が、同じくハッチングされた矩形で示されている。さらに発話区間検出部１６２は、描画・操作時間帯及び発話時間帯の各々について所定時間以内で隣接している描画・操作時間帯又は発話時間帯が存在する場合には、それらを図１１に破線で示すようにグループ化する。そして、発話区間検出部は、各グループに含まれる描画・操作時間帯及び発話区間のうち、最も早い時間と最も遅い時間とを特定し、その間の時間帯の動画・音声データを動画・音声記録部１５２より抽出する。動画・音声データの抽出に当たり、特定された最も早い時刻より所定時間だけ前から、特定された最も遅い時刻より所定時間だけ後までを抽出するようにしてもよい。それから、発話区間検出部１６２は、抽出した複数の動画・音声データを要約処理部１６１へ応答として返す（ステップＳ１００８）。

要約処理部１６１は、発話区間検出部１６２において抽出された複数の動画・音声データを一まとまりの動画・音声情報に統合して要約とする（ステップＳ１００９）。そして、要約処理部１６１は、作成した要約をＩ／Ｆ１３を介して出力装置４０へ出力する（ステップＳ１０１０）。

上記説明から理解されるように、本実施の形態に係る会議記録要約システム１０は、インタラクティブ・ホワイトボード２０上の同一の領域への書き込みや操作が行われた時間帯を検出するとともに、その時間帯の近傍の発話区間を検出し、検出された描画・操作時間帯及び発話区間に対応する動画・音声データを読み出して統合するように構成されている。それゆえ、同じ話題に関する議論を行っていると思われる時間帯の動画・音声データを集めた要約を生成することができる。

また、本実施の形態では、任意の担当者を指定して、指定された担当者に関連する部分を集めた要約を生成することができる。

このように本実施の形態による会議記録要約システム１０では、会議終了後速やかに、特定の意図に沿った要約の作成を行うことができる。

上述した会議記録要約システム１０は、パーソナルコンピュータ等を用いて実現することができる。例えば、図１２に示すように、制御情報及び制御プログラムを格納した記憶部５１と、その制御プラグラムを実行する制御部５２とを有するコンピュータを用いればよい。制御部５２が、制御プログラムを実行することにより、操作情報判断部１４１、操作情報記録制御部１４２、動画・音声記録制御部１５１、要約処理部１６１、発話区間検出部１６２及び関係情報判断部１６３として機能する。

操作入力部５３としては、ＩＷＢ２０を想定しているが、それに代えてあるいはそれとともに、キーボードやマウス等の入力機器をさらに接続してもよい。映像・音声入力部５４としては、ビデオカメラ３０を想定しているが、他の機器、例えば、ネットワークを介した遠隔会議を実現するシステムからの映像・音声を入力するようにしてもよい。この場合、遠隔会議システムのカメラを用いてＩＷＢ２０を撮影する。出力部５５としては、上述したように表示装置及びスピーカ、あるいは記録装置を想定している。

以上、本発明について実施の形態に即して説明したが、本発明は、上記実施の形態に限定されるものではない。例えば、上記実施の形態では、要約を作成する場合について説明したが、要約を作成するのみならず、通常の再生動作（動画・音声データの再生と操作情報の表示）を行うようにしてもよい。

また、以下の付記のような実施の形態も考えられる。

（付記１）インタラクティブ・ホワイトボードを使用して行われる会議の様子を撮影して得られる動画・音声データを時間情報に関連付けて録画・録音部に記録するステップと、前記インタラクティブ・ホワイトボードからの操作情報を前記時間情報に関連付けて操作情報記録部に記録するステップと、前記録画・録音部に記録された前記動画・音声データから発話区間を検出するステップと、外部入力される要約作成指令に応じて前記操作情報記録部に記録された前記操作情報の一部を抽出し、抽出された操作情報に関連付けられた前記時間情報を得るステップと、得られた時間情報と前記発話区間とに基づいて、前記録画・録音部に記録された前記動画・音声データから要約を作成するステップと、を含むことを特徴とする会議記録要約方法。

（付記２）前記操作情報を前記時間情報に関連付けて記録するステップは、前記操作情報が付加情報である場合に、当該付加情報に関連付けられたオブジェクトのストローク情報と、当該ストローク情報に関連する他のストローク情報とをグループ化し、前記付加情報とともに記録するステップを含むことを特徴とする付記１に記載の会議記録要約方法。

（付記３）前記時間情報を得るステップは、前記操作情報記録部に記録された前記操作情報の中から前記要約作成指令により指定される付加情報を抽出するステップと、抽出された前記付加情報が関連付けされたオブジェクトのストローク情報と、当該ストローク情報に関連する他のストローク情報とを抽出するステップと、を含むことを特徴とする付記１又は２に記載の会議記録要約方法。

（付記４）前記時間情報を得るステップは、さらに、抽出した付加情報及びストローク情報を、各々に関連付けされた時間情報に基づいて１又は複数のサブグループに分類し、各サブグループ毎の描画・操作時間帯を求めるステップを含むことを特徴とする付記３に記載の会議記録要約方法。

（付記５）前記描画・操作時間帯と前記発話区間とに基づいて、要約の対象となる動画・音声データを抽出するステップを含むことを特徴とする付記４に記載の会議記録要約方法。

（付記６）前記要約を作成するステップは、さらに抽出された要約の対象となる動画・音声データを統合するステップを含むことを特徴とする付記５に記載の会議記録要約方法。

（付記７）インタラクティブ・ホワイトボードを使用して行われる会議の様子を撮影して得られる動画・音声データを時間情報に関連付けて録画・録音部に記録するステップと、前記インタラクティブ・ホワイトボードからの操作情報を前記時間情報に関連付けて操作情報記録部に記録するステップと、前記録画・録音部に記録された前記動画・音声データから発話区間を検出するステップと、外部入力される要約作成指令に応じて前記操作情報記録部に記録された前記操作情報の一部を抽出し、抽出された操作情報に関連付けられた前記時間情報を得るステップと、得られた時間情報と前記発話区間とに基づいて、前記録画・録音部に記録された前記動画・音声データから要約を作成するステップと、をコンピュータに実行させるためのプログラム。

（付記８）前記操作情報を前記時間情報に関連付けて記録するステップは、前記操作情報が付加情報である場合に、当該付加情報に関連付けられたオブジェクトのストローク情報と、当該ストローク情報に関連する他のストローク情報とをグループ化し、前記付加情報とともに記録するステップを含むことを特徴とする付記７に記載のプログラム。

（付記９）前記時間情報を得るステップは、前記操作情報記録部に記録された前記操作情報の中から前記要約作成指令により指定される付加情報を検索するステップと、検索された前記付加情報が関連付けされたオブジェクトのストローク情報と、当該ストローク情報に関係する他のストローク情報とを抽出するステップと、を含むことを特徴とする付記７又は８に記載のプログラム。

（付記１０）前記時間情報を得るステップは、さらに、抽出した付加情報及びストローク情報を、各々に関連付けされた時間情報に基づいて１又は複数のサブグループに分類し、各サブグループ毎の描画・操作時間帯を求めるステップを含むことを特徴とする付記９に記載のプログラム。

（付記１１）前記描画・操作時間帯と前記発話区間とに基づいて、要約の対象となる動画・音声データを抽出するステップとを含むことを特徴とする付記１０に記載のプログラム。

（付記１２）前記要約を作成するステップは、さらに抽出された要約の対象となる動画・音声データを統合するステップを含むことを特徴とする付記１１に記載のプログラム。

１０ 会議記録要約システム
１１，１２，１３ Ｉ／Ｆ
１４ 操作情報記録部
１４１ 操作情報判断部
１４２ 操作情報記録制御部
１４３ ストローク情報記録部
１４４ 付加情報記録部
１５ 録画・録音部
１５１ 動画・音声記録制御部
１５２ 動画・音声記録部
１６ 要約作成部
１６１ 要約処理部
１６２ 発話区間検出部
１６３ 関係情報判断部
２０ インタラクティブ・ホワイトボード
３０ ビデオカメラ
４０ 出力装置
５１ 記憶部
５２ 制御部
５３ 操作入力部
５４ 映像・音声入力部
５５ 出力部

Claims (9)

1. インタラクティブ・ホワイトボードを使用して行われる会議の様子を撮影して得られる動画・音声データを時間情報に関連付けて記録する録画・録音手段と、
   前記インタラクティブ・ホワイトボードからの操作情報を前記時間情報に関連付けて記録する操作情報記録手段と、
   前記録画・録音手段に記録された前記動画・音声データから発話区間を検出する発話区間検出手段を含み、外部入力される要約作成指令に応じて前記操作情報記録手段に記録された前記操作情報の一部を抽出し、抽出された操作情報に関連付けられた前記時間情報と前記発話区間とに基づいて、前記録画・録音手段に記録された前記動画・音声データから要約を作成する要約作成手段と、
   を備えることを特徴とする会議記録要約システム。
2. 前記操作情報は、前記インタラクティブ・ホワイトボードにオブジェクトを描画し又消去するときのストローク情報又は前記オブジェクトに関連付けられる付加情報であり、
   前記操作情報記録手段は、前記操作情報が前記付加情報である場合に、当該付加情報に関連付けられたオブジェクトのストローク情報と、当該ストローク情報に関連する他のストローク情報とをグループ化し、前記付加情報とともに記録する操作情報記録制御手段を有していることを特徴とする請求項１に記載の会議記録要約システム。
3. 前記操作情報は、前記インタラクティブ・ホワイトボードにオブジェクトを描画し又消去するときのストローク情報又は前記オブジェクトに関連付けられる付加情報であり、
   前記要約作成手段は、前記要約作成指令により指定される前記付加情報と、当該付加情報が関連付けされたオブジェクトのストローク情報と、当該ストローク情報に関連する他のストローク情報とを、前記操作情報記録手段に記録された操作情報から抽出する関係情報判断手段を有していることを特徴とする請求項１又は２に記載の会議記録要約システム。
4. 前記関係情報判断手段は、抽出した付加情報及びストローク情報を、各々に関連付けされた時間情報に基づいて１又は複数のサブグループに分類し、各サブグループ毎の描画・操作時間帯を求めることを特徴とする請求項３に記載の会議記録要約システム。
5. 前記発話区間検出手段は、前記関係情報判断手段が求めた前記描画・操作時間帯と前記発話区間とに基づいて、要約の対象となる動画・音声データを抽出することを特徴とする請求項４に記載の会議記録要約システム。
6. 前記要約作成手段は、前記発話区間検出手段により抽出された動画・音声データを統合する要約処理手段を有することを特徴とする請求項５に記載の会議記録要約システム。
7. 前記操作情報記録手段は、前記インタラクティブ・ホワイトボードからの前記操作情報の内容を判別する操作情報判断手段を有し、
   前記要約作成指令を前記操作情報として前記インタラクティブ・ホワイトボードから入力するようにしたことを特徴とする請求項１乃至６のいずれかに記載の会議記録要約システム。
8. インタラクティブ・ホワイトボードを使用して行われる会議の様子を撮影して得られる動画・音声データを時間情報に関連付けて録画・録音部に記録するステップと、
   前記インタラクティブ・ホワイトボードからの操作情報を前記時間情報に関連付けて操作情報記録部に記録するステップと、
   前記録画・録音部に記録された前記動画・音声データから発話区間を検出するステップと、
   外部入力される要約作成指令に応じて前記操作情報記録部に記録された前記操作情報の一部を抽出し、抽出された操作情報に関連付けられた前記時間情報を得るステップと、
   得られた時間情報と前記発話区間とに基づいて、前記録画・録音部に記録された前記動画・音声データから要約を作成するステップと、
   を含むことを特徴とする会議記録要約方法。
9. インタラクティブ・ホワイトボードを使用して行われる会議の様子を撮影して得られる動画・音声データを時間情報に関連付けて録画・録音部に記録するステップと、
   前記インタラクティブ・ホワイトボードからの操作情報を前記時間情報に関連付けて操作情報記録部に記録するステップと、
   前記録画・録音部に記録された前記動画・音声データから発話区間を検出するステップと、
   外部入力される要約作成指令に応じて前記操作情報記録部に記録された前記操作情報の一部を抽出し、抽出された操作情報に関連付けられた前記時間情報を得るステップと、
   得られた時間情報と前記発話区間とに基づいて、前記録画・録音部に記録された前記動画・音声データから要約を作成するステップと、
   をコンピュータに実行させるためのプログラム。

Images