JP6814604B2 - 会議情報表示システム、会議情報表示方法および会議情報表示プログラム - Google Patents

Description

この発明は、会議情報表示システム、会議情報表示方法および会議情報表示プログラムに関し、より詳細には会議の内容を記憶し後日会議の内容を表示可能な会議情報表示システム、会議情報表示方法および会議情報表示プログラムに関する。

会議システムとして電子的に会議の内容を記録するシステムが知られている。しかし、一般に会議中の画像や音声を保存するだけである。後から会議の内容を振り返る場合に、記録者が手動で作成した議事録を参照する方法がある。しかし、議事録作成には手間がかかる。また議事録に記録されていない内容について振り返ろうとした場合、会議中の全ての記録（例えば音声録音や会議参加者の動画）を見直す必要が有り、それには長時間を要する。

これに対して、会議参加者が、各自の携帯電話機を利用して会議システムにアクセスし、会議中に重要であると判断した発言があったとき、あるいは後で確認すべき有効な発言があったときなどに、電子的なしおり挿入を指示することで、重要な発言であったか、あるいは注目される発言であったかを会議進行中に抽出するシステムが提案されている（例えば、特許文献１参照）。

さらに、人物の生体情報をその人物の映像情報に同期させ、生体情報又は撮影時の音声情報に基づいて、所定の評価関数を用いて、人物の心的状態を示す状態推定値を求め、人物を表すオブジェクトを人物の心的状態を用いて表現された座標空間内に配置して表示することにより、会議参加者等の感情を含めて内容を振り返ることができる情報処理装置が提案されている（例えば、特許文献２参照）。

特開２００５−１０９９２９号公報 特開２００６−６２６８３９５号公報

しかしながら、特許文献１のものは、重要な発言等があったタイミングを特定できるものの、会議内容を理解するにはそのタイミング及びその前後の議事内容を見直す必要が有る。
特許文献２のものは、感情に関連する状態推定値に応じて、人物の心的状態を表す座標空間内に人物オブジェクトが配置された表示により、会議参加者の感情の変化を含めて会議の内容を振り返ることができる。しかし、会議の内容それ自体の表示を見易くするものではない。

この発明は、以上のような事情を考慮してなされたものであって、会議を記録して後日会議の内容を表示する際、記録に基づく会議の内容がユーザーに見易く表示される会議情報表示システム、会議情報表示方法および会議情報表示プログラムを提供する。

この発明は、
（I）資料の文書および画像並びに会議参加者の音声および画像の少なくとも何れかを会議情報として記憶する記憶装置と、記憶された会議情報のうち文書および画像の少なくとも何れかを表示する表示装置を含み、会議の期間を複数の時間帯に分割した各時間帯と前記会議情報とを関連付けて前記記憶装置に記憶させる記憶処理部と、記憶された会議情報に基づいて会議の各時間帯における盛上りの度合いを算出する算出処理部と、記憶された会議情報を会議情報オブジェクトとして、各時間帯における前記盛上り度合いに応じた集約の度合いでかつ時系列の配置で前記表示装置に表示する表示処理部とを備える会議情報表示システムを提供する。

また、異なる観点からこの発明は、
（II）会議の全期間を複数の時間帯に分割した各時間帯と関連付けて、資料の文書および画像並びに会議参加者の音声および画像の少なくとも何れかを会議情報として記憶装置に記憶する工程と、記憶された会議情報に基づいて会議の各時間帯における盛上りの度合いを算出する工程と、記憶された会議情報を会議情報オブジェクトとして時系列に並べ、各時間帯における前記盛上り度合いに応じて集約の度合いを異ならせたて表示装置に表示する工程とを備える会議情報表示方法を提供する。
さらにまた、この発明は、
（III）ある期間に渡って逐次入力される情報を時系列に受け付けるステップと、受付けた情報を、前記期間を複数の時間帯に分割した各時間帯と関連付けて記憶装置に記憶するステップと、前記情報を情報オブジェクトとして時系列にかつ集約して表示装置に表示するステップと、ユーザーによる何れかの時間帯の選択に応答して、その時間帯に指標の設定をするステップと、前記指標が設定された時間帯について表示オブジェクトの表示の集約の度合いを低くして前記表示装置に表示するステップとを備える情報表示方法を提供する。

さらに異なる観点からこの発明は、
（IV）会議の全期間を複数の時間帯に分割した各時間帯と関連付けて、資料の文書および画像並びに会議参加者の音声および画像の少なくとも何れかを会議情報として記憶装置に記憶する処理と、記憶された会議情報に基づいて会議の各時間帯における盛上りの度合いを算出する処理と、記憶された会議情報を会議情報オブジェクトとして時系列に並べ、各時間帯における前記盛上り度合いに応じて集約の度合いを異ならせて表示装置に表示する処理とをコンピュータに実行させるための会議情報表示プログラムを提供する。

この発明による会議情報表示システムは、表示処理部が記憶された会議情報のうち文章および画像の少なくとも何れかを会議情報オブジェクトとして時系列に並べ、各時間帯における盛上り度合いに応じて集約の度合いを異ならせて表示装置に表示するので、後日会議の内容を表示する際、記録に基づく会議の内容がユーザーに見易く表示される。

この発明の実施形態における会議情報表示システムの構成例を示す説明図である。 図１に示す表示装置およびサーバーの構成例を示すブロック図である。 この発明の実施形態において、会議中の画面の一例を示す説明図である。 この発明の実施形態において、呼出された会議の集約表示モードでの表示例を示す説明図である。 この発明の実施形態において、詰め集約状態と緩集約状態の吹き出し配置例を示す説明図である。 図４に示す集約表示モードと異なる会議表示画面の態様を示す説明図である。 この発明の実施形態において、記憶部に格納される会議情報のデータ構造およびデータテーブルの例を示す説明図である。 この発明の実施形態において、制御部が通常表示モードで実行する処理の一例を示すフローチャートである。 この発明の実施形態において、制御部が集約表示モードで実行する処理の一例を示すフローチャートである。 図９において、集約表示モードへ切換える際の処理を示すフローチャートである。 この発明の実施形態において、制御部が盛上りデータテーブルを生成する処理の例を示すフローチャートである。 この発明の実施形態において、制御部がタイムライン区切りを実行する処理の例を示すフローチャートである。 この発明の実施形態において、制御部音声データを用いて各参加者のジェスチャーを取得する期間を決定する例を示すグラフである。 図１に示す会議情報表示システム１０の変形例を示す説明図である。

以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。

≪会議情報表示意システムの構成例≫
（実施の形態１）
図１は、この実施形態の会議情報表示システムの構成例を示す説明図である。図１に示す会議情報表示システム１０は、会議の拠点Ｌ１およびＬ２にそれぞれ配置された表示装置１３ａおよび１３ｂおよびサーバー１１が通信ネットワーク１９に接続されてなる。サーバー１１は、何れかの拠点にあってもよいし、拠点Ｌ１、Ｌ２と異なる場所にあってもよい。

拠点Ｌ１に設置された表示装置１３ａには、参加者Ｐ１および参加者Ｐ２を撮影するカメラ１５ａが接続されている。会議中、拠点Ｌ２の表示装置１３ｂには、拠点Ｌ１のカメラ１５ａで撮影された画像（ライブ動画）が表示される。同様に、会議中、拠点Ｌ１の表示装置１３ａには、拠点Ｌ２のカメラ１５ｂで撮影された画像（ライブ動画）が表示される。
さらに表示装置１３ａには、参加者Ｐ１および参加者Ｐ２の発言を収音し、拠点Ｌ２の参加者Ｐ３の発言を拡声する会議用スピーカーフォン１７ａが接続されている。会議中、拠点Ｌ２の会議用スピーカーフォン１７ｂから、拠点Ｌ１のスピーカーフォン１７ａで収音された参加者Ｐ１およびＰ２の発言が拡声される。同様に、会議中、拠点Ｌ１の会議用スピーカーフォン１７ａから、拠点Ｌ２の会議用スピーカーフォン１７ｂで収音された参加者Ｐ３の発言が拡声される。

サーバー１１は、会議中にカメラ１５ａおよび１５ｂで撮影された画像データおよび会議用スピーカーフォン１７ａおよび１７ｂで収音された音声データを格納する。さらに、会議で使用された文書や画像等、資料のデータを格納する。

図２は、図１に示す表示装置１３ａおよびサーバー１１の構成例を示すブロック図である。図２（ａ）は表示装置１３ａの構成例である。なお、表示装置１３ｂも同様の構成である。図２（ｂ）は、サーバー１１の構成例である。
図２（ａ）に示すように、表示装置１３ａは、制御部２１ａ、記憶部２３ａ、表示部２５ａ、操作部２７ａおよび通信部２９ａを含む。さらに、図１では別体のカメラ１５ａおよび会議用スピーカーフォン１７ａが接続されている。

制御部２１ａはＣＰＵを中心として入出力回路や他の周辺回路で構成される。記憶部２３ａは、ＲＯＭ、ＲＡＭ等の半導体メモリやハードディスク装置などで構成される。表示部２５ａは、液晶表示装置や液晶プロジェクター等で構成される。操作部２７ａは、表示装置１３ａの電源オンオフや設定メニュー、表示部２５ａに表示されたオブジェクトに対する操作を受付けるもので、スイッチおよび表示部２５ａの前面に配置された透明のタッチパネルである。通信部２９ａは、通信ネットワーク１９との通信インターフェイスを含む。通信は無線・有線を問わず、通信方式を問わない。また、通信ネットワーク１９に限らず、他の周辺機器との通信インターフェイス（例えば、ブルートゥース（登録商標）やＮＩＣ等）を含んでもよい。

カメラ１５ａは、動画が撮影可能なものが好ましいが、これに限らず静止画を撮影するものでもよい。静止画を連写してコマ送りすることでライブ画像の代用にできる。会議用スピーカーフォン１７ａは、多人数で会議をする際に便利なようにマイクとスピーカーが一体になったものであるが、これに限らずマイクとスピーカーが別体でもよく、一人用のヘッドセットでもよい。

図２（ｂ）に示すように、サーバー１１は、制御部２１ｓ、記憶部２３ｓおよび通信部２９ｓを備える。さらに、表示部２５ｓ、操作部２７ｓを備えていてもよい。制御部２１ｓはＣＰＵを中心として入出力回路や他の周辺回路で構成される。記憶部２３ｓは、ＲＯＭ、ＲＡＭ等の半導体メモリやハードディスク装置などで構成される。表示部２５ｓは、液晶表示装置で構成される。操作部２７ｓは、サーバー１１の電源オンオフや設定メニュー、表示部２５ｓに表示されたオブジェクトに対する操作を受付けるもので、具体例としてはキーボードやマウスが挙げられる。通信部２９ｓは、通信ネットワーク１９との通信インターフェイスである。通信は無線・有線を問わず、通信方式を問わない。
図２に示すように、表示装置１３ａは、サーバー１１の構成に類似する制御部２１ａ、記憶部２３ａ、通信部２９ａを備えるので、サーバー１１の機能を兼ねることもできる。

（実施の形態２）
図１４は、図１に示す会議情報表示システム１０の変形例を示す説明図である。図１よりも多くの拠点数を有し、図１にない態様の表示装置を示している。即ち、拠点Ｌ３には、表示装置１３ｃとして投影型のデータプロジェクターが用いられている。データプロジェクターの方式は問わず、液晶プロジェクターであってもよいしＤＬＰ（登録商標）プロジェクターであってもよい。データプロジェクターには、カメラ１５ｃおよび会議用スピーカーフォン１７ｃが接続されている。
拠点Ｌ４における表示装置１３ｄは、タブレット端末である。タブレット端末は、カメラ、スピーカー、マイクを内蔵しているので外付けの必要がない。タブレット端末は無線アクセスポイント１８ｄを介して通信ネットワーク１９に接続されている。

（実施の形態３）
図１に示すような、表示装置１３ａ、１５ｂが通信ネットワーク１９を介してサーバー１１に接続された構成に限らず、表示装置１３ａあるいは１５ｂの何れか一方がサーバー１１の機能を兼ね備えていてもよい。
この態様によれば、特定のサーバー１１を設置しなくとも会議情報表示システム１０を実施できる。
即ち、この発明の会議情報表示システム１０は、サーバー１１と表示装置１３ａあるいは１５ｂとが物理的に別体でなく一体の構成を含む。

≪会議中の会議表示画面≫
図３は、表示装置１３ａの表示部２５ａに表示される会議中の画面の一例を示す説明図である。
図３で、会議表示画面３１は、表示部２５ａにウインドウ表示される。会議表示画面３１は、大別すると参加者動画領域３３、吹き出し表示領域３５および操作メニュー３７からなる。

参加者動画領域３３は会議表示画面３１の左側の約２／３の領域を占め、拠点Ｌ２のカメラ１５ｂで撮影された参加者Ｐ３のライブ動画が表示されている。上方には、拠点Ｌ２の参加者Ｐ３の名前「Nakajima」が表示されている。参加者名は、例えば会議開催時にログイン操作で使用されるＩＤが表示される。あるいは、参加者のログインＩＤと顔写真が予め関連付けてデータベースに登録されており、カメラ１５ｂの画像に顔認識技術を適用して会議参加者のうちカメラ画像に適合する者の名前を表示してもよい。

吹き出し表示領域３５は、会議表示画面３１の右側の約１／３の領域を占める。会議の参加者の発言が音声認識によりテキスト化されて、吹き出し状に順次表示される。発言吹き出し４５および４７が該当する。それぞれの吹き出しの左上には参加者の顔画像アイコン（参加者アイコン）が小さく表示され、どの参加者による発言か区別できる。即ち、スライド吹き出し４３の左上に参加者アイコン４４が表示されている。発言吹き出し４５の左上には参加者アイコン４６が、発言吹き出し４７の左上には参加者アイコン４８がそれぞれ表示されている。
参加者ごとに吹き出しの背景色を変えてもよい。発言がどの参加者によるものかは、以下のようにして判別できる。参加者のログインＩＤと音声の特徴が予め関連付けてデータベースに登録されている。会議用スピーカーフォン１７ａで収音された音声データに音声認識技術を適用して会議参加者のうちで音声データに適合する者を検索し、その者の顔画像アイコンを発言吹き出しに付加する。顔画像アイコンに用いる画像は、参加者のログインＩＤと関連付けてデータベースに予め登録されている顔写真を用いる。

図３に発言吹き出し４５および４７で示す他に、吹き出しとしては、参加者が資料として準備した文書や画像のデータを表示できる。図３にスライド吹き出し４３を示している。参加者は、説明に用いるタイミングで予めサーバー１１に登録された資料を指定して吹き出し表示領域３５に表示させることができる。
スライド吹き出し４３および発言吹き出し４５および４７吹き出しは、時系列で新しい順に上から追加され、古いものは下方向に移動し、画面外に移動する。操作部２７ａとしてのタッチパネルが操作されると、制御部２１ａはユーザーによる画面の上下スワイプ操作を検知する。その操作に応答して制御部２１ａは、吹き出し表示領域３５の吹き出しをスクロールさせる。

操作メニュー３７は、会議の設定や進行に関するユーザーの指示を受け付ける領域である。図３の操作メニュー３７には、会議の設定に関連する「接続先指定」ボタン、「ファイル添付」ボタン（資料登録の操作を行う）、会議の開始を指示する「ＭＴＧ開始」ボタン、会議の終了を指示する「ＭＴＧ終了」ボタンが表示されているが、左右にスクロールさせることで隠れたボタンが表示される。隠れたボタンとして、既に終了した会議を指定して呼出し、会議表示画面３１に表示させる「会議呼出し」ボタンがある。また、表示装置１３ａの起動後に表示される図示しないホームメニューにも「会議呼出し」ボタンがある。なお、図３では、ユーザーが操作メニュー３７の各操作ボタンをタッチすることで指示を行うことを想定している。変形例として、ユーザーが音声で指示を与えて、スピーカーフォン１７ａを介して入力された音声による指示を制御部２１ａが音声認識を適用して認識する態様も考えられる。

≪会議終了後の会議表示画面≫
「会議呼出し」ボタンがタッチされて、呼出す会議が指定されたら、制御部２１ａは、会議表示画面３１に指定された会議の内容を表示する。
制御部２１ａは、会議が呼び出された時点では会議中と同様、単に時系列に表示する（通常表示モード）。ただし、参加者動画領域３３には、ライブ動画でなく会議中に撮影された参加者の動画を再生したものが表示される。
通常表示モードで予め定められた操作（例えば、所定の速さ以上で画面を上下にスワイプする操作）がされると、集約表示モードに移行する。例えば、通常表示モードで、あるいは会議中に、過去の話題に遡るために画面を勢いよく上方向にスワイプすることで、現在進行中の会議の過去の記録を呼び出して集約表示モードで表示する。
集約表示モードで会議表示画面３１に表示される会議の内容は、図３に示す会議中の画面と異なる。時系列に吹き出しを表示する点においては、図３に示す会議中の画面と共通する側面があるものの、一覧性を向上させるために各吹き出しの配置を集約して表示し、しかも、各時間帯における会議の盛上り度合いに応じた集約の度合いで表示する。

図４は、この実施形態において、呼出された会議の集約表示モードでの表示例を示す説明図である。
図４に示すように、会議表示画面３１の左端には、開催された会議について予め定められた刻みで時間の推移を示す時間軸が表示されている。時間軸は画面の縦方向に伸び、下方から上方へ行くにつれて過去から現在へ近づく。ただし、これは一例に過ぎず、時系列であれば縦横の向きや上下の方向は問わない。

図４の例で時間軸は１０分刻みである。一つの時間刻みが一つの時間帯に相当する。図４は、４つの時間帯６４ａ、６４ｂ、６４ｃおよび６４ｄが表示されている。時間軸には、各時間帯の代表時刻が表示されている。時間帯６４ａの代表時刻は「１０；３０」であり、時間帯６４ｂの代表時刻は「１０：４０」である。時間帯６４ｃの代表時刻は「１０：５０」であり、時間帯６４ｄの代表時刻は「１１：００」である。代表時刻は、各時間帯の開始時刻や中間の時刻あるいは終了時刻として一律に定められる。そのいずれにするかをユーザーが選択できてもよい。

時間帯６４ｃは、スライド吹き出し５１をユーザーがタッチ操作により選択して重要であることを示すマークを付加しているので、拡大して表示される。同じ時間帯に属するが、ユーザーに選択されないスライド吹き出し４３やその下側のスライド吹き出し５４よりも拡大されて表示されている。
また、時間帯６４ｃは、会議の盛上り度合いが盛上り閾値を超えるので、緩集約状態、即ち集約度が緩い（低い）状態で表示される。なお、重要マークが付された会議情報オブジェクトを含む時間帯は、会議の盛上り度合いが前記盛上り閾値を超える場合と同様に緩集約状態の表示を行うようにしてもよい。時間軸についても、前記盛上り閾値以下の他の時間帯と時間軸の表示態様が異なる。

各時間帯における発言や参照された資料が吹き出しとして表示され、かつ、横方向に集約して並んだ状態で表示される。
時間帯６４ａに属する会議情報オブジェクトは、詰め集約表示領域６２に集約して表示される。同様に、時間帯６４ｂ属する会議情報オブジェクトは、詰め集約表示領域５７に集約して表示される。一方、重要ポイントを含む時間帯６４ｃに属する会議情報オブジェクトは、緩集約表示領域５５に分散して表示される。
時間帯毎に吹き出しを集約して表示することで、ユーザーは会議の経過を容易に振り返って理解できる。

会議表示画面３１の右下隅には、「もどる」ボタン６３が配置されている。「もどる」ボタン６３がタッチされると、制御部２１ａは、一段階前の表示内容に画面を戻す。即ち、通常表示モードから集約表示モードに遷移した場合は通常表示モードに戻る。会議中の画面から集約表示モードに遷移した場合は会議中の画面に戻る。ホームメニューの「会議呼出し」ボタンから集約表示モードに遷移した場合はホームメニューに戻る。
集約表示モードで、制御部２１ａは、吹き出しを時間帯ごとにまとめて時間軸方向に集約し、かつ同一時間帯に属し、横方向に並ぶ吹き出しを重ね合わせて表示する。これによって、複数の吹き出しが縦の時間軸方向および同一時間帯の横方向に集約されて画面表示の一覧性が向上する。

さらに、この実施形態の会議情報表示システム１０は、発言の重要度、言い換えれば会議の盛上り度合いを計算する機能を有する。集約表示モードでは時間帯ごとに吹き出しを集約するとともに、各時間帯における盛上り度合いを算出し、盛上り度グラフとして画面に重畳して表示する（例えば、図４の盛上り度グラフ５６参照）。
盛上り度合いが予め定められた盛上り閾値を超える時間帯、即ち、盛上り閾値を超える重要度を有する発言を含む時間帯については、吹き出しの集約形態を前記盛上り閾値以下の時間帯と異ならせて表示する。画面の横方向に延びる配置で複数の情報を羅列するよう表示する。このことにより会議の重要な内容が議論されて盛上り閾値を超える重要度の発言が行われた時間帯は、そうでない時間帯に比べて会議の詳細が見易く表示される。

なお、参加者が表示された吹き出しをタッチするといったような所定の操作をすることで、吹き出しに特定の属性を付与してもよい。例えば、重要度の高いと参加者が考えた吹き出しに対して円を描くようなジェスチャー操作をすると、発言の重要度が前記盛上り閾値を超える場合と同様に、特定の重要度、即ち、重要性高の属性が付与できてもよい。ここで、発言吹き出しだけでなく、スライド吹き出しに対しても特定の重要度（重要度高の属性）が付与できる（実施の形態４）。
図４において、スライド吹き出し５１に円を描く操作を行うことで重要性高の属性を付与し、その属性が視認できるよう円の枠を付与して表示している。

図５（ａ）は、盛上り度合いが盛上り閾値以下の場合に対応する、詰め集約状態の吹き出し配置例を示す。吹き出しの中心位置を黒字に白抜き文字の丸枠付きの数字１〜４で示す。数字は、吹き出し位置の順序を示し１は順序の先頭に対応する。数字の並びで示すように、同一時間帯の吹き出しは、左から右へ時系列に配置される。隣り合う吹き出しの中心位置の間隔（吹き出し間隔Ａ）は、吹き出しの直径の７０％程度であって、吹き出しが部分的に重なるよう配置される。

一方、図５（ｂ）に示すように、盛上り度合いが盛上り閾値より高い範囲（緩集約状態）では吹き出し間隔ＢがＡより長く設定され、吹き出しの重なりがより少なくて見易く配置される。さらに、吹き出し自体が通常よりも大きく表示される。
さらに、緩集約状態では参加者の動画を示すアイコンが追加されてもよい（実施の形態５）。ユーザーはこのアイコンをタッチすることで参加者の動画を再生できる。
また、同一時間帯に属する吹き出しを横方向に並べて表示してもよいが、一部を時間軸方向に拡げて表示してもよい（実施の形態６）。

会議の盛上り度合いに応じて表示の集約度合いを変えることで、重要な内容が討議されて会議が盛り上がった時間帯については議事の内容がより詳細に表示される。さらに、会議の内容を把握するための操作がし易いよう配置される。
通常表示から集約表示に移行する際に吹き出しがアニメーションで移動するよう構成してもよい（実施の形態７）。
以上のように、重要ポイントを含む時間帯については図５（ａ）に示す詰め集約状態で各吹き出しの座標位置が設定される。重要ポイントを含まない時間帯については、図５（ｂ）に示す緩集約状態で各吹き出しの座標位置が設定される。

図６は、図４に示す集約表示モードと異なる会議表示画面の態様を示す説明図である。図６の表示態様が図４と異なる部分は、時間帯６４ｂである。図６は、時間帯６４ｂに詰め集約状態で表示された吹き出しをユーザーが右へスワイプした後の状態である。操作部２７ａとしてのタッチパネルが時間帯６４ｂの吹き出しが右スワイプされたことを検出すると、表示部２１ａは、詰め集約状態で表示され発言吹き出し４５の下に隠れた発言吹き出し４７を右横へシフトさせて隠れていた吹き出しの内容を表示する。このように、ユーザーは詰め集約状態で隠れた吹き出しに対して所定の操作を行うことでの、隠れた吹き出しの内容を容易に参照できる。

図７は、サーバー１１の記憶部２３ｓに格納される会議情報オブジェクトのデータ構造およびそれらのデータを管理するデータテーブルの一例を示す。ただし、これに限らず一部のデータが例えば表示装置１３ａの記憶部２３ａに格納され、サーバー１１や他の表示装置とデータをやり取りしてもよい。
記憶部２３ｓに格納される会議情報オブジェクトのうち、資料のデータや音声データは吹き出しとして表示されるので、吹き出しデータテーブル７１で管理される。吹き出しは、代表的な会議情報オブジェクトである。吹き出しデータテーブル７１は、吹き出しの属性としてスライドＩＤ，タイムライン、ユーザーＩＤ，テキスト化音声データ、関連ファイル名および属性データの各項目を有する。

会議の進行中に、会議用スピーカーフォン１７ａおよび１７ｂで収音された音声データは、会議の進行中に発言毎に分割され、各発言が吹き出しデータテーブル７１に登録される。各発言吹き出しはタイムラインとして発言開始時刻が登録される。ユーザーＩＤとして発言者のＩＤが登録される。音声認識技術を用いて検索した参加者のＩＤである。テキスト化音声データは、音声認識技術を用いてテキスト化された発言のテキストデータが登録される。関連ファイル名は発言吹き出しデータの場合は該当する登録内容がない。属性データは、ユーザーがその吹き出しを重要な吹き出しとしてマークを付加したか否かを示す。

動画データ７３は各拠点の参加者の動画が静止画の圧縮データ形式で格納されている。各静止画は前後静止画の差分として格納されているのでデータ容量が削減されている。静止画コマにはタイムライン（撮影時刻）が記録されている。なお、図７の例では音声データは単独のデータとして存在せず、動画データ７３に包含されるとしている。ただし、テキスト化音声データの生成や発言の話者特定を容易にするために、動画データ７３と別に音声データを格納してもよい。

ユーザー情報テーブル７５は、参加者のＩＤ（ユーザーＩＤ）、参加者名（ユーザー名）、顔写真データ（ユーザー顔写真）が会議の開催前に登録されている。ユーザーの顔写真データは吹き出しに添付するアイコンの元となる。例えば、会議の参加者が自身のＩＤで会議情報表示システム１０にログインした際に、ログインしたユーザーがユーザー情報テーブル７５に登録される。
タイムライン区切りデータテーブル７７は、集約表示する吹き出しの時間帯を設定するための区切り点と各区切り点に対応するタイムライン（時刻）を記録している。区切り点の時刻と次の区切り点の時刻の間に存在する吹き出しをグループ化して集約表示時に集約する。タイムライン区切りデータテーブル７７は、会議の進行と並行して生成される。

区切り点とする時刻は、予め定められた時間刻みであってもよいが、例えば、記録された音声のデータから参加者全員の会話の途切れた時刻を抽出し、区切り点として設定してもよい。より詳細には、全参加者の音量を合計した音量が一定時間所定値以下となった時刻を区切り点として抽出する。
あるいはまた、特定のキーワードを検出して話題の区切りとしてもよい。例えば、「ただ今から説明致します〜」、「次の議題は〜」、「私の意見としては〜」といったようなキーワードを予め登録しておき、音声認識技術を用いてキーワードに該当する発言が行われた時刻を区切り点として抽出する。

集約表示モードで表示を行う場合、タイムライン区切りデータテーブル７７を参照して、吹き出しデータテーブル７１に登録された各吹き出しのタイムラインが、どの区切り点に属するかを調べることにより、吹き出しを表示する時間帯を決定できる。
このように、吹き出しデータテーブル７１とタイムライン区切りデータテーブル７７を参照することによって、会議情報オブジェクトとしての吹き出しと時間帯との関連付けを調べることができる。

動画データ７３についても、動画データ７３に付されたタイムラインについて、タイムライン区切りデータテーブル７７を参照してどの区切り点に属するかを調べることができるので、一連の動画データ７３のどの部分（コマ）がどの時間帯に属するかを決定できる。このようにして、会議情報オブジェクトとしての動画と時間帯との関連付けを調べることができる。
盛上りデータテーブル７９は、重要度が算出された会議情報オブジェクトに関連付けられた時刻と、その会議情報オブジェクトの重要度を格納する。重要度は、予め定められた手法を用いて算出される。さらに、重要度が予め定められた盛上り閾値を超えたか否かのフラグ（重要ポイントフラグ）を格納する。即ち、盛上り閾値を超える重要度の会議情報オブジェクトは、重要ポイントとしてマークされる。盛上りデータテーブル７９は、会議の進行と並行して生成される。

≪処理の手順≫
フローチャートを用いて上述の処理を説明する。以下の説明においては単純化のために、サーバー１１の記憶部２３ｓに吹き出しデータテーブル７１、動画データ７３、ユーザー情報テーブル７５、タイムライン区切りデータテーブル７７および盛上りデータテーブル７９が集約されて記憶されるものとしている。
会議情報表示システム１０は、サーバー１１の制御部２１ｓと各拠点の表示装置の制御部（例えば、拠点Ｌ１の表示装置１３ａの制御部２１ａ）とが協働してデータや表示の処理を行う。よって、記憶処理部、算出処理部および表示処理部は、制御部２１ｓ、２１ａの何れが処理する構成もあり得るし、両社が協働して処理する構成もあり得る。単純化のために、以下の説明においてはサーバー１１の制御部２１ｓがシステムを制御し、表示装置の制御部（例えば、拠点Ｌ１の表示装置１３ａの制御部２１ａ）は、単なる手足となって制御部２１ｓの処理を補助するものとする。

図８は、制御部２１ｓが通常表示モードで実行する処理の一例を示すフローチャートである。通常表示モードは、図３の表示形態に対応する。会議中あるいは「会議呼出し」ボタンが押された直後のモードである。
制御部２１ｓは、図８に示す処理を逐次繰り返して実行する。図８では、その処理をフローチャートのループで示しているが、実際には図８に記載されていない他の処理と並行に制御部２１ｓはマルチタスク処理を実行する。

図８で、制御部２１ｓは、会議用スピーカーフォンが参加者の音声が検出したか否かを調べる（ステップＳ１１）。音声が検出された場合（ステップＳ１１のＹｅｓ）、その音声について音声認識処理を適用して（ステップＳ１３）テキスト化音声データを生成し、生成されたテキストデータを吹き出しデータテーブル７１に格納する（ステップＳ１５）。そして、テキスト化された音声データを発言吹き出しとして会議表示画面３１に表示する（ステップＳ１７）。
さらに、制御部２１ｓは、ユーザーがスライド吹き出しを要求する操作を行ったか否かを調べる（ステップＳ１９）。要求があった場合は（ステップＳ１９のＹｅｓ）、指定されたファイルを読み出して（ステップＳ２１）、吹き出しデータテーブル７１に格納する（ステップＳ２３）。そして、読み出されたファイルをスライド吹き出しとして会議表示画面３１に表示する（ステップＳ２５）。

それらの吹き出し表示処理の後に、制御部２１ｓは、操作部２７ａがユーザーによる会議表示画面３１への操作を検出したか否かを調べる（ステップＳ２９）。操作が行われた場合、その操作が吹き出しを拡大表示する要求か否かを調べる（ステップＳ３１）。この例では、表示された吹き出しをタップする操作が拡大表示を要求する操作である。その操作がなされた場合は（ステップＳ３１のＹｅｓ）、タップされた吹き出しを拡大して表示する（ステップＳ３３）。
また、縦方向にスワイプの操作が行われた場合（ステップＳ３５）、スワイプの速さを判定する（ステップＳ３７）。スワイプの速さが、予め定められたスワイプ速さ閾値以下の場合は（ステップＳ３７のＮｏ）スクロール処理を行う。一方、スワイプの速さがスワイプ速さ閾値を超える場合は、集約表示モードの表示に切り換える（ステップＳ３９）。集約表示モードに切り換えるしょりについては、図９で説明する。

さらに、制御部２１ｓは、吹き出に対する特定の操作（この例では丸く囲む操作）が行われたか否かを調べる（ステップＳ４３）。丸く囲む操作が行われた場合は、それが重要な内容であるというユーザーの意思表示であるので、属性データとして協調フラグをセットする（図７の吹き出しデータテーブル７１参照）。そして、操作の対象とされた吹き出しを強調して表示する（ステップＳ４５．図４のスライド吹き出し５１参照）。
以上が、通常表示モードでの処理である。

続いて、ステップＳ３９の集約表示モードへの切替え処理について述べる。
図９は、制御部２１ｓが集約表示処理で実行する処理の一例を示すフローチャートである。
制御部２１ｓは、まず、会議表示画面３１を集約表示モードへ切り換える処理を実行する（ステップＳ５１）。この処理については、図１０で詳述する。
その後、制御部２１ｓは、操作部２７ａが集約表示モードの会議表示画面に表示されたオブジェクトへの操作を検出したか否かを調べる（ステップＳ５３）。何らかの操作が検出された場合（ステップＳ５３のＹｅｓ）、操作が縦方向のスワイプ操作か否かを調べる（ステップＳ５５）。

縦方向のスワイプ操作であれば（ステップＳ５５のＹｅｓ）、縦スクロール表示の処理を行う（ステップＳ５７）。
吹き出しへのタッチ操作であれば（ステップＳ５９）。タッチされた吹き出しを拡大して表示する。また、動画のオブジェクトへのタッチ操作であれば、動画を再生する（ステップＳ６１）。
あるいは、吹き出しを横方向にスワイプする操作であれば（ステップＳ６３、図６参照）、吹き出しを横方向に展開して表示する（ステップＳ６５）。
また、「もどる」ボタン６３へのタッチ操作であれば（ステップＳ６７）、前の段階の表示に戻す（ステップＳ６９）。

続いて、ステップＳ５１の詳細を述べる。
図９において、集約表示モードへ切換える際の処理を示すフローチャートである。
図１０に示すように、制御部２１ｓは、後述する盛上り度合いの算出処理によって算出された各時間帯の盛上り度合いを会議表示画面３１に表示する（ステップＳ７１）。さらに、タイムライン区切りデータテーブル７７を参照して（ステップＳ７３）、動画データを各時間帯に分割し、吹き出しを各時間帯に割り当て、時間帯ごとに表示すべき会議情報オブジェクトを決定する（ステップＳ７５）。即ち、会議表示画面３１に表示すべき会議情報オブジェクトを時間帯別にグループ化する。

さらに、各時間帯について、盛上り閾値を超える重要度を有する会議情報オブジェクト（重要ポイント）が含まれるか否かを調べる（ステップＳ７７）。
重要ポイントを含む時間帯については（ステップＳ７７のＹｅｓ）、緩集約状態で会議情報オブジェクトの配置を決定する（ステップＳ７９）。緩集約状態の配置は、図５（ａ）に対応する。重要ポイントを含まない時間帯については（ステップＳ７７のＮｏ）、詰め集約状態で会議情報オブジェクトの配置を決定する（ステップＳ８１）。詰め集約状態は、図５（ｂ）に対応する。

そして、決定した配置に従って、各時間帯に属する会議オブジェクトを会議表示画面３１に表示する（ステップＳ８３）。なお、この際に通常表示モードの位置から各会議オブジェクトを徐々に移動させてアニメーション表示させてもよい。
以上が、集約表示モードへ切換える際の処理である。

図１１は、この実施形態において制御部が盛上りデータテーブルを生成する処理の例を示すフローチャートである。制御部２１ｓは、図１１に示す処理と、図８に示す処理とを並行して実行する。
図１１に示すように、制御部２１ｓは、会議の進行中に、何れかの参加者が発言を開始するのを待って（ステップＳ１０１）タイマーをリセットし（ステップＳ１０３）、その時点から所定期間（この例では２０秒）が経過するまで以下の監視を実行する（ステップＳ１０９）。即ち、参加者のライブ動画を解析して前記期間中に、指差し動作を行った参加者の数をカウントし（ステップＳ１０５）、また、うなずき動作を行った参加者の数をカウントする（ステップＳ１０７）。
そして、前記期間中に指差し動作およびうなずき動作を行った人数に基づいて、発言の重要度を算出する（ステップＳ１１１）。算出の手法は後述する。

算出された重要度が、盛上り閾値を超える場合は（ステップＳ１１３）、その発言に重要ポイントフラグを設定する（ステップＳ１１５）。重要ポイントフラグの設定については、図７の吹き出しデータテーブル７１を参照されたい。
このようにして、発言が行われる度に、その発言の重要度を算出し、発言開始時刻と関連付けて盛上りデータテーブル７９に記録する（ステップＳ１１７）。
なお、図１１では、サーバー１１の制御部２１ｓが盛上り度合いを算出するものとしているが、これは一例に過ぎない。例えば、表示装置１３ａの制御部２１ａが拠点Ｌ１に係る盛上り度合いを算出し、同様に表示装置１３ｂが拠点Ｌ２に係る盛上り度合いを算出し、サーバー１１の制御部２１ｓがそれらに基づいて総合的な盛上り度合いを算出してもよい。

図１１の処理について、補足の説明を行う。
発言の重要度の算出に用いるために、制御部２１ｓは、何れかの参加者の発言が開始してから２０秒以内における各参加者の身体的反応（ジェスチャー）を取得する。具体的にはカメラ１５ａおよび１５ｂが撮影した参加者の画像に公知の画像認識技術を適用して、各参加者の指差し動作とうなずき動作を抽出する。そして、動作の有無をパラメータとして会議の盛上り度合いを算出する。

発言の開始は、音声データの音量に基づいて判断する。図１３は、この実施形態において、各参加者の音声データを用いて各参加者の発言開始を判定し、各参加者のジェスチャーを取得する期間を決定する例を示すグラフである。参加者Ｐ１、Ｐ２およびＰ３の会話音量は、それぞれの参加者に対応するマイクが置かれている場合は各マイクが収音した音量に対応する。図１の会議用スピーカーフォン１７ａのように複数の参加者が共有するマイクロフォンは、音声認識技術を用いて各参加者の発言を抽出し、抽出した発言の音量が図１３のグラフに相当する。

指差し動作は参加者の手の動きの動作から取得する。うなずき動作は参加者の顔の動作（顔認識）から取得する。
会議参加者のうちで、指さし動作を行った人数と、うなずき動作を行って同意を示した人数とに基づいて発言の重要度を計算する。例えば、以下の式に基づいて重要度を算出する。

重要度 ＝（発言から２０秒の期間に指さし動作を行った人数の全参加者に対する割合） ×（その期間にうなずき動作を行った人数の全参加者に対する割合）

上式によれば、全参加者が指差し動作を行った場合は前項の値が１、誰も指差し動作を行わなかった場合は前項の値が０になる。さらに、全参加者がうなずき動作を行った場合は後項の値が１、誰もうなずき動作を行わなかった場合は後項の値が０になる。従って、全員が指差し動作を行いかつうなずき動作を行った場合は重要度の値が１になり、誰も指差し動作を行わなかったか、誰もうなずき動作を行わなかった場合は重要度が０になる。

制御部２１ｓは、重要度が算出された発言が吹き出しデータテーブル７１に登録される際のタイムライン、即ち、発言開始時刻を重要度と関連付けて、盛上り度合いのグラフを生成する。グラフが見易くするために、各発言の重要度を曲線近似して表示してもよい。なお、制御部２１ｓは、タイムライン区切りデータテーブル７７を参照してどの時間帯に属するかを決定する。算出された重要度が盛上り閾値を超える発言を含む時間帯を、重要な発言があった時間帯と判定する。そして、図４の時間帯６４ｃのように時間軸の表現と吹き出しの集約の度合いを重要度の低い時間帯とは異なる態様で表示する。
以上のように制御部２１ｓは、会議の進行中に発言の冒頭に各参加者が示した動作を監視して発言の重要度を算出し、盛上りデータテーブルに重要度（盛上り度合い）を逐次追加していく。

続いて、タイムライン区切りデータテーブル７７を生成する処理について説明する。タイムラインの区切りは、予め定められた一定の時間間隔（例えば１０分）としてもよいが、図１２に示すように会議の進行状況に応じて定めてもよい。
制御部２１ｓは、図１２に示す処理と、図８および図１１に示す処理とを並行して実行する。

図１２に示すように、制御部２１ｓは、会議の進行中にタイムラインの区切りを見出すために、各参加者の音声を合計した総発言音量を求め（ステップＳ１２１）、その総発言音量が予め定められた期間を超えて予め定められた音量以下か否か、即ち無音期間があるか否かを監視する（ステップＳ１２３）。無音期間があったら（ステップＳ１２３のＹｅｓ）、ルーチンはステップＳ１２７へ進み、タイムライン区切りデータテーブル７７に区切り点を追加する。
さらに、制御部２１ｓは、参加者の音声データを分析して、予め登録された特定のキーワードが発言に含まれるか否かを監視する（ステップＳ１２５）。発言にキーワードが含まれていたら（ステップＳ１２５のＹｅｓ）、ルーチンはステップＳ１２７へ進む。

ステップＳ１２７で、制御部２１ｓは、タイムライン区切りデータテーブル７７に発言の開始時刻と共に新たな区切り点を追加する（ステップＳ１２７）。
区切り点の値は、以前の区切り点と識別可能とするために、この例では直前の区切り点の値に１を加えた値を新たな区切り点の値としてタイムライン区切りデータテーブル７７に登録する（ステップＳ１２９）。
以上のように制御部２１ｓは、会議の進行中にタイムライン区切りデータテーブル７７に区切り点を逐次追加していく。

以上に述べたように、
（i）この発明による会議情報表示システムは、資料の文書および画像並びに会議参加者の音声および画像の少なくとも何れかを会議情報として記憶する記憶装置と、記憶された会議情報のうち文書および画像の少なくとも何れかを表示する表示装置を含み、会議の期間を複数の時間帯に分割した各時間帯と前記会議情報とを関連付けて前記記憶装置に記憶させる記憶処理部と、記憶された会議情報に基づいて会議の各時間帯における盛上りの度合いを算出する算出処理部と、記憶された会議情報を会議情報オブジェクトとして、各時間帯における前記盛上り度合いに応じた集約の度合いでかつ時系列の配置で前記表示装置に表示する表示処理部とを備えることを特徴とする。

この発明において、記憶装置は、会議情報として記憶されたデータを格納するものである。その具体的な態様は、例えば、ハードディスク装置やフラッシュメモリ等の不揮発性記憶装置である。上述の実施形態において、記憶装置はサーバー１１の構成に含まれる。
記憶装置と表示装置とは本質的に別の装置であるが、一つの筐体に収容されてもよい。
記憶処理部、算出処理部および表示処理部は、専用のハードウェアを用いてもよいが、コンピュータがプログラムを実行することによって、それらの機能が実現されてもよい。

記憶処理部、算出処理部および表示処理部は、前記記憶装置または前記表示装置と接続される別の装置、例えば情報処理装置に配置されてもよいが、それらの全部または一部が前記記憶装置または前記表示装置の何れかに配置されてもよい。
また、会議情報としての資料は、例えば、文書作成ソフトウェアや帳票計算ソフトウェアを用いて作成された文書や表のデータ、ドローイングソフトウェアを用いて作成された画像データなど、さまざまな種類の文書（画像を含んでもよい）である。会議参加者の音声は、マイクロフォンを用いて収録された音声データである。会議参加者の画像は、カメラを用いて撮影された画像データであって静止画像、動画の種別を問わない。

さらにまた、時間帯は、予め定められた期間（例えば、１０分刻み）であってもよいが、記録時または記録後に適応的に決められてもよい。例えば、発言が所定期間途絶えたら新たな時間帯を開始するといったように決められてもよい。
盛上り度合いは、各時間帯における会議の内容の重要度に関連する指標である。後日、会議の記録を見る場合、重要な部分を優先的に見たいと考えるのは当然である。しかし、重要か否かは会議の内容および背景を理解した者でなければ妥当な判断が難しい。そこで、記憶された会議情報から抽出可能な指標であって、重要度と十分密接な相関があると考えられる指標を盛上り度合いと表現している。

例えば、会議中に参加者が資料を指差す動作やうなずきの動作が頻繁な時間帯は、重要な内容について議論されている可能性が高いと推測される。そして、指差し動作やうなずき動作は参加者の様子を撮影した動画データがあれば画像認識技術を用いて抽出可能である。また、重要な内容については活発な議論が行われて参加者は大きな声で発言する傾向にあると推測される。参加者の発言を記録した音声データがあれば、音声処理技術を用いて発言の音量を抽出可能である。

さらに、この発明の好ましい態様について説明する。
（ii）前記会議情報は、会議の参加者を撮影した動画を含み、前記表示処理部は、前記盛上り度合いが予め定められた閾値より高い時間帯において、その時間帯の動画を操作可能なアイコンを一つの会議情報オブジェクトとして表示してもよい。
このようにすれば、重要な内容が議論されて会議が盛り上がった時間帯については、その時間帯の動画を操作可能なアイコンが表示されるので、ユーザーはその時間帯の動画を操作して容易に視聴が可能である。

（iii）前記表示処理部は、盛上り度合いが低くて集約して表示されている会議情報オブジェクトの何れかがユーザーにより選択された場合、選択された会議情報オブジェクトおよび共に集約されている会議情報オブジェクトを分散して前記表示装置に表示してもよい。
このようにすれば、盛上り度合いが低くて集約して表示されている会議情報オブジェクトについても、ユーザーの選択により分散して表示させて選択された会議情報オブジェクトの内容をユーザーに見易く表示することができる。

（iv）前記会議情報は、会議の参加者を撮影した動画を含み、前記算出処理部は、各時間帯において前記動画から抽出された参加者の指差し動作およびうなずき動作の頻度に基づいて前記盛上り度合いを算出してもよい。

（v）前記表示処理部は、前記盛上り度合いが高い時間帯は前記盛上り度合いが低い時間帯に比べて前記会議情報オブジェクトを表示する集約の度合いをより低くして分散して表示してもよい。
このようにすれば、重要な内容が議論されて会議が盛り上がった時間帯は低い集約度で会議情報オブジェクトが表示され、記録に基づく会議の内容がユーザーに見易く表示される。

（vi）前記表示処理部は、前記盛上り度合いが高い時間帯は、前記盛上り度合いが低い時間帯に比べて会議情報オブジェクトの大きさをより大きく表示してもよい。
このようにすれば、重要な内容が議論されて会議が盛り上がった時間帯については、大きなサイズで会議情報オブジェクトが表示され、記録に基づく会議の内容がユーザーに見易く表示される。
（vii）前記表示処理部は、各時間帯における前記盛上り度合いをグラフとして表し、前記会議情報オブジェクトと共に前記表示装置に表示してもよい。
このようにすれば、ユーザーは、グラフ表示された盛上り度合いを参考に重要な内容が論議されて会議が盛り上がった時間帯を推察して優先的に記録を見ることができる。
この発明の好ましい態様には、上述した複数の態様のうちの何れかを組み合わせたものも含まれる。
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。

１０：会議情報表示システム、 １１：サーバー、 １３ａ，１３ｂ，１３ｃ，１３ｄ：表示装置 １５ｂ，１５ｃ：カメラ、 １７ａ，１７ｂ，１７ｃ：会議用スピーカーフォン、 １８ｄ：無線アクセスポイント、 １９：通信ネットワーク ２１ａ，２１ｓ：制御部、 ２３ａ，２３ｓ：記憶部、 ２５ａ，２５ｓ：表示部、 ２７ａ，２７ｓ：操作部、 ２９ａ，２９ｓ：通信部
３１：会議表示画面、 ３３：参加者動画領域、 ３５：吹き出し表示領域、 ３７：操作メニュー、 ４３，５１，５４：スライド吹き出し、 ４４，４６，４８，５０，５２，５９，６１：参加者アイコン、 ４５，４７，４９，５８，６０：発言吹き出し、 ５５：緩集約表示領域、 ５６：盛上り度グラフ、 ５７，６２：詰め集約表示領域、 ６３：「もどる」ボタン、 ６４ａ，６４ｂ，６４ｃ，６４ｄ：時間帯
７１：吹き出しデータテーブル、 ７３：動画データ、 ７５：ユーザー情報テーブル、 ７７：タイムライン区切りデータテーブル、 ７９：盛上りデータテーブル
Ｌ１，Ｌ２，Ｌ３，Ｌ４：拠点
Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５：参加者

Claims (10)

1. 資料の文書および画像並びに会議参加者の音声および画像の少なくとも何れかを会議情報として記憶する記憶装置と、
   記憶された会議情報のうち文書および画像の少なくとも何れかを表示する表示装置を含み、
   会議の期間を複数の時間帯に分割した各時間帯と前記会議情報とを関連付けて前記記憶装置に記憶させる記憶処理部と、
   記憶された会議情報に基づいて会議の各時間帯における盛上りの度合いを算出する算出処理部と、
   記憶された会議情報を会議情報オブジェクトとして、各時間帯における前記盛上り度合いに応じた集約の度合いでかつ時系列の配置で前記表示装置に表示する表示処理部とを備える会議情報表示システム。
2. 前記会議情報は、会議の参加者を撮影した動画を含み、
   前記表示処理部は、前記盛上り度合いが予め定められた盛上り閾値より高い時間帯において、その時間帯の動画を操作可能なアイコンを一つの会議情報オブジェクトとして表示する請求項１に記載の会議情報表示システム。
3. 前記表示処理部は、盛上り度合いが低く集約して表示されている会議情報オブジェクトの何れかがユーザーにより選択された場合、選択された会議情報オブジェクトおよび共に集約されている会議情報オブジェクトを分散して前記表示装置に表示する請求項１または２に記載の会議情報表示システム。
4. 前記会議情報は、会議の参加者を撮影した動画を含み、
   前記算出処理部は、各時間帯において前記動画から抽出された参加者の指差し動作およびうなずき動作の頻度に基づいて前記盛上り度合いを算出する請求項１〜３の何れか一つに記載の会議情報表示システム。
5. 前記表示処理部は、前記盛上り度合いが高い時間帯は前記盛上り度合いが低い時間帯に比べて前記会議情報オブジェクトを表示する集約の度合いをより低くして分散して表示する請求項１〜４の何れか一つに記載の会議情報表示システム。
6. 前記表示処理部は、前記盛上り度合いが高い時間帯は、前記盛上り度合いが低い時間帯に比べて会議情報オブジェクトの大きさをより大きく表示する請求項１〜５の何れか一つに記載の会議情報表示システム。
7. 前記表示処理部は、各時間帯における前記盛上り度合いをグラフとして表し、前記会議情報オブジェクトと共に前記表示装置に表示する請求項１〜６の何れか一つに記載の会議情報表示システム。
8. コンピュータが、
   記憶処理部として、会議の全期間を複数の時間帯に分割した各時間帯と関連付けて、資料の文書および画像並びに会議参加者の音声および画像の少なくとも何れかを会議情報として記憶装置に記憶する工程と、
   算出処理部として、記憶された会議情報に基づいて会議の各時間帯における盛上りの度合いを算出する工程と、
   表示処理部として、記憶された会議情報を会議情報オブジェクトとして時系列に並べ、各時間帯における前記盛上り度合いに応じて集約の度合いを異ならせて表示装置に表示する工程とを備える会議情報表示方法。
9. 会議の全期間を複数の時間帯に分割した各時間帯と関連付けて、資料の文書および画像並びに会議参加者の音声および画像の少なくとも何れかを会議情報として記憶装置に記憶する処理と、
   記憶された会議情報に基づいて会議の各時間帯における盛上りの度合いを算出する処理と、
   記憶された会議情報を会議情報オブジェクトとして時系列に並べ、各時間帯における前記盛上り度合いに応じて集約の度合いを異ならせて表示装置に表示する処理とをコンピュータに実行させるための会議情報表示プログラム。
10. コンピュータが、
    記憶処理部として、会議の全期間を複数の時間帯に分割した各時間帯と関連付けて、資料の文書および画像並びに会議参加者の音声および画像の少なくとも何れかを会議情報として記憶装置に記憶する工程と、
    算出処理部として、記憶された会議情報に基づいて会議の各時間帯における会議内容の重要度に係る指標を算出する工程と、
    表示処理部として、記憶された会議情報を会議情報オブジェクトとして時系列に並べ、各時間帯における前記指標に応じて集約の度合いを異ならせて表示装置に表示する工程とを備える会議情報表示方法。