JP6115074B2 - 情報提示システム、情報提示装置、プログラムおよび情報提示方法 - Google Patents

Description

本発明は、情報提示に関し、より詳細には、会議の進行を支援するために情報提示を行う情報提示システム、情報提示装置およびプログラムに関する。

近年、音声認識技術の精度向上に伴い、コンピュータにより、人間の発話音声から事前定義された単語を抽出し、発話する人間に対して、事前定義された単語に関連した情報を提示する技術が普及しつつある。

例えば、特開２００５−２１５７２６号公報（特許文献１）は、音声認識を利用した情報提示を行うための情報提示システムを開示する。上記特許文献１の情報提示システムは、話者の発話音声を入力する音声入力手段と、所定のキーワードに対応する条件とそれに関連するアクション情報とを対応づけて記憶するアクションデータ記憶手段と、情報提示処理手段を含む。上記情報提示処理手段は、発話音声の音声認識処理を行い、この処理結果から、記憶されたキーワードを検出し、検出されたキーワードが上述した条件を満たす場合に、対応するアクション情報に基づく処理を実行する。

また、会議やミーティングなどにおいて、合意形成や相互理解に向けて深い議論がなされるよう調整することを支援することに関連して、特開２０１１−０８１５８１号公報（特許文献２）は、発言状況の管理を支援することを目的とした会議進行支援装置を開示する。特許文献２の会議進行支援装置は、会議の各アジェンダを表す情報および会議の各参加者を表す情報を記憶させた会議情報記憶部と、アジェンダに対する参加者の発言の開始および終了を表す情報を、入力装置を介して取得する発言情報取得部と、経過管理部と、発言状況提示部とを備える。上記経過管理部は、発言の開始を表す情報の取得に応じて、アジェンダ、参加者、発言の開始を表す情報を取得した開始時刻、および、開始時刻からの経過時間を関連付けた経過情報を会議情報記憶部にさらに記憶させる。上記経過管理部は、同時に、発言の終了を表す情報を取得するまでの間、経過時間を計測して経過情報を更新する。発言状況提示部は、会議情報記憶部に記憶させた経過情報に基づいて、各アジェンダに対する各参加者の発言状況を表す情報を提示する。

しかしながら、上述した音声認識技術により情報を提示する特許文献１の従来技術では、会議等に適用すると、情報提示の場面を考慮することができないため、情報提示が不要な場合に情報が提示されてしまい、場面に応じて情報提示が適切に行われない場合があった。そのため、不必要な情報提示により、情報提示自体の効果自体が薄れてしまったり、議論を脇道に脱線させてしまったりするなど、ユーザの意識を本来向けられるべき議題からそらしてしまう懸念があった。上記特許文献２の従来技術は、各アジェンダに対する各参加者の発言状況を表す情報を提示するというものであり、場面を検知して、場面に応じた適切な情報提示を行うことができるものではなかった。

本発明は、上記従来技術の不充分な点に鑑みてなされたものであり、本発明は、会議における場面に応じて適切なタイミングに情報提示を行うことを可能とするための会議情報処理システム、会議情報処理装置およびプログラムを提供することを目的とする。

本発明は、上記課題を解決するべく、下記特徴を備える情報提示システムを提供する。本情報提示システムは、会議の参加者からの情報の入力を受けるための入力手段と、入力された情報に基づき会議の内容を記述する記述情報を記録する記録手段とを含む。本情報提示システムは、さらに、上記記述情報に基づき、会議の場面を検出する条件を満たすか否かを判定する判定手段と、会議の場面を検出する条件のひとつを満たすと判定された場合に、該条件のひとつに対応付けられた情報提示処理を実行する情報提示処理実行手段とを含む。

上記構成によれば、会議における場面に応じて適切なタイミングに情報提示を行うことが可能となる。

第１の実施形態による会議進行支援システムが構成されたネットワーク環境を示す概略図。 第１の実施形態によるプロジェクタ装置上で実現される機能ブロック図。 第１の実施形態によるプロジェクタ装置が実行する学習処理を示すフローチャート。 第１の実施形態において会議メタ情報管理部が記録する会議メタ情報のデータ構造を例示する図。 第１の実施形態においてクライアント端末のディスプレイ装置上に表示されるＵＩ画面を例示する図。 第１の実施形態における会議状態判定ルールテーブルのデータ構造を例示する図。 第１の実施形態におけるルールの学習処理を説明する図。 第１の実施形態においてクライアント端末のディスプレイ装置上に表示される会議状態判定ルール管理画面を例示する図。 会議状態判定ルール管理画面において、推奨ルール表示ボタンがクリックされたことにより呼び出される推奨ルール表示画面を例示する図。 第１の実施形態によるプロジェクタ装置が実行する場面に応じた情報提示処理を示すフローチャート。 第１の実施形態において、会議状態変更アクション実行部によるアクション実行に基づき、表示出力部がスクリーンに投影する情報提示画面を例示する図。 クライアント端末のディスプレイ装置上に表示されるアンケート画面を例示する図。 クライアント端末のディスプレイ装置上に表示されるレポート画面を例示する図。 第２の実施形態による会議進行支援システムが構成されたネットワーク環境を示す概略図。 第２の実施形態によるコンピュータ・システム上で実現される機能ブロック図である。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。

［第１の実施形態］
なお、以下に説明する第１の実施形態では、情報提示装置および情報提示システムの一例として、会議の進行を支援するための情報提示機能を備えたプロジェクタ装置を用いて説明する。図１は、第１の実施形態によるプロジェクタ装置１１０が配置されたネットワーク環境１００を示す図である。図１に示すネットワーク環境１００は、ネットワーク１０２を介して相互に接続される、１以上のクライアント端末１０８と、プロジェクタ装置１１０とを含み構成される。

ネットワーク１０２は、例えば、有線または無線の組織内ＬＡＮ（Local Area Network）などとして構成され、図示しないルータを介して、グローバルなインターネット１０４に接続されている。図１に示すネットワーク１０２には、さらに、組織内に存在する文書を管理する文書管理サーバ１０６が接続されている。インターネット１０４および文書管理サーバ１０６は、本実施形態において情報提示を行うための情報ソースを提供する。

クライアント端末１０８は、スクリーンに投影するための画面をプロジェクタ装置１１０に対して出力する。クライアント端末１０８は、また、操作者からの操作入力に従って、ネットワーク１０２を介してプロジェクタ装置１１０に対して各種指示を送信する。クライアント端末１０８は、特に限定されるものではないが、デスクトップ型やラップトップ型のパーソナル・コンピュータ、ワークステーションなどの汎用コンピュータ装置、タブレット端末、スマートフォン端末、ＰＤＡ（Personal Digital Assistant）端末などの携帯情報端末などとして構成することができる。

プロジェクタ装置１１０は、所定のクライアント端末１０８から入力される画面をスクリーンに投影する。プロジェクタ装置１１０は、また、操作者による操作に従いクライアント端末１０８からネットワーク１０２を介して送信される各種指示入力に応答して、各種処理を実行し、処理結果を返す。特定の実施形態において、プロジェクタ装置１１０は、ウェブサーバ機能を備え、クライアント端末１０８上のウェブ・ブラウザからの要求に応答して、操作者がプロジェクタ装置１１０に対して指示を行うための各種操作画面のウェブ・ページを応答する。プロジェクタ装置１１０は、各種操作画面を介して行われた操作に応じてウェブ・ブラウザから送信された要求を受信して、各種指示入力を受け付ける。

なお、所定のクライアント端末１０８からプロジェクタ装置１１０へ行われる映像出力は、上述したネットワーク１０２を介したＬＡＮ接続に限定されない。映像出力は、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（High-Definition Multimedia Interface）などの映像出力ポートを介して行われてもよい。

本実施形態によるプロジェクタ装置１１０は、さらに、音声認識技術を適用して、認識された発言に応じた情報提示を行う情報提示機能を備える。一方、このような情報提示機能は、会議に適用される場合、場面にかかわらず情報提示を行ってしまうと、進行中の議論を妨げてしまう可能性がある。また、会議中に、発言に応答して頻繁に情報提示が行われてしまうと、会議の参加者に煩わしい体験をさせてしまったり、参加者が体験する情報提示の効果が薄れてしまったりすることも懸念される。

そこで、本実施形態によるプロジェクタ装置１１０は、会議の場面を判定し、場面に応じて適切な提示情報を出力する情報提示機能を備えている。以下、図２〜図１３を参照しながら、第１の実施形態における場面に応じた情報提示機能について詳細を説明する。

図２は、第１の実施形態によるプロジェクタ装置１１０上で実現される機能ブロック２００を示す図である。図２に示すプロジェクタ装置１１０は、会議状態判定部２０４と、会議メタ情報管理部２０６と、会議状態判定学習部２１０と、会議状態変更アクション実行部２１２と、表示出力部２１４と、関連情報検索部２１６と、音声入力部２１８と、音声認識部２２０と、操作ＵＩ（ユーザ・インタフェース）部２２２と、会議状態変化入力部２２４と、会議状態変更アクション入力部２２６と、会議状態判定ルール管理部２２８とを含み構成される。プロジェクタ装置１１０は、さらに、データ構造として、会議の場面を判定するための会議状態判定ルールテーブル２０２と、発言内容などの会議の内容を記述する会議メタ情報２０８とを備える。

会議状態判定部２０４は、蓄積された会議メタ情報２０８を取得し、会議状態判定ルールテーブル２０２内で定義されたルールに照らし合わせて、会議の特定の場面を検出するための条件（以下、会議状態変更条件と参照する。）を満たすか否かを判定する。会議状態変更条件は、会議において観察される特定の場面に応じて、会議の状態を変更させるようにはたらく情報提示アクションを呼び出すために事前定義される。

本実施形態において、情報提示を行う際の会議の場面は、会議状態と、その会議状態において発生した会議の内容とに基づいて判断される。会議状態は、会議の活発および不活発の程度などを表現したコンテキスト情報であり、特に限定されるものではないが、「活発な状態」、「煮詰まった状態」、「通常状態」、「行き詰まり状態」および「脇道に逸れた状態」などを例示することができる。例えば、会議状態が「行き詰まり状態」であるときに、会議の内容としてしばらく発言が無いということが検出された場合は、議論が行き詰まって意見が出ていない場面であると考えられる。このような場面で情報提示を行うことにより、会議の状態を「行き詰まり状態」から「活発な状態」や「通常状態」などへ好転させることが期待できる。

会議状態判定部２０４は、会議状態変更条件によって、情報提示に適した特定の場面を検出し、情報提示を行うアクションを判定し、会議状態変更アクション実行部２１２にその実行を依頼する。上記判定は、例えば、会議メタ情報２０８内に新たな記述が行われたタイミングで行うことができる。

なお、会議の特定の場面を検出して情報提示を行うためのルールは、ベンダやユーザ側で事前に手動定義することができる。また、詳細は後述するが、教師情報として与えられた会議メタ情報２０８内の会議の内容、会議の状態、実行されたアクションの履歴情報に基づき、会議状態判定学習部２１０が学習処理によりルールを生成してもよい。

会議メタ情報管理部２０６は、参加者からのマイクロフォンを介した音声入力などの外部情報の入力に応答して、会議の内容を記述するメタ情報を会議メタ情報２０８内に記録する。会議の内容は、詳細は後述するが、発言内容、上述した会議状態の変化、実行されたアクションなどを含むことができる。会議メタ情報管理部２０６は、新たなメタ情報が記述され、会議メタ情報２０８が更新されたことに応答して、その旨を会議状態判定部２０４に通知する。会議メタ情報管理部２０６は、また、会議状態判定部２０４からの会議メタ情報２０８の取得要求に応答して、会議メタ情報２０８を読み出して提供する。

会議状態変更アクション実行部２１２は、会議状態判定部２０４により、会議状態変更条件のひとつを満たすと判定された場合に、その条件に対応付けられたアクション（以下、会議状態変更アクション、または単に、アクションと参照する。）の実行の依頼を受けて、このアクションを実行する。会議状態変更アクション実行部２１２は、依頼されたアクションを実行した後、会議メタ情報管理部２０６に対し、該アクションの実行を通知して、メタ情報として記録させる。

本実施形態において、会議状態変更アクションは、会議での合意形成または相互理解のため、会議の状態の好転を促すことが期待される情報提示処理をいう。会議状態変更アクションとしては、特に限定されるものではないが、「休息を促すメッセージ表示」、「発言テキスト表示」、「頻出キーワードのインターネット検索結果表示」、「頻出キーワードの文書管理システム内の検索結果表示」、「雰囲気を明るくするテキストまたは画像表示」などを例示することができる。

表示出力部２１４は、クライアント端末１０８から入力される画面をスクリーンに投影するとともに、会議状態変更アクション実行部２１２のアクション実行に応答して、その実行結果をスクリーンに投影する。上述した例示に従えば、「休息を促すメッセージ表示」、「発言テキスト表示」、「頻出キーワードのインターネット検索結果表示」、「頻出キーワードの文書管理システム内の検索結果表示」、「雰囲気を明るくするテキストまたは画像表示」がスクリーンに投影される。実行結果は、例えば、現在表示中の画面の一部にダイアログまたはポップアップとして表示したり、画面全体に一定期間表示したり、スクリーンセーバとして表示したりすることができる。

関連情報検索部２１６は、情報検索結果を提示するアクションが選択された場合に、会議状態変更アクション実行部２１２により呼び出される。関連情報検索部２１６は、インターネット１０４や文書管理サーバ１０６などの情報ソースに対し、会議の内容に応じた検索クエリに基づく情報検索を行い、得られた情報検索結果を表示出力部２１４に返す。例えば、上述した「頻出キーワードのインターネット検索結果表示」または「頻出キーワードの文書管理システム内の検索結果表示」のアクションが選択された場合には、会議において頻出した所定のキーワードを含むクエリを用いて、インターネット１０４または文書管理サーバ１０６から情報検索し、検索結果を取得する。頻出単語や頻出文脈は、会議メタ情報２０８の所定範囲の発言に対して、自然言語処理を適用し、単語や文脈を計数することにより得られる。

音声入力部２１８は、例えば、プロジェクタ装置１１０に接続された集音マイク、参加者毎のマイクロフォンやヘッドセットなどの音声入力デバイスを介して入力される音声信号の入力を受ける。音声認識部２２０は、音声入力部２１８に入力された音声信号に対し、音声認識（ＳＲ：Speech Recognition）処理を行い、音声入力に基づきテキスト化し、会議メタ情報管理部２０６に発言内容（音声認識テキスト）を記録させる。また、音声認識部２２０は、入力された音声信号から無言状態であることを検知して、その無言期間を計測し、会議メタ情報管理部２０６に無言イベントとして記録させる。

発言内容は、発言者を識別し、発言者に関連付けて記録することができる。発言者の識別方法としては、特に限定されるものではないが、参加者毎に音声入力デバイスが配布される場合には、そのデバイス識別子、またはデバイスが接続されるクライアント識別子により識別することができる。他の実施形態では、発言者自らが発言前に発言する旨を、発言者が操作するクライアント端末を介してプロジェクタ装置１１０に通知したり、または、議事録の記録を担当する参加者が、発言者が発言しているタイミングで、クライアント端末を介してプロジェクタ装置１１０に発言者に関する情報を入力したりすることで、識別してもよい。さらに、他の実施形態では、話者認識技術により、混在する音声の中から発言者を認識してもよい。

操作ＵＩ部２２２は、例えばウェブサーバ機能として実装され、クライアント端末１０８上のウェブ・ブラウザからの要求に応答して、各種操作画面をクライアント端末１０８に応答する。各種操作画面としては、上述した会議状態判定ルールを管理するための会議状態判定ルール管理画面、会議状態変化入力画面および会議状態変更アクション指示画面などを挙げることができる。ここで、会議状態変化入力画面は、会議の参加者が感じ取った会議状態の変化をプロジェクタ装置１１０に通知するため画面である。また、会議状態変更アクション指示画面は、参加者が感じ取った会議の場面に応じて会議状態変更アクションをプロジェクタ装置１１０に指示するための画面である。操作ＵＩ部２２２は、各種操作画面を介して行われた操作に基づきウェブ・ブラウザから送信されたリクエストを受信して、操作画面に応じて処理を振り分ける。

会議状態変化入力画面を介して、変化後の会議状態を通知する操作が行われた場合は、操作ＵＩ部２２２は、会議状態変化入力部２２４に対し、その変化後の会議状態を含めた会議状態変化の指示入力を行う。会議状態変化入力部２２４は、この指示入力を受け取り、その変化後の会議状態を会議メタ情報管理部２０６にメタ情報として記録させる。

会議状態変更アクション指示画面を介して、アクション実行指示を通知する操作が行われた場合は、操作ＵＩ部２２２は、会議状態変更アクション入力部２２６に対し、その指示されたアクションを含めた会議状態変更アクション実行の指示入力を行う。会議状態変更アクション入力部２２６は、この指示入力を受け取り、指示されたアクションの実行依頼を会議状態変更アクション実行部２１２に対して行う。会議状態変更アクション実行部２１２は、クライアント端末１０８の操作者による明示的なアクション実行指示に対応して、指定されたアクションを実行し、その後、会議メタ情報管理部２０６に対してアクションの実行を通知し、メタ情報として記録させる。

このようにして、会議メタ情報管理部２０６は、会議を識別する情報と、音声認識部２２０による発言内容（音声認識テキスト）と、発言者と、発言された開始時刻と、終了時刻とを紐付けて会議メタ情報２０８に記録する。また、会議メタ情報管理部２０６は、会議状態変化の指示入力が行われた場合に、検出者と、変化後の会議状態と、その変化した時刻とを紐付けて会議メタ情報２０８に記録する。会議メタ情報管理部２０６は、さらに、会議状態変更アクションが実行された場合に、実行指示者と、実行された会議状態変更アクションと、実行された時刻とを紐付けて記述する。

上述した会議状態変化入力部２２４および会議状態変更アクション入力部２２６に対して行われた指示入力に基づくメタ情報は、会議の参加者から入力された教師データとして、会議状態判定学習部２１０によって利用される。会議状態判定学習部２１０は、会議メタ情報２０８内のメタ情報を取得し、どのようなコンテキストにおいて、どの会議状態からどの会議の状態への変化が認識されたかを学習する。また、会議状態判定学習部２１０は、会議メタ情報２０８に基づいて、どのようなコンテキストで、いずれの会議状態変更アクションが実行されたのかを学習する。上記学習処理により、会議の場面に対応して情報提示を行うための新たな条件が抽出され、会議状態判定ルールテーブル２０２にルールが追加される。上記学習処理は、例えば、会議メタ情報２０８が更新されたタイミングで行うことができる。なお、会議状態判定学習部２１０が実行する学習処理については、詳細を後述する。

会議状態判定ルール管理部２２８は、ルールテーブル２０２内のルールを手動定義し、または会議状態判定学習部２１０により追加されたルールを修正、削除等するために設けられた手段である。会議状態判定ルール管理画面を介して操作が行われた場合は、操作ＵＩ部２２２は、会議状態判定ルール管理部２２８に対して、その操作内容を含む指示入力を行う。会議状態判定ルール管理部２２８は、渡された操作内容に基づき、ルールテーブル２０２の内容を編集する。なお、会議状態判定ルール管理部２２８によるルールテーブル２０２の管理処理については、詳細を後述する。

特定の実施形態において、プロジェクタ装置１１０は、さらに、アンケート入力部２３０と、レポート出力部２３２とを含み構成することができる。操作ＵＩ部２２２は、クライアント端末１０８上のウェブ・ブラウザからの要求に応答して、操作画面として、アンケート画面およびレポート画面を応答することができる。

アンケート画面を介して会議の評価の入力操作が行われた場合は、操作ＵＩ部２２２は、アンケート入力部２３０に対して、参加者による評価結果を含む指示入力を行う。アンケート入力部２３０は、操作内容に基づき、会議の参加者が当該会議に対して行った評価結果を取得し、会議メタ情報管理部２０６に対して、アンケート結果を記録させる。

レポート出力画面を介して操作が行われた場合は、操作ＵＩ部２２２は、レポート出力部２３２に対して、その操作内容を含む指示入力を行う。レポート出力部２３２は、操作内容に基づき、会議メタ情報管理部２０６から、会議の状態およびアンケート結果に関するメタ情報を取得して、会議の状態や評価を集計して、集計結果を含むレポートを出力する。操作ＵＩ部２２２は、集計結果を受け取り、集計結果を表示データに埋込み、クライアント端末１０８に応答する。

以下、図３〜図９を参照しながら、会議メタ情報２０８を収集しながら、会議状態判定ルールテーブル２０２に追加するにルールを学習する処理について説明する。図３は、第１の実施形態によるプロジェクタ装置１１０が実行する学習処理を示すフローチャートである。図３に示す処理は、プロジェクタ装置１１０が学習モードに設定されて会議の開始が指示されたことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、会議の参加者から入力される情報の種類に応じて処理を分岐させる。

ステップＳ１０１で、参加者の発言に対応する音声データが入力された場合は、ステップＳ１０２へ処理が分岐される。ステップＳ１０２では、音声認識部２２０は、音声入力部２１８からの音声データをテキスト化し、音声認識テキストを生成する。ステップＳ１０３では、会議メタ情報管理部２０６は、上記音声認識テキストを発言内容として、識別された発言者、発言の開始時刻および終了時間をセットにして発言イベントを記録し、ステップＳ１０１へ処理をループさせる。

図４は、会議メタ情報管理部２０６が記録する会議メタ情報２５０のデータ構造を例示する図である。図４に示す会議メタ情報２５０は、ＸＭＬ（Extensible Markup Language）で記述されたデータであり、例えば、会議毎にＸＭＬデータベースなどに格納される。会議メタ情報２５０における要素タグおよび属性の意義は、表１に示す通りである。

図４に示すデータ構造において、００４−００７行では、Ｒｅｍａｒｋ要素タグにより、発言者が「ｔａｒｏ」であるとして、「ＸＸＸ大学運営準備会・・・・よろしくお願いしたい。」という内容の発言が、開始時刻および終了時刻とともに記録されている。００８−０１０行、０１１−０１３行および０１４−０１６行も同様に発言イベントである。

ステップＳ１０１で、無音の音声データが入力される場合は、ステップＳ１０４へ処理が分岐される。ステップＳ１０４では、音声認識部２２０が、音声入力部２１８からの音声データから無言期間を検出する。ステップＳ１０５では、会議メタ情報管理部２０６は、検知された無言期間が所定の時間以上である場合に、その無言期間について、検出者（ここではシステムとなる）、無言期間の開始時刻および終了時間をセットにして無言イベントを記録し、ステップＳ１０１へ処理をループさせる。なお、無言期間は、会議メタ情報２５０内に明記せずともよい。図４に示す会議メタ情報２５０においてＲｅｍａｒｋ要素タグで発言の時間幅が記録されるので、発言イベント以外の期間を無言期間であるとして取り扱ってもよいからである。

一方、ステップＳ１０１で、操作ＵＩ部２２２を介した指示入力が行われた場合は、別の処理フローへ分岐される。図５は、第１の実施形態において、操作ＵＩ部２２２から提供されて、クライアント端末１０８のディスプレイ装置上に表示されるＵＩ画面を例示する図である。図５（Ａ）は、会議状態変化入力画面３００を例示する図である。図５（Ａ）に示す会議状態変化入力画面３００は、変更後の会議状態の入力を促すメッセージ表示３０２と、これまでの会議の状態を示す会議状態表示３０４と、変更後の会議状態を指定するために各会議状態に対応付けられたボタン３０６ａ〜３０６ｅとを含む。会議状態変化入力画面３００において、ボタン３０６ａ〜３０６ｅのいずれかがクリックされると、そのボタン３０６に対応する会議状態を含む会議状態変化指示入力が行われる。この指示入力は、上述したとおり、会議の参加者が感じ取ってプロジェクタ装置１１０に対し通知する会議状態の変化を示すものである。

ステップＳ１０１で、クライアント端末１０８から会議状態変化指示入力が入力された場合は、ステップＳ１０６へ処理が分岐される。ステップＳ１０６では、会議状態変化入力部２２４は、操作ＵＩ部２２２を経由して、クライアント端末１０８から指示入力を受領する。ステップＳ１０７では、会議メタ情報管理部２０６は、上記会議状態変化指示入力に応答して、変化後の新しい会議状態、検出者、検出した時刻をセットにして会議状態変化イベントとして記録する。検出者は、指示入力元のクライアント端末の識別子を用いて識別することができる。

図４に示す会議メタ情報２５０における０１７−０１９行では、Ｓｔａｔｅ要素タグにより、検出者が「Ｋｅｎ」であるとして、「行き詰まり状態」へ変化する会議状態変化イベントが記録されている。なお、会議状態変化イベントは、００１−００３行に示すように、システムが検知する場合もある。

ステップＳ１０８では、会議状態判定学習部２１０は、会議メタ情報管理部２０６から会議メタ情報２０８を取得し、参加者による状態変更イベントを教師データとして利用して学習を行う。より具体的には、会議状態判定学習部２１０は、取得した会議メタ情報２０８から、どのようなコンテキストにおいてどの会議状態に変化したかを抽出する。ステップＳ１０９では、会議状態判定学習部２１０は、変化前の会議状態および抽出された条件を、変化後の新しい会議状態と対応付けて、ルールテーブル２０２にルールを追加する。なお、ステップＳ１０８で抽出され、ステップＳ１０９で追加されるルールについては、会議状態変更アクション指示入力が行われた場合の説明とまとめて説明する。

図５（Ｂ）は、会議状態変更アクション指示画面３１０を例示する図である。図５（Ｂ）に示す会議状態変更アクション指示画面３１０は、実行するアクションの入力を促すメッセージ表示３１２と、各アクションに対応するボタン３１４ａ〜３１４ｅとを含む。また、ボタン３１４ｅは、頻出発言で検索した結果を情報提示するアクションに対応付けられたボタンであり、指示画面３１０は、さらに、アクション実行のパラメータを入力するためのＵＩ部品３１６〜３２０を含む。

プルダウンメニューリスト３１６は、どの期間の頻出発言を検索クエリに含めるかを指定するＵＩ部品である。ラジオボタン３１８は、頻出発言の検索単位を頻出単語とするか、頻出文脈とするかを選択するためのＵＩ部品である。ラジオボタン３２０は、情報ソースとして「インターネット」および「社内文書管理サーバ」のいずれを選択するかを指定するためのボタンである。会議状態変化入力画面３００において、ボタン３１４ａ〜３１４ｅのいずれかがクリックされると、そのボタンに対応するアクションを含む会議状態変更アクション指示入力が行われる。

ステップＳ１０１で、会議状態変更アクション指示入力が入力された場合は、ステップＳ１１０へ処理が分岐される。ステップＳ１１０では、会議状態変更アクション入力部２２６は、操作ＵＩ部２２２を経由して、クライアント端末１０８から会議状態変更アクション実行指示入力を受領する。ステップＳ１１１では、会議状態変更アクション実行部２１２は、会議状態変更アクション入力部２２６からの依頼に応じて、アクションを実行し、その実行の完了を応答する。ステップＳ１１２では、会議メタ情報管理部２０６は、実行したアクション、実行者、実行した時刻をセットで、アクション実行イベントとして記録する。実行者は、指示入力を送信してきたクライアント端末の識別子を用いて識別することができる。

図４に示すデータ構造において、０２０−０２２行では、Ａｃｔｉｏｎ要素タグにより、実行者が「Ｋｅｎ」であるとして、「休憩を促すメッセージ表示」のアクションが、実行指示が行われた時刻とともに会議状態アクション実行イベントが記録されている。

ステップＳ１１３では、会議状態判定学習部２１０は、会議メタ情報管理部２０６から会議メタ情報２０８を取得し、この会議メタ情報から、どのようなコンテキストで、どの会議状態変更アクションが実行されたかを抽出する。ステップＳ１１４では、会議状態判定学習部２１０は、現在の会議状態および抽出された条件を、上記指示入力されたアクションと対応付けて、会議状態判定ルールテーブル２０２に新しいルールを追加する。

一方、ステップＳ１０１で、会議の終了の指示入力が入力された場合は、ステップＳ１１５へ処理を分岐させ、本学習処理を終了させる。

以下、会議の場面を判定してアクションを呼び出すルールについて、より詳細に説明する。図６（Ａ）は、第１の実施形態における会議状態判定ルールテーブル２６０のデータ構造を例示する図である。図６（Ａ）に示すように会議状態判定ルールテーブル２６０は、現在の状態と、現在の状態において会議メタ情報に対し適用する条件項目と、対応付けられる会議状態変更アクションと、優先度と、発生回数と、効果回数とが入力されるカラムを含む。現在の会議状態および条件項目が、コンテキストに基づいて会議の特定の場面を検出するための会議状態変更条件を構成している。

図６（Ａ）に示す会議状態判定ルールテーブル２６０における番号１〜５は、会議状態が「行き詰まり状態」であるときに、３００秒以上の無言期間（ＳｉｌｅｎｔＴｉｍｅ）を検知して、議論が行き詰まって意見が出ていない場面であると検知する会議状態変更条件に対応する。ルール判定で参照される会議状態は、上述したように、参加者から入力された会議状態であってもよいし、ルールに基づいてシステムが検知した会議状態であってもよい。

図６（Ａ）に示す例では、この会議状態変更条件に対して、「休息を促すメッセージ表示」、「発言テキスト表示」、「インターネット検索」、「文書管理サーバ検索」および「雰囲気を明るくする画像を表示」といった複数のアクションが対応付けられている。各アクションには、優先度が設定され、この優先度は、この会議状態変更条件が満たされたときに、いずれのアクションを選択するかの確率を計算するために用いられる。図６（Ａ）に示す例では、同一の会議状態変更条件である番号１〜５には、優先度として、それぞれ、１００、９０、８０、７０、６０が設定されている。そして、その合計値４００を分母とし、各優先度を分子とした値で規定される確率でアクションが選択されることになる。例えば、１番目のルールでは、２５％の発生確率となる。後述するルール判定において会議状態変更条件が満たされたときは、乱数生成に基づいて、番号１〜５のルールのうちの１つが上記確率で選択される。

発生回数は、そのコンテキストにおいてそのアクションが発生した回数を計数したものであり、ここでは主に、参加者からの指示入力に基づくアクションの発生回数が計数される。したがって、発生回数が多いということは、参加者が、そのコンテキストにおいてアクションの必要性を感じ取ったことが多いことを意味し、有効なルールである蓋然性が高いことを意味する。効果回数は、そのアクション後に、会議の状態が好転した場合にカウントアップされ、これが多いことも有効なルールである蓋然性が高いことを意味する。会議の状態が好転したか否かの判断は、参加者からの明示的な会議状態の変化の通知またはルールベースの状態変化の検知に基づいて、予め状態間に定義された好転する遷移方向に変化したか否かの判断によって行うことができる。上記優先度は、参加者が、発生回数や効果回数を確認して、会議状態判定ルール管理画面で手動設定してもよいし、発生回数や効果回数に応じてシステムが自動決定またはユーザの入力値に対する調整を施してもよい。

下記表２は、上記条件項目に入力することができる条件を例示する。

表２に例示されるように、条件項目は、無言時間に対する閾値条件項目（第１番目の条件例）、事前定義された特定の単語の出現頻度に対する閾値条件項目（第２番目の条件例）、事前定義された特定の文脈の出現頻度に対する閾値条件項目（第３番目の条件例）、特定の発言者が発言したという条件項目（第４番目の条件例）、特定の発言内容であるという条件項目（第５番目および第７番目の条件例）、特定の発言内容を含まないという条件項目、同一話者が継続して発言した時間に対する閾値条件項目（第６番目の条件例）、特定の者が継続して発言していない時間に対する閾値条件項目、経過時間に対する閾値条件項目（第７番目の条件例）、無言時間の発言時間に対する割合（統計値）に対する閾値条件項目からなる群から選択された少なくとも１つの条件項目を含むことができる。また、これらの条件項目は、単独で用いられてもよいし、複数の条件項目を論理和または論理積で組み合わせられてもよいし、順序付きで組み合わせられてもよい。

図７は、第１の実施形態において会議状態判定学習部２１０のルールの学習処理を説明する図である。図７（Ａ）および（Ｂ）は、それぞれ、会議メタ情報の一部２８０，２８４と、その一部から抽出されるルール２８２，２８６を例示する。まず、図３におけるステップＳ１１２で、会議状態変更アクション実行イベントが記録されると、ステップＳ１１３では、会議状態判定学習部２１０は、会議メタ情報２０８からコンテキストを判定する。コンテキスト判定では、その会議状態変更アクション実行イベントが記録された時点の直近の会議状態が抽出され、実行イベントが記録された時点の直前、または直前のイベントから所定数または所定時間さかのぼった複数のイベントから条件項目が抽出される。

図７（Ａ）に示す例では、行１０１−１０３の会議状態変化イベントを検出して会議状態「行き詰まり状態」が検知され、行１０５−１０６の無言イベントを検出して、条件項目「ＳｉｌｅｎｔＴｉｍｅ＞１２０」が抽出される。そして、抽出された会議状態および条件項目に対応付けて、記録された会議状態変更アクション「休憩を促すメッセージ」が生成され、会議状態判定ルールテーブル２０２に追加される。

また、図７（Ｂ）に示す例では、行２０１−２０３の会議状態変化イベントを検出して会議状態「行き詰まり状態」が検知される。そして、行２０４−２０６の発言イベントが検出され、事前定義された辞書に適合する「Ｓｐｅａｋｅｒ＝ｍａｓｔｅｒ ＡＮＤ Ｒｅｍａｒｋ＝”ご意見はありませんか？”」という発言に関する条件項目が抽出され、行２０７−２０８の無言イベントを検出して、条件項目「ＳｉｌｅｎｔＴｉｍｅ＞６０」が抽出される。ここで、Ｓｐｅａｋｅｒ属性に対するｍａｓｔｅｒの値は、参加者のロールとしての議長の役割であり、参加者に対する条件項目の変形例である。そして、抽出された会議状態および条件項目に対応付けて、記録された会議状態変更アクション「休憩を促すアクション」が生成される。

図７（Ｂ）に示す例では、直前のイベントに基づき、条件項目「ＳｉｌｅｎｔＴｉｍｅ＞６０」単独のルールと、さかのぼった複数のイベントに基づき、条件項目「Ｓｐｅａｋｅｒ＝ｍａｓｔｅｒ ＡＮＤ Ｒｅｍａｒｋ＝”ご意見はありませんか？”」および条件項目「ＳｉｌｅｎｔＴｉｍｅ＞６０」を順序付けて組み合わせたルールとが生成され得る。このような条件項目の抽出は、ベンダ側でまたはユーザ側で事前定義されパターン辞書を用いて行うことができ、いずれのルールが生成されるか、または両方のルールが生成されるかは、パターン辞書とともに事前定義しておくことができる。

図６（Ｂ）は、第１の実施形態における別の会議状態判定ルールテーブル２７０のデータ構造を例示する図である。図６（Ａ）に示すテーブル２６０は、会議状態変更条件に対して会議状態変更アクションを対応付けるものであった。これに対して図６（Ｂ）は、会議状態変更条件に対して新しい会議状態を対応付ける、会議状態の変化を検出するためのルールを示す。図６（Ｂ）に示すように会議状態判定ルールテーブル２７０は、現在の状態と、現在の状態において会議メタ情報に対し適用する条件項目と、対応付けられる新しい会議状態と、発生回数とが入力されるカラムを含む。新しい会議状態は、所定の会議状態において所定の条件項目が満たされた場合にこの状態に移行することを意味し、会議状態の移行は、一種の会議状態変更アクションとして考えることができる。

条件項目は、上記と同様であり、例えば、図６（Ｂ）の例示では、１番目のルールは、会議状態「普通状態」において、無言状態が６０秒時間続いた後に、議長（ｍａｓｔｅｒ）が「どなたか？」という発言をしたことを検知して、「行き詰まり状態」への変化を検知するルールを示す。２番目のルールは、会議状態「普通状態」において、無言状態の割合が２０％未満となったとき、「活発状態」への変化を検知するというルールを示す。このような、会議状態の変化を検出するためのルールの条件項目の抽出も、ベンダ側でまたはユーザ側で事前定義されパターン辞書を用いて行うことができる。

以下、図８および図９を参照して、会議状態判定ルールを管理する処理について説明する。図８は、操作ＵＩ部２２２から提供されて、クライアント端末１０８のディスプレイ装置上に表示される会議状態判定ルール管理画面３３０を例示する図である。図８に示す会議状態判定ルール管理画面３３０は、利用者により手動入力された、または会議状態判定学習部２１０による学習処理で追加されたルールの修正、削除、新たなルールの追加を行うための画面である。管理画面３３０は、テーブル３３２と、修正ボタン３３４と、削除ボタン３３６と、追加ボタン３３８と、推奨ルール表示ボタン３４０と、閉じるボタン３４２とを含む。テーブル３２２は、現在の状態、条件項目、会議状態変更アクション、優先度および発生回数からなる各ルール毎のレコードを含む。

テーブル３３２上でレコードが選択されて、修正ボタン３３４がクリックされると、選択されたルールを編集するためのダイアログが表示される。テーブル３３２上でレコードが選択されて、削除ボタン３３６がクリックされると、選択されたルールが会議状態判定ルールテーブル２０２から削除される。追加ボタン３３８がクリックされると、ルールを新規追加するためのダイアログが表示される。

また、会議状態判定学習部２１０の学習処理によって追加されたルールは、会議メタ情報２０８から辞書パターンにより抽出されるため、必ずしも有効なルールのみからなるわけではなく、また、類似するルールも多数追加され得る。推奨ルール表示ボタン３４０は、そのようなルールを整理し、集約するためのダイアログを呼び出すためのボタンである。

図９は、会議状態判定ルール管理画面３５０において、推奨ルール表示ボタン３４０がクリックされたことにより呼び出される推奨ルール表示画面３５０を例示する図である。図９に示す推奨ルール表示画面３５０は、テーブル３５２と、反映ボタン３５４と、戻るボタン３５６とを含む。テーブル３５２は、現在の状態、条件項目、会議状態変更アクション、優先度および発生回数からなる、集約された各ルール毎のレコードを含む。テーブル３５２のチェックボックス３５２ａは、その候補となるルールを有効化するか無効化するかを指定するためのＵＩ部品である。

集約されたルールの計算方法としては、同一または類似の条件（前の会議状態や条件項目）でグループ化し、グループ化された条件における条件項目を集約する計算処理を行う。例えば、無言期間（ＳｉｌｅｎｔＴｉｍｅ）に対する閾値条件項目のような数値条件については、その数値の平均値を計算して集約することができる。特定の単語や文脈（発言内容）を含むという条件項目や、特定の発言者が発言したという条件項目であれば、ルールにおいて、出現頻度の低い単語、文脈および発言者を無視して、出現頻度の高い単語、文脈および発言者のみを残すようにして集約することができる。また、集約した結果、同一の会議状態変更条件に対し複数のアクションが対応付けられた場合は、発生頻度が高いもの順にランク付けして表示する。

図９の例示では、図６（Ａ）に示した番号１〜５のルールと、その後に追加されたルールにおける無言期間（ＳｉｌｅｎｔＴｉｍｅ）に対する閾値条件項目が、その数値の平均値として２７０秒が計算され、条件項目「ＳｉｌｅｎｔＴｉｍｅ＞２７０」に集約されている。そして、条件項目「ＳｉｌｅｎｔＴｉｍｅ＞２７０」に対して、５個のアクションが発生回数でランク付けた上、対応付けられている。

このように、会議状態判定学習部２１０によるルールの抽出と、会議状態判定ルール管理画面３３０によるルールの集約および編集を経て、判定で参照される会議状態判定ルールテーブル２０２の各ルールが定義される。

以下、図１０および図１１を参照しながら、会議メタ情報２０８を収集しながら、準備された会議状態判定ルールテーブル２０２に基づき会議の場面に応じて情報提示を行う処理について説明する。図１０は、第１の実施形態によるプロジェクタ装置１１０が実行する場面に応じた情報提示処理を示すフローチャートである。図１０に示す処理は、例えば、プロジェクタ装置１１０が情報提示モードに設定されて会議の開始が指示されたことに応答して、ステップＳ２００から開始される。ステップＳ２０１では、会議の参加者から入力される情報の種類に応じて処理を分岐させる。

ステップＳ２０１で、参加者の発言に対応する音声データが入力された場合は、ステップＳ２０２へ処理が分岐される。ステップＳ２０２では、音声認識部２２０が、音声入力部２１８からの音声データをテキスト化し、ステップＳ２０３では、会議メタ情報管理部２０６が、発言イベントを記録し、ステップＳ２１１へ処理を進める。ステップＳ２１１以降の処理については後述する。

ステップＳ２０１で、無音の音声データが入力される場合は、ステップＳ２０４へ処理が分岐される。ステップＳ２０４では、音声認識部２２０が、音声データから無言期間を検出し、ステップＳ２０５では、会議メタ情報管理部２０６が、無言イベントを記録し、ステップＳ２１１へ処理を進める。

一方、ステップＳ２０１で、クライアント端末１０８から会議状態変化指示入力が入力された場合は、ステップＳ２０６へ処理が分岐される。この指示入力は、上述した会議状態変化入力画面３００を介して、会議の参加者が感じ取って明示的に通知してきた会議状態の変化を示すものである。ステップＳ２０６では、会議状態変化入力部２２４が、クライアント端末１０８から会議状態変化指示入力を受領し、ステップＳ２０７では、会議メタ情報管理部２０６が、会議状態変化イベントとして記録する。

ステップＳ２０１で、会議状態変更アクション指示入力が入力された場合は、ステップＳ２０８へ処理が分岐される。ステップＳ２０８では、会議状態変更アクション入力部２２６が、クライアント端末１０８から会議状態変更アクション実行指示入力を受領する。ステップＳ２０９では、会議状態変更アクション実行部２１２が、会議状態変更アクションを実行する。ステップＳ２１０では、会議メタ情報管理部２０６が、アクション実行イベントとして記録する。

ステップＳ２０３、ステップＳ２０５、ステップＳ２０７およびステップＳ２１０からステップＳ２１１へ処理が進められると、ステップＳ２１１では、会議状態判定部２０４は、会議状態変更条件を満たすか否かを判定する。なお、ここで判定されるルールは、図６（Ｂ）に示したような会議状態を変化させるルールを含んでもよい。会議状態変更条件のいずれも満たされないと判定された場合（ＮＯ）は、ステップＳ２０１へ再びループさせて次のイベント発せいを待ち受ける。一方、会議状態判定ルールテーブル２０２内のルールいずれかを満たすと判定された場合（ＹＥＳ）は、ステップＳ２１２へ処理が進められる。

ステップＳ２１２では、会議状態判定部２０４は、マッチした会議状態変更条件に対応付けられる会議状態変更アクションを選択し、会議状態変更アクション実行部２１２に実行を依頼する。ここでは、複数のルールに一致した場合は、上述した優先度に応じた確率でアクションが選択される。ステップＳ２１３では、会議状態変更アクション実行部２１２が、会議状態変更アクションを実行する。

図１１は、第１の実施形態において、会議状態変更アクション実行部２１２によるアクション実行に基づき、表示出力部２１４がスクリーンに投影する情報提示画面を例示する図である。図１１（Ａ）は、「休息を促すメッセージ表示」ないし「雰囲気を明るくするテキストまたは画像表示」のアクション実行結果を例示する。図１１（Ｂ）は、これまでの発言をまとめて表示する「発言テキスト表示」のアクション実行結果を例示する。図１１（Ｃ）は、「頻出キーワードのインターネット検索結果表示」ないし「頻出キーワードの文書管理システム内の検索結果表示」のアクション実行結果を例示する。

再び図１０を参照すると、ステップＳ２１４では、会議メタ情報管理部２０６が、実行された会議変更アクション、実行者、時刻をセットで、会議状態変更アクション実行イベントとして記録し、ステップＳ２０１へ再びループさせる。ここで、図６（Ｂ）に示したような会議状態を変化させるルールに合致していた場合は、会議状態の変化が記録される。一方、ステップＳ２０１で、会議の終了の指示入力が入力された場合は、ステップＳ２１５へ処理を分岐させ、本情報提示処理を終了させる。

以下、図１２および図１３を参照しながら、本実施形態によるアンケート収集処理およびレポート出力処理について説明する。図１２は、クライアント端末のディスプレイ装置上に表示されるアンケート画面を例示する図である。アンケート画面３６０は、メッセージ表示３６２と、会議に対する評価を入力するためのボタン３６４ａ〜３６４ｃとを含む。アンケート画面を介して会議の評価の入力操作が行われた場合は、アンケート入力部２３０は、クリックされたボタン３６４に対応する、各参加者からの評価結果を取得し、会議メタ情報管理部２０６に対して、アンケート結果を記録させる。

図１３は、クライアント端末のディスプレイ装置上に表示されるレポート画面を例示する図である。図１３（Ａ）は、変化が検知された、または参加者により変化が入力された各会議状態の会議における割合の遷移を、日別でグラフ表示するレポート画面を示す。図１３（Ａ）に示すレポート画面３７０は、グラフ表示３７２と、遷移を月別表示に切り替えるためのボタン３７４と、遷移を週別表示に切り替えるためのボタン３７６と、遷移を日別表示に切り替えるためのボタン３７８とを含む。

図１３（Ｂ）は、参加者により入力された会議の評価の分布の遷移を、日別でグラフ表示するレポート画面を示す。図１３（Ｂ）に示すレポート画面３８０は、グラフ表示３８２と、遷移を月別表示に切り替えるためのボタン３８４と、遷移を週別表示に切り替えるためのボタン３８６と、遷移を日別表示に切り替えるためのボタン３８８とを含む。図１３に示すレポート出力により、会議の参加者は、会議の内容をメタ記述する会議メタ情報に基づいた会議内容の履歴と、参加者が主観的に感じた会議に対する評価との一致や齟齬を認識することができる。

上述した第１の実施形態によれば、蓄積される会議メタ情報２０８から、事前定義された会議状態判定ルールテーブル２０２内のルールに照らし合わせて情報提示の要否が判定される。よって、会議の特定の場面に応じて、会議の状態を好転させことが期待できる情報提示を行うことが可能となる。また、会議の特定の場面が判定された上で情報提示が行われるので、情報提示自体の効果自体が薄れてしまったりすることや、議論を脇道に脱線させるなど、ユーザの意識を本来向けられるべき議題からそらしてしまうことも低減することが期待できる。

［第２の実施形態］
なお、上述した第１の実施形態は、場面に応じた情報提示を行うための各機能部２０２〜２３２をすべてプロジェクタ装置１１０が備えるものとして説明した。しかしながら、場面に応じた情報提示を行うための各機能部２０２〜２３２の構成は、特に限定されるものではなく、一部の機能を外部のコンピュータ・システム上で分散実装する形態としてもよい。

以下、上述した一部の機能を外部のコンピュータ・システム上で分散実装する第２の実施形態について、図１４および図１５を参照して説明する。なお、第２の実施形態では、情報提示装置の一例として、プロジェクタ装置に接続され、会議の場面を判定し適切な情報提示をプロジェクタ装置に対して指令する外部コンピュータ・システムを用いて説明する。図１４は、第２の実施形態による会議進行支援システムが構成されたネットワーク環境を示す概略図である。図１５は、第２の実施形態によるコンピュータ・システム上で実現される機能ブロック図である。

図１４に示すネットワーク環境４００は、ネットワーク４０２を介して相互に接続される、１以上のクライアント端末４０４と、プロジェクタ装置４１０と、外部のコンピュータ・システム４３０とを含み構成される。

クライアント端末４０４は、第１の実施形態と同様に、画面をプロジェクタ装置４１０に対して出力するとともに、操作者からの操作入力に従って、ネットワーク４０２を介してプロジェクタ装置４１０に対して各種指示を送信する。第２の実施形態によるプロジェクタ装置４１０は、所定のクライアント端末４０４から入力される画面をスクリーンに投影するとともに、外部のコンピュータ・システム４３０からの情報に応答して情報提供を行う。

コンピュータ・システム４３０は、操作者による操作に従いクライアント端末４０４からネットワーク４０２を介して送信される各種指示入力に応答して、各種処理を実行し、処理結果を返す。特定の実施形態において、コンピュータ・システム４３０は、ウェブサーバ機能を備え、クライアント端末４０４上のウェブ・ブラウザからの要求に応答して、各種操作画面のウェブ・ページを応答する。コンピュータ・システム４３０は、各種操作画面を介して行われた操作に応じてウェブ・ブラウザから送信された要求を受信して、各種指示入力を受け付ける。

第２の実施形態においては、コンピュータ・システム４３０が、会議の場面を判定し、場面に応じて適切な提示情報の出力を、プロジェクタ装置４１０に指令する情報提示機能を備えている。

図１５において、点線で囲まれた矩形内の機能部は、第２の実施形態において、外部のコンピュータ・システム４３０上で動作する機能部を示す。これに対して矩形外の機能部は、プロジェクタ装置４１０、または、外部の別の装置上で動作する機能部を示す。図１５に示す第２の実施形態による機能ブロック５００は、コンピュータ・システム４３０上の機能部として、会議状態判定ルールテーブル５０２と、会議状態判定部５０４と、会議状態判定学習部５０６と、会議メタ情報管理部５０８と、会議メタ情報５１０と、会議状態変更アクション指令部５１２と、関連情報検索部５１４と、音声認識部５１６と、操作ＵＩ部５１８と、会議状態変更アクション入力部５２０と、会議状態変化入力部５２２と、会議状態判定ルール管理部５２４とを含む。なお、第１の実施形態と同一名称の機能部は、第１の実施形態の場合と同様のはたらきをする。

図１５に示す会議状態変更アクション実行部５５６および表示出力部５５８は、プロジェクタ装置５１０上の機能部として実装される。会議状態変更アクション指令部５１２は、会議状態判定部５０４により、会議状態変更条件のひとつを満たすと判定された場合に、その条件に対応付けられた会議状態変更アクションの実行の依頼を受けて、このアクションの実行を、会議状態変更アクション実行部５５６に指令する。会議状態変更アクション指令部５１２は、依頼されたアクションが実行された後、会議状態変更アクション実行部５５６より通知を受けて、会議メタ情報管理部５０８に対し、該アクションの実行を通知して、メタ情報として記録させる。表示出力部５５８は、第１の実施形態と同様に、クライアント端末４０４から入力される画面をスクリーンに投影するとともに、会議状態変更アクション実行部２５６のアクション実行に応答して、その実行結果をスクリーンに投影する。

図１５に示す第２の実施形態において、第１の実施形態における音声認識部２２０は、外部コンピュータ・システム４３０側の機能部５１６と、プロジェクタ装置４１０または他の装置側の機能部５５４に分離して実装される。音声入力部５５２は、プロジェクタ装置４１０または他の装置上に実装される。プロジェクタ装置４１０または他の装置側の音声認識部５５４は、音声ノイズの除去と特徴量抽出を実行するフロントエンド側の処理を実行し、コンピュータ・システム４３０側の処理部５１６は、特徴量抽出された音声データ（特徴量データ）をフロントエンドから受信し、認識処理を処理するバックエンドのエンジンに対応する。

なお、外部コンピュータ・システム４３０は、単一のコンピュータ装置であってもよいし、仮想コンピュータであってもよいし、複数のコンピュータから構成され分散演算を行うコンピュータ・システムであってもよい。また、プロジェクタ装置４１０と外部コンピュータ・システム４３０との間における機能部を分担させる態様は、図１５に示す例に限定されず、任意の態様で行うことができる。

また、上述までの実施形態では、入力される情報としては、音声入力に基づく音声データを例に説明した。しかしながら、入力され、それに基づいて会議の内容が記述される情報は、音声データに限定されるものではない。例えば、他の実施形態では、音声データに代えて、または音声データとともに、文字入力に基づく文字データ、画像入力に基づく画像データおよび電子黒板に対する描画入力に基づくストロークデータ、またはこれらの少なくとも１つの入力を受けることができる。そして、その場合、会議メタ情報管理部２０６は、会議メタ情報として、上述した音声データ、文字データ、画像データおよびストロークデータ、またはこれらの少なくとも１つを処理して得られる会議の内容を記述するデータを記録することができる。

以上説明したように、上述した実施形態によれば、会議における場面に応じて適切なタイミングに情報提示を行うことを可能とするための会議情報処理システム、会議情報処理装置およびプログラムを提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００，４００…ネットワーク環境、１０２，４０２…ネットワーク、１０４…インターネット、１０６…文書管理サーバ、１０８，４０４…クライアント端末、１１０，４１０…プロジェクタ装置、２００，５００…機能ブロック、２０２，５０２…会議状態判定テーブル、２０４，５０４…会議状態判定部、２０６，５０８…会議メタ情報管理部、２０８，５１０…会議メタ情報、２１０，５０６…会議状態判定学習部、２１２，５５６…会議状態変更アクション実行部、２１４，５５８…表示出力部、２１６，５１４…関連情報検索部、２１８，５５２…音声入力部、２２０，５１６，５５４…音声認識部、２２２，５１８…操作ＵＩ部、２２４，５２２…会議状態変化入力部、２２６，５２０…会議状態変更アクション入力部、２２８，５２４…会議状態判定ルール管理部、２３０…アンケート入力部、２３２…レポート出力部、２５０…会議メタ情報、２６０…会議状態判定ルールテーブル、２７０…会議状態判定ルールテーブル、２８０，２８４，２８６…会議メタ情報の一部、２８２…ルール、３００…会議状態変化入力画面、３０２…メッセージ表示、３０４…会議状態表示、３０６…ボタン、３１０…会議状態変更アクション指示画面、３１２…メッセージ表示、３１４…ボタン、３１６…プルダウンメニューリスト、３１８…ラジオボタン、３２０…ラジオボタン、３３０…会議状態判定ルール管理画面、３３２…テーブル、３３４…修正ボタン、３３６…削除ボタン、３３８…追加ボタン、３４０…推奨ルール表示ボタン、３４２…閉じるボタン、３５０…推奨ルール表示画面、３５２…テーブル、３５４…反映ボタン、３５６…戻るボタン、３６０…アンケート画面、３６２…メッセージ表示、３６４…ボタン、３７０，３８０…レポート画面、３７２，３８２…グラフ表示、３７４，３７６，３７８，３８４，３８６，３８８…ボタン、４３０…コンピュータ・システム、５１２…会議状態変更アクション指令部、

特開２００５−２１５７２６号公報 特開２０１１−０８１５８１号公報

Claims (10)

1. 情報提示システムであって、
   会議の参加者からの情報提示処理の実行の指示入力を含む情報の入力を受けるための入力手段と、
   入力された前記情報に基づき、前記指示入力に応答してなされた前記情報提示処理の実行を含む前記会議の内容を記述する記述情報を記録する記録手段と、
   前記記述情報に基づき、前記会議の場面を検出する条件を満たすか否かを判定する判定手段と、
   前記会議の場面を検出する条件のひとつを満たすと判定された場合に、該条件のひとつに対応付けられた情報提示処理を実行する情報提示処理実行手段と、
   参加者により過去に指示入力された情報提示処理の実行を記述する記述情報と、該指示入力された情報提示処理の実行の周辺の記述情報とに基づき、該指示入力された情報提示処理に対応付けた新たな条件を生成する学習手段と
   を含む、情報提示システム。
2. 前記会議の場面を検出する条件は、会議の現在の状態と、前記会議について記録された記述情報とに関する条件項目を含み、会議の状態の変化を促すための情報提示処理に対応付けて記憶されていることを特徴とする、請求項１に記載の情報提示システム。
3. 前記条件のうちの少なくとも同一または類似の内容を有するもの間で順位付ける優先度が設定され、前記情報提示処理実行手段は、前記優先度に応じて情報提示処理を選択する、請求項１または２に記載の情報提示システム。
4. 前記情報提示処理の実行に応答して、前記会議の内容に関連したクエリに基づく情報検索を行う情報検索手段と、前記情報検索手段による検索結果を情報提示として表示出力する表示出力手段とをさらに含む、請求項１〜３のいずれか１項に記載の情報提示システム。
5. 前記記録手段によって記録された前記記述情報に基づき、前記会議の状態に関するレポートを出力するレポート出力手段をさらに含む、請求項１〜４のいずれか１項に記載の情報提示システム。
6. 前記入力手段は、入力される前記情報として、さらに、音声入力に基づく音声データ、文字入力に基づく文字データ、画像入力に基づく画像データおよび電子黒板に対する描画入力に基づくストロークデータ、またはこれらの少なくとも１つの入力を受け、前記記録手段は、前記記述情報として、さらに、前記音声データ、前記文字データ、前記画像データおよび前記ストロークデータ、またはこれらの少なくとも１つを処理して得られる会議の内容を記述するデータを記録する、請求項１〜５のいずれか１項に記載の情報提示システム。
7. 前記条件は、無言時間に対する閾値条件項目、特定の単語の出現頻度に対する閾値条件項目、特定の文脈の出現頻度に対する閾値条件項目、同一話者が継続して発言した時間に対する閾値条件項目、特定の者が継続して発言していない時間に対する閾値条件項目、特定の発言者が発言したという条件項目、および特定の発言内容であるという条件項目からなる群から選択された少なくとも１つの条件項目を含む、請求項１〜６のいずれか１項に記載の情報提示システム。
8. 会議の参加者からの情報提示処理の実行の指示入力を含む外部情報の入力を受けるための入力手段と、
   入力された前記外部情報に基づき、前記指示入力に応答してなされた前記情報提示処理の実行を含む前記会議の内容を記述する記述情報を記録する記録手段と、
   前記記述情報に基づき、前記会議の場面を検出する条件を満たすか否かを判定する判定手段と、
   前記会議の場面を検出する条件のひとつを満たすと判定された場合に、該条件のひとつに対応付けられた情報提示処理を実行する情報提示処理実行手段と、
   参加者により過去に指示入力された情報提示処理の実行を記述する記述情報と、該指示入力された情報提示処理の実行の周辺の記述情報とに基づき、該指示入力された情報提示処理に対応付けた新たな条件を生成する学習手段
   を含む、情報提示装置。
9. コンピュータを、
   会議の参加者からの情報提示処理の実行の指示入力を含む情報の入力を受けるための入力手段、
   入力された前記情報に基づき、前記指示入力に応答してなされた前記情報提示処理の実行を含む前記会議の内容を記述する記述情報を記録する記録手段、
   前記記述情報に基づき、前記会議の場面を検出する条件を満たすか否かを判定する判定手段、
   前記会議の場面を検出する条件のひとつを満たすと判定された場合に、該条件のひとつに対応付けられた情報提示処理を実行する情報提示処理実行手段、および
   参加者により過去に指示入力された情報提示処理の実行を記述する記述情報と、該指示入力された情報提示処理の実行の周辺の記述情報とに基づき、該指示入力された情報提示処理に対応付けた新たな条件を生成する学習手段
   として機能させるためのプログラム。
10. 情報提示方法であって、
    情報提示装置が、会議の参加者からの情報提示処理の実行の指示入力を受けるステップと、
    前記情報提示装置が、前記指示入力に応答してなされた前記情報提示処理の実行を記述する記述情報を記録するステップと、
    前記情報提示装置が、参加者により過去に指示入力された情報提示処理の実行を記述する記述情報と、該指示入力された情報提示処理の実行の周辺の記述情報とに基づき、学習処理により、該指示入力された情報提示処理に対応付けた新たな条件を生成するステップ
    を含み、前記情報提示方法は、さらに、
    前記情報提示装置が、会議の参加者からの情報の入力を受けるステップと、
    入力された前記情報に基づき前記会議の内容を記述する記述情報を記録するステップと、
    前記情報提示装置が、前記会議の内容を記述する記述情報に基づき、前記新たな情報を含む前記会議の場面を検出する条件を満たすか否かを判定するステップと、
    前記情報提示装置が、前記会議の場面を検出する条件のひとつを満たすと判定された場合に、該条件のひとつに対応付けられた情報提示処理を実行するステップと
    を含む、情報提示方法。