JP6655378B2 - 会議支援システム - Google Patents

Description

本発明は、会議支援システムに関するものである。

従来から、会議を補助する会議支援システムが存在している。例えば、特許文献１には、会議中の会話の音声を取得し、当該音声を解析して文章テキストデータを生成し、議事録作成を支援する議事録作成補助装置が開示されている。この議事録作成補助装置によれば、議事録に記載し忘れがあると判断すると、議事録作成者に警告を行うため、議事録作成者が議事内容を記載し忘れることを防止することができる。

特開２０１５−７０２９９号公報

ところで、会議を円滑に進めるための最も重要な要件は、会議参加者同士が議題について共通認識を持つことである。しかしながら、例えば会議参加者の年齢に開きがあった場合や、会議参加者の言語が異なっている場合、会議におけるモチベーションに差がある場合等には、会議参加者同士が共通認識を持つことができない可能性がある。また、従来の会議支援システムは、会議参加者の認識を共有し、会議を円滑に進めることを補助するシステムではない。

本発明は、上述する問題点に鑑みてなされたもので、会議における雰囲気を定量的に評価し、議論を円滑に進めることができるように補助することを目的とする。

上記課題を解決するために、本発明では、会議支援システムに係る第１の手段として、会議参加者の音声を取得する音声取得手段と、前記音声に基づいて会議支援情報を生成する支援情報生成手段と、前記会議支援情報を前記会議参加者に提供する提供手段とを備え、前記支援情報生成手段は、前記音声取得手段により取得した音声から頻出キーワードを抽出し、該抽出した頻出キーワードの変化傾向に基づいて議論のまとまり度合いを収束度として判定する収束度判定部を備え、前記会議支援情報は、前記収束度を示す情報を含む、という手段を採用する。

上記課題を解決するために、本発明では、会議支援システムに係る第２の手段として、上記第１の手段において、前記収束度判定部は、前記音声取得手段により取得した音声から、所定の回数以上出現する単語を頻出キーワードとして抽出するステップと、前記抽出した頻出キーワードが新しい頻出キーワードか否かを判定するステップと、前記新しい頻出キーワードの単語数が多い場合に収束度が低いと判定し、前記新しい頻出キーワードの単語数が少ない場合に収束度が高いと判定するステップと、を備える、という手段を採用する。

上記課題を解決するために、本発明では、会議支援システムに係る第３の手段として、上記第１または第２の手段において、前記支援情報生成手段は、議論の盛り上がり度合を判定する盛り上がり度判定部を備え、 前記会議支援情報は、前記盛り上がり度を示す情報を含む、という手段を採用する。

上記課題を解決するために、本発明では、会議支援システムに係る第４の手段として、上記第1〜第３のいずれかの手段において、前記会議参加者を撮像する撮像手段をさらに備え、前記支援情報生成手段は、前記撮像手段によって撮像された画像に基づいて前記会議支援情報を生成する、という手段を採用する。

上記課題を解決するために、本発明では、会議支援システムに係る第５の手段として、上記第４の手段において、前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への関心度を判定する関心度判定部を備え、前記会議支援情報は、前記関心度を示す情報を含む、という手段を採用する。

上記課題を解決するために、本発明では、会議支援システムに係る第６の手段として、上記第４または第５の手段において、前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への理解度を判定する理解度判定部を備え、前記会議支援情報は、前記理解度を示す情報を含む、という手段を採用する。

上記課題を解決するために、本発明では、第７の手段として、上記第４〜第６のいずれかの手段において、前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への同意度を判定する同意度判定部を備え、前記会議支援情報は、前記同意度を示す情報を含む、という手段を採用する。

上記課題を解決するために、本発明では、第８の手段として、上記第４〜第７のいずれかの手段において、前記支援情報生成手段は、前記音声、前記画像及び前記会議支援情報に基づいて議事録を作成する議事録作成部を備える、という手段を採用する。

上記課題を解決するために、本発明では、第９の手段として、上記第１〜第８のいずれかの手段において、前記会議参加者に対して注意を促す注意手段をさらに備え、 前記支援情報生成手段は、前記音声に基づいて前記会議参加者の発言頻度を算出し、当該発言頻度の少ない前記会議参加者に対して注意を促すように前記注意手段に指示を出す注意指示部を備える、という手段を採用する。

本発明によれば、会議中における会議参加者の状態（状況）に応じた会議支援情報が会議参加者に提供される。これにより、会議参加者は、会議の現状を適宜認識することが可能であり、よって認識を共有することが可能となる。したがって、本発明によれば、議論を円滑に進めることができる。

本発明の一実施形態に係る会議支援システムが適用される会議室の一例を示すレイアウト図である。 本発明の一実施形態に係る会議支援システムのシステム構成図である。 本発明の一実施形態における演算部の機能ブロック図である。 本発明の一実施形態における演算部の動作を示すフローチャートである。 本発明の一実施形態の会議支援システムによって作成された議事録の一例を示す模式図である。

以下、図面を参照して、本発明の一実施形態に係る会議支援システムについて説明する。

図１は、本実施形態に係る会議支援システム１が適用される会議室のレイアウトの一例である。図１に示すように、本実施形態の会議室は、机Ａと、椅子Ｂと、プロジェクタＣと、スクリーンＤを基本備品とするものである。机Ａは、天板が長辺と短辺とを有する長方形をしており、長辺側には会議参加者が着席する椅子Ｂ１〜Ｂ６が配置されている。椅子Ｂ１〜Ｂ３と椅子Ｂ４〜Ｂ６は、机Ａを挟んで対向するように３つずつ配置されている。プロジェクタＣは、会議資料等をスクリーンＤに投影する装置である。また、スクリーンＤは、会議室壁面に設置されている。

続いて、会議支援システム１の構成について説明する。図２は、本実施形態に係る会議支援システムのシステム構成図である。会議支援システム１は、室内マイク１０、個人マイク１１ａ〜１１ｆ、カメラ１２ａ、１２ｂ、操作部１３、演算部１４、記憶部１５、表示部１６ａ〜１６ｆ、通信部１７及び振動子１８ａ〜１８ｂを備えている。なお、この会議支援システム１は、上記基本備品に対して追加された追加備品である。

室内マイク１０は、会議室内全体の音声を取得するマイク（無指向性マイク）である。室内マイク１０は、不図示のケーブル等で演算部１４と接続されており、音声信号を演算部１４に出力する。個人マイク１１ａ〜１１ｆは、図１に示すように、椅子Ｂ１〜Ｂ６に対して一つずつ設置されるマイク（指向性マイク）であり、椅子Ｂ１〜Ｂ６に着席した会議参加者の音声を個別に取得する。この個人マイク１１ａ〜１１ｆは、不図示のケーブル等で演算部１４と接続されており、音声信号を演算部１４に出力する。これらの室内マイク１０及び個人マイク１１ａ〜１１ｆは、本発明における音声取得手段に相当する。

カメラ１２ａは、机Ａに対して椅子Ｂ５の後方に設けられ、椅子Ｂ１〜Ｂ３に着席した会議参加者の表情及び姿勢を動画として撮影する。カメラ１２ｂは、机Ａに対して椅子Ｂ２の後方に設けられ、椅子Ｂ４〜Ｂ６に着席した会議参加者の表情及び姿勢を撮影する。これらカメラ１２ａ、１２ｂは、赤外線センサを備えており、対象物に赤外線を照射することにより対象物との距離を測定することが可能である。これにより、カメラ１２ａ、１２ｂは、会議参加者の上半身を撮影し、さらにカメラ１２ａ、１２ｂと会議参加者との距離を測定することで、上半身の姿勢の変化を取得する。また、カメラ１２ａ、１２ｂは、撮影した画像を示す画像信号を演算部１４に出力する。なお、カメラ１２ａ、１２ｂは、本発明における撮像手段に相当する。操作部１３は、会議参加者または議事録を閲覧する会議関係者が会議支援システム１に議事録作成指示を行うキーボード、あるいはタッチパネルであり、演算部１４に指示信号を出力する。

演算部１４は、上記記憶部１５に予め記憶された会議支援プログラムに基づいて音声信号及び画像信号に対して所定の演算処理を行う一種のコンピュータである。この演算部１４は、図３に示すように、演算部１４は、音声解析部１４ａ、画像解析部１４ｂ、収束度判定部１４ｃ、盛り上がり度判定部１４ｄ、関心度判定部１４ｅ、理解度判定部１４ｆ、同意度判定部１４ｇ及び議事録作成部１４ｈを備えている。なお、これら各機能構成要素は、ハードウエア的な機能構成要素ではなく、演算部１４が会議支援プログラムを実行することによって実現されるソフトウエア的な機能構成要素である。

音声解析部１４ａは、室内マイク１０及び個人マイク１１ａ〜１１ｆから取得した音声を解析し、音圧の算出及び音声テキストの生成を行う。画像解析部１４ｂは、カメラ１２ａ、１２ｂから取得した会議参加者の画像データを解析し、会議参加者各人の表情及び姿勢を判定する。収束度判定部１４ｃは、音声解析部１４ａから取得した音声テキストデータを基に頻出キーワードを抽出する。さらに、収束度判定部１４ｃは、頻出キーワードの変化傾向から収束度を判定する。また、収束度判定部１４ｃは、収束度及び頻出キーワードを記憶部１５に会議支援情報１５ａとして記憶する。

盛り上がり度判定部１４ｄは、音声解析部１４ａから取得した会議室内の音圧の大きさから盛り上がり度を判定し、記憶部１５に会議支援情報１５ａとして記憶する。関心度判定部１４ｅは、画像解析部１４ｂから取得した会議参加者各人の姿勢データの前傾角度及び表情に基づいて、会議参加者各人の関心度を判定する。さらに、関心度判定部１４ｅは、会議参加者各人の関心度の平均を算出して記憶部１５に会議支援情報１５ａとして記憶する。

本実施形態においては、理解度、関心度及び同意度は、会議参加者の表情及び姿勢に基づいて判定される。これらの理解度、関心度及び同意度は、例えば、Ａ〜Ｅの５段階で評価され、会議支援情報として記憶部１５に記憶される。理解度判定部１４ｆは、画像解析部１４ｂから取得した会議参加者各人の姿勢データの前傾角度及び表情に基づいて、会議参加者各人の理解度を判定する。さらに、理解度判定部１４ｆは、会議参加者各人の関心度の平均値を算出して記憶部１５に会議支援情報１５ａとして記憶する。同意度判定部１４ｇは、画像解析部１４ｂから取得した会議参加者各人の表情及び姿勢データに基づいて、会議参加者全体の同意度を判定し、記憶部１５に会議支援情報１５ａとして記憶する。

議事録作成部１４ｈは、会議支援情報１５ａに基づいて、収束度が高い頻出キーワードと、盛り上がり度が高い場面の画像とを取得する。さらに、議事録作成部１４ｈは、収束度、盛り上がり度、関心度、理解度及び同意度の時間変化を示すグラフ作成し、頻出キーワード及び画像と共に編集し、議事録を作成する。注意指示部１４ｊは、音声解析部１４ａが生成したテキストデータに基づいて、会議参加者各人の発言頻度が閾値以上であるかを判断し、閾値未満である場合には、通信部１７を介して発言頻度の低い会議参加者の椅子Ｂ１〜Ｂ６に取り付けられた振動子１８ａ〜１８ｆを振動させることで、会議参加者に注意を促す。

このような演算部１４は、室内マイク１０及び個人マイク１１ａ〜１１ｆの音声信号、カメラ１２ａ、１２ｂの画像信号及び操作部１３の指示信号に基づいて収束度、盛り上がり度、関心度、理解度及び同意度を判定し、議事録を生成する。さらに、演算部１４は、プロジェクタＣと不図示のケーブルにより接続されており、プロジェクタＣに表示される画像データを取得している。また、演算部１４は、ネットワーク２を介してサーバ３と通信し、会議参加者が発声する単語の意味の取得を行っている。なお、演算部１４は、記憶部１５と協働することにより、本発明における支援情報生成手段を構成している。

記憶部１５は、演算部１４からの指示に従いデータを記憶するメモリ及びハードディスクである。この記憶部１５には、会議支援情報１５ａが記憶される。会議支援情報１５ａは、演算部１４によって常に更新されており、会議進行中は常に最新の状態となっている。表示部１６ａ〜１６ｆは、会議参加者が各自で閲覧できるよう個々の座席に設けられ、個々に表示可能なモニタである。これらの表示部１６ａ〜１６ｆには、演算部１４から出力された、頻出キーワードの意味や、会議支援情報１５ａである収束度、関心度、理解度及び同意度がリアルタイムで表示される。また、このような表示部１６ａ〜１６ｆは、本発明における提供手段に相当する。なお、この表示部１６ａ〜１６ｆは、会議参加者が個々に所持しているタブレット端末等を、ネットワークに接続することにより表示部として利用してもよい。

通信部１７は、演算部１４と振動子１８ａ〜１８ｆとの無線通信を行うための無線ＬＡＮ通信装置である。この通信部１７は、演算部１４からの指示に従い振動子１８ａ〜１８ｆに作動信号を送信する。振動子１８ａ〜１８ｆは、作動信号によって作動／停止を切り替え可能なバイブレータであり、椅子Ｂ１〜Ｂ６に一つずつ設けられている。これらの振動子１８ａ〜１８ｆは、本発明における注意手段に相当する。

ネットワーク２は、会議支援システム及びサーバ３が接続されたローカルエリアネットワークである。サーバ３は、単語の意味が登録された辞書が保存されており、演算部１４がアクセス可能となっている。

続いて、このような会議支援システム１の動作について説明する。
図４は、会議支援プログラムに基づく演算部１４の動作を示すフローチャートである。

会議支援システムが立ち上げられると、演算部１４は、室内マイク１０、個人マイク１１ａ〜１１ｆ、カメラ１２ａ、１２ｂ及び操作部１３からの入力があるまで待機する（ステップＳ１）。入力を受け付けると、演算部１４は、入力の種類を判断する（ステップＳ２）。マイクからの入力と判断されると、演算部１４は、個人マイク１１ａ〜１１ｆからの入力であるかをさらに判断する（ステップＳ３）。

個人マイク１１ａ〜１１ｆからの入力と判断した場合、すなわちステップＳ３の判断がＹＥＳである場合には、演算部１４は、音声解析部１４ａに関する処理として、会議参加者各人の音声解析を行い（ステップＳ４）、音声をテキスト化する（ステップＳ５）。なお、このテキスト化された音声データは、記憶部１５に記憶される。次に、演算部１４は、収束度判定部１４ｃに関する処理として、上記テキスト化された音声データから頻出する単語である頻出キーワードを抽出する（ステップＳ６）。このとき、演算部１４は、会議参加者個人ごとのテキストデータを全て集約し、所定の回数以上出現する単語を頻出キーワードとして抽出する。

次に、演算部１４は、新しい頻出キーワードがあるか判断する（ステップＳ７）。このとき、演算部１４は、今回抽出された頻出キーワードと、記憶部１５に記憶された頻出キーワードとを比較して、新しい頻出キーワードがあるかを判断する。新しい頻出キーワードがある場合、すなわちステップＳ７の判断がＹＥＳの場合には、新しい頻出キーワードの意味を表示部１６ａ〜１６ｆに表示する（ステップＳ８）。このとき、演算部１４は、ネットワーク２を介してサーバ３と通信することにより新しい頻出キーワードの意味を検索し、その検索結果を表示部１６ａ〜１６ｆに表示する。さらに、演算部１４は、新しい頻出キーワードの単語数を算出する（ステップＳ９）。なお、新しい頻出キーワードが無い場合、すなわち、ステップＳ７の判断がＮＯの場合には、ステップＳ８の処理は行われず、ステップＳ９へと進む。

次に、演算部１４は、収束度判定部１４ｃに関する処理として、収束度の判定を行う（ステップＳ１０）。このとき、演算部１４は、新しい頻出キーワードの単語数の多さで収束度を判定する。つまり、本実施形態における収束度は、新しい頻出キーワードの単語数が少ない場合に高く、新しい頻出キーワードの単語数が多い場合に低いと判断するように設定されている。続いて、演算部１４は、収束度判定部１４ｃに関する処理として、最新の収束度を表示部１６ａ〜１６ｆに表示する（ステップＳ１１）。さらに、演算部１４は、収束度及び最新の頻出キーワードを会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ１２）。

次に、演算部１４は、注意指示部１４ｊに関する処理として、会議参加者個人の発言頻度が所定の閾値以上であるかを判断する（ステップＳ１３）。会議参加者個人の発言頻度が所定の閾値以上の場合、すなわち、ステップＳ１３における判断がＹＥＳの場合、演算部１４は、ステップＳ１へと戻る。会議参加者個人の発言頻度が所定の閾値未満である場合、すなわち、ステップＳ１３における判断がＮＯの場合、演算部１４は、注意指示部１４ｊに関する処理として、通信部１７を介して当該会議参加者の着席している椅子Ｂｎ（ｎは１〜６のいずれか）に設置された振動子１８ｘ（ｘはａ〜ｆのいずれか）を振動させ（ステップＳ１４）、ステップＳ１へと戻る。

続いて、室内マイク１０からの入力である場合、すなわち、ステップＳ３において判断がＮＯである場合には、演算部１４は、音声解析部１４ａに関する処理として、音圧の算出を行う（ステップＳ１５）。さらに、演算部１４は、会議参加者全員の発言頻度の算出を行う（ステップＳ１６）。このとき、演算部１４は、音声解析部１４ａに関する処理として、室内マイク１０の音声データを取得し、無音部分の長さを算出する。つまり、演算部１４は、会議参加者全員の発言が無い時間の長さを求める。これにより、会議参加者全員の発言頻度が求められる。

次に、演算部１４は、盛り上がり度の判定を行う（ステップＳ１７）。このとき、演算部１４は、盛り上がり度判定部１４ｄに関する処理として、音圧及び会議参加者全員の発言頻度に基づいて、判定を行う。本実施形態における盛り上がり度は、音圧が大きいほど高く、また、会議参加者の発言頻度が多いほど高く判定するように設定されている。次に、演算部１４は、盛り上がり度判定部１４ｄに関する処理として、判定された盛り上がり度を会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ１８）。

また、ステップＳ２において、カメラ１２ａ、１２ｂからの入力である場合には、まず、演算部１４は、画像解析部１４ｂに関する処理として、カメラ１２ａ、１２ｂから取得した画像データから、人物の抽出を行う（ステップＳ１９）。さらに、演算部１４は、画像解析部１４ｂに関する処理として表情及び姿勢の判定を行う（ステップＳ２０）。このとき、演算部１４は、会議参加者の顔を特定し、記憶部１５に保存された表情データと照合することで表情を判定する。また、演算部１４は、カメラ１２ａ、１２ｂの赤外線データから、会議参加者各人とカメラ１２ａ、１２ｂとの距離を算出し、会議参加者の前傾角度及び顔の向きを判定する。

続いて、演算部１４は、理解度判定部１４ｆに関する処理として、会議参加者各人の表情及び姿勢に基づいて、理解度の判定を行う（ステップＳ２１）。本実施形態における理解度は、会議参加者各人の姿勢に基づいて、頷く等の「理解をしているときの動作」であるか首を傾げる等の「理解をしていないときの動作」であるかを判定するとともに、さらに、会議参加者各人の表情に基づいて、笑顔等の「理解をしている表情」であるか、眉間に皺を寄せる等の「理解をしていない表情」であるかを判定し、それらをＡ〜Ｅの５段階で評価することにより、決定するように設定されている。さらに、演算部１４は、理解度判定部１４ｆに関する処理として、会議参加者全員の理解度の平均値を算出し（ステップＳ２２）、理解度の平均値を会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ２３）。

次に、演算部１４は、関心度判定部１４ｅに関する処理として、会議参加者各人の表情及び姿勢に基づいて、関心度の判定を行う（ステップＳ２４）。本実施形態における関心度は、会議参加者各人の表情に基づいて、「話題に関心をもっている表情」であるか、「話題に関心をもっていない表情」であるかを判定するとともに、会議参加者各人の姿勢に基づいて、「話題に関心をもっている姿勢」であるか、「話題に関心を持っていない姿勢」であるかを判定して、それらをＡ〜Ｅの５段階で評価することにより、決定するように設定されている。さらに、演算部１４は、会議参加者全員の関心度の平均値を算出し（ステップＳ２５）、関心度の平均値を会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ２６）。

続いて、演算部１４は、同意度判定部１４ｇに関する処理として、会議参加者全員の姿勢の合致度を算出する（ステップＳ２７）。このとき、演算部１４は、同意度判定部１４ｇに関する処理として、画像解析部１４ｂから取得した会議参加者各人の姿勢の変化を比較することにより、会議参加者各人の姿勢の合致度を算出する。さらに、演算部１４は、同意度判定部１４ｇに関する処理として、会議参加者全員の同意度の判定を行う（ステップＳ２８）。本実施形態における関心度は、会議参加者各人の表情に基づいて、「話題に同意している表情」であるか、「話題に同意していない表情」であるかを判定するとともに、会議参加者各人の姿勢に基づいて、「話題に同意している姿勢」であるか、「話題に同意していない姿勢」であるかを判定し、それらをＡ〜Ｅの５段階で評価することにより、決定するように設定されている。続いて、判定した同意度を表示部１６ａ〜１６ｆに表示し（ステップＳ２９）、上記同意度を会議支援情報１５ａとして記憶部１５に記憶する（ステップＳ３０）。

また、ステップＳ３において、入力が操作部１３からの議事録作成指示である場合には、まず、演算部１４は、議事録作成部１４ｈに関する処理として、記憶部から会議支援情報１５ａを取得する（ステップＳ３１）。次に、演算部１４は、議事録作成部１４ｈに関する処理として、盛り上がり度の高い時刻の画像及び頻出キーワード等を抽出する（ステップＳ３２）。このとき、演算部１４は、議事録作成部１４ｈに関する処理として、盛り上がり度の高いタイミングを抽出し、当該時刻にカメラ１２ａ、１２ｂが撮影した画像Ｘ１を取得する。また、演算部１４は、記憶部１５に記憶された音声テキストデータより、会議のテーマ及びテーマの要約Ｘ２を生成する。演算部１４は、関心度、理解度及び同意度の時間ごとの変動を示すグラフの画像Ｘ３を生成し、盛り上がり度の高い時刻において表示されていた資料Ｘ４をプロジェクタＣより取得する。なお、グラフ画像Ｘ３は、関心度、理解度及び同意度以外に、盛り上がり度等を表示するものとしてもよい。

さらに、演算部１４は、収束度の高い時刻における頻出キーワードＸ５を抽出する。続いて、演算部１４は、議事録作成部１４ｈにおいて、議事録を作成する（ステップＳ３３）。

図５は、本実施形態の会議支援システム１によって作成された議事録の一例である。図５に示すように、議事録には、盛り上がり度の高いタイミングにおいてカメラ１２ａ、１２ｂが撮影した画像Ｘ１と、会議の要約Ｘ２と、グラフ画像Ｘ３と、盛り上がり度の高いタイミングにおいて表示されていた資料Ｘ４と、収束度の高い時刻における頻出キーワードＸ５が表示される。

図４に戻り、演算部１４は、議事録作成部１４ｈに関する処理として、このようにして作成された議事録を記憶部１５に記憶し（ステップＳ２４）、作業を終了する。

このような本実施形態に係る会議支援システム１によれば、議論の収束度等、会議中における会議参加者の状態（状況）に応じた会議支援情報１５ａが会議参加者にタイムリーに提供される。これにより、会議参加者は、表示部１６ａ〜１６ｆに表示された会議支援情報１５ａを確認することによって会議の現状をタイムリーに認識することが可能である。したがって、本実施形態に係る会議支援システム１によれば、会議参加者同士の認識を共有することが可能となり、よって議論を円滑に進めることができる。

また、本実施形態の演算部１４は、盛り上がり度判定部１４ｄを備えており、作成された議事録には盛り上がり度を示す情報が含まれる。このため、議事録を閲覧した会議関係者は、会議のどの場面において議論が盛り上がったのかを容易に確認することができる。したがって、会議関係者が認識を共有することが可能となり、議論を円滑に進めることができる。

また、本実施形態に係る会議支援システム１によれば、カメラ１２ａ、１２ｂを備え、演算部１４は、関心度判定部１４ｅを備えている。これにより、会議参加者は、表示部１６ａ〜１６ｆを見ることで、会議参加者全員の関心度の平均を確認することができる。したがって、会議参加者は、議論に対する他の会議参加者の認識を共有することが可能となり、これによっても、議論を円滑に進めることができる。

また、本実施形態の演算部１４は、理解度判定部１４ｆを備えている。これにより、会議参加者は、表示部１６ａ〜１６ｆを見ることで、会議参加者全員の理解度の平均を確認することができる。これにより、会議参加者は、他の会議参加者が議論の流れを理解しているか常に確認しながら発言することができる。したがって、これによっても、議論を円滑に進めることができる。

また、本実施形態の演算部１４は、同意度判定部１４ｇを備えている。これにより、会議参加者は、表示部１６ａ〜１６ｆを見ることで、会議参加者全員の同意度を確認することができる。これにより、会議参加者は、議論の認識の同意が得られているかを確認することが可能である。したがって、これによっても、議論を円滑に進めることができる。

また、本実施形態の演算部１４は、会議支援情報１５ａに基づいた議事録を作成する議事録作成部１４ｈを備えている。これにより、会議に参加していない会議関係者は、議事録を閲覧することで、会議の収束度、盛り上がり度、理解度、関心度及び同意度を直感的に認識することが可能である。したがって、議論を素早く把握することができる。

また、本実施形態の演算部１４は、発言頻度の低い会議参加者に注意を促す注意指示部１４ｊを備えている。これにより、会議参加者は、会議において意見を述べる会議参加者による活発な議論を促進することができる。

なお、本発明は上記実施形態に限定されるものではなく、例えば以下のような変形例が考えられる。
（１）上記実施形態においては、音声取得手段として、室内マイク１０及び個人マイク１１ａ〜１１ｆを用いて会議の音声を取得するものとしたが、本発明はこれに限定されない。個人マイク１１ａ〜１１ｆのみを備えるものとし、室内の音圧は個人マイク１１ａ〜１１ｆの音圧の合計としてもよい。また、室内マイク１０は、マイクアレーを有する構成とすると、室内マイク１０のみで、会議参加者各人の音声を取得することも可能である。

（２）また、上記実施形態においては、画像取得手段として、カメラ１２ａ、１２ｂを備えるものとしたが、本発明はこれに限定されない。会議参加者全員の顔を確認することが可能な配置の会議室であれば、カメラを１台のみとしてもよい。また、会議室全体を鳥瞰する位置にカメラをもう１台取り付け、会議室全体の画像を取得可能としてもよい。

（３）また、上記実施形態においては、会議の盛り上がり度を表示部１６ａ〜１６ｆには表示しないものとしたが、本発明はこれに限定されない。演算部１４は、盛り上がり度判定部１４ｄにおいて、盛り上がり度を判定した後、表示部１６ａ〜１６ｆに現状の盛り上がり度を表示するものとしてもよい。

（４）また、上記実施形態においては、議事録作成部１４ｈは、図５に示すように、画像を含む議事録を作成するものとしたが、本発明はこれに限定されない。議事録は、画像を含まず、文章のみにより構成されるものとしてもよい。また、議事録をコンピュータやタブレット等の電子媒体で閲覧する場合には、動画を掲載するものとしてもよい。

（５）また、上記実施形態においては、表示部１６ａ〜１６ｆはモニタであるとしたが、本発明はこれに限定されない。表示部１６ａ〜１６ｆは、机Ａの上部からプロジェクタによって投映されるプロジェクションマッピングの表示や、会議室内の照明の明るさまたは色による表示を含むものとしてもよい。

（６）また、上記実施形態においては、操作部１３は議事録作成指示のみを行うものとしたが、本発明はこれに限定されない。操作部１３は、表示部１６ａ〜１６ｆの表示設定や、議事録のレイアウトなどの変更指示を可能としてもよい。

（７）また、上記実施形態においては、注意指示部１４ｊは、振動子１８ａ〜１８ｆを振動させることで会議参加者に注意を促すものとしたが、本発明はこれに限定されない。注意指示部１４ｊは、表示部１６ａ〜１６ｆに注意を促す表示を表示させるものとしてもよい。

（８）また、上記実施形態においては、収束度、盛り上がり度、理解度、関心度及び同意度を判定するものとしたが、本発明はこれに限定されない。演算部１４は、収束度、盛り上がり度、理解度、関心度及び同意度のうち、いずれか１つまたは複数のみを判定するものとしてもよい。また、収束度、盛り上がり度、理解度、関心度及び同意度のいずれか１つまたは複数は、議事録に表示せず、表示部１６ａ〜１６ｆにリアルタイムで表示するものとしてもよい。収束度、盛り上がり度、理解度、関心度及び同意度のいずれか１つまたは複数をリアルタイムで表示することにより、会議におけるプレゼンターまたは発言者が会議参加者の雰囲気を把握しながら発言することができる。

（９）また、収束度、盛り上がり度、理解度、関心度及び同意度の表示のタイミングは、会議参加者からの表示要求に基づくものとしてもよい。

（１０）また、学校等の教育施設の授業または講義（会議）において、本発明に係る会議支援システムを用いて生徒（会議参加者）の理解度、盛り上がり度を判定することも可能である。教育施設で会議支援システムを適用することにより、教師（発言者）は、生徒（会議参加者）の理解度、盛り上がり度を把握しながら授業を進行することができる。

１ 会議支援システム
１０ 室内マイク（音声取得手段）
１１ａ〜１１ｆ 個人マイク（音声取得手段）
１２ａ、１２ｂ カメラ（撮像手段）
１３ 操作部
１４ 演算部
１４ａ 音声解析部
１４ｂ 画像解析部
１４ｃ 収束度判定部
１４ｄ 盛り上がり度判定部
１４ｅ 関心度判定部
１４ｆ 理解度判定部
１４ｇ 同意度判定部
１４ｈ 議事録作成部
１４ｊ 注意指示部
１５ 記憶部
１５ａ 会議支援情報
１６ 表示部
１７ 通信部
１８ａ 振動子
２ ネットワーク
３ サーバ

Claims (9)

1. 会議参加者の音声を取得する音声取得手段と、
   前記音声に基づいて会議支援情報を生成する支援情報生成手段と、
   前記会議支援情報を前記会議参加者に提供する提供手段と
   を備え、
   前記支援情報生成手段は、前記音声取得手段により取得した音声から頻出キーワードを抽出し、該抽出した頻出キーワードの変化傾向に基づいて議論のまとまり度合いを収束度として判定する収束度判定部を備え、
   前記会議支援情報は、前記収束度を示す情報を含む
   ことを特徴とする会議支援システム。
2. 前記収束度判定部は、
   前記音声取得手段により取得した音声から、所定の回数以上出現する単語を頻出キーワードとして抽出するステップと、
   前記抽出した頻出キーワードが新しい頻出キーワードか否かを判定するステップと、
   前記新しい頻出キーワードの単語数が多い場合に収束度が低いと判定し、前記新しい頻出キーワードの単語数が少ない場合に収束度が高いと判定するステップと、
   を備えることを特徴とする、請求項１記載の会議支援システム。
3. 前記支援情報生成手段は、議論の盛り上がり度合を判定する盛り上がり度判定部を備え、
   前記会議支援情報は、前記盛り上がり度を示す情報を含む
   ことを特徴とする請求項１または２に記載の会議支援システム。
4. 前記会議参加者を撮像する撮像手段をさらに備え、
   前記支援情報生成手段は、前記撮像手段によって撮像された画像に基づいて前記会議支援情報を生成する
   ことを特徴とする請求項１〜３のいずれか一項に記載の会議支援システム。
5. 前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への関心度を判定する関心度判定部を備え、
   前記会議支援情報は、前記関心度を示す情報を含む
   ことを特徴とする請求項４に記載の会議支援システム。
6. 前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への理解度を判定する理解度判定部を備え、
   前記会議支援情報は、前記理解度を示す情報を含む
   ことを特徴とする請求項４または５に記載の会議支援システム。
7. 前記支援情報生成手段は、前記画像に基づいて前記会議参加者の議題への同意度を判定する同意度判定部を備え、
   前記会議支援情報は、前記同意度を示す情報を含む
   ことを特徴とする請求項４〜６のいずれか一項に記載の会議支援システム。
8. 前記支援情報生成手段は、前記音声、前記画像及び前記会議支援情報に基づいて議事録を作成する議事録作成部を備えることを特徴とする請求項４〜７のいずれか一項に記載の会議支援システム。
9. 前記会議参加者に対して注意を促す注意手段をさらに備え、
   前記支援情報生成手段は、前記音声に基づいて前記会議参加者の発言頻度を算出し、当該発言頻度の少ない前記会議参加者に対して注意を促すように前記注意手段に指示を出す注意指示部を備える
   ことを特徴とする請求項１〜８のいずれか一項に記載の会議支援システム。

Images