WO2011099086A1

WO2011099086A1 - 会議支援装置

Info

Publication number: WO2011099086A1
Application number: PCT/JP2010/000907
Authority: WO
Inventors: 下郡信宏; 上野晃嗣; 池田朋男
Original assignee: 株式会社東芝
Priority date: 2010-02-15
Filing date: 2010-02-15
Publication date: 2011-08-18

Abstract

本発明の会議支援装置は、会議出席者の発言を入力する音声入力部と、前記音声入力部から入力された音声をテキストに変換する音声認識部と、重要な発言を特定するためのルール情報を記憶するルール記憶部とを有している。重要発言検出部は、前記ルール記憶部に記憶されたルール情報を参照して前記音声認識部で変換されたテキストから重要発言を検出する。そして、表示部は、前記重要発言検出部で検出された重要発言の内容を示す項目を抽出し、会議出席者にリアルタイムに表示して提示する。

Description

会議支援装置

　本発明は、会議支援装置に関する。

　会議の進行状況を確認するために、審議した発言内容や決定項目をホワイトボードなどに記録しながら確認し、議事を進めることはビジネス会議で広く行われている。そして、ホワイトボードの記録内容をプリントアウトして、簡易な議事録としている。

　一方、情報産業の発展に伴い、結論・宿題・課題などの定型的な議事録を定め、キーボードを使って出席者が共同編集することで、会議の進行をスムーズに行わせるシステムが提案されている。このような会議の決定項目をリアルタイムでテキスト化して共有することは、会議の進行に役立つことは知られている。

　しかしながら、会議中にリアルタイムでテキスト入力するためには、出席者がキーボード操作して入力しなければならず、審議に集中できないと言う問題がある。また、音声認識でテキスト化する方式では、会議終了後に内容を再度確認するものであるので、会議の進行に応じたものではない。

　他の先行技術として、複数の利用者がメッセージを交換・共有するコミュニケーションシステムにおいて、メッセージの重要な情報をあとでまとめておくことを意識しながら、互いにまとめやすい形式でコミュニケーションを行うことができ、またメッセージの中から本質的に再参照・再利用しそうな部分だけを文書の形式で取り出すことが可能なシステムを出願人は発明している（例えば、特許文献１参照）。

特許第４００４８２５号公報

　上述したような状況から、現状では会議で決定した重要項目をシステムとして確認できるものがなかった。このため、議長が意識して重要項目の確認を促すか、または出席者が各自で確認することを継続するしかなかった。このため、重要項目を確認せずに合意が形成されないまま会議が終了してしまうことがあり、非効率であった。

　本発明は、会議中の発言内容を認識して、重要な発言を文字で表示することにより出席者が議論の流れを確認しやすくし、効率的な会議の進行を支援する会議支援装置を提供することを目的とする。

　上記目的を達成するために、本発明の会議支援装置は、会議出席者が発言した音声を入力する音声入力部と、前記音声をテキストに変換する音声認識部と、重要な発言を特定するための複数のルール情報が記憶されるルール記憶部と、前記複数のルール情報を参照して前記テキストから重要発言を検出する重要発言検出部と、前記重要発言の内容を示す事柄を抽出して会議出席者に提示するための表示部と、を具備したことを特徴とする。

　本発明の会議支援装置によれば、会議中の発言内容を認識して、重要な発言を文字で表示することにより、出席者が議論の流れを確認しやすくし、効率的な会議の進行を支援することができる。

本発明の実施形態に係る会議支援装置の構成を示すブロック図。実施形態の発言記憶部に記憶されている発言の一例。実施形態のルール記憶部に記憶されているルールの一例。実施形態のテンプレート記憶部に記憶されているテンプレートの一例。実施形態のブロック抽出部の動作を示すフローチャート。実施形態の表示部の動作を示すフローチャート。実施形態の表示テンプレートを使用した重要発言の表示例。

発明の実施の形態

　以下、図面を参照しながら、本実施例を説明する。

　図１は、実施形態に係る会議支援装置の構成を示すブロック図である。

　実施形態の会議支援装置１０は、音声入力部１００、発言者特定部１１０、音声認識部１２０、重要発言検出部１３０、ブロック抽出部１４０、表示生成部１５０、表示デバイス１６０、入力デバイス１７０、ルール記憶部１８０、発言記憶部１９０、テンプレート記憶部２００などで構成されている。

　音声入力部１００は、マイクロホンなどで構成され、出席者数に応じた本数が用意される。出席者が多数の場合は、複数の出席者によって共有して使用することもある。会議出席者は、音声入力部１００に向かって発言する。音声入力部１００から入力された音声データは発言者特定部１１０に入力される。

　発言者特定部１１０は、音声入力部１００と音声認識部１２０とに接続され、座席表２２０を内蔵する。座席表２２０には、音声入力部１００のマイクロホンに対応する出席者名が事前に登録されている。発言者特定部１１０は、音声入力されたマイクロホンの位置を判別して、座席表２２０から音声を発した発言者を特定し、受信した音声データに発言者を付加する。発言者特定部１１０は、音声データと発言者からなる音声情報を音声認識部１２０に渡す。

　発言者を特定する他の方法としては、複数のマイクロホンから入力された音声データの発言者の方向を特定することで、発言者を特定する方法であってもよい。また、映像から画像を認識して発言者を特定する方法であってもよい。また、声質や声紋の特徴から発言者を特定する方法などであってもよい。

　音声認識部１２０は、発言者特定部１１０と、重要発言検出部１３０、および発言記憶部１９０に接続され、タイマー２３０を内蔵する。発言記憶部１９０は、磁気ディスク装置や半導体メモリなどで構成されている。音声認識部１２０は、受信した音声情報をテキストデータに変換し、発言毎の一意な発言ＩＤとタイマー２３０から取得した発話時間を付加する。ここでは、タイマー２３０から取得した発話時間を付加するとしたが、受信した音声データに予め発話時間を含むように設計しても良い。

　音声認識部１２０は、発言ＩＤと発話時間と発言者とテキストデータとを関連付けて発言記憶部１９０に記憶する。同時に、音声認識部１２０は、発言記憶部１９０に記憶したものと同じ発言ＩＤと発言者とテキストデータを重要発言検出部１３０に渡す。ここでは、発話時間を除くとしたが、発話時間を含んだ情報を重要発言検出部１３０に送信してもよい。この場合、重要発言検出部１３０側で発話時間を無視するように動作する。

　重要発言検出部１３０は、音声認識部１２０、ブロック抽出部１４０、表示生成部１５０およびルール記憶部１８０に接続されている。ルール記憶部１８０は、磁気ディスク装置や半導体メモリなどで構成されている。そして、ルール記憶部１８０には、重要発言を判定するために用いるルール情報が格納されている。重要発言検出部１３０は、ルール記憶部１８０を参照して、音声認識部１２０から受け取ったテキストデータから重要発言であるか否か判定する。重要発言検出部１３０は、重要と判定した発言のテキストデータをブロック抽出部１４０に渡す。同時に、重要発言検出部１３０は、重要発言と判定した時に参照したルール情報に対応するテンプレート情報を表示生成部１５０に渡す。

　ブロック抽出部１４０は、重要発言検出部１３０、表示生成部１５０、発言記憶部１９０に接続されている。ブロック抽出部１４０は、重要発言検出部１３０で重要と判定されたテキストデータの直前のテキストデータを発言記憶部１９０から順次読み出し、重要発言に到るまでの一連の発言をブロックとして抽出する。たとえば、重要発言に到るまでの発言者間のやりとり（以下、経緯情報と称する）を抽出し、重要と判定したテキストデータと抽出した経緯情報を表示生成部１５０に渡す。

　表示生成部１５０は、ブロック抽出部１４０、表示デバイス１６０、入力デバイス１７０、およびテンプレート記憶部２００と接続されている。表示デバイス１６０は、液晶ディスプレイやＣＲＴディスプレイ（cathode-ray tube display）などで構成されている。入力デバイス１７０は、キーボードやマウスなどで構成されている。テンプレート記憶部２００には、重要発言であるか否かを判定したルール情報に応じた複数の表示テンプレートが格納されている。

　表示生成部１５０は、重要発言検出部１３０から重要発言と判定した時に参照したルール情報に対応するテンプレート情報を受信すると、テンプレート記憶部２００から対応する表示テンプレートを読み出す。表示生成部１５０は、ブロック抽出部１４０から受信した重要と判定したテキストデータと抽出した経緯情報から、その表示テンプレートに埋めるべき内容を抽出し、表示データを作成する。そして、表示生成部１５０は、表示データを表示デバイス１６０に表示して会議出席者に提供する。

　会議出席者は、表示デバイス１６０に表示された表示内容に間違いがある場合、あるいは表現が不十分な場合は、入力デバイス１７０から表示生成部１５０に修正入力を行うことができる。これにより、会議出席者の全員が合意した結果が表示されることになる。

　ここでは、ルール情報を重要発言検出部１３０から受信するとしたが、ブロック抽出部１４０を経由して受信するようにしてもよい。また、本発明の表示部は、表示生成部１５０と表示デバイス１６０とにより構成されるものである。

　次に、本実施形態の具体的な動作を図２乃至図７を参照して説明する。

　図２は、発言記憶部１９０に記憶されている発言テキストデータの一例を示している。以下、この例を用いて重要発言の処理動作を説明する。

　図２において、ＩＤ190aは、発言毎に割り振られる一意な値であり、ここでは発話順にＩＤ値を大きくしている。発言者190bは、発言を行った人の名前である。時刻190cは、発言者による発言時間である。発言内容190dは、発言した音声データを音声認識部１２０でテキストデータに変換されたものを示している。

　図３は、ルール記憶部１８０に記憶されているルール情報の一例である。

　図３において、ＩＤ180aは、ルール情報の一意な番号である。ルール180bは、発言内容に現れる特徴（ルール情報）を示している。各ルール情報の括弧で囲んだ事柄（例えば、項目、名前、日時など）は、それぞれ異なった内容が表現されても良いことを示す。優先度180cは、複数のルール情報がマッチした場合に優先する順序を設定したものである。ここでは、優先度の値が大きいものからルール情報を優先して適用するとしている。テンプレート180dは、ルール情報に応じて使用すべきテンプレート（Ｔ－１～Ｔ－３）を表わす。重要発言検出部１３０は、ルール記憶部１８０のルール180bと発言テキストデータのマッチングを行い、一致するルール情報の中で最も優先度の高いルール情報を採用する。

　図４は、テンプレート200aの各テンプレートＴ－１～Ｔ－３に対応する表示フォーマットの一例を示している。この例では、テンプレートＴ－１では、種別200bとして「アクションアイテム」、表示フォーマット200cのアクションに「項目」、担当に「名前」、期限に「日時」を表示するフォーマットとしている。テンプレートＴ－２では、種別200bとして「決定事項」、表示フォーマット200cの結論に「項目」を表示するフォーマットとしている。テンプレートＴ－３では、種別200bとして「確認」、表示フォーマット200cの確認に「項目」を表示するフォーマットとしている。

　図５は、ブロック抽出部１４０の動作を表わすフローチャートである。

　上述の通り、重要発言検出部１３０は、ルール記憶部１８０を参照して重要発言を検出する。例えば、図２の発言例では、発言ＩＤ－１０５の「では　予備的な市場調査を行いましょう」が、図３のルールＩＤ－Ｒ２に該当するため、重要発言検出部１３０は、ルールＩＤ－Ｒ２とテンプレートＴ－１を選択出力する。このとき、ルールＩＤ－Ｒ２の括弧に該当する文字列「では　予備的な調査」は、後処理のために表示生成部１５０に渡される。即ち、文字列「では　予備的な調査」が、ルールＩＤ－Ｒ２の項目に該当する。

　まず、ブロック抽出部１４０は、重要発言検出部１３０から渡された発言ＩＤ－１０５の発言内容（テキストデータ）を受け取る（図５のステップＳ３００）。

　次に、ブロック抽出部１４０は、受け取った重要発言の発言ＩＤ－１０５を変数ｉに格納する（ステップＳ３１０）。

　次に、ブロック抽出部１４０は、重要発言の直前の発言を調べるため、変数ｉの発言ＩＤ－１０５を一つ減らした発言ＩＤ－１０４が発言記憶部１９０に記憶されているか確認する（ステップＳ３２０）。

　次に、ブロック抽出部１４０は、発言ＩＤ－１０４が発言記憶部１９０に記憶されている場合は（ステップＳ３２０のＹｅｓ）、発言ＩＤ－１０４を発言ｉに設定し（ステップＳ３３０）、発言ＩＤ－１０４のテキストデータを発言記憶部１９０から取得する（ステップＳ３４０）。そして、取得した発言ｉが話題の切れ目であるか否かを判断する（ステップＳ３５０）。話題の切れ目は、予め決められた文面や、発言と発言の間の時間により判定できる。話題の切れ目が見つかるまで、ブロック抽出部１４０は、ステップＳ３２０～Ｓ３５０を繰返し実行して、重要発言前の切れ目をサーチする。ステップＳ３２０で、サーチ対象となるテキストデータが無くなった場合は、切れ目と判断して処理をステップＳ３６０に移動する。

　例えば、図２の例では、発言ＩＤ－１０１「次の話題に移りましょう」がブロックの切れ目として判断されることになる。ブロック抽出部１４０は、ステップＳ３５０で発言ＩＤ－１０１が切れ目であると判断すると（ステップＳ３５０のＹｅｓ）、切れ目となった発言ｉから重要発言検出部１３０から得た重要発言までをブロック（発言ＩＤ－１０１～ＩＤ－１０５）とみなし、発言記憶部１９０から当該ブロックのテキストデータを含む経緯情報を取得する（ステップＳ３６０）。ブロック抽出部１４０は、テキストデータを含む経緯情報を表示生成部１５０に渡して、処理を終了する。

　図６は、表示生成部１５０の動作を示すフローチャートである。

　上述の通り、表示生成部１５０は、ブロック抽出部１４０から重要発言のテキストデータと、前記ブロック（発言ＩＤ－１０１～ＩＤ－１０５）のテキストデータを含む経緯情報とを受信し、また重要発言検出部１４０から選択されたテンプレートＩＤ（ＩＤ－Ｔ１）を受信する。更には、後処理のための文字列「では　予備的な市場調査」をブロック抽出部１４０から受信する。

　表示生成部１５０は、処理を開始すると、まずテンプレートＩＤ（ＩＤ－Ｔ１）を受け取る（ステップＳ４００）。そして、テンプレートＩＤ－Ｔ１の表示フォーマットをテンプレート記憶部２００から取得する（ステップＳ４１０）。

　次に、表示生成部１５０は、ルール情報の項目として受け取った文字列「では　予備的な市場調査」から口語的な表現を取り除き整形する。この例では文字列「では」が不要な用語であると判断して、これを取り除く（ステップＳ４２０）。

　次に、表示生成部１５０は、整形した文字列「予備的な市場調査」をテンプレートＩＤ－Ｔ１の表示形式のアクション欄の（項目）に埋める（ステップＳ４３０）。図７の実線で囲んだ表示形式５００は、テンプレートＩＤ－Ｔ１の表示内容を示している。このステップＳ４３０の処理により、アクション欄に「予備的な市場調査」５１０が埋め込まれていることを示している。

　次に、表示生成部１５０は、テンプレートＩＤ－Ｔ１の表示形式中に担当欄がある場合（ステップＳ４４０のＹｅｓ）、前記ブロック（発言ＩＤ－１０１～ＩＤ－１０５）から名前を抽出してテンプレートＩＤ－Ｔ１の担当欄に埋める（ステップＳ４５０）。名前の抽出は、発言内容の中にある名前を優先候補とし、次に発言者の名前を候補とする。図２の例では、前記ブロック（発言ＩＤ－１０１～ＩＤ－１０５）中に名前が無いため、担当欄は疑問符（Question mark）「？？？」が表記される。そして、担当欄の下段に発言ＩＤ－１０１～ＩＤ－１０５の経緯情報から抽出した前記ブロックの発言者である「田中」、「山田」、「鈴木」５２０が埋め込まれる。

　次に、表示生成部１５０は、同様にテンプレートＩＤ－Ｔ１の表示形式中に期限欄がある場合（ステップＳ４６０のＹｓｅ）、前記ブロック（発言ＩＤ－１０１～ＩＤ－１０５）から期限に該当する情報を抽出してテンプレートＩＤ－Ｔ１の期限欄に埋める（ステップＳ４７０）。図２の例では発言ＩＤ－１０４の発言内容の「来週」が該当し、期限欄の「来週」５３０が埋め込まれる。

　こうして、テンプレートＩＤ－Ｔ１の全ての項目が埋まったら、表示生成部１５０は、表示デバイス１６０へ、テンプレートＩＤ－Ｔ１を渡す。

　したがって、図７に示す表示形式５００によって、重要発言が会議出席者に提供され、確認される。なお、図７では、表示形式５００以前の重要発言についても表示形式５５０，５６０として例示している。

　また、担当欄の疑問符「？？？」は、候補が複数あるため、決定していないことを表わしている。この場合、会議出席者の代表者が、入力デバイス１７０により、担当欄の下に表示されている複数の候補から１名（例えば、「山田」）を選択すると、これを表示生成部１５０が受信して、担当欄に「山田」が表示するよう動作する。

　本実施形態の会議支援装置では、会議での発言を音声認識部を通じてテキスト化し、テキスト化された発言からルールを用いて重要発言を抽出する。そして、抽出された重要発言の種類に対応する表示テンプレートを特定し、特定された表示テンプレートに重要発言からの情報を取り込む。したがって、会議中の重要発言をリアルタイムでテキスト化して出席者の間で確認することができる。また、表示テンプレート上で不足する情報を強調表示することで、不足する情報も明らかとなるため、後戻りが少なく効率的に会議を進行することが可能となる。

　なお、本発明は発明の要旨を逸脱しない範囲において、上述した実施形態を適宜設計変更することが可能である。

１０‥会議支援装置１０、１００‥音声入力部、１１０‥発言者特定部、１２０‥音声認識部、１３０‥重要発言検出部、１４０‥ブロック抽出部、１５０‥表示生成部、１６０‥表示デバイス、１７０‥入力デバイス、１８０‥ルール記憶部、１９０‥発言記憶部、２００‥テンプレート記憶部

Claims

　会議出席者が発言した音声を入力する音声入力部と、
　前記音声をテキストに変換する音声認識部と、
　重要な発言を特定するための複数のルール情報が記憶されるルール記憶部と、
　前記複数のルール情報を参照して前記テキストから重要発言を検出する重要発言検出部と、
　前記重要発言の内容を示す事柄を抽出して会議出席者に提示するための表示部と、
を具備したことを特徴とする会議支援装置。
　前記ルール記憶部に記憶される前記ルール情報と関連付けされ、前記事柄を含む表示形式を定義した複数の表示テンプレートを記憶するテンプレート記憶部を更に具備し、
　前記表示部は、前記重要発言を検出するのに利用したルール情報に対応する表示テンプレートを前記テンプレート記憶部から読み出し、当該表示テンプレートを用いて前記重要発言の内容を示す事柄を表示することを特徴とする請求項１に記載の会議支援装置。
　前記音声識別部で変換されたテキストデータ、発言者、および発言時間が対応付けて記憶される発音記憶部と、
　前記発音記憶部から前記重要発言に到るまでの一連の発言をブロックとして取り出すことができるブロック抽出部と、
を更に具備し、
　前記表示部は、前記ブロックから前記表示テンプレートに埋めるべき内容を取り出すことを特徴とする請求項１に記載の会議支援装置。
　入力部を更に具備し、
　前記表示部が複数の候補名を抽出した場合に、前記入力部から前記複数の候補名から適切な候補名を選択して前記表示テンプレートに埋め込むことを特徴とする請求項３に記載の会議支援装置。