JP6962849B2 - 会議支援装置、会議支援制御方法およびプログラム - Google Patents

Description

本発明は、会議支援装置、会議支援制御方法およびプログラムに関する。

複数人が会議をする場合において、各発言者の発話内容をテキスト化して、発話内容をテキスト化して各利用者が所有する再生装置に表示することが提案されている（例えば特許文献１参照）。なお、特許文献１に記載の技術では、発話を話題毎に音声メモとして録音し、議事録作成者が、録音された音声メモを再生してテキスト化を行う。そして、特許文献１に記載の技術では、テキスト化したものを用いて議事録を作成する。

特開平０８−１９４４９２号公報

会議は、一回の開催で終了する場合もあるが、中断したり一回の開催で終了しない場合もある。このような会議では、別途、会議が再開される。
しかしながら、特許文献１に記載の技術では、会議毎に議事録を作成するため、会議を再開した場合でも異なる議事録となってしまう。

本発明は、上記の問題点に鑑みてなされたものであって、会議が中断された後に再開された場合であっても継続したい会議を音声によって選択可能な会議支援装置、会議支援制御方法およびプログラムを提供することを目的とする。

（１）上記目的を達成するため、本発明の一態様に係る会議支援装置（１）は、収音部（１０１）と、前記収音部にて音声入力された発話に対して音声認識用辞書（音声認識辞書ＤＢ１０３）を用いて音声認識を行う音声認識部（音声認識部１０４、テキスト変換部１０５、係り受け解析部１０６）と、前記音声認識されたテキストを議事録として表示する表示部（議事録作成部１０７、画像生成部１１０、表示部１１１）と、前記議事録を記憶し、中断している会議の前記議事録に対して中断していることを示す情報を前記議事録に関連付けて記憶する記憶部（議事録記憶部１０８）と、中断された会議を再開する場合において、前記中断された会議の候補を表示し、表示した前記会議の候補を、音声発話を音声認識した結果に基づいて継続したい会議の候補を絞り込む選択部（議事録選択部１０９）と、を備える。

（２）また、本発明の一態様に係る会議支援装置において、前記選択部は、継続したい会議の絞込みを、前記会議の出席者、前記会議に関する時刻、および前記議事録から抽出されたキーワードのうち少なくとも１つで絞込みを行うようにしてもよい。

（３）また、本発明の一態様に係る会議支援装置において、前記音声認識部は、継続する会議で使用された音声認識用辞書を用いるようにしてもよい。

（４）また、本発明の一態様に係る会議支援装置において、前記選択部は、継続したい会議の２回目以降の絞り込みの際に、前記会議の出席者を追加して提示、および前記議事録から抽出されたキーワードを追加して提示のうち少なくとも１つを行うようにするようにしてもよい。

（５）また、本発明の一態様に係る会議支援装置において、前記会議支援装置に通信によって接続される子機（３、３ａ、３ｂ、・・・）であって、前記子機が、収音部（３０１）と子機表示部（表示部３０４）と操作部（３０２）とを備え、前記音声認識部は、前記子機が送信した音声信号に対して前記音声認識用辞書を用いて音声認識を行い、前記収音部が収音した音声信号と、前記子機の収音部が収音した音声新語とに対して音声認識した結果を、前記表示部と前記子機表示部とに表示させるようにしてもよい。

（６）上記目的を達成するため、本発明の一態様に係る会議支援制御方法は、会議の議事録を記憶する記憶部を備える会議支援装置における会議支援方法であって、収音部が、音声入力された発話を取得する収音ステップと、音声認識部が、前記収音ステップにて音声入力された発話に対して音声認識用辞書を用いて音声認識を行う音声認識ステップと、議事録作成部が、前記音声認識ステップによって音声認識されたテキストの議事録を作成し、前記会議が中断された場合に中断されたことを示す情報を前記議事録に関連付けて記憶させる議事録作成ステップと、選択部が、中断された会議を再開する場合において、前記中断された会議の候補を表示し、表示した前記会議の候補を、音声発話を音声認識した結果に基づいて継続したい会議の候補を絞り込む選択ステップと、を含む。

（７）上記目的を達成するため、本発明の一態様に係るプログラムは、会議の議事録を記憶する記憶部を備える会議支援装置のコンピュータに、音声入力された発話を取得する収音ステップと、前記収音ステップにて音声入力された発話に対して音声認識用辞書を用いて音声認識を行う音声認識ステップと、前記音声認識ステップによって音声認識されたテキストの議事録を作成し、前記会議が中断された場合に中断されたことを示す情報を前記議事録に関連付けて記憶させる議事録作成ステップと、中断された会議を再開する場合において、前記中断された会議の候補を表示し、表示した前記会議の候補を、音声発話を音声認識した結果に基づいて継続したい会議の候補を絞り込む選択ステップと、を実行させる。

上述した（１）または（６）あるいは（７）によれば、音声入力によって簡単な手法にて継続したい会議を選択することができる。

上述した（２）によれば、絞込みがしやすくなるという効果を奏する。
上述した（３）によれば、同音異義語等の変換等を適切に行わせることができる。
上述した（４）によれば、一回の音声入力によって候補を絞り込めなかった場合に、会議に関する情報を追加して提示できるので、絞込みがしやすくなるという効果を奏する。
上述した（５）によれば、子機にも会議の議事録を表示させることができるので、健聴者と聴覚障がい者とが一緒に会議に参加しやすくすることができる。

本実施形態に係る会議支援装置の構成例を示すブロック図である。 本実施形態に係る議事録記憶部が記憶する情報例を示す図である。 本実施形態に係る会議状態と議事録の作成例を示す図である。 本実施形態に係る中断した会議を再開する際に表示部に提示される情報例を示す図である。 本実施形態に係る会議録記憶部が記憶する情報を説明するための図である。 本実施形態に係る会議開始時に会議支援装置が行う処理手順例を示すフローチャートである。 本実施形態に係る会議中と会議終了時に表示部上に表示される画像例を示す図である。 図７において、会議終了または会議継続が選択された場合に表示部上に表示される画像例である。 本実施形態に係る会議開始時に表示部上に表示される画像例を示す図である。 本実施形態に係る中断された会議リストの画像の他の例である。 本実施形態の第１変形例における会議継続時に議事録を絞り込めなかった際に表示される画像例を示す図である。 本実施形態に係る第２変形例における会議支援システムの構成例を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。

まず、本実施形態の会議支援装置が使用される状況例を説明する。
本実施形態の会議支援装置は、例えば２人以上が参加して行われる会議で用いられる。会議支援装置は、会議の終了時に、その会議が中断なのか終了なのかフラグを付与して記憶する。そして、会議支援装置は、会議に関する情報（参加者、キーワード等）を議事録に関連づけて記憶する。会議支援装置は、会議が再開される際に、利用者の音声を音声認識した結果に基づいて中断されている会議の議事録から候補の議事録を提示する。会議支援装置は、利用者の音声によって、候補の中から再開したい会議を選び、再開された会議の議事録の作成を継続する。

図１は、本実施形態に係る会議支援装置１の構成例を示すブロック図である。
図１に示すように、会議支援装置１は、収音部１０１、取得部１０２、音声認識辞書ＤＢ１０３（音声認識用辞書）、音声認識部１０４、テキスト変換部１０５（音声認識部）、係り受け解析部１０６（音声認識部）、議事録作成部１０７（キーワード抽出部）、議事録記憶部１０８、議事録選択部１０９（選択部）、画像生成部１１０、表示部１１１、および操作部１１２を備える。

会議支援装置１は、例えばタブレット端末、スマートフォン、ノートパソコン等である。

収音部１０１は、マイクロフォンである。収音部１０１は、利用者の音声信号を収音し、収音した音声信号を取得部１０２に出力する。なお、収音部１０１は、参加者毎に装着される。また、収音部１０１は、マイクロフォンアレイであってもよい。

取得部１０２は、収音部１０１が出力する音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を音声認識部１０４に出力する。なお、収音部１０１が複数の場合、取得部１０２は、収音部１０１毎に例えば時分割処理を行う。

音声認識辞書ＤＢ１０３は、例えば音響モデル、言語モデル、単語辞書等を格納しているデータベースである。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。なお、会議支援装置１は、音声認識辞書ＤＢ１０３に格納されていない単語等を格納して更新するようにしてもよい。なお、音声認識辞書ＤＢ１０３は、例えば会議毎にＤＢ（データベース）を備えている。例えば、第１のＤＢが一般の会議用で有り、第２のＤＢが発表会用であり、第３のＤＢが国際会議用である。このように会議に合わせたＤＢを用いることで、同音異義語等の変換等を適切に行わせることができる。

音声認識部１０４は、取得部１０２が出力する音声信号を取得する。音声認識部１０４は、音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部１０４は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部１０４は、検出した発話区間の音声信号に対して、音声認識辞書ＤＢ１０３を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部１０４は、例えば特開２０１５−６４５５４号公報に開示されている手法等を用いて音声認識を行う。音声認識部１０４は、認識した認識結果と音声信号をテキスト変換部１０５に出力する。なお、音声認識部１０４は、認識結果と音声信号とを、例えば１文毎、または発話句間毎、または話者毎に対応つけて出力する。
なお、音声認識部１０４は、音声信号が同時に入力された場合、例えば時分割処理によって収音部１０１毎に音声認識を行う。また、音声認識部１０４は、マイクロフォンがマイクロフォンアレイの場合、音源分離処理、音源定位処理、音源同定処理等、周知の音声認識処理も行う。
音声認識部１０４は、議事録選択部１０９が出力する使用する音声認識辞書ＤＢ１０３を示す情報に基づいて、音声認識処理等に使用する音声認識辞書ＤＢ１０３を切り替える。

テキスト変換部１０５は、音声認識部１０４が出力する認識結果に対して、音声認識辞書ＤＢ１０３を参照して、テキストに変換する。なお、テキスト情報は、少なくとも１文字の情報を含む。テキスト変換部１０５は、変換したテキスト情報と、取得した音声信号を係り受け解析部１０６に出力する。なお、テキスト変換部１０５は、発話情報を認識した結果から「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除してテキストに変換するようにしてもよい。

係り受け解析部１０６は、テキスト変換部１０５が出力したテキスト情報に対して、音声認識辞書ＤＢ１０３を参照して、形態素解析と係り受け解析を行う。なお、係り受け解析には、例えば、Ｓｈｉｆｔ−ｒｅｄｕｃｅ法や全域木の手法やチャンク同定の段階適用手法においてＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）を用いる。
係り受け解析部１０６は、会議を再開する際、形態素解析と係り受け解析を行ったテキスト情報と、解析した結果を議事録選択部１０９に出力する。
なお、議事録の作成は、例えば、「会議を開始します」等、予め定められたキーワードを検出した後に開始される。または、議事録の作成は、表示部１１１上に表示されるアイコン（例えば図７参照）を利用者が操作部１１２を操作した結果に基づいて開始される。会議開始後に、係り受け解析部１０６は、形態素解析と係り受け解析を行ったテキスト情報と、解析した結果を議事録作成部１０７に出力する。なお、係り受け解析部１０６は、テキスト変換部１０５が出力する音声信号も議事録作成部１０７に出力する。
また、係り受け解析部１０６は、議事録作成部１０７が会議の終了または中断後に議事録を作成する場合、解析した結果に発話者と発話時間を付与して画像生成部１１０に出力する。なお、発話者（参加者）名は、参加者が使用する収音部１０１毎に予め係り受け解析部１０６が記憶していてもよく、会議開始時に参加者が発話によって入力してもよい。

議事録作成部１０７は、係り受け解析部１０６が出力したテキスト情報に基づいて、発話者毎に分けて、議事録を作成する。議事録作成部１０７は、作成した議事録（テキスト情報）と対応する音声信号を議事録記憶部１０８に記憶させる。なお、議事録作成部１０７は、会議の開催中に議事録を作成するようにしてもよく、会議が終了または中断された後に議事録を作成するようにしてもよい。議事録作成部１０７は、議事録を作成する際、または議事録作成後に会議におけるキーワードを抽出し、抽出したキーワードを議事録に関連づけて記憶させる。議事録作成部１０７は、例えばキーワードマッチングや表層パターンや特開２００８−１４６１５０号公報に記載の発明の手法等を用いてキーワードを抽出する。または、議事録作成部１０７は、出現回数が多い言葉をキーワードとして抽出するようにしてもよい。また、議事録作成部１０７は、発話毎に発話者と発話日時を付与する。なお、発話者（参加者）名は、参加者が使用する収音部１０１毎に予め議事録作成部１０７が記憶していてもよく、会議開始時に参加者が発話によって入力してもよい。なお、議事録作成部１０７は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して議事録を作成するようにしてもよい。
議事録作成部１０７は、議事録選択部１０９が出力する選択された議事録を示す情報と、継続指示に応じて、選択された議事録の作成を継続する（再開する）。

議事録記憶部１０８は、議事録と音声信号を対応付けて記憶する。なお、議事録記憶部１０８は、議事録に、参加者やキーワードを関連づけて、さらに会議状態（終了か中断か）を関連づけて記憶する。なお、議事録記憶部１０８が記憶する情報については後述する。

議事録選択部１０９は、係り受け解析部１０６が出力する形態素解析と係り受け解析を行ったテキスト情報と、解析した結果を取得する。議事録選択部１０９は、取得した情報に基づいて、条件に合う議事録を、議事録記憶部１０８を参照して探索する。議事録選択部１０９は、探索した議事録に関する情報を画像生成部１１０に出力する。また、議事録選択部１０９は、会議開始前に議事録選択のために行われた発話のテキスト情報を画像生成部１１０に出力する。
また、議事録選択部１０９は、議事録作成部１０７が会議の開催中に議事録を作成している場合、作成させた議事録を議事録記憶部１０８から読み出し、読み出した議事録を画像生成部１１０に出力する。
議事録選択部１０９は、中断されている会議の中から、発話によって入力された音声信号に対して音声認識処理等を行った結果に基づいて、継続する会議を選択する。議事録選択部１０９は、選択した会議の議事録を示す情報と継続指示を議事録作成部１０７に出力する。また、議事録選択部１０９は、選択した会議の議事録に含まれる使用する音声認識辞書ＤＢ１０３を示す情報を音声認識部１０４に出力する。

画像生成部１１０は、議事録選択部１０９が出力する議事録に関する情報とテキスト情報とに基づいて画像データを生成する。画像生成部１１０は、生成した画像データを表示部１１１に出力する。

表示部１１１は、例えば液晶表示装置、有機ＥＬ表示装置、電子インク表示装置等である。表示部１１１は、画像生成部１１０が出力する画像データを表示する。

操作部１１２は、例えば表示部１１１上に設けられたタッチパネル式のセンサー、または優先接続または無線接続のキーボード等である。操作部１１２は、利用者の操作を検出し、検出した結果を議事録選択部１０９に出力する。

＜議事録記憶部１０８が記憶する情報＞
次に、議事録記憶部１０８が記憶する情報例を説明する。
図２は、本実施形態に係る議事録記憶部１０８が記憶する情報例を示す図である。
図２に示すように、議事録記憶部１０８は、会議の名称に、番号と、出席者と、議事録の最終更新日時と、会議状態と、キーワードと、を関連付けて記憶する。例えば、議事録記憶部１０８は、会議の名称が「経営会議Ａ」に、番号「１」と、出席者「山田、佐藤、竹田」と、最終更新日時「２０１８．１．１３ １７：３０」と、会議状態「中断」と、キーワード「開発方針、経費削減、業務改善、・・・」を関連付けて記憶する。なお、会議の名称は、利用者が音声で入力してもよく、操作部１１２を操作して入力してもよい。また、キーワードは、利用者が音声で入力してもよく、操作部１１２を操作して入力してもよい。なお、最終更新日時は、例えば会議が終了または中断された日時である。

＜会議状態＞
次に、会議状態と議事録の作成例を説明する。
図３は、本実施形態に係る会議状態と議事録の作成例を示す図である。図３において、横軸は時間ｔである。
符号ｇ１１の示す例では、新規会議が時刻ｔ１に開始され時刻ｔ２に終了した例である。
符号ｇ１２の示す例では、新規会議が時刻ｔ１１に開始され時刻ｔ１２に中断され、時刻１２〜ｔ１３の期間に休憩が入り、時刻ｔ１３に再開され時刻ｔ１４に終了した例である。

符号ｇ１３の示す例では、新規会議Ａが時刻ｔ２１に開始され時刻ｔ２２に中断され、時刻２２〜ｔ２３の期間に休憩が入り、新規会議Ｂが時刻ｔ２３に開始され時刻ｔ２４に中断され、時刻２４〜ｔ２５の期間に休憩が入り、新規会議Ａが翌日の時刻ｔ２５に再開され時刻ｔ２６に終了した例である。

このように、会議によっては、再開が別の日になる場合がある。また、中断された会議の間に、他の会議が行われ、その他の会議も中断状態の場合もあり得る。符号ｇ１３の場合、中断された会議が２つあるため、会議を再開する際に、どの会議を再開するか選択する必要が生じる。中断された会議が多数の場合や、中断された日時が数日前や数週間前の場合、継続したい会議のデータである議事録を探すのは会議名称だけでは困難である。
このため、本実施形態では、利用者の音声入力に応じて、中断されている会議の議事録に関する情報（会議の名称、出席者、議事録の最終更新日時、会議状態、キーワード）を提示し、更に提示された情報から利用者の音声入力によって絞り込みを行う。

＜中断した会議を再開する際に表示部に提示される情報＞
次に、中断した会議を再開する際に表示部に提示される情報例を説明する。
図４は、本実施形態に係る中断した会議を再開する際に表示部に提示される情報例を示す図である。

画像ｇ２０は、中断した会議を再開する際に、まず表示部１１１に提示される画像例である。符号ｇ２１は、中断された会議のリストであり、右のスクロール部を操作部１１２を操作することで、リストを上下にスクロールさせることができる。符号ｇ２２は、利用者が、再開したい会議を選択するために入力した音声に対して音声認識処理を行った結果である。この場合、音声入力は「伊藤さんと一緒に会議をやった続きを再開したい。」である。

画像ｇ３０は、画像ｇ２０において入力された音声に基づいて抽出された議事録の候補を提示した画像である。
符号ｇ３１は、第１候補であり、番号、会議の名称、参加者、最終更新日時およびキーワードを含む。符号ｇ３２は、第２候補であり、番号、会議の名称、参加者、最終更新日時およびキーワードを含む。
符号ｇ３３は、利用者が入力した音声に対して音声認識処理を行った結果である。この場合、音声入力は「管理職会議Ｂをお願いします。」である。

画像ｇ４０は、画像ｇ３０において入力された音声に基づいて抽出された議事録の候補を提示した画像である。
符号ｇ４１は、候補であり、番号、会議の名称、参加者、最終更新日時およびキーワードを含む。
符号ｇ４２は、利用者が、利用者が入力した音声に対して音声認識処理を行った結果である。この場合、音声入力は「それでお願いします。」である。

画像ｇ５０は、再開したい会議の議事録が選択された後、会議が再開した際に、表示部１１１上に表示される画像である。
符号ｇ５１は、会議の参加者の発話を音声認識した結果のテキスト情報である。テキスト情報には、例えば、発話者と発話日時が含まれている。
なお、図４に示した表示例は一例であり、これに限らない。

図５は、本実施形態に係る会議録記憶部１１８が記憶する情報を説明するための図である。
図５に示すように、会議状態が終了の場合、会議録記憶部１１８は、その会議の議事録を記憶（保存）するが、その議事録に対して継続して記録することができない。
また、会議状態が中断の場合、会議録記憶部１１８は、その会議の議事録を記憶（保存）し、その議事録に対して再開が選択された場合、中断された議事録に再開された会議に議事録を追加して記録することができる。

＜会議支援装置１の処理＞
次に、会議支援装置１が行う処理手順例を説明する。
図６は、本実施形態に係る会議開始時に会議支援装置１が行う処理手順例を示すフローチャートである。

（ステップＳ１）利用者は、音声入力によって、ログイン手続きを行う。例えば、利用者は、利用者を識別する識別情報（利用者ＩＤ）とパスワードを入力する。または、利用者は、操作部１１２を操作して、ログイン手続きを行う。会議支援装置１は、参加者毎にログイン手続きを行う。

（ステップＳ２）議事録選択部１０９は、参加者の音声、または操作部１１２が操作指された結果に基づいて、新規の会議を行うのか、中断された会議を再開するのかを設定する。なお、ステップＳ３〜Ｓ１１の処理は、会議を再開する際の処理である。新規の会議の場合は、ステップＳ３〜Ｓ１の処理が行われない。また、会議支援装置１は、その会議に参加する参加者名の登録、参加者が使用する収音部１０１の登録等、会議の設定を行う。会議の設定には、収音部１０１がピンマイクであるのかマイクロフォンアレイであるか等の設定も含まれている。なお、議事録作成部１０７は、これらの会議の設定情報を議事録に対応付けて、議事録記憶部１０８に記憶させる。なお、議事録作成部１０７は、終了した会議については、会議の設定情報を記憶させないようにしてもよい。

（ステップＳ３）議事録選択部１０９は、議事録記憶部１０８が記憶する情報を探索して、中断されている会議の議事録のリストの画像データ（例；図４、画像ｇ２０、符号ｇ２１）を生成し、生成した画像データを画像生成部１１０に出力して表示部１１１上に表示させる。続けて、議事録選択部１０９は、どの会議を継続するか選択するため、発話を促す画像データ（例；図４、画像ｇ２０の「継続中の会議は以下のとおりです。音声を発話してください」）を生成し、生成した画像データを画像生成部１１０に出力して表示部１１１上に表示させる。

（ステップＳ４）参加者は、発話（例；図４、画像ｇ２０、「伊藤さんと一緒に会議をやった続きを再開したい。」）を行う。収音部１０１は、発話された音声を取得する。

（ステップＳ５）会議支援装置１は、収音部１０１が収音した音声信号に対して、音声認識処置、テキスト変換処理、係り受け解析処理を行う。

（ステップＳ６）議事録選択部１０９は、ステップＳ５の処理により取得したテキスト情報（例；「伊藤さんと一緒に会議をやった続きを再開したい。」）に基づいて、その条件に合う中断されている会議の議事録を絞り込んで議事録記憶部１０８から読み出す。なお、絞り込みに使用するワードは、参加者名、会議に関する時刻（開催開始日時、または終了日時）、および会議で用いられたキーワードのうちの少なくとも１つである。

（ステップＳ７）議事録選択部１０９は、読み出した条件に合う会議の議事録の画像データ（例；図５、画像ｇ３０、符号ｇ３１、符号ｇ３２）を生成し、生成した画像データを画像生成部１１０に出力して表示部１１１上に表示させる。

（ステップＳ８）参加者は、発話（例；図４、画像ｇ３０の符号ｇ３３「管理職会議Ｂを御願いします。」または図４、画像ｇ４０の符号４２「それで御願いします。」）を行う。収音部１０１は、発話された音声を取得する。

（ステップＳ９）会議支援装置１は、収音部１０１が収音した音声信号に対して、音声認識処置、テキスト変換処理、係り受け解析処理を行う。

（ステップＳ１０）議事録選択部１０９は、再開したい（継続したい）会議を絞り込めたか否かを判定する。例えば、議事録選択部１０９は、表示した結果に対して同意する発話内容であった場合に絞り込めたと判定し、同意しない発話であった場合に絞り込めていないと判定する。または、議事録選択部１０９は、ステップＳ７で表示部１１１上に表示させた候補の議事録が１つであった場合、再開したい（継続したい）会議を絞り込めたと判定し、ステップＳ７で表示部１１１上に表示させた候補の議事録が２つ以上であった場合、再開したい（継続したい）会議を絞り込めていないと判定する。議事録選択部１０９は、再開したい（継続したい）会議を絞り込めたと判定した場合（ステップＳ１０；ＹＥＳ）、ステップＳ１１の処理に進め、再開したい（継続したい）会議を絞り込めていないと判定した場合（ステップＳ１０；ＮＯ）、ステップＳ７の処理に戻す。

（ステップＳ１１）会議支援装置１は、会議の再開が音声入力または操作部１１２の操作によって行われたとき、選択した議事録に対して議事録の作成を再開する。なお、会議支援装置１は、会議が再開された場合、ステップＳ２で設定された会議の設定を議事録記憶部１０８から読み出す。これにより、参加者は、再開する会議の再設定を行わずに済む。続けて、会議支援装置１は、会議を継続し、選択した議事録に継続した会議の内容を使いして１つの議事録として作成を継続する。続けて、会議支援装置１は、会議の終了時に会議を終了するか中断するかを示す情報を表示させる（図７参照）。続けて、会議支援装置１は、会議を中断する際に、議事録に会議が中断されたことを示す情報（フラグ）を付加して議事録記憶部１０８に記憶させる。なお、会議支援装置１は、会議の設定情報を表示部１１１上に表示させる。これにより、参加者は、参加者の確認、参加者が使用する収音部１０１の番号を確認することができる。

＜会議中と会議終了時に表示部１１１上に表示される画像＞
次に、会議中と会議終了時に表示部１１１上に表示される画像例を説明する。
図７は、本実施形態に係る会議中と会議終了時に表示部１１１上に表示される画像例を示す図である。
画像ｇ１００は、表示部１１１上に表示される画像である。

領域ｇ１０１は、参加者情報編集を行う領域である。領域ｇ１０１の画像には、参加者に対応したアイコン画像、参加者の名前、参加者が使用するマイクロフォンの番号（または識別情報）等が含まれている。

領域ｇ１０２は、議事録を表示する領域である。なお、図７では、ログイン後の状態を示している。領域ｇ１０２の画像には、ログイン／ログアウトのボタン画像、会議の開始／終了のボタン画像、会議の開催中に点灯する表示、議事録の表示や音声信号の再生を行うボタン画像、収音部１０１の使用有無を選択するボタン画像、参加者の人数を示す画像、参加者の音声入力を音声認識処理した結果の画像等が含まれている。

会議の終了が指示された場合、例えば操作部１１２の操作によって会議終了のボタン画像ｇ１０３が選択された場合、議事録選択部１０９は、画像ｇ１１０を表示させる指示を画像生成部１１０に出力することで、画像ｇ１１０を表示部１１１上に表示させる。
画像ｇ１１０には、会議の中断のボタン画像ｇ１１１、会議終了のボタン画像ｇ１１２、および会議終了の選択をキャンセルのボタン画像ｇ１１３が含まれている。参加者は、操作部１１２を操作して、または音声入力によって、これら３つのうちから１つを選択する。
なお、会議開催中は、画像ｇ１１０が表示されず、領域ｇ１０１と領域ｇ１０２の画像が表示部１１１上に表示される。聴覚障がい者の参加者は、表示部１１１上に表示される音声認識されて結果を見ることで、他の参加者の発話内容を理解することができる。

図８は、図７において、会議終了または会議継続が選択された場合に表示部１１１上に表示される画像例である。
画像ｇ２００は、表示部１１１上に表示される画像である。

画像ｇ２１０は、ログアウト処理を開始することを示す画像である。画像ｇ２１０には、処理に同意するＯＫのボタン画像ｇ２１１が含まれている。なお、ＯＫのボタン画像ｇ２１１が選択されない場合であっても、会議支援装置１は、所定の時間（例えば３秒）後にログアウト処理を行う。

なお、図７と図８に示した画像は一例であり、表示部１１１上に表示される画像は、会議によって異なる。また、画像ｇ１１０や画像ｇ２１０も一例であり、画像は異なっていてもよい。例えば画像ｇ２１０にはキャンセルのボタン画像が含まれていてもよい。

＜会議開始時に表示部１１１上に表示される画像＞
次に、会議開始時に表示部１１１上に表示される画像例を説明する。
図９は、本実施形態に係る会議開始時に表示部１１１上に表示される画像例を示す図である。利用者は、操作部１１２を操作して、各設定を行う。画像ｇ３００は、表示部１１１上に表示される画像である。
領域ｇ３０１の画像は、会議設定を行う画像である。領域ｇ３０１の画像には、例えば、音声認識を行うマイクロフォンの設定領域、音声録音の選択を行う設定領域、および会議形態（会議、テレビ会議、ワイガヤ、発表会等）を選択する設定領域等が含まれている。なお、「ワイガヤ」とは、ワイワイガヤガヤの略であり、自由に発言を行う会議である。
なお、各設定領域は一例であり、これに限らない。

また、図９に示すように、会議支援装置１は、会議の開始時に、画像ｇ３１０の画像を表示させる。画像ｇ３１０の画像には、新規の会議を開催する際に選択される新規のボタン画像ｇ３１１、中断していた会議を再開する際に選択される継続のボタン画像ｇ３１２が含まれる。
利用者は、操作部１１２を操作、または音声入力により、新規の会議を行うのか、中断されている会議を継続するのかを選択する。継続が選択された場合、図４に示した画像ｇ２０が表示される。

図１０は、本実施形態に係る中断された会議リストの画像の他の例である。
画像ｇ４００は、表示部１１１上に表示される画像である。
領域３０１は、図９と同様に会議設定の領域の画像である。
符号ｇ４１０は、中断された会議リストの画像の他の例である。中断された会議リストは、会議の名称、会議が行われた場所、開催日時（開始時間）との情報を含んでいてもよい。なお、図１０に示した画像は一例であり、中断された会議リストに含まれる情報は、これに限らない。

上述した実施形態によれば、中断されている会議の中から再開したい（継続したい）会議を、参加者の発話に基づいて絞って提示するようにした。これにより、参加者は、中断されている会議の中から再開したい（継続したい）会議を音声によって選択することができる。

＜第１変形例＞
図４に示した例では、画像ｇ３０において音声入力によって画像ｇ４０のように１つの議事録に絞り込めた（会議を絞り込めた）例を説明したが、この処理によっても議事録を絞り込めない場合もあり得る。変形例では、このような場合の処理例を説明する。

図１１は、本実施形態の第１変形例における会議継続時に議事録を絞り込めなかった際に表示される画像例を示す図である。
画像ｇ３０ａは、例えば２回の音声入力によっても会議を絞り込めなかった例に表示される画像例である。画像ｇ３０ａには、第１の候補の画像ｇ３１ａと、第２の候補の画像ｇ３２ａが含まれている。参加者は、この画像からでは、再開したい会議を絞り込めなかったため、音声入力「絞り込めません。」（画像ｇ３３ａ）を行う。

議事録選択部１０９は、音声入力「絞り込めません。」に基づいて、第１の候補と第２の候補について、情報を追加して再表示させる。画像ｇ３０ｂは、情報を追加して再表示させた画像例である。画像ｇ３０ｂでは、第１の候補の画像ｇ３１ａに対して画像ｇ３１ｂのように、参加者として「鈴木」が追加され、キーワードとして「課題、欧州」が追加されている。また、画像ｇ３０ｂでは、第２の候補の画像ｇ３２ａに対して画像ｇ３２ｂのように、参加者として「渡辺」が追加され、キーワードとして「米国、中国」が追加されている。
なお、追加される情報の個数は１つ以上であればよい。また、議事録選択部１０９は、追加した情報のみを表示させるようにしてもよい。

利用者は、この追加された情報によって、継続したい会議を１つに絞り込みことができる。なお、参加者である利用者は、画像ｇ３０ａの表示の際、追加してほしい情報を音声によって入力するようにしてもよい。利用者は、例えば、「絞り込めないので、キーワードをもっと表示してください。」等の発話を行うようにしてもよい。会議支援装置１は、この発話に対して音声認識等の処理を行い、画像ｇ３０ｂを表示させるようにしてもよい。

第１変形例によれば、参加者が発話した内容で会議を絞りきれなかった場合に、候補の会議の議事録の情報を追加して提示する。これにより、参加者は、中断されている会議の中から再開したい（継続したい）会議を音声によって選択することができる。

＜第２変形例＞
上述した会議支援装置１では、図１に示す構成例を説明したが、会議支援装置に子機が接続されていてもよい。
この場合は、例えば会議の進行者が会議支援装置を使用し、他の参加者が子機を使用する。

参加者のうち、発話が不自由な人が会議に参加していてもよい。発話可能な参加者は、参加者毎に収音部を装着するか、収音部を備える端末（スマートフォン、タブレット端末、パーソナルコンピュータ等）を用いる。聴覚障がいの参加者は、テキストを入力可能な端末を用いる。会議支援装置は、参加者の発話した音声信号に対して音声認識、テキスト化して、各自の端末にテキストを表示させる。また、会議支援装置は、聴覚障がい者が入力したテキスト情報を各自の端末にテキストを表示させる。

図１２は、本実施形態に係る第２変形例における会議支援システム２の構成例を示すブロック図である。
図１２に示すように、会議支援システム２は、会議支援装置１Ａと、子機３ａ、３ｂ、・・・を備える。なお、子機３ａ、子機３ｂ、・・・のうち１つを特定しない場合は、単に子機３という。
会議支援装置１Ａと子機３とは、有線または無線のネットワークを介して接続されている。

会議支援装置１Ａは、収音部１０１、取得部１０２Ａ、音声認識辞書ＤＢ１０３、音声認識部１０４、テキスト変換部１０５、係り受け解析部１０６Ａ、議事録作成部１０７Ａ、議事録記憶部１０８、議事録選択部１０９、画像生成部１１０Ａ、表示部１１１、操作部１１２、および通信部１１３を備える。なお、会議支援装置１と同様の機能を有する機能部には同じ符号を用いて説明を省略する。

子機３は、収音部３０１、操作部３０２（テキスト入力部）、処理部３０３、表示部３０４、および通信部３０５を備える。収音部３０１、操作部３０２、処理部３０３、表示部３０４（子機表示部）、および通信部３０５は、バス３０６を介して接続されている。

子機３は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。なお、子機３は、音声出力部、モーションセンサー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ；全地球測位システム）等を備えていてもよい。

収音部３０１は、マイクロフォンである。収音部３０１は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を処理部３０３に出力する。

操作部３０２は、利用者の操作を検出し、検出した結果を処理部３０３に出力する。操作部３０２は、例えば表示部３０４上に設けられたタッチパネル式のセンサー、または優先接続または無線接続のキーボード等である。

処理部３０３は、操作部３０２が操作された操作結果に基づいて設定情報を生成し、生成した設定情報を通信部３０５に出力する。ここで、設定情報には、参加者の識別情報が含まれている。処理部３０３は、操作部３０２が操作された操作結果に基づいてログイン指示を生成し、生成したログイン指示を通信部３０５に出力する。ここで、ログイン指示には、参加者の識別情報、子機３の識別情報が含まれている。処理部３０３は、操作部３０２が操作された操作結果に基づくテキスト情報に識別情報を付加して通信部３０５に出力する。処理部３０３は、収音部３０１が出力する音声信号に識別情報を付加して通信部３０５に出力する。処理部３０３は、通信部３０５が出力する画像データを取得し、取得した画像データを表示部３０４に出力する。処理部３０３は、通信部３０５が出力するログインを許可する情報に基づいて、会議支援装置１Ａとの通信を確立する。処理部３０３は、会議支援装置１Ａから発言制限指示（入力制限指示）を受信した場合、テキスト入力に対して制限を行う。また、処理部３０３は、会議支援装置１Ａから発言制限指示を受信した場合、音声入力に対しても制限を行うようにしてもよい。

表示部３０４は、処理部３０３が出力した画像データを表示する。表示部３０４は、例えば液晶表示装置、有機ＥＬ（エレクトロルミネッセンス）表示装置、電子インク表示装置等である。なお、表示部３０４上に表示される画像については後述する。

通信部３０５は、処理部３０３が出力する設定情報を、ネットワークを介して会議支援装置１Ａへ送信する。通信部３０５は、処理部３０３が出力するログイン指示を、ネットワークを介して会議支援装置１Ａへ送信する。通信部３０５は、処理部３０３が出力するテキスト情報または音声信号を、ネットワークを介して会議支援装置１Ａへ送信する。なお、送信するテキスト情報または音声信号には、利用者の識別情報と子機３の識別情報が含まれている。通信部３０５は、会議支援装置１Ａが送信した画像データを受信し、受信した画像データを処理部３０３に出力する。通信部３０５は、会議支援装置１Ａが送信したログインを許可する情報を受信した場合、受信したログインを許可する情報を処理部３０３に出力する。

取得部１０２Ａは、取得部１０２が行う処理に加えて、通信部１１３が出力する子機３が送信した音声信号を取得する。

係り受け解析部１０６Ａは、係り受け解析部１０６が行う処理に加えて、通信部１１３が出力する子機３が送信したテキスト情報を取得する。

議事録作成部１０７Ａは、議事録作成部１０７が行う処理に加えて、通信部１１３が出力する子機３が送信した設定情報を取得する。

画像生成部１１０Ａは、生成した画像データを通信部１１３に出力する。画像データには、会議中に参加者が発話した結果を音声認識等の処理を行った結果（例えば図７の符号ｇ１０２の領域）が含まれている。

通信部１１３は、子機３が送信した設定情報を取得し、取得した設定情報を議事録作成部１０７Aに出力する。通信部１１３は、子機３が送信したログイン指示を受信する。会議支援装置１Ａは、受信したログイン指示に応じて、子機３のログイン手続きを行う。通信部１１３は、子機３から受信した音声信号を取得部１０２Ａに出力する。通信部１１３は、子機３から受信した音声信号を係り受け解析部１０６Ａに出力する。通信部１１３は、画像生成部１１０Ａが出力する画像データを子機３へ送信する。

この構成によって、第２変形例によれば、参加者は、他の参加者の発話内容を子機３の表示部３０４の表示によって理解することができる。この結果、第２変形例によれば、健聴者と聴覚障がい者とが一緒に会議に参加しやすくすることができる。

なお、本発明における会議支援装置１（または１Ａ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより会議支援装置１（または１Ａ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１，１Ａ…会議支援装置、２…会議支援システム、１０１…収音部、１０２，１０２Ａ…取得部、１０３…音声認識辞書ＤＢ、１０４…音声認識部、１０５…テキスト変換部、１０６，１０６Ａ…係り受け解析部、１０７，１０７Ａ…議事録作成部、１０８…議事録記憶部、１０９…議事録選択部、１１０，１１０Ａ…画像生成部、１１１…表示部、１１２…操作部、１１３…通信部、３…子機、３０１…収音部、３０２…操作部、３０３…処理部、３０４…表示部、３０５…通信部

Claims (7)

1. 収音部と、
   前記収音部にて音声入力された発話に対して音声認識用辞書を用いて音声認識を行う音声認識部と、
   前記音声認識されたテキストを議事録として表示する表示部と、
   前記議事録を記憶し、中断している会議の前記議事録に対して中断していることを示す情報を前記議事録に関連付けて記憶する記憶部と、
   中断された会議を再開する場合において、前記中断された会議の候補を表示し、表示した前記会議の候補を、音声発話を音声認識した結果に基づいて継続したい会議の候補を絞り込む選択部と、
   を備える会議支援装置。
2. 前記選択部は、継続したい会議の絞込みを、前記会議の出席者、前記会議に関する時刻、および前記議事録から抽出されたキーワードのうち少なくとも１つで絞込みを行う、請求項１に記載の会議支援装置。
3. 前記音声認識部は、継続する会議で使用された音声認識用辞書を用いる、請求項１または請求項２に記載の会議支援装置。
4. 前記選択部は、継続したい会議の２回目以降の絞り込みの際に、前記会議の出席者を追加して提示、および前記議事録から抽出されたキーワードを追加して提示のうち少なくとも１つを行うようにする、請求項１から請求項３のいずれか１項に記載の会議支援装置。
5. 前記会議支援装置に通信によって接続される子機であって、前記子機が、収音部と子機表示部と操作部とを備え、
   前記音声認識部は、前記子機が送信した音声信号に対して前記音声認識用辞書を用いて音声認識を行い、
   前記収音部が収音した音声信号と、前記子機の収音部が収音した音声新語とに対して音声認識した結果を、前記表示部と前記子機表示部とに表示させる、請求項１から請求項４のいずれか１項に記載の会議支援装置。
6. 会議の議事録を記憶する記憶部を備える会議支援装置における会議支援方法であって、
   収音部が、音声入力された発話を取得する収音ステップと、
   音声認識部が、前記収音ステップにて音声入力された発話に対して音声認識用辞書を用いて音声認識を行う音声認識ステップと、
   議事録作成部が、前記音声認識ステップによって音声認識されたテキストの議事録を作成し、前記会議が中断された場合に中断されたことを示す情報を前記議事録に関連付けて記憶させる議事録作成ステップと、
   選択部が、中断された会議を再開する場合において、前記中断された会議の候補を表示し、表示した前記会議の候補を、音声発話を音声認識した結果に基づいて継続したい会議の候補を絞り込む選択ステップと、
   を含む会議支援方法。
7. 会議の議事録を記憶する記憶部を備える会議支援装置のコンピュータに、
   音声入力された発話を取得する収音ステップと、
   前記収音ステップにて音声入力された発話に対して音声認識用辞書を用いて音声認識を行う音声認識ステップと、
   前記音声認識ステップによって音声認識されたテキストの議事録を作成し、前記会議が中断された場合に中断されたことを示す情報を前記議事録に関連付けて記憶させる議事録作成ステップと、
   中断された会議を再開する場合において、前記中断された会議の候補を表示し、表示した前記会議の候補を、音声発話を音声認識した結果に基づいて継続したい会議の候補を絞り込む選択ステップと、
   を実行させるプログラム。

Images