JP7042141B2 - 会議システム、会議システム制御方法およびプログラム - Google Patents

会議システム、会議システム制御方法およびプログラム Download PDF

Info

Publication number
JP7042141B2
JP7042141B2 JP2018069481A JP2018069481A JP7042141B2 JP 7042141 B2 JP7042141 B2 JP 7042141B2 JP 2018069481 A JP2018069481 A JP 2018069481A JP 2018069481 A JP2018069481 A JP 2018069481A JP 7042141 B2 JP7042141 B2 JP 7042141B2
Authority
JP
Japan
Prior art keywords
unit
text
input
master unit
slave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018069481A
Other languages
English (en)
Other versions
JP2019179480A (ja
Inventor
卓 川内
一博 中臺
研郎 鵜殿
雅樹 五十嵐
智幸 佐畑
一也 眞浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018069481A priority Critical patent/JP7042141B2/ja
Publication of JP2019179480A publication Critical patent/JP2019179480A/ja
Application granted granted Critical
Publication of JP7042141B2 publication Critical patent/JP7042141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、会議システム、会議システム制御方法およびプログラムに関する。
複数人が会議をする場合において、各発話者の発話内容をテキスト化して、発話内容をテキスト化して各利用者が所有する再生装置に表示することが提案されている(例えば特許文献1参照)。なお、特許文献1に記載の技術では、発話を話題毎に音声メモとして録音し、議事録作成者が、録音された音声メモを再生してテキスト化を行う。そして、特許文献1に記載の技術では、テキスト化したものを用いて議事録を作成する。
特開平08-194492号公報
しかしながら、聴覚障がい者と健聴者とが一緒に会議をする場合、健聴者は音声発話によって会議に参加し、聴覚障がい者は子機からテキスト入力をすることにより会議に参加することになる。特許文献1に記載の技術では、聴覚障がい者が、子機でテキスト入力されている間に、健聴者が音声発話されると、聴覚障がい者は会議の内容についていけない可能性がある。
本発明は、上記の問題点に鑑みてなされたものであって、健聴者と聴覚障がい者とが一緒に会議に参加しやすくすることができる会議システム、会議システム制御方法およびプログラムを提供することを目的とする。
(1)上記目的を達成するため、本発明の一態様に係る会議システム(1)は、収音部(301)と、テキスト入力部(操作部302)、表示部(表示部304)を備えた子機(3、3a、3b、・・・)と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機(2)と、を備えた会議システムにおいて、前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御し、発言を待機させる情報を前記子機に送信し、前記親機は、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示する
(2)上記目的を達成するため、本発明の一態様に係る会議システム(1)は、収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおいて、前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御し、発言を待機させる情報を前記子機に送信し、前記親機は、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示する。
(3)また、本発明の一態様に係る会議システムにおいて、前記子機は、テキスト入力が終了した際、テキスト入力を終了したことを示す情報を前記親機に送信し、前記親機は、前記子機から受信したテキスト入力を終了したことを示す情報に基づいて、前記親機と複数の前記子機に音声による発言の入力を許可するようにしてもよい。
(4)上記目的を達成するため、本発明の一態様に係る会議システム制御方法は、収音部と、テキスト入力部、テキスト表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおける会議システム制御方法であって、前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、前記親機が、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示するステップと、を含む。
(5)上記目的を達成するため、本発明の一態様に係る会議システム制御方法は、収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおける会議システム制御方法であって、前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、前記親機が、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示するステップと、を含む。
(6)上記目的を達成するため、本発明の一態様に係るプログラムは、収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムの親機のコンピュータに、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示するステップと、を実行させる。
(7)上記目的を達成するため、本発明の一態様に係るプログラムは、収音部と、テキスト入力部、テキスト表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムの親機のコンピュータに、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示するステップと、を実行させる。
上述した(1)、(2)、(4)~(7)によれば、健聴者と聴覚障がい者とが一緒に会議に参加しやすくなるという効果を奏する。
上述した(1)、(2)、(4)~(7)によれば、子機でテキスト入力された場合に他の参加者の発話やテキスト入力を停止させることができる。
上述した()によれば、他の参加者が発言やテキスト入力を再開することができる
本実施形態に係る会議システムの構成例を示すブロック図である。 本実施形態に係る親機が表示装置上に表示させる画像例を示す図である。 本実施形態に係る参加者の子機の表示部に表示される参加者情報の画像例を示す図である。 本実施形態に係るテキスト入力を行っている参加者の子機の表示部に表示される議事録情報の画像例を示す図である。 本実施形態に係るテキスト入力を行っていない参加者の子機の表示部に表示される議事録情報の画像例を示す図である。 本実施形態に係る親機の表示装置、または子機の表示部上に表示されるアイコン画像例を示す図である。 本実施形態に係る親機の記憶部が記憶する情報例を示す図である。 本実施形態に係る親機が行う処理手順例を示すフローチャートである。 変形例における収音部の構成例を示すブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。
まず、本実施形態の会議システムが使用される状況例を説明する。
本実施形態の会議システムは、2人以上が参加して行われる会議で用いられる。参加者のうち、発話が不自由な人が会議に参加していてもよい。発話可能な参加者は、参加者毎にマイクロフォンを装着するか、マイクロフォンを備える端末(スマートフォン、タブレット端末、パーソナルコンピュータ等)を用いる。聴覚障がいの参加者は、テキストを入力可能な端末を用いる。会議システムは、参加者の発話した音声信号に対して音声認識、テキスト化して、各自の端末にテキストを表示させる。また、会議システムは、聴覚障がい者が入力したテキスト情報を各自の端末にテキストを表示させる。会議システムは、聴覚障がい者がテキスト情報を入力している際、各自の端末にテキストが入力中であることを表示させる。
図1は、本実施形態に係る会議システム1の構成例を示すブロック図である。
図1に示すように、会議システム1は、親機2と、子機3a、子機3b、・・・を含んで構成される。なお、子機3a、子機3b、・・・のうち1つを特定しない場合は、単に子機3という。
親機2と子機3とは、有線または無線のネットワーク4を介して接続されている。
親機2には、表示装置21が接続されている。なお、表示装置21は、親機2が備えていてもよい。
親機2は、収音部201、操作部202、通信部211、認証部212、音響モデル・辞書記憶部221、音声認識部222、テキスト変換部223、係り受け解析部224、議事録作成部225、議事録記憶部226、テキスト取得部231、記憶部240、入力判定部241、アイコン設定部242、アイコン記憶部243、警告生成部244、および画像出力部245を備える。
子機3は、収音部301、操作部302(テキスト入力部)、処理部303、表示部304、および通信部305を備える。収音部301、操作部302、処理部303、表示部304、および通信部305は、バス306を介して接続されている。
<子機3>
まず、子機3について説明する。
子機3は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。なお、子機3は、音声出力部、モーションセンサー、GPS(Global Positioning System;全地球測位システム)等を備えていてもよい。
収音部301は、マイクロフォンである。収音部301は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を処理部303に出力する。
操作部302は、利用者の操作を検出し、検出した結果を処理部303に出力する。操作部302は、例えば表示部304上に設けられたタッチパネル式のセンサー、または優先接続または無線接続のキーボード等である。
処理部303は、操作部302が操作された操作結果に基づいて設定情報を生成し、生成した設定情報を通信部305に出力する。ここで、設定情報には、参加者の識別情報、収音部の使用の有無を示す情報、操作部の使用の有無を示す情報が含まれている。処理部303は、操作部302が操作された操作結果に基づいてログイン指示を生成し、生成したログイン指示を通信部305に出力する。ここで、ログイン指示には、参加者の識別情報、子機3の識別情報が含まれている。処理部303は、操作部202が操作された操作結果に基づくテキスト情報に識別情報を付加して通信部305に出力する。処理部303は、収音部301が出力する音声信号に識別情報を付加して通信部305に出力する。処理部303は、通信部305が出力する画像データを取得し、取得した画像データを表示部304に出力する。処理部303は、通信部305が出力するログインを許可する情報に基づいて、親機2との通信を確立する。
表示部304は、処理部303が出力した画像データを表示する。表示部304は、例えば液晶表示装置、有機EL(エレクトロルミネッセンス)表示装置、電子インク表示装置等である。なお、表示部304上に表示される画像については後述する。
通信部305は、処理部303が出力する設定情報を、ネットワーク4を介して親機2へ送信する。通信部305は、処理部303が出力するログイン指示を、ネットワーク4を介して親機2へ送信する。通信部305は、処理部303が出力するテキスト情報または音声信号を、ネットワーク4を介して親機2へ送信する。なお、送信するテキスト情報または音声信号には、利用者の識別情報と子機3の識別情報が含まれている。通信部305は、親機2が送信した画像データを受信し、受信した画像データを処理部303に出力する。通信部305は、親機2が送信したログインを許可する情報を受信した場合、受信したログインを許可する情報を処理部303に出力する。
<親機2>
次に親機2について説明する。
親機2は、例えばノートパソコン等である。
収音部201は、マイクロフォンである。収音部201は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を音声認識部222に出力する。
操作部202は、利用者の操作を検出し、検出した結果をテキスト取得部231と入力判定部241に出力する。操作部202は、例えば表示装置21上に設けられたタッチパネル式のセンサー、またはキーボードである。操作部202は、ログイン処理の際、操作を検出した結果を、認証部212に出力する。
通信部211は、子機3が送信した音声信号を受信し、受信した音声信号を音声認識部222に出力する。通信部211は、子機3が送信したテキスト情報を受信し、受信したテキスト情報を係り受け解析部224と入力判定部241に出力する。通信部211は、子機3が送信したログイン指示を受信し、受信したログイン指示を認証部212に出力する。通信部211は、画像出力部245が出力する画像データを、ネットワーク4を介して子機3へ送信する。通信部211は、認証部212が出力するログインを許可する情報を、ネットワーク4を介して子機3へ送信する。
認証部212は、通信部211が出力するログイン指示に含まれる参加者の識別情報と子機3の識別情報に基づいて、ログインを許可するか否かを判定する。認証部212は、ログインを許可する場合、ログインを許可する情報を通信部211に出力する。認証部212は、操作部202が操作された結果に基づいて、親機2の利用者のログインを許可するか否かを判定する。認証部212は、ログインを許可する場合、各機能部にログインを許可する情報を出力し、各機能部の動作を許可する。なお、各機能部とは、通信部211、認証部212、音響モデル・辞書記憶部221、音声認識部222、テキスト変換部223、係り受け解析部224、議事録作成部225、議事録記憶部226、テキスト取得部231、記憶部240、入力判定部241、アイコン設定部242、アイコン記憶部243、警告生成部244、および画像出力部245である。
音響モデル・辞書記憶部221は、例えば音響モデル、言語モデル、単語辞書等を格納している。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。なお、親機2は、音響モデル・辞書記憶部221に格納されていない単語等を格納して更新するようにしてもよい。
音声認識部222は、収音部201が出力する音声信号、または通信部211が出力する音声信号を取得する。音声認識部222は、音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部222は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部222は、検出した発話区間の音声信号に対して、音響モデル・辞書記憶部221を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部222は、例えば特開2015-64554号公報に開示されている手法等を用いて音声認識を行う。音声認識部222は、認識した認識結果と音声信号をテキスト変換部223に出力する。なお、音声認識部222は、認識結果と音声信号とを、例えば1文毎、または発話句間毎、または発話毎に対応つけて出力する。
なお、音声認識部222は、音声信号が同時に入力された場合、例えば時分割処理によって収音部(201または301)毎に音声認識を行う。また、音声認識部222は、マイクロフォンがマイクロフォンアレイの場合、音源分離処理、音源定位処理、音源同定処理等、周知の音声認識処理も行う。
テキスト変換部223は、音声認識部222が出力する認識結果に対して、音響モデル・辞書記憶部221を参照して、テキストに変換する。なお、テキスト情報は、少なくとも1文字の情報を含む。テキスト変換部223は、変換したテキスト情報と、取得した音声信号を係り受け解析部224に出力する。なお、テキスト変換部223は、発話情報を認識した結果から「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除してテキストに変換するようにしてもよい。
係り受け解析部224は、テキスト変換部223が出力したテキスト情報または通信部211が出力したテキスト情報に対して、音響モデル・辞書記憶部221を参照して、形態素解析と係り受け解析を行う。なお、係り受け解析には、例えば、Shift-reduce法や全域木の手法やチャンク同定の段階適用手法においてSVM(Support Vector Machines)を用いる。
または、係り受け解析部224は、テキスト取得部231が出力するテキスト情報を取得する。係り受け解析部224は、テキスト情報に対して、音響モデル・辞書記憶部221を参照して、形態素解析と係り受け解析を行う。
係り受け解析部224は、形態素解析と係り受け解析を行ったテキスト情報と、解析した結果を議事録作成部225に出力する。なお、係り受け解析部224は、テキスト変換部223が出力する音声信号を取得した場合、取得した音声信号も議事録作成部225に出力する。
議事録作成部225は、係り受け解析部224が出力したテキスト情報に基づいて、発話者毎に分けて、議事録を作成する。議事録作成部225は、作成した議事録と対応する音声信号を議事録記憶部226に記憶させる。また、議事録作成部225は、作成した議事録を画像出力部245に出力する。なお、議事録作成部225は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して議事録を作成するようにしてもよい。
議事録記憶部226は、議事録と音声信号を対応つけて記憶する。
テキスト取得部231は、操作部202が出力する操作結果を取得し、取得した結果に基づいてテキスト情報を生成する。テキスト取得部231は、生成したテキスト情報をテキスト変換部223に出力する。
記憶部240は、参加者または参加予定者の設定情報を記憶する。設定情報には、参加者名、参加者を識別するための識別子、参加者に対応付けられたアイコン、参加者の収音部(201または301)の使用の有無を示す情報、参加者の操作部(202または302)の使用の有無を示す情報等が含まれている。
入力判定部241は、収音部201が出力する音声信号に基づいて、親機2に対して収音部201の使用の有無を判定する。また、入力判定部241は、通信部211が出力する音声信号に基づいて、子機3に対して収音部301の使用の有無を判定する。入力判定部241は、例えば、音声信号の大きさが所定時間継続して所定の閾値未満の場合、音声信号が入力されていないと判定して収音部(201または301)を使用していないと判定するようにしてもよい。また、入力判定部241は、音声信号の大きさが所定時間継続して所定の閾値以上の場合、音声信号が入力されていると判定して収音部(201または301)を使用していると判定するようにしてもよい。
入力判定部241は、操作部202が出力する操作結果に基づいて、親機2に対して操作部202の使用の有無を判定する。また、入力判定部241は、通信部211が出力するテキスト情報に基づいて、子機3に対して操作部302の使用の有無を判定する。入力判定部241は、例えば、所定時間継続して操作部(202または302)から操作結果が検出されない場合、操作部(202または302)を使用していないと判定するようにしてもよい。また、入力判定部241は、所定時間継続して操作部(202または302)から操作結果が検出された場合、操作部(202または302)を使用していると判定するようにしてもよい。
入力判定部241は、収音部(201または301)を使用すると判定した場合、収音部(201または301)の使用を示す情報をアイコン設定部242に出力する。また、入力判定部241は、操作部(202または302)を使用すると判定した場合、操作部(202または302)の使用を示す情報をアイコン設定部242に出力する。
入力判定部241は、操作部202が操作されているか、通信部211からテキスト情報が入力されている期間、他の発話を禁止するため、発話禁止指示(発言を待機させる情報)を警告生成部244に出力する。なお、発話禁止指示には、操作部202が操作されている場合、親機2を使用している利用者を示す情報が含まれ、通信部211からテキスト情報が入力されている場合、子機3を使用してテキスト入力している利用者を示す情報が含まれる。
アイコン設定部242は、参加者に対応するアイコンの画像をアイコン記憶部243から読み出し、読み出したアイコンの画像を画像出力部245に出力する。なお、参加者は、会議システムに初めてログインして使用を開始する際、記憶されているアイコンの中から自分に対応させるアイコンの画像を選択する。また、アイコン設定部242は、入力判定部241が出力する収音部(201または301)の使用を示す情報に基づいて、収音部(201または301)の使用を示すアイコンの画像を画像出力部245に出力する。アイコン設定部242は、入力判定部241が出力する操作部(202または302)の使用を示す情報に基づいて、操作部(202または302)の使用を示すアイコンの画像を画像出力部245に出力する。なお、アイコンについては後述する。
アイコン記憶部243は、参加者に対応するアイコンを記憶する。アイコン記憶部243は、収音部(201または301)の使用の有無を示すアイコンを記憶する。アイコン記憶部243は、操作部(202または302)の使用の有無を示すアイコンを記憶する。
警告生成部244は、入力判定部241が出力する発話禁止指示に基づいて、警告情報(発言を待機させる情報)を生成する。なお、警告情報には、テキストを入力している利用者の情報が含まれる。警告生成部244は、生成した警告情報を画像出力部245に出力する。
画像出力部245は、議事録作成部225が出力する議事録情報と、警告生成部244が出力する警告情報を取得する。画像出力部245は、議事録情報に基づいて画像データを生成し、生成した画像データを通信部211と表示装置21に出力する。画像出力部245は、警告生成部244から警告情報を取得した場合、取得した警告情報に基づいて、表示装置21上にアラートを表示させる。画像出力部245は、警告生成部244から警告情報を取得した場合、取得した警告情報を、通信部211を介して子機3へ送信する。
表示装置21は、例えば液晶表示装置、有機EL表示装置、電子インク表示装置等である。表示装置21は、画像出力部が出力する画像データを表示する。なお、表示装置21は、親機2が備えていてもよい。
<親機2の表示画像>
次に、親機2が表示装置21上に表示させる画像例を説明する。
図2は、本実施形態に係る親機2が表示装置21上に表示させる画像例を示す図である。
画像g10が、親機2の表示装置21上に表示される画像である。
領域g100の画像は、参加者情報編集を行う領域である。
領域g101は、参加者情報の領域である。符号g102は、参加者に対応したアイコン画像である。符号g103は、参加者の名前である。符号104は、参加者が親機2の操作部202または子機3の操作部302によってテキスト入力を行うことを示すアイコンである。符号g105は、参加者が親機2の収音部201または子機3の収音部301によって発話を行うことを示すアイコンである。符号g106は、参加者が使用するマイクロフォンの番号(または識別情報)である。
領域g200は、議事録を表示する領域である。なお、図2では、ログイン後の状態を示している。
符号g201は、ログイン/ログアウトのボタン画像である。
符号g202は、会議システム1の開始/終了のボタン画像である。符号g203は、会議システム1の使用中に点灯する表示である。
符号g204は、議事録記憶部226が記憶する議事録の表示や音声信号の再生を行うボタン画像である。
符号g205は、親機2の利用者が収音部201の使用有無を選択するボタン画像である。
符号g211は、参加者のうち、発話した人に対応するアイコン画像である。
符号g212は、第1の参加者が操作部(202または302)を操作して入力したテキスト情報である。
符号g213は、第1の参加者が操作部(202または302)を操作して入力した絵文字である。
符号g214は、第1の参加者が発話した日時を示す情報である。
符号g215は、第1の参加者の名前である。
符号g221は、第2の参加者が操作部(202または302)を操作して入力したテキスト情報である。
符号g222は、第2の参加者が発話した内容を音声認識したテキスト情報である。
符号g223は、操作部(202または302)を操作してテキストを入力したことを示すアイコンである。
符号g224は、収音部(201または301)によって発話を入力したことを示すアイコンである。
符号g231は、第3の参加者が発話した内容を音声認識したテキスト情報である。
符号g241は、第1の参加者が操作部(202または302)を操作して入力したテキスト情報である。なお、このテキスト情報は、入力途中を示している。
符号g251は、第1の参加者がテキスト入力中であるため、他の参加者の発話を禁止するためのアラートの一例である。アラートは、例えば『鈴木さん(注;第1の参加者)がテキスト入力中 しばらくお待ちください』である。このように、テキスト入力中に他の参加者の発話を禁止することで、本実施形態によれば、他の参加者の発言を待機させることができる。
符号g261は、第1の参加者である鈴木さんが親機2を使用している場合、表示装置21上に表示されるアラートの一例である。アラートは、例えば『鈴木さん(第1の参加者);「入力終了により再開OK」を出してください』である。なお、参加者が、子機3によってテキスト入力を行っている場合、その参加者が使用している子機3の表示部304上に符号g261のアラートが表示される。この場合、親機2は、通信部211が受信した情報に基づいて、どの子機3でテキスト入力が行われているのかを判定し、判定した結果に基づいて、警告情報を該当する子機3へ送信する。子機3は、受信した警告情報に基づいて、符号g261のアラートを表示させる。
なお、図2に示した画像は一例であり、表示装置21上に表示される画像はこれに限らない。例えば、親機2を使用する参加者が、操作部202を用いてテキスト入力を行う場合、画像g10に、さらに「再開OK」ボタン画像(図4、g310)を表示させる。テキスト入力を終了したとき、参加者は、「再開OK」ボタン画像を押すことで、他の参加者のテキスト入力を許可するように指示する。これにより、入力判定部241は、発話禁止指示の出力を停止する。
<子機3の表示画面>
次に、子機3の表示部304上に表示される画像例を説明する。
図3は、本実施形態に係る子機3の表示部304に表示される参加者情報の画像例を示す図である。
画像g30は、参加者情報の表示に、子機3の表示部304上に表示される画像である。
領域g301は、会議のディスカッションテーマを表示する領域である。
領域g302は、子機3の利用者に関する情報を表示する領域である。この領域は、参加者に対応するアイコン、参加者の氏名、参加者が操作部302を使用することを示すアイコンが表示されている例である。
領域g303は、状態を示す領域である。図3に示す例では、参加者がテキストを入力中の例である。
領域g304は、参加者情報を表示する領域である。この領域には、各参加者に対応するアイコン、各参加者が入力に使用するのが収音部(201または301)であることを示すアイコン、操作部(202または302)であることを示すアイコン、各参加者の名前が表示される。
領域g305は、操作ボタンの画像等を表示する領域である。操作ボタンとは、例えば、1つ前の画面に戻るボタン、ホーム画面に戻るボタン等である。
図4は、本実施形態に係るテキスト入力を行っている参加者の子機3の表示部304に表示される議事録情報の画像例を示す図である。なお、図4は、子機3の利用者である参加者がテキスト入力中に表示される画面である。
画像g30aは、議事録情報時に、子機3の表示部304上に表示される画像である。
符号g310は、テキスト入力が終了した後に、他の参加者の発言の再開を許可する再開OKのボタン画像である。
符号g311は、テキストを入力している参加者の子機3に表示されるアラートである。アラートは、例えば『「入力終了により再開OK」を出してください』である。
符号g312は、第2の参加者が発話した内容を音声認識したテキスト情報である。
符号g313は、第1の参加者が入力しているテキスト情報である。
領域g314は、テキスト入力部の領域である。この領域の画像は、テキスト入力が禁止されていないとき、すなわち他の参加者がテキスト入力を行っていないときである。
符号g315は、子機3の利用者である参加者が入力しているテキスト情報である。なお、操作部302は、表示部304上に表示されるソフトウェアキーボードであってもよく、子機3と有線または無線で接続されていてもよい。
図5は、本実施形態に係るテキスト入力を行っていない参加者の子機3の表示部304に表示される議事録情報の画像例を示す図である。なお、図5は、第1の参加者(鈴木さん)がテキスト入力中に第2の参加者(藤沢さん)の表示される画面である。
画像g40aは、議事録情報時に、第2の参加者の子機3の表示部304上に表示される画像である。
符号g411は、第1の参加者(鈴木さん)がテキストを入力しているとき、第2の参加者(藤沢さん)の子機3に表示されるアラートである。アラートは、例えば『鈴木さんがテキスト入力中 発言をしばらくお待ちください』である。なお、このアラートは、例えば、子機3の利用者に関する情報を表示する領域(g302、図3)に表示される。なお、図5の例では、この参加者が収音部301と操作部302とによって入力することを示すアイコン画像が、子機3の利用者に関する情報を表示する領域に表示されている。
符号g412は、第1の参加者(鈴木さん)がテキストを入力しているため、この子機3の利用者に対してテキスト入力を禁止するアラートの画像である。アラートは、『鈴木さんがテキスト入力中 しばらくお待ちください』である。このアラートは、例えばテキスト入力部の領域に表示される。
なお、図3~図5に示した画像は一例であり、表示部304上に表示される画像はこれに限らない。
図6は、本実施形態に係る親機2の表示装置21、または子機3の表示部304上に表示されるアイコン画像例を示す図である。
符号g51が示す領域の画像は、収音部(201または301;マイクともいう)によって入力をしている参加者に対するアイコン画像の例である。このように、収音部を用いる利用者の表示は、例えば図2における第3の参加者(吉田さん)に対応する。
符号g52が示す領域の画像は、操作部(202または302;子機ともいう)によって入力をしている参加者に対するアイコン画像の例である。このように、操作部を用いる利用者の表示は、例えば図2における第1の参加者(鈴木さん)に対応する。
符号g53が示す領域の画像は、収音部(201または301;マイクともいう)と操作部(202または302)によって入力をしている参加者に対するアイコン画像の例である。このように、収音部と操作部を用いる利用者の表示は、例えば図2における第2の参加者(藤沢さん)に対応する。
<記憶部240記憶する情報>
次に、親機2の記憶部240が記憶する情報例を説明する。
図7は、本実施形態に係る親機2の記憶部240が記憶する情報例を示す図である。
図7に示すように、記憶部240は、参加者毎に、参加者名にアイコンと使用部(収音部または操作部)を関連付けて記憶する。図7に示す例では、第1の参加者名が「鈴木」であり、アイコンが「アイコン1」であり、使用部が「操作部」の例である。
<親機2が行う処理>
次に、親機2が行う処理手順例を説明する。
図8は、本実施形態に係る親機2が行う処理手順例を示すフローチャートである。
(ステップS1)利用者は、操作部202を操作して、ログイン手続きを行う。例えば、利用者は、利用者を識別する識別情報(利用者ID)とパスワードを入力する。続けて、認証部212は、操作部202が操作された操作結果に基づいて、ログイン手続きを行う。
(ステップS2)利用者は、操作部202を操作して、アイコンの選択や名前の入力等の設定を行う。なお、利用者は、操作部202を操作して、入力を収音部201によって行うか操作部202によって行うかを設定してもよい。または、利用者は、発話によって、入力を収音部201によって行うか操作部202によって行うかを設定してもよい。入力判定部241は、設定された情報を記憶部240に記憶させる。なお、入力判定部241は、他の参加者の設定情報を通信部211を介して取得し、取得した他の参加者の設定情報を記憶部240に記憶させる。
(ステップS3)入力判定部241は、親機2の操作部202が出力する操作結果、または通信部211が出力するテキスト情報に基づいて、テキスト入力中であるか否かを判定する。入力判定部241は、テキスト入力中であると判定した場合(ステップS3;YES)、ステップS4の処理に進め、テキスト入力中ではないと判定した場合(ステップS3;NO)、ステップS6の処理に進める。
(ステップS4)入力判定部241は、テキスト入力が終了したか否かを判定する。具体的には、入力判定部241は、「再開OK」ボタン画像(図4、g310)が押されたことを検出したことで、テキスト入力が終了したと判定する。入力判定部241は、テキスト入力が終了したと判定した場合(ステップS4;YES)、ステップS8の処理に進め、テキスト入力が終了していないと判定した場合(ステップS4;NO)、ステップS5の処理に進める。
(ステップS5)入力判定部241は、発話禁止指示の出力を継続する。続けて、警告生成部244は、警告情報の出力を継続する。これにより、親機2は、表示装置21にアラートを報知させる。また、子機3は、表示部304上にアラートを報知させる。処理後、入力判定部241は、ステップS3の処理に戻す。
(ステップS6)音声認識部222は、収音部201や収音部301によって収音された音声信号に対して音声認識処理を行う。処理後、音声認識部222は、ステップS7の処理に進める。
(ステップS7)テキスト変換部223は、音声認識された結果に対してテキスト変換処理を行う。処理後、テキスト変換部223は、ステップS8の処理に進める。
(ステップS8)係り受け解析部224は、テキスト変換されたテキスト情報に対して、発話者毎に係り受け解析と形態素解析処理を行う。処理後、係り受け解析部224は、ステップS9の処理に進める。
(ステップS9)議事録作成部225は、係り受け解析部224が出力するテキスト情報に基づいて、議事録を作成する。
(ステップS10)通信部211は、作成された議事録データを子機3へ送信する。このように、親機2は、収音部(201または301)によって入力された音声信号を音声認識したテキスト情報または操作部(202または302)によって入力されたテキスト情報に基づいて作成した議事録を、参加者が所持する子機3へ送信することで、議事録を共有することができる。
親機2は、以下、ステップS3~S10の処理を繰り返す。
なお、図8の処理は一例であり、これに限らない。参加者が会議に途中から参加した場合、ステップS2の設定処理をステップS3~S10の処理中に行ってもよい。
以上、本実施形態では、子機3または親機2を使用する参加者がテキスト入力を行っている期間、他の参加者の発言(発話、テキスト入力)を禁止するようにした。
これにより、本実施形態によれば、聴覚障がい者が、子機3でテキスト入力している間に、健聴者の音声発話を禁止しているため、聴覚障がい者は会議の内容についていける。これにより、本実施形態によれば、聴覚障がい者は健聴者と一緒の会議に参加しやすくなる。
なお、上述した例では、テキスト入力中に、他の参加者の発言(発話、テキスト入力)を待機させるために、アラートを表示させる例を説明したが、これに限らない。
例えば、子機3の処理部303は、親機2から受信した警告情報に基づいて、他の参加者がテキスト入力中に、テキスト入力欄(図5、g412)を表示しないようにしてもよい。
また、親機2または子機3は、他の参加者がテキスト入力中に、テキスト入力を受け付けなくてもよく、音声入力を受け付けないようにしてもよい。この場合においても、利用者が入力しても反応がないと不安になるため、親機2や子機3は、発言が禁止されているアラートを表示させることが好ましい。
<変形例>
上述した例では、親機2が、子機3の表示部304上の表示を制御することで、テキスト入力中に他の参加者のテキスト入力を制限する例を説明したが、これに限らない。
例えば、健聴者は子機3を使用せずに収音部のみを使用するようにしてもよい。
図9は、変形例における収音部の構成例を示すブロック図である。図9に示すように、変形例の収音部501は、報知部511と通信部512を備える。
通信部512は、親機2から警告情報を受信した場合、受信した警告情報に基づいてアラート情報を生成し、生成したアラート情報を報知部511に出力する。
報知部511は、通信部512が出力するアラート情報に基づいて、発言(発話、テキスト入力)が制限されていることを報知する。報知部511は、例えばランプやLED(発光ダイオード)や液晶表示装置等である。
利用者は、この報知によって、発言(発話、テキスト入力)の入力が制限されていることを知ることができる。この結果、利用者が制限されている期間、本実施形態によれば、参加者がテキスト入力中の場合、発言(発話、テキスト入力)を制限することができる。
変形例では、収音部が通信部と報知部を備える例を説明したが、操作部302(図1)が、通信部と報知部を備えるようにしてもよい。この場合、操作部302を装着している参加者は、操作部302の報知部が報知する情報に基づいて、発言(発話、テキスト入力)が制限されていることを知ることができる。
なお、本発明における親機2または子機3の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより親機2または子機3が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
1…会議システム、2…親機、201…収音部、202…操作部、211…通信部、212…認証部、221…音響モデル・辞書記憶部、222…音声認識部、223…テキスト変換部、224…係り受け解析部、225…議事録作成部、226…議事録記憶部、231…テキスト取得部、240…記憶部、241…入力判定部、242…アイコン設定部、243…アイコン記憶部、244…警告生成部、245…画像出力部、3…子機、301…収音部、302…操作部、303…処理部、304…表示部、305…通信部

Claims (7)

  1. 収音部と、テキスト入力部、表示部を備えた子機と、
    前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおいて、
    前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御し、発言を待機させる情報を前記子機に送信し、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示する、会議システム。
  2. 収音部と、テキスト入力部、表示部を備えた子機と、
    前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおいて、
    前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御し、発言を待機させる情報を前記子機に送信し、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示する、会議システム。
  3. 前記子機は、テキスト入力が終了した際、テキスト入力を終了したことを示す情報を前記親機に送信し、
    前記親機は、前記子機から受信したテキスト入力を終了したことを示す情報に基づいて、前記親機と複数の前記子機に音声による発言の入力を許可する、請求項に記載の会議システム。
  4. 収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおける会議システム制御方法であって、
    前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
    前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
    前記親機が、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示するステップと、
    を含む会議システム制御方法。
  5. 収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおける会議システム制御方法であって、
    前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
    前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
    前記親機が、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示するステップと、
    を含む会議システム制御方法。
  6. 収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムの親機のコンピュータに、
    テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
    テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
    前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示するステップと、
    を実行させるプログラム。
  7. 収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムの親機のコンピュータに、
    テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
    テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
    前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示するステップと、
    を実行させるプログラム。
JP2018069481A 2018-03-30 2018-03-30 会議システム、会議システム制御方法およびプログラム Active JP7042141B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018069481A JP7042141B2 (ja) 2018-03-30 2018-03-30 会議システム、会議システム制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018069481A JP7042141B2 (ja) 2018-03-30 2018-03-30 会議システム、会議システム制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019179480A JP2019179480A (ja) 2019-10-17
JP7042141B2 true JP7042141B2 (ja) 2022-03-25

Family

ID=68278799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018069481A Active JP7042141B2 (ja) 2018-03-30 2018-03-30 会議システム、会議システム制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7042141B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384730B2 (ja) 2020-03-30 2023-11-21 本田技研工業株式会社 会議支援システム、会議支援方法、およびプログラム
JP7471979B2 (ja) * 2020-09-30 2024-04-22 本田技研工業株式会社 会議支援システム
EP4236271A4 (en) * 2020-11-19 2023-12-20 Mitsubishi Electric Corporation TERMINAL, INPUT DISPLAY METHOD AND SYSTEM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050500A (ja) 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
JP2012257116A (ja) 2011-06-09 2012-12-27 Hitachi Ltd テキスト・電話会議システム及びテキスト・電話会議方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050500A (ja) 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
JP2012257116A (ja) 2011-06-09 2012-12-27 Hitachi Ltd テキスト・電話会議システム及びテキスト・電話会議方法

Also Published As

Publication number Publication date
JP2019179480A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
JP7042141B2 (ja) 会議システム、会議システム制御方法およびプログラム
US20210065682A1 (en) Human-computer interaction method, and electronic device and storage medium thereof
JP7194507B2 (ja) 会議システム、会議システム制御方法およびプログラム
WO2017215297A1 (zh) 云端互动系统及其多感知型智能机器人和感知互动方法
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6725006B2 (ja) 制御装置および機器制御システム
CN109262606B (zh) 装置、方法、记录介质以及机器人
WO2017141530A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019239656A1 (ja) 情報処理装置および情報処理方法
JP2016189534A (ja) プログラム及びサーバ装置
JP2018174439A (ja) 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム
JP2016099469A (ja) 音声認識動作機器、音声認識動作機器の制御装置、音声認識動作機器の動作方法、プログラム、および、音声認識動作機器の制御システム
WO2016157993A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2021153101A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN110462597B (zh) 信息处理系统以及存储介质
WO2019235013A1 (ja) 情報処理装置および情報処理方法
WO2020087336A1 (zh) 一种移动平台的控制方法及控制设备
JP6962849B2 (ja) 会議支援装置、会議支援制御方法およびプログラム
US20220020374A1 (en) Method, device, and program for customizing and activating a personal virtual assistant system for motor vehicles
JP7471979B2 (ja) 会議支援システム
US11935449B2 (en) Information processing apparatus and information processing method
JP2023148706A (ja) 音声認識結果表示システム、音声認識結果表示装置、音声認識結果表示方法およびプログラム
JP7384730B2 (ja) 会議支援システム、会議支援方法、およびプログラム
JP2023133782A (ja) 音声認識テキスト表示システム、音声認識テキスト表示装置、音声認識テキスト表示方法およびプログラム
US20200160833A1 (en) Information processor, information processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7042141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350