JP7042141B2 - 会議システム、会議システム制御方法およびプログラム - Google Patents
会議システム、会議システム制御方法およびプログラム Download PDFInfo
- Publication number
- JP7042141B2 JP7042141B2 JP2018069481A JP2018069481A JP7042141B2 JP 7042141 B2 JP7042141 B2 JP 7042141B2 JP 2018069481 A JP2018069481 A JP 2018069481A JP 2018069481 A JP2018069481 A JP 2018069481A JP 7042141 B2 JP7042141 B2 JP 7042141B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- text
- input
- master unit
- slave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Description
上述した(3)によれば、他の参加者が発言やテキスト入力を再開することができる。
本実施形態の会議システムは、2人以上が参加して行われる会議で用いられる。参加者のうち、発話が不自由な人が会議に参加していてもよい。発話可能な参加者は、参加者毎にマイクロフォンを装着するか、マイクロフォンを備える端末(スマートフォン、タブレット端末、パーソナルコンピュータ等)を用いる。聴覚障がいの参加者は、テキストを入力可能な端末を用いる。会議システムは、参加者の発話した音声信号に対して音声認識、テキスト化して、各自の端末にテキストを表示させる。また、会議システムは、聴覚障がい者が入力したテキスト情報を各自の端末にテキストを表示させる。会議システムは、聴覚障がい者がテキスト情報を入力している際、各自の端末にテキストが入力中であることを表示させる。
図1に示すように、会議システム1は、親機2と、子機3a、子機3b、・・・を含んで構成される。なお、子機3a、子機3b、・・・のうち1つを特定しない場合は、単に子機3という。
親機2と子機3とは、有線または無線のネットワーク4を介して接続されている。
親機2には、表示装置21が接続されている。なお、表示装置21は、親機2が備えていてもよい。
まず、子機3について説明する。
子機3は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。なお、子機3は、音声出力部、モーションセンサー、GPS(Global Positioning System;全地球測位システム)等を備えていてもよい。
次に親機2について説明する。
親機2は、例えばノートパソコン等である。
なお、音声認識部222は、音声信号が同時に入力された場合、例えば時分割処理によって収音部(201または301)毎に音声認識を行う。また、音声認識部222は、マイクロフォンがマイクロフォンアレイの場合、音源分離処理、音源定位処理、音源同定処理等、周知の音声認識処理も行う。
または、係り受け解析部224は、テキスト取得部231が出力するテキスト情報を取得する。係り受け解析部224は、テキスト情報に対して、音響モデル・辞書記憶部221を参照して、形態素解析と係り受け解析を行う。
係り受け解析部224は、形態素解析と係り受け解析を行ったテキスト情報と、解析した結果を議事録作成部225に出力する。なお、係り受け解析部224は、テキスト変換部223が出力する音声信号を取得した場合、取得した音声信号も議事録作成部225に出力する。
入力判定部241は、操作部202が出力する操作結果に基づいて、親機2に対して操作部202の使用の有無を判定する。また、入力判定部241は、通信部211が出力するテキスト情報に基づいて、子機3に対して操作部302の使用の有無を判定する。入力判定部241は、例えば、所定時間継続して操作部(202または302)から操作結果が検出されない場合、操作部(202または302)を使用していないと判定するようにしてもよい。また、入力判定部241は、所定時間継続して操作部(202または302)から操作結果が検出された場合、操作部(202または302)を使用していると判定するようにしてもよい。
入力判定部241は、収音部(201または301)を使用すると判定した場合、収音部(201または301)の使用を示す情報をアイコン設定部242に出力する。また、入力判定部241は、操作部(202または302)を使用すると判定した場合、操作部(202または302)の使用を示す情報をアイコン設定部242に出力する。
入力判定部241は、操作部202が操作されているか、通信部211からテキスト情報が入力されている期間、他の発話を禁止するため、発話禁止指示(発言を待機させる情報)を警告生成部244に出力する。なお、発話禁止指示には、操作部202が操作されている場合、親機2を使用している利用者を示す情報が含まれ、通信部211からテキスト情報が入力されている場合、子機3を使用してテキスト入力している利用者を示す情報が含まれる。
次に、親機2が表示装置21上に表示させる画像例を説明する。
図2は、本実施形態に係る親機2が表示装置21上に表示させる画像例を示す図である。
画像g10が、親機2の表示装置21上に表示される画像である。
領域g101は、参加者情報の領域である。符号g102は、参加者に対応したアイコン画像である。符号g103は、参加者の名前である。符号104は、参加者が親機2の操作部202または子機3の操作部302によってテキスト入力を行うことを示すアイコンである。符号g105は、参加者が親機2の収音部201または子機3の収音部301によって発話を行うことを示すアイコンである。符号g106は、参加者が使用するマイクロフォンの番号(または識別情報)である。
符号g201は、ログイン/ログアウトのボタン画像である。
符号g202は、会議システム1の開始/終了のボタン画像である。符号g203は、会議システム1の使用中に点灯する表示である。
符号g204は、議事録記憶部226が記憶する議事録の表示や音声信号の再生を行うボタン画像である。
符号g205は、親機2の利用者が収音部201の使用有無を選択するボタン画像である。
符号g212は、第1の参加者が操作部(202または302)を操作して入力したテキスト情報である。
符号g213は、第1の参加者が操作部(202または302)を操作して入力した絵文字である。
符号g214は、第1の参加者が発話した日時を示す情報である。
符号g215は、第1の参加者の名前である。
符号g222は、第2の参加者が発話した内容を音声認識したテキスト情報である。
符号g223は、操作部(202または302)を操作してテキストを入力したことを示すアイコンである。
符号g224は、収音部(201または301)によって発話を入力したことを示すアイコンである。
符号g241は、第1の参加者が操作部(202または302)を操作して入力したテキスト情報である。なお、このテキスト情報は、入力途中を示している。
次に、子機3の表示部304上に表示される画像例を説明する。
図3は、本実施形態に係る子機3の表示部304に表示される参加者情報の画像例を示す図である。
画像g30は、参加者情報の表示に、子機3の表示部304上に表示される画像である。
領域g302は、子機3の利用者に関する情報を表示する領域である。この領域は、参加者に対応するアイコン、参加者の氏名、参加者が操作部302を使用することを示すアイコンが表示されている例である。
画像g30aは、議事録情報時に、子機3の表示部304上に表示される画像である。
符号g311は、テキストを入力している参加者の子機3に表示されるアラートである。アラートは、例えば『「入力終了により再開OK」を出してください』である。
符号g313は、第1の参加者が入力しているテキスト情報である。
領域g314は、テキスト入力部の領域である。この領域の画像は、テキスト入力が禁止されていないとき、すなわち他の参加者がテキスト入力を行っていないときである。
符号g315は、子機3の利用者である参加者が入力しているテキスト情報である。なお、操作部302は、表示部304上に表示されるソフトウェアキーボードであってもよく、子機3と有線または無線で接続されていてもよい。
画像g40aは、議事録情報時に、第2の参加者の子機3の表示部304上に表示される画像である。
符号g51が示す領域の画像は、収音部(201または301;マイクともいう)によって入力をしている参加者に対するアイコン画像の例である。このように、収音部を用いる利用者の表示は、例えば図2における第3の参加者(吉田さん)に対応する。
次に、親機2の記憶部240が記憶する情報例を説明する。
図7は、本実施形態に係る親機2の記憶部240が記憶する情報例を示す図である。
図7に示すように、記憶部240は、参加者毎に、参加者名にアイコンと使用部(収音部または操作部)を関連付けて記憶する。図7に示す例では、第1の参加者名が「鈴木」であり、アイコンが「アイコン1」であり、使用部が「操作部」の例である。
次に、親機2が行う処理手順例を説明する。
図8は、本実施形態に係る親機2が行う処理手順例を示すフローチャートである。
(ステップS7)テキスト変換部223は、音声認識された結果に対してテキスト変換処理を行う。処理後、テキスト変換部223は、ステップS8の処理に進める。
(ステップS9)議事録作成部225は、係り受け解析部224が出力するテキスト情報に基づいて、議事録を作成する。
なお、図8の処理は一例であり、これに限らない。参加者が会議に途中から参加した場合、ステップS2の設定処理をステップS3~S10の処理中に行ってもよい。
これにより、本実施形態によれば、聴覚障がい者が、子機3でテキスト入力している間に、健聴者の音声発話を禁止しているため、聴覚障がい者は会議の内容についていける。これにより、本実施形態によれば、聴覚障がい者は健聴者と一緒の会議に参加しやすくなる。
例えば、子機3の処理部303は、親機2から受信した警告情報に基づいて、他の参加者がテキスト入力中に、テキスト入力欄(図5、g412)を表示しないようにしてもよい。
また、親機2または子機3は、他の参加者がテキスト入力中に、テキスト入力を受け付けなくてもよく、音声入力を受け付けないようにしてもよい。この場合においても、利用者が入力しても反応がないと不安になるため、親機2や子機3は、発言が禁止されているアラートを表示させることが好ましい。
上述した例では、親機2が、子機3の表示部304上の表示を制御することで、テキスト入力中に他の参加者のテキスト入力を制限する例を説明したが、これに限らない。
例えば、健聴者は子機3を使用せずに収音部のみを使用するようにしてもよい。
図9は、変形例における収音部の構成例を示すブロック図である。図9に示すように、変形例の収音部501は、報知部511と通信部512を備える。
報知部511は、通信部512が出力するアラート情報に基づいて、発言(発話、テキスト入力)が制限されていることを報知する。報知部511は、例えばランプやLED(発光ダイオード)や液晶表示装置等である。
利用者は、この報知によって、発言(発話、テキスト入力)の入力が制限されていることを知ることができる。この結果、利用者が制限されている期間、本実施形態によれば、参加者がテキスト入力中の場合、発言(発話、テキスト入力)を制限することができる。
Claims (7)
- 収音部と、テキスト入力部、表示部を備えた子機と、
前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおいて、
前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御し、発言を待機させる情報を前記子機に送信し、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示する、会議システム。 - 収音部と、テキスト入力部、表示部を備えた子機と、
前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおいて、
前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御し、発言を待機させる情報を前記子機に送信し、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示する、会議システム。 - 前記子機は、テキスト入力が終了した際、テキスト入力を終了したことを示す情報を前記親機に送信し、
前記親機は、前記子機から受信したテキスト入力を終了したことを示す情報に基づいて、前記親機と複数の前記子機に音声による発言の入力を許可する、請求項2に記載の会議システム。 - 収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおける会議システム制御方法であって、
前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
前記親機が、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示するステップと、
を含む会議システム制御方法。 - 収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおける会議システム制御方法であって、
前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
前記親機が、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示するステップと、
を含む会議システム制御方法。 - 収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムの親機のコンピュータに、
テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示するステップと、
を実行させるプログラム。 - 収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムの親機のコンピュータに、
テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示するステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018069481A JP7042141B2 (ja) | 2018-03-30 | 2018-03-30 | 会議システム、会議システム制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018069481A JP7042141B2 (ja) | 2018-03-30 | 2018-03-30 | 会議システム、会議システム制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019179480A JP2019179480A (ja) | 2019-10-17 |
JP7042141B2 true JP7042141B2 (ja) | 2022-03-25 |
Family
ID=68278799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018069481A Active JP7042141B2 (ja) | 2018-03-30 | 2018-03-30 | 会議システム、会議システム制御方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7042141B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7384730B2 (ja) | 2020-03-30 | 2023-11-21 | 本田技研工業株式会社 | 会議支援システム、会議支援方法、およびプログラム |
JP7471979B2 (ja) * | 2020-09-30 | 2024-04-22 | 本田技研工業株式会社 | 会議支援システム |
EP4236271A4 (en) * | 2020-11-19 | 2023-12-20 | Mitsubishi Electric Corporation | TERMINAL, INPUT DISPLAY METHOD AND SYSTEM |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050500A (ja) | 2004-08-09 | 2006-02-16 | Jfe Systems Inc | 会議支援システム |
JP2012257116A (ja) | 2011-06-09 | 2012-12-27 | Hitachi Ltd | テキスト・電話会議システム及びテキスト・電話会議方法 |
-
2018
- 2018-03-30 JP JP2018069481A patent/JP7042141B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050500A (ja) | 2004-08-09 | 2006-02-16 | Jfe Systems Inc | 会議支援システム |
JP2012257116A (ja) | 2011-06-09 | 2012-12-27 | Hitachi Ltd | テキスト・電話会議システム及びテキスト・電話会議方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019179480A (ja) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7042141B2 (ja) | 会議システム、会議システム制御方法およびプログラム | |
US20210065682A1 (en) | Human-computer interaction method, and electronic device and storage medium thereof | |
JP7194507B2 (ja) | 会議システム、会議システム制御方法およびプログラム | |
WO2017215297A1 (zh) | 云端互动系统及其多感知型智能机器人和感知互动方法 | |
WO2017130486A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6725006B2 (ja) | 制御装置および機器制御システム | |
CN109262606B (zh) | 装置、方法、记录介质以及机器人 | |
WO2017141530A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2019239656A1 (ja) | 情報処理装置および情報処理方法 | |
JP2016189534A (ja) | プログラム及びサーバ装置 | |
JP2018174439A (ja) | 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム | |
JP2016099469A (ja) | 音声認識動作機器、音声認識動作機器の制御装置、音声認識動作機器の動作方法、プログラム、および、音声認識動作機器の制御システム | |
WO2016157993A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2021153101A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
CN110462597B (zh) | 信息处理系统以及存储介质 | |
WO2019235013A1 (ja) | 情報処理装置および情報処理方法 | |
WO2020087336A1 (zh) | 一种移动平台的控制方法及控制设备 | |
JP6962849B2 (ja) | 会議支援装置、会議支援制御方法およびプログラム | |
US20220020374A1 (en) | Method, device, and program for customizing and activating a personal virtual assistant system for motor vehicles | |
JP7471979B2 (ja) | 会議支援システム | |
US11935449B2 (en) | Information processing apparatus and information processing method | |
JP2023148706A (ja) | 音声認識結果表示システム、音声認識結果表示装置、音声認識結果表示方法およびプログラム | |
JP7384730B2 (ja) | 会議支援システム、会議支援方法、およびプログラム | |
JP2023133782A (ja) | 音声認識テキスト表示システム、音声認識テキスト表示装置、音声認識テキスト表示方法およびプログラム | |
US20200160833A1 (en) | Information processor, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180607 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7042141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |