JP7098561B2 - 配信システム、配信システムの制御方法、プログラム - Google Patents
配信システム、配信システムの制御方法、プログラム Download PDFInfo
- Publication number
- JP7098561B2 JP7098561B2 JP2019053606A JP2019053606A JP7098561B2 JP 7098561 B2 JP7098561 B2 JP 7098561B2 JP 2019053606 A JP2019053606 A JP 2019053606A JP 2019053606 A JP2019053606 A JP 2019053606A JP 7098561 B2 JP7098561 B2 JP 7098561B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- utterance
- voice
- conference
- participant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 67
- 230000010365 information processing Effects 0.000 claims description 126
- 238000012545 processing Methods 0.000 claims description 68
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 53
- 238000006243 chemical reaction Methods 0.000 description 17
- 230000007704 transition Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Document Processing Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
会議における1または複数の参加者の発話を音声として取得する音声取得手段と、
会議ごとに異なる、当該会議を特定するための識別情報を表示する表示手段と、
を有するスマートスピーカと、
前記識別情報を用いて配信先に登録された1または複数の情報処理端末に対して、前記識別情報に対応する会議における前記音声が文字列に変換された発話情報を配信する配信手段と、
を有する、
ことを特徴とする配信システムである。
め、スマートスピーカが音声を発することによる会議の妨害が抑制できる。
が配信先に登録されると、当該情報処理端末に対して、当該情報処理端末が登録される以前の前記発話情報を配信してもよい。これによれば、会議が開始した後に、配信先に登録された情報処理端末に対しても、当該会議の開始時からの発話情報を配信することができるため、共有者は、情報処理端末を用いて会議の流れを後から確認することができる。
実施形態1では、配信システムが、スマートスピーカと外部サーバとを有する。ここで、スマートスピーカは、会議における1または複数の参加者の発話を音声として取得し、さらに、会議ごとに異なる、当該会議を特定するための識別情報を表示する。また、外部サーバは、識別情報を用いて登録された1または複数の情報処理端末に対して、識別情報
に対応する会議における音声が文字列に変換された発話情報を配信する。これにより、配信システムは、会議において適切な情報処理端末(共有者)に、発話の内容を文字列で示す発話情報を共有(配信)することができる。
実施形態1に係る配信システム1の構成について図1を用いて説明する。配信システム1は、スマートスピーカ100と外部サーバ200と情報処理端末300を有する。スマートスピーカ100と外部サーバ200と情報処理端末300とは、ネットワーク10を介して互いに通信可能である。なお、配信システム1において、1つの外部サーバ200に対して複数のスマートスピーカ100が存在することができ、1つのスマートスピーカ100に対して複数の情報処理端末300が存在することができる。
以下にて、スマートスピーカ100の構成の詳細について説明する。スマートスピーカ100は、制御部101、記憶部102、音声取得部103、音声出力部104、表示部105、センサ部106、通信部107を有する。また、図2は、スマートスピーカ100の外観を示す。
記憶部102は、制御部101が動作するためのプログラムを記憶する。
外部サーバ200は、配信サーバ201、アプリケーションサーバ202、データベースサーバ203、音声処理サーバ204、WEBサーバ205を有する。
図3(A)では、2名の参加者の発話が議事メモとして情報処理端末300の表示部に表示されている例を示している。情報処理端末300は、参加者の発話ごとに、時系列に、発話者を示す情報と発話時刻とを発話内容を示す文字列(発話情報)とともに表示する。例えば、表示領域401には、スマートスピーカ100自身が発した発話情報が表示されている。また、表示領域402には、参加者αが発した発話情報が表示され、表示領域403には、参加者βが発した発話情報が表示されている。
以下にて、スマートスピーカ100の表示部105が行う識別情報の表示について詳細に説明する。スマートスピーカ100の制御部101は、音声処理サーバ204から取得した会議情報に基づき、識別情報を表示部105に表示する。ここで、会議情報は、スマートスピーカ100が設置された会場における会議を一意に示す情報である。また、識別情報は、情報処理端末300に対して会議情報を伝えるために表示される情報であり、会議情報に応じた情報である。
発光する発光素子を先頭として、時計回りに数値が並ぶように予め決定されていれば、図5(B)が示す例では、会議情報が3001100000である識別情報が表示されている。
以下では、情報処理端末300の識別情報(会議情報)を用いた発話情報の配信先への登録について説明する。情報処理端末300は、スマートスピーカ100に表示される識別情報に応じた会議情報を配信サーバ201に送信する。配信サーバ201は、送信された会議情報と当該情報処理端末300とを対応付けて、データベースサーバ203に記憶させることによって配信先の登録を行う。なお、配信サーバ201が管理するWEBサーバのURLによって会議情報が示されている場合には、当該URLが示すWEBページに情報処理端末300がアクセスすることによって、配信先の登録が行われてもよい。
0から送信された会議情報と、情報処理端末300が送信した会議情報とが同一であれば、その情報処理端末300を発話情報の配信先に登録する。
続いて、配信システム1における発話情報の配信および議事メモの表示を行う全体処理のフローについて、図4が示すフローチャートを用いて説明する。なお、本フローチャートの開始時において、会議は開始されていないものとする。また、外部サーバ200の各サーバは、電源が入っている状態である。また、本フローチャートでは、会議MTが開始され、会議MTは、一意に、会議情報MTInfoと識別情報TMPInfoと対応するものとする。なお、MT、MTInfo、TMPInfoのそれぞれは、符号であり、本フローチャートにおける会議、会議情報、識別情報を特定するために用いる。
続いて、上述したステップS1001の処理である会議開始処理の詳細について、図6が示すフローチャートを用いて説明する。なお、本フローチャートにおいて、ステップS1101,S1102,S1104,S1105,S1108~S1111,S1118の処理はスマートスピーカ100が実行する処理であり、その他の処理は音声処理サーバ204が実行する処理である。
音声の発声元である発話位置を取得(決定)する。本実施形態では、音声取得部103は、複数のマイクから構成されているため、複数のマイクのそれぞれにおいて取得した音声の大小などに基づいて、制御部101は発話位置を取得できる。また、スマートスピーカ100が撮像部を有する場合には、制御部101は、ステップS1109において音声取得部103が反応の音声を取得している際に、口元が動いている参加者がいる位置を発話位置とすることができる。なお、発話位置は、例えば、スマートスピーカ100の正面に対する発声元の方向として、0~360度によって示すことができる。従って、発話位置は、90度や180度といったように示すことができる。
なお、本実施形態では、スマートスピーカ100に対して、参加者それぞれが、参加者を識別する情報(自身の名称)を発声することによって、当該参加者を識別する情報が取得されていたが、これには限られない。例えば、スマートスピーカ100が撮像部を有する場合には、参加者を識別する情報が参加者の顔写真(顔画像)であってもよい。
ステップS2002において、制御部101は、公知の顔検出技術(顔認識技術)を用いて、撮像部を介して撮像(取得)している画像から、1人の参加者の顔を検出して、顔写真を取得する。
ステップS2003において、制御部101は、顔写真を取得した参加者がいる方向(顔の中央の方向など)を参加者の位置(発話位置)として取得する。
ステップS2006において、音声処理サーバ204は、音声処理サーバ204は、顔写真を参加者を識別する情報として、発話位置と対応付けて参加者情報として記憶する。ステップS2006の処理が終了すると、処理工程はステップS1115に遷移して、ステップS1115以降の処理は、図6が示すフローチャートの処理と同様である。
場合には、ステップS2001~S2006の処理を行うように、切り替えて処理を実行してもよい。
続いて、上述したステップS1003の処理である端末登録処理の詳細について、図8が示すフローチャートを用いて説明する。なお、本フローチャートにおいて、ステップS1201,S1202,S1204,S1209の処理は情報処理端末300が実行する処理であり,ステップS1203の処理はWEBサーバ205が実行する処理である。また、ステップS1205,S1208の処理は配信サーバ201が実行する処理であり、ステップS1206,S1207の処理はアプリケーションサーバ202が実行する処理である。
刻と発話者情報を取得して、配信サーバ201に送信する。より詳細には、アプリケーションサーバ202は、データベースサーバが記憶する図7(C)が示すような発話履歴から、会議情報MTInfoに応じた発話情報と、当該発話情報に対応する発話時刻と発話者情報を取得する。
続いて、上述したステップS1005の処理である配信処理の詳細について、図9が示すフローチャートを用いて説明する。なお、本フローチャートにおいて、ステップS1301~S1304,S1306の処理はスマートスピーカ100が実行する処理であり,ステップS1305の処理は音声処理サーバ204が実行する処理である。また、ステップS1307,S1308の処理は配信サーバ201が実行する処理であり、ステップS1309の処理は情報処理端末300が実行する処理である。
者名(発話者名)であるが、参加者を識別する情報が顔写真である場合には、発話者の顔写真であってもよい。
なお、ステップS1115にて決定された発話範囲は、修正可能であってもよい。このとき、スマートスピーカ100の記憶部102が、予め撮像された、参加者それぞれの顔写真(顔画像)を記憶しているとよい。顔写真は、例えば、ステップS1109における参加者の発声時に、撮像部が撮像した画像から公知の顔検出技術によって制御部101が取得しておく。
か?」などの通知を行ってもよい。スマートスピーカ100は、通知に対する返答の音声および発話位置を取得して、音声処理サーバ204に送信する。音声処理サーバ204は、参加者から「はい」や「います」などの肯定的な返答があった場合には、その返答があった参加者情報における当該参加者の発話位置を取得したものに修正する。一方、「いいえ」や「いません」などの否定的な返答があった場合には、音声処理サーバ204は、当該参加者に関する発話位置を削除する。このような通知から発話位置の修正・削除までの処理を、スマートスピーカ100および音声処理サーバ204は、参加者情報に含まれる参加者を識別する情報の数(参加者の数)の分だけ繰り返す。そして、音声処理サーバ204は、ステップS1115と同様に、修正された発話位置に基づいて発話範囲を決定(修正)する。
このように本実施形態では、スマートスピーカに表示された識別情報から得た会議情報を、情報処理端末が配信サーバに送信することによって、当該情報処理端末は、会議における発話情報を取得することができる。ここで、識別情報は、会議ごとに異なる情報であるので、配信サーバは、適切な情報処理端末(共有者)に発話情報を配信(共有)することができ、セキュアである。
また、配信システム1において、情報処理端末300が表示する議事メモにおける発話情報は、変更や削除が可能であってもよい。
末300に対しても、同様に当該発話情報の削除をするように指示する。そして、他の情報処理端末300も、同様に当該発話情報の削除をする。
Claims (14)
- 会議における1または複数の参加者の発話を音声として取得する音声取得手段と、
会議ごとに異なる、当該会議を特定するための識別情報を表示する表示手段と、
を有するスマートスピーカと、
前記識別情報を用いて配信先に登録された1または複数の情報処理端末に対して、前記識別情報に対応する会議における前記音声が文字列に変換された発話情報を配信する配信手段と、
を有する、
ことを特徴とする配信システム。 - 前記表示手段は、画像を表示する画像表示部を有し、マトリックス型二次元コードを用いて前記識別情報を前記画像表示部に表示する、
ことを特徴とする請求項1に記載の配信システム。 - 前記表示手段は、光源部を有し、前記光源部の発光によって前記識別情報を表示する、
ことを特徴とする請求項1に記載の配信システム。 - 前記光源部は、複数の発光素子から構成されており
前記表示手段は、前記複数の発光素子それぞれの発光の有無および/または発光色を制御することによって前記識別情報を表示する、
ことを特徴とする請求項3に記載の配信システム。 - 前記配信手段は、前記識別情報に応じた情報を前記配信手段に送信した情報処理端末を、前記識別情報に対応する会議における前記発話情報の配信先に登録する、
ことを特徴とする請求項1から4のいずれか1項に記載の配信システム。 - 前記音声を前記発話情報に変換する音声処理手段をさらに有し、
前記1または複数の参加者のいずれかから発話があるごとに、
前記音声取得手段は、当該発話を音声として取得し、
前記音声処理手段は、前記音声を前記発話情報に変換し、
前記配信手段は、前記1または複数の情報処理端末に前記発話情報を配信する、
ことを特徴とする請求項1から5のいずれか1項に記載の配信システム。 - 前記スマートスピーカは、発話をした参加者を判定する判定手段をさらに有し、
前記配信手段は、前記1または複数の参加者のいずれかから発話があるごとに、当該発話した参加者を示す情報が付加された前記発話情報を、前記1または複数の情報処理端末に配信する、
ことを特徴とする請求項1から6のいずれか1項に記載の配信システム。 - 前記判定手段は、
前記1または複数の参加者それぞれの発話から、参加者それぞれの位置範囲を予め決定しておき、
前記1または複数の参加者のいずれかから発話があるごとに、前記参加者の位置範囲に基づき、当該発話をした参加者を判定する、
ことを特徴とする請求項7に記載の配信システム。 - 前記スマートスピーカは、
前記1または複数の参加者それぞれを撮像する撮像手段と、
前記1または複数の参加者それぞれの予め撮像された画像と、前記会議において前記撮
像手段が撮像する参加者それぞれの画像とを比較することによって、前記参加者の位置範囲を更新する制御手段と、
をさらに有する、
ことを特徴とする請求項8に記載の配信システム。 - 前記発話情報を記憶する記憶手段をさらに有し、
前記配信手段は、新たな情報処理端末が配信先に登録されると、当該情報処理端末に対して、当該情報処理端末が登録される以前の前記発話情報を配信する、
ことを特徴とする請求項1から9のいずれか1項に記載の配信システム。 - 前記1または複数の情報処理端末をさらに有し、
前記1または複数の情報処理端末のそれぞれは、発話ごとの発話情報を、時系列に、発話した参加者を示す情報および発話時刻とともに表示する、
ことを特徴とする請求項1から10のいずれか1項に記載の配信システム。 - 前記1または複数の情報処理端末のうち1つの情報処理端末が表示する発話情報に対して、変更または削除をするユーザ操作が行われると、
前記1または複数の情報処理端末のそれぞれは、表示する当該発話情報を変更または削除する、
ことを特徴とする請求項11に記載の配信システム。 - 表示手段を有するスマートスピーカを含む配信システムの制御方法であって、
前記スマートスピーカが、会議における1または複数の参加者の発話を音声として取得する音声取得ステップと、
前記スマートスピーカが、会議ごとに異なる、当該会議を特定するための識別情報を前記表示手段に表示させる表示制御ステップと、
前記識別情報を用いて配信先に登録された1または複数の情報処理端末に対して、前記識別情報に対応する会議における前記音声が文字列に変換された発話情報を配信する配信ステップと、
を有する、
ことを特徴とする配信システムの制御方法。 - 請求項13に記載の配信システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019053606A JP7098561B2 (ja) | 2019-03-20 | 2019-03-20 | 配信システム、配信システムの制御方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019053606A JP7098561B2 (ja) | 2019-03-20 | 2019-03-20 | 配信システム、配信システムの制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020154847A JP2020154847A (ja) | 2020-09-24 |
JP7098561B2 true JP7098561B2 (ja) | 2022-07-11 |
Family
ID=72559251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019053606A Active JP7098561B2 (ja) | 2019-03-20 | 2019-03-20 | 配信システム、配信システムの制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7098561B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102437752B1 (ko) * | 2020-10-15 | 2022-08-29 | 네이버 주식회사 | 인공지능 디바이스와 연동하여 음성 기록을 관리하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004228737A (ja) | 2003-01-21 | 2004-08-12 | Sharp Corp | 会議支援装置および会議支援システムおよび会議支援プログラム |
JP2005274707A (ja) | 2004-03-23 | 2005-10-06 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP2006050500A (ja) | 2004-08-09 | 2006-02-16 | Jfe Systems Inc | 会議支援システム |
JP2014206896A (ja) | 2013-04-15 | 2014-10-30 | Yamagata Intech株式会社 | 情報処理装置、及び、プログラム |
JP2015122682A (ja) | 2013-12-25 | 2015-07-02 | ブラザー工業株式会社 | 遠隔会議プログラム、端末装置および遠隔会議方法 |
JP2017016328A (ja) | 2015-06-30 | 2017-01-19 | 株式会社リコー | コード構造および情報処理プログラム |
JP2017173768A (ja) | 2016-03-25 | 2017-09-28 | グローリー株式会社 | 議事録作成システム |
JP2018173752A (ja) | 2017-03-31 | 2018-11-08 | 本田技研工業株式会社 | 会議システム、会議システム制御方法、およびプログラム |
JP2019009770A (ja) | 2017-06-26 | 2019-01-17 | フェアリーデバイセズ株式会社 | 音声入出力装置 |
-
2019
- 2019-03-20 JP JP2019053606A patent/JP7098561B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004228737A (ja) | 2003-01-21 | 2004-08-12 | Sharp Corp | 会議支援装置および会議支援システムおよび会議支援プログラム |
JP2005274707A (ja) | 2004-03-23 | 2005-10-06 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP2006050500A (ja) | 2004-08-09 | 2006-02-16 | Jfe Systems Inc | 会議支援システム |
JP2014206896A (ja) | 2013-04-15 | 2014-10-30 | Yamagata Intech株式会社 | 情報処理装置、及び、プログラム |
JP2015122682A (ja) | 2013-12-25 | 2015-07-02 | ブラザー工業株式会社 | 遠隔会議プログラム、端末装置および遠隔会議方法 |
JP2017016328A (ja) | 2015-06-30 | 2017-01-19 | 株式会社リコー | コード構造および情報処理プログラム |
JP2017173768A (ja) | 2016-03-25 | 2017-09-28 | グローリー株式会社 | 議事録作成システム |
JP2018173752A (ja) | 2017-03-31 | 2018-11-08 | 本田技研工業株式会社 | 会議システム、会議システム制御方法、およびプログラム |
JP2019009770A (ja) | 2017-06-26 | 2019-01-17 | フェアリーデバイセズ株式会社 | 音声入出力装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020154847A (ja) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI536365B (zh) | 聲紋辨識 | |
JP6594646B2 (ja) | ロボット及びロボット制御方法並びにロボットシステム | |
US20180075848A1 (en) | Dialogue apparatus and method | |
US10015385B2 (en) | Enhancing video conferences | |
WO2010010736A1 (ja) | 会議画像生成方法、会議システム、サーバ装置及び会議装置等 | |
WO2021217912A1 (zh) | 基于人脸识别的信息生成方法、装置、计算机设备及存储介质 | |
JP2012023595A (ja) | 会議システム | |
JP2009188809A (ja) | 電子会議システム | |
CN110166726A (zh) | 一种自识别用户的视频会议终端及系统 | |
KR102263154B1 (ko) | 스마트 미러 기반 얼굴 감성 표현 시스템 및 그 운용방법 | |
CN114845081A (zh) | 信息处理装置、记录介质及信息处理方法 | |
JP7098561B2 (ja) | 配信システム、配信システムの制御方法、プログラム | |
TW202241122A (zh) | 會議室智能管理方法及智能會議室系統 | |
JP2022042423A (ja) | 遠隔勤務支援システム及び遠隔勤務支援方法 | |
JP6794819B2 (ja) | 画像プリントシステム | |
JP4867295B2 (ja) | 画像管理装置、および画像管理プログラム | |
JP6753407B2 (ja) | 感情誘導システム、感情誘導方法、およびプログラム | |
US20240045574A1 (en) | Systems and Methods for Identifying an Active Speaker in a Virtual Meeting | |
JP2018107538A (ja) | 情報処理装置、情報処理装置の制御方法および制御プログラム | |
JP2007093843A (ja) | 顔画像取得方法および装置 | |
JP2019159423A (ja) | 情報処理装置、データ表示方法、プログラム、通信システム、通信方法、登録情報管理装置 | |
JP2009070166A (ja) | 電子会議システム | |
JP6642630B2 (ja) | 情報処理装置及びプログラム | |
JP7124442B2 (ja) | システム、方法、及びプログラム | |
JP2017119337A (ja) | ロボット、ロボット制御方法およびロボットプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7098561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |