JP7154245B2 - 発話支援装置、発話支援方法、および発話支援プログラム - Google Patents

発話支援装置、発話支援方法、および発話支援プログラム Download PDF

Info

Publication number
JP7154245B2
JP7154245B2 JP2020038977A JP2020038977A JP7154245B2 JP 7154245 B2 JP7154245 B2 JP 7154245B2 JP 2020038977 A JP2020038977 A JP 2020038977A JP 2020038977 A JP2020038977 A JP 2020038977A JP 7154245 B2 JP7154245 B2 JP 7154245B2
Authority
JP
Japan
Prior art keywords
utterance
speaker
speakers
speech
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020038977A
Other languages
English (en)
Other versions
JP2021140569A (ja
Inventor
雄大 鎌田
聡美 堀
映理子 上垣
亮太 新関
秀行 牧
大輔 野上
成人 大條
靖弘 脇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020038977A priority Critical patent/JP7154245B2/ja
Publication of JP2021140569A publication Critical patent/JP2021140569A/ja
Application granted granted Critical
Publication of JP7154245B2 publication Critical patent/JP7154245B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、発話を支援する発話支援装置、発話支援方法、および発話支援プログラムに関する。
特許文献1は、会議中の複数の参加者の音声を取得して,刻々と変わる参加者の会話状況をリアルタイムに表示することで、より積極的な議論を誘発するような会議可視化システムを開示する。この会議可視化システムは、複数の会議参加者に対応した複数の音声収集部から収集した音声データを音声処理サーバで処理し、発話情報を抽出し、この発話情報を集計処理サーバに順次入力する。処理サーバのストリームデータ処理部は、この発話情報に対して、クエリ処理を施すことにより会議参加者の会議における発言回数累積値などのアクティビティデータを生成する。表示処理部は、このアクティビティデータに基づき、会議参加者の対話状況を円の大きさや線の太さなどを用いて可視化して表示する。
特開2008-262046号公報
会議で議論が活発に行われるには、会議の生産性の向上に寄与する発話行動が必要である。ここで、話者全員がたくさん喋っている状態を生産性の高い状態と定義すると、一部の話者のみがたくさん喋っている状態、全員が少しずつ喋っている状態、および、誰もあまり喋っていない状態では、生産性の高くない状態といえる。
本発明は、上述した話者による会議の生産性の高くない状態から生産性の高い状態に促すことを目的とする。
本願において開示される発明の一側面となる発話支援装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置であって、前記プロセッサは、前記複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記話者の属性を示す有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれかに対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する第1特定処理と、前記複数の第2発話時間長に関する個人発話レベルと、前記話者が他の話者と同時間帯に発話した前記他の話者の人数分の第3発話時間長から得られる前記話者の個人話者バランスと、に基づいて、前記話者の属性を、前記有識者、前記発言の支援が必要な話者、前記話題の提供者、および前記会話の進行役の中から特定する第2特定処理と、前記第1特定処理によって前記発話状態が前記複数の異なる第2発話状態の中のいずれかの第2発話状態であると特定された場合、前記複数の話者のうち前記第特定処理によって特定された第2発話状態に対応する属性である話者を、前記会話に対する介入者に決定する決定処理と、前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、を実行することを特徴とする。
本発明の代表的な実施の形態によれば、話者による会議の生産性の高くない状態から生産性の高い状態に促すことができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
図1Aは、会議の状態を判別する状態判別グラフである。 図1Bは、話者個人の属性を判別する属性判別グラフである。 図2は、発話支援装置を用いた会議の一例を示す説明図である。 図3は、発話支援装置のハードウェア構成例を示すブロック図である。 図4は、発話支援情報の表示例を示す説明図である。 図5は、発話音量の時系列データの一例を示す説明図である。 図6は、発話有無の時系列データの一例を示す説明図である。 図7は、図5の発話音量の時系列データに対応する発話音量テーブルである。 図8は、図6の発話有無の時系列データに対応する発話時間テーブルおよび累積値テーブルの一例を示す説明図である。 図9は、話者間会話テーブルの一例を示す説明図である。 図10は、介入者への通知例を示す説明図である。 図11は、発話支援装置による会議の発話状態の分析結果表示例を示す説明図である。 図12は、発話支援装置による発話支援処理手順例を示すフローチャートである。
<会議の生産性>
会議の生産性は、会議でのディスカッション量と正の相関があると考えられる。すなわち、話者全体で発話量が多いほど会議の生産性が高くなる。会議の生産性の阻害要因としては、一方的に喋り過ぎる人と、発言が少ないまたはしない人が挙げられる。一方的に喋り過ぎる人は、自分自身の喋りすぎに気が付いていなかったり、沈黙が怖くてしゃべり続けたりする。発言が少ないまたはしない人は、そもそも自分には関係のない議論をしていると思っていたり、自分には関係あるが、意図的に存在を消したりする。意図的に存在を消す理由としては、たとえば、自分にタスクが発生するのを嫌っていたり、自分はそもそも話さない役割だと勝手に決めていたりするからである。
図1Aは、会議の状態を判別する状態判別グラフである。状態判別グラフ100の横軸は全体話者バランスであり、縦軸は全体発話レベルである。横軸は、右に行くほど全体話者バランスがよく、左に行くほど全体話者バランスが悪いことを示す。全体話者バランスとは、各話者の発話量の均衡度であり、各話者の発話量が均衡するほど全体話者バランスがよく、各話者の発話量が不均衡になるほど全体話者バランスが悪い。発話量とは、発話時間の長さ(発話時間長)である。縦軸は、上に行くほど全体発話レベルが高くなり、下に行くほど全体発話レベルが低くなることを示す。全体発話レベルとは、複数の話者のうち少なくとも1人が発話した発話時間長、または、会議の経過時間に対する当該発話時間長の割合である。
第1象限101は、全体話者バランスが良く、かつ、全体発話レベルが高い、すなわち、全員がたくさん喋っている状態である。このような状態が生産性の高い状態となる。第2象限102は、全体話者バランスは悪いが全体発話レベルが高い、すなわち、偏った人がたくさん喋っている状態である。第3象限103は、全体話者バランスが悪く、かつ、全体発話レベルも低い、すなわち、誰もあまり喋っていない状態を示す。第4象限104は、全体話者バランスは良いが、全体発話レベルが低い状態、すなわち、全員が少しずつ喋っている状態である。
第2象限102、第3象限103、および第4象限104の状態が生産性の高くない状態であり、発話支援装置は、生産性の高くない状態を第1象限101の生産性の状態にするための発話支援を実行する。これにより、発話量が少ない話者ほど発話量が多くなり、発話量が多い話者ほど、発話を抑制することが期待される。
図1Bは、話者個人の属性を判別する属性判別グラフである。属性判別グラフ110の横軸は個人話者バランスであり、縦軸は個人発話レベルである。横軸は、右に行くほど個人話者バランスがよく、左に行くほど個人話者バランスが悪いことを示す。個人話者バランスとは、当該話者の他の話者との発話量の均衡度であり、他の話者との発話量が均衡するほど個人話者バランスがよく、他の話者との発話量が不均衡になるほど個人話者バランスが悪い。縦軸は、上に行くほど個人発話レベルが高くなり、下に行くほど個人発話レベルが低くなることを示す。個人発話レベルとは、話者が発話した発話時間長、または、会議の経過時間に対する当該発話時間長の割合である。
第1象限111は、個人話者バランスが良く、かつ、個人発話レベルが高い、すなわち、当該話者がたくさん喋っている状態である。このような状態の話者は、話者タイプIという属性に判別される。話者タイプIは、会議の進行役、すなわち、ファシリテータである。たとえば、会話が図1Aの第3象限103の状態の場合に(介入タイミングT3)、話者タイプIの話者が介入者として会話に介入することで、発話支援装置は、介入者が発言が少ない話者に話を振るよう促し、全体発話レベルの向上を図る。これにより、会話の状態が第3象限103の状態から第2象限102の状態に遷移する。
第2象限112は、個人話者バランスは悪いが個人発話レベルが高い、すなわち、当該話者が特定の話者とたくさん喋っている状態である。このような状態の話者は、話者タイプIIという属性に判別される。話者タイプIIは、話題提供者である。たとえば、会話が図1Aの第4象限104の状態の場合に(介入タイミングT2)、話者タイプIIの話者が介入者として会話に介入することで、発話支援装置は、介入者が話題提供または先行議論の機会を他の話者に与えるよう促し、全体発話レベルの向上を図る。これにより、会話の状態が第3象限103の状態から第2象限102の状態または第1象限101の状態に遷移する。
第3象限113は、個人話者バランスが悪く、かつ、個人発話レベルも低い、すなわち、当該話者が誰ともあまり喋っていない状態を示す。このような状態の話者は、話者タイプIVという属性に判別される。話者タイプIVは、発言の支援が必要な話者である。たとえば、会話が図1Aの第2象限102の状態の場合に(介入タイミングT1)、話者タイプIVの話者が介入者として会話に介入することで、発話支援装置は、介入者が話題(バランス)調整の機会を、たくさん喋っている特定の話者以外の他の話者に与えるよう促し、当該特定の話者に自身が喋りすぎていることに気づかせたり、自身の発話自体が無駄になったりするという感覚を与える。これにより、たとえば、特定の話者が発話を抑制したり、話を他の話者に振ったり、発話内容を簡易にしたりする、という行動の変化が促進される。したがって、会話の状態が第2象限102の状態から第1象限101の状態に遷移する。
第4象限114は、個人話者バランスは良いが、個人発話レベルが低い状態、すなわち、当該話者が他の話者の各々と少しずつ喋っている状態である。このような状態の話者は、話者タイプIIIという属性に判別される。話者タイプIIIは、有識者である。たとえば、会話が図1Aの第2象限102の状態の場合に(介入タイミングT1)、話者タイプIIIの有識者が介入者として会話に介入することで、発話支援装置は、話者タイプIVの話者が介入者として会話に介入した場合と同様、会話の状態が第2象限102の状態から第1象限101の状態に遷移する。
会話が図1Aの第1象限101の状態になることで、介入者は、全体発話レベルと全体話者バランスとの向上に寄与したという快感を得ることができ、全体発話レベルおよび全体話者バランスを維持しようとする。これにより、生産性の高い状態が継続することになる。
<会議>
図2は、発話支援装置を用いた会議の一例を示す説明図である。図2は、5人の話者A~Eが会議に参加してディスカッションする例を示す。また、会議では、発話支援装置200と、集音装置201と、表示装置202と、が用いられる。発話支援装置200は、発話支援プログラムがインストールされたコンピュータである。集音装置201は、話者A~Eからの発話音声を集音して、電気信号に変換し、発話支援装置200に送信する。集音装置201は、発話支援装置200に内蔵されてもよい。表示装置202は、表示画面203を有し、発話支援装置200からの発話支援情報210を表示画面203に表示する。また、表示装置202に替えてプロジェクタを用い、プロジェクタが発話支援結果を壁に投影してもよい。なお、各話者A~Eの話者IDを、それぞれ1~5とする。以降、本実施例では、5人の話者A~Eで会議する場合について説明する。
<発話支援装置200のハードウェア構成例>
図3は、発話支援装置200のハードウェア構成例を示すブロック図である。発話支援装置200は、プロセッサ301と、記憶デバイス302と、入力デバイス303と、出力デバイス304と、通信インターフェース(通信IF)305と、を有する。プロセッサ301、記憶デバイス302、入力デバイス303、出力デバイス304、および通信IF305は、バス306により接続される。プロセッサ301は、発話支援装置200を制御する。記憶デバイス302は、プロセッサ301の作業エリアとなる。また、記憶デバイス302は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス302としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。入力デバイス303は、データを入力する。入力デバイス303としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイクがある。出力デバイス304は、データを出力する。出力デバイス304としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信IF305は、ネットワークと接続し、データを送受信する。
<発話支援情報210の表示例>
図4は、発話支援情報210の表示例を示す説明図である。表示画面203には、発話支援情報210が表示されている。発話支援情報210は、第1表示領域401と、第2表示領域402と、第3表示領域403と、を有する。第1表示領域401は、各話者A~Eの発話量を示すブロック412を表示する領域である。なお、話者A~Eの各第1表示領域を、第1表示領域401a~401eとする。第1表示領域401a~401eは、表示画面203の横方向に配列する。話者A~Eを区別しない場合は、第1表示領域401xと表記する。
ブロック412は、話者A~Eが所定の累積時間分発話した発話量を示す図形である。本例では、ブロック412の形状を矩形としたが、円や楕円、台形、3角形、5頂点以上の多角形など他の形状でもよい。ブロック412は、第1表示領域401a~401eにおいて、話者A~Eが所定の累積時間分発話する都度、積み上げられる。図4では、話者Aは4個、話者Bは6個、話者Cは3個、話者Dは0個、話者Eは1個のブロック412である。
このように、ブロック412が高く積みあがっている話者ほど発話量が多いことがわかる。また、話者A~Eごとのブロック412の数が均衡しているほど、全体話者バランスがよいことがわかる。
また、第1表示領域401a~401eには、各話者A~Eの話者ID411a~411eが表示される。これにより、どの話者A~Eがどの第1表示領域401a~401eに割り当てられているかを視認することができる。
第2表示領域402は、第1表示領域401の上に存在する。第2表示領域402は、画像として、第1表示領域401a~401eごとに、吐出口421a~421eと、容器422a~422eと、を有する。吐出口421a~421eを区別しない場合は、単に吐出口421と表記する。容器422a~422eを区別しない場合は、単に容器422と表記する。
吐出口421は、液滴を容器422に吐出する。容器422は、液滴を貯留する。貯留した液体は、発話量を示す。発話量が所定量貯留すると、容器422に貯留した液体が、ブロック412として、第1表示領域401の上から下に落下し、容器422は空になる。
第3表示領域403は、たとえば、発話支援情報210の右端に配置される。第3表示領域403は、スコア430を表示する。スコア430は、第1表示領域401a~401eの最下位置のブロック列を消去した回数に基づく値である。スコア430が高いほど、話者バランスがよく、かつ、発話量が多い、すなわち、会議の生産性が第1象限101の状態である、または、第2象限102~第4象限104から第1象限101の状態に遷移していることを意味する。
<音声取得例>
図5は、発話音量の時系列データを示す説明図である。発話音量の時系列データ500は、話者ID411a~411eごとに、単位時間(たとえば、1秒)ごとに発話した音量をプロットしたデータ列である。
図6は、発話有無の時系列データの一例を示す説明図である。発話有無の時系列データ600は、話者ID411a~411eごとに、単位時間(たとえば、1秒)ごとの発話の有無をプロットしたデータ列である。発話の時系列データ600は、たとえば、発話音量の時系列データ500を所定のしきい値で2値化したデータ列である。
図7は、図5の発話音量の時系列データ500に対応する発話音量テーブルである。発話音量テーブル700において、時間t1、t2、t3、…は、単位時間の時系列である。話者ID411a~411eごとの値は、音量を示す。特に「0」は沈黙を示す。累積値は、経過した時間t1、t2、t3、…における音量の合計値である。
図8は、図6の発話有無の時系列データ600に対応する発話時間テーブルおよび累積値テーブルの一例を示す説明図である。(A)発話時間テーブル800において、時間t1、t2、t3、…は、単位時間の時系列である。話者ID411a~411eごとの「0」は、発話していないことを示し、「1」は発話したことを示す。たとえば、時間t3の単位時間では、話者ID:3の話者Cのみが発話し、他の話者A,B,D,Eは、発話していないことを示す。
全体発話有無801とは、時間t1、t2、t3、…ごとの、全話者A~Eのうち少なくとも一人が発話した有無を示す情報である。すなわち、時間t1、t2、t3、…ごとに、話者ID:1~5(話者A~E)のうち一人でも「1」がある行では、全体発話有無801の値は「1」(全体発話あり)になり、話者ID:1~5(話者A~E)の全員が「0」がある行では、全体発話有無801の値は「0」(全体発話なし)になる。
全体発話割合802とは、全体発話有無801の総数(すなわち、単位時間の総数)に対する全体発話ありの割合である。発話時間テーブル800では、時間t1、t2の全体発話有無801の値がともに「0」であり、時間t3~t9の全体発話有無801の値がいずれも「1」であるため、全体発話割合802は「7/9」になる。全体発話割合802は、図1Aの縦軸の全体発話レベルの一例である。全体発話割合802が高いほど、全体発話レベルが高くなる。また、全体発話割合802の分子(本例では「7」)は、全体発話量を示す。全体発話量も、図1Aの縦軸の全体発話レベルの一例である。全体発話量が大きいほど、全体発話レベルが高くなる。
(B)累積値テーブル810は、話者IDごとの発話時間(たとえば、時間t1~t9)の累積値811を記憶するテーブルである。たとえば、話者ID:1の話者Aは、発話時間テーブル800の時間t4~t6、t9の値が「1」であるため、発話時間の累積値811は「4」である。各話者ID411a~411eの発話時間の累積値811は、図1Bの縦軸の個人発話レベルの一例である。発話時間の累積値811が大きいほど個人発話レベルが高くなる。また、発話時間の累積値811に替えて、累積値割合としてもよい。累積値割合とは、全体発話有無801の総数(すなわち、単位時間の総数)に対する累積値811の割合である。累積値割合も、図1Bの縦軸の個人発話レベルの一例である。累積値割合が大きいほど個人発話レベルが高くなる。
平均812は、各話者IDの発話時間の累積値811を平均した値である。分散813は、各話者ID411a~411eの発話時間の累積値811のばらつきを示す値(分散値)である。分散813は、図1Aの横軸の全体話者バランスの一例である。分散813が小さくなるほど(0に近くなるほど)全体話者バランスが良くなり、分散813が大きくなるほど全体話者バランスが悪くなる。
図9は、話者間会話テーブルの一例を示す説明図である。話者間会話テーブル900は、会話回数マトリクス901と、平均902と、分散903と、を有する。会話回数マトリクス901は、各話者が他の話者と何回(1回が1単位時間(たとえば、1秒))会話したかを示すマトリクスである。具体的には、たとえば、同じ時間t1、t2、t3、…に同時に発話した他の話者が存在する場合、当該他の話者の話者ID411a~411eとのセルの値が「1」計数される。
たとえば、話者間会話テーブル900の一行目は、話者ID:1の話者Aが、話者ID:2の話者Bとは3回(3秒)、話者ID:3の話者Cとは3回(3秒)、話者ID:4の話者Dとは0回(0秒)、話者ID:5の話者Eとは2回(2秒)会話したことを示す。なお、発話支援装置200は、発話内容自体を認識しないため、実際に話者が他の話者と会話したか、話者と他の話者が偶然同じタイミングで発話したかまでは認識しないが、発話が共起したとして当該セルの値が計数される。
なお、発話支援装置200は、どの話者がいつ発話したかを認識することができる。具体的には、たとえば、発話支援装置200は、各話者A~Eの音声データを事前に取得し、メル周波数ケプストラム係数や音声の到達角度、音量といったパラメータに基づいて、各話者A~Eの特徴情報を生成する。発話支援装置200は、会議で音声データを取得すると、特徴情報を生成し、事前に生成した特徴情報に類似する場合、当該類似する特徴情報に対応する話者を特定する。
また、発話支援装置200は、上述したパラメータと正解データ(話者)との組み合わせである訓練データセットを用いて、機械学習により学習モデルを生成する。発話支援装置200は、会議で音声データを取得すると、学習モデルに入力して、誰の発話であるかを特定する。
また、集音装置201がマイクアレイであれば、発話支援装置200は、集音装置201への音声の入力方向を検出することにより、話者を特定してもよい。この場合、発話支援装置200は、あらかじめ話者の位置と話者ID411a~411eとを対応付けておき、各話者は自分の話者ID411a~411eを認識しているものとする。
また、会話の内容が収録されると話者は発話するのに抵抗感を抱くため、発話支援装置200は、発話内容の認識をしない。したがって、収録した音声データは、リアルタイムで消去される(ただし、発話音量テーブル700、発話時間テーブル800、累積値テーブル810、および話者間会話テーブル900は残る)。したがって、音声データの流出が抑制される。これにより、情報の漏洩を防止することができる。また、発話支援装置200は、発話内容の認識をしないため、会話の内容からブロック214を生成しない。したがって、日本語のほか、英語、フランス語、ドイツ語、中国語などの外国語のように、どのような言語であっても、発話支援装置200は、適用可能であり、汎用性が高い。
<介入者への通知例>
発話支援装置200は、介入者を決定すると、介入者に関する情報を出力する。介入者に関する情報とは、介入者に決定された話者が誰であるかが、全話者A~Eのうち少なくとも介入者に把握可能である。具体的には、たとえば、介入者に関する情報は、会話への介入を介入者に促す情報である。発話支援装置200は、介入者が他の話者に変更またはいずれの話者にも決定されなくなるまで、介入者に関する情報の出力を継続する。介入者に関する情報の出力は、たとえば、以下のように実行される。
図10は、介入者への通知例を示す説明図である。発話支援装置は、介入者を決定すると、介入者に関する情報として、介入者の第1表示領域401に、介入を促す通知情報1000を表示する。図10では、介入者を話者ID411が「2」の話者Bとし、通知情報1000を星形のシンボルとする。なお、介入者に関する情報は、介入者であることが特定されれば、星形のシンボルに限らず、他の形状でもよく、また、文字列でもよい。また、出力形式は、表示画面203への表示に限らず、介入者を特定可能な音声(たとえば、介入者の話者IDや発話支援装置に登録済みの介入者の氏名の読み上げ)の出力でもよい。
また、第1表示領域401には、ブロック列1001が表示されている。ブロック列1001とは、各第1表示領域401a~401eの最下位置に配列されたブロック412の集合である。ブロック列1001が表示されると、発話支援装置200は、ブロック列1001を消去して、残余のブロック412を下方に1ブロック分シフトする。そして、発話支援装置200は、スコア430を更新(1を加算)する。
<分析結果表示例>
図11は、発話支援装置200による会議の発話状態の分析結果表示例を示す説明図である。表示画面203には、分析結果情報1100が表示される。分析結果情報1100は、分析グラフ1101と、スコア情報1102と、発話時間情報1103と、会話傾向情報1104と、活性度グラフ1105と、を含む。また、第3表示領域403には、これまでの8回のタームでのスコア430が表示されている。タームは、ディスカッションの単位であり、1タームは、たとえば、10分などの所定時間である。
分析グラフ1101は、状態判別グラフ100と同様のグラフである。図11では、今回の会議の状態が第1象限に位置している(図11中、〇で表記)ことを示す。なお、発話支援装置は、会議の開始から終了までの経時的な軌跡を分析グラフに表示してもよい。
スコア情報1102は、これまでの8回のタームのスコア430の累積値(図11では、595)と、今回のタームでのスコア430(図11では、97)とを含む。スコア430の値は、たとえば、ブロック列1001をクリアした回数である。
発話時間情報1103は、1タームの時間を100%とした場合の発話時間を示す円グラフである。図11の例では、1タームの時間のうち80%が発話時間であることを示す。発話時間のうち、円弧1131は、介入者による介入後の発話時間を示す。
会話傾向情報1104は、会話の傾向を示す情報である。具体的には、たとえば、会話傾向情報1104は、各話者が他の話者とどのくらい発話したかを示す無向グラフである。無向グラフのノード内の数字は、話者IDである。ノードの大きさは、その話者の発話時間長に比例する。ノード間のリンクは、当該リンクの両端のノードの話者間の同一単位時間での発話回数(図9の会話回数マトリクス901の値)が多いほど、短くかつ太くなる。
活性度グラフ1105は、活性度の時間的経過を示すグラフである。活性度とは、図7に示した全話者の発話音量である。
<発話支援処理手順例>
図12は、発話支援装置200による発話支援処理手順例を示すフローチャートである。発話支援装置200は、会議(1ターム分のディスカッションもでもよい。以下同様)開始から所定時間経過などにより会議終了であるか否かを判断する(ステップS1200)。会議終了でない場合(ステップS1200:No)、発話支援装置200は、集音装置201から音声データを取得し(ステップS1201)、話者を特定する(ステップS1202)。これにより、発話支援装置200は、話者特定後の図5に示した発話音量の時系列データ500により、図7に示した発話音量テーブル700を更新し、話者特定後の図6に示した発話有無の時系列データ600により、図8に示した発話時間テーブル800を更新する。
つぎに、発話支援装置200は、ステップS1202の特定結果を用いて、発話時間テーブル800、累積値テーブル810、および話者間会話テーブル900を更新する(ステップS1203)。
発話支援装置200は、発話時間テーブル800の全体発話割合802を全体発話レベルとし、累積値テーブル810の話者全体の分散813を全体話者バランスとして、発話状態を決定する(ステップS1204)。すなわち、発話支援装置200は、状態判別グラフ100のうち現在の発話状態が第1象限101~第4象限104のいずれに該当するか判断する。
つぎに、発話支援装置200は、各話者について、累積値テーブル810の累積値811を個人発話レベルとし、話者間会話テーブル900の分散903を個人話者バランスとして、属性、すなわち、話者タイプを特定する(ステップS1205)。すなわち、発話支援装置200は、話者ごとに、属性判別グラフ110のうち話者が第1象限111~第4象限114のいずれの話者タイプに該当するか判断する。
つぎに、発話支援装置200は、ステップS1204で決定された発話状態で介入すべき介入者を決定する。(ステップS1206)。具体的には、たとえば、発話支援装置200は、発話状態が第2象限102の状態であれば、介入者を、ステップS1205で話者タイプIIIまたはIVに特定された話者に決定する。また、発話支援装置200は、発話状態が第3象限103の状態であれば、介入者を、ステップS1205で話者タイプIに特定された話者に決定する。また、発話支援装置200は、発話状態が第4象限104の状態であれば、介入者を、ステップS1205で話者タイプIIに特定された話者に決定する。
なお、発話支援装置200は、該当する話者が複数存在する場合は、いずれの話者も介入者に決定してもよく、いずれか一人を介入者に決定してもよい。いずれか一人に決定する場合、たとえば、発話支援装置200は、複数の該当者のうちこれまでの発話量が最も多い話者を介入者に決定してもよい。
そして、発話支援装置200は、ステップS1206で決定された介入者に関する情報を出力し(ステップS1207)、ステップS1200に戻る。ステップS1200において、会議終了である場合(ステップS1200:Yes)、発話支援装置200は、分析結果情報1100を生成する(ステップS1208)。たとえば、円弧1131に相当する介入者による介入後の発話時間については、介入者による介入後の全体発話時間の累積値を、ステップS1204で発話状態が他の象限に遷移するまで計数することにより算出される。このあと、図11に示したように、表示画面203に表示する(ステップS1209)。これにより、発話支援処理手順が終了する。
このように、たとえば、会話が図1Aの第3象限103の状態の場合に、話者タイプIの話者が介入者として会話に介入することで、全体発話レベルの向上を促す。これにより、会話の状態が第3象限103の状態から第2象限102の状態に促される。
また、会話が図1Aの第4象限104の状態の場合に、話者タイプIIの話者が介入者として会話に介入することで、全体発話レベルの向上を促す。これにより、会話の状態が第3象限103の状態から第2象限102の状態または第1象限101の状態に促される。
また、会話が図1Aの第2象限102の状態の場合に、話者タイプIIIの話者が介入者として会話に介入することで、特定の話者に自身が喋りすぎていることに気づかせたり、自身の発話自体が無駄になったりするという感覚を与える。これにより、たとえば、特定の話者が発話を抑制したり、話を他の話者に振ったり、発話内容を簡易にしたりする、という行動の変化が促進される。したがって、会話の状態が第2象限102の状態から第1象限101の状態に促される。
また、会話が図1Aの第2象限102の状態の場合に、話者タイプIVの話者が介入者として会話に介入することで、話者タイプIIIの話者が会話に介入した場合と同様、会話の状態が第2象限102の状態から第1象限101の状態に促される。
また、会話が図1Aの第1象限101の状態になることで、介入者は、全体発話レベルと全体話者バランスの向上に寄与したという快感を得ることができ、全体発話レベルおよび全体話者バランスを維持しようとする。これにより、生産性の高い状態が継続することになる。
また、上述した実施例では、発話支援装置200がリアルタイムで話者ごとに話者タイプを特定したが、発話支援装置200は、各話者の話者タイプを属性情報としてあらかじめ記憶デバイス302に記憶していてもよい。この場合、ステップS1203では、発話支援装置200は、話者間会話テーブル900を更新しなくてもよい。また、ステップS1205では、発話支援装置200は、記憶デバイス302から属性情報を参照することにより、話者ごとに話者タイプを特定することになる。これにより、発話支援処理の高速化を図ることができる。また、上述した実施例のようにリアルタイムで話者ごとに話者タイプを特定することにより、話者の属性特定の高精度化を図ることができる。
また、上述した実施例では、発話支援情報210を表示装置202に表示した例について説明したが、発話支援装置200は、発話支援装置200と通信可能な各話者の端末(たとえば、パーソナルコンピュータやスマートフォン)に発話支援情報210を送信してもよい。これにより、各話者A~Eは自身の端末で、自分のブロック数や他の話者のブロック数、スコア430、通知情報1000の有無を確認することができる。
特に、内気な性格の話者の発話量は少なくなりがちであり、表示装置202で当該話者のブロック412の少なさが他の話者にわかると、余計に当該話者は、発話を躊躇することもある。このため、発話支援情報210を各話者A~Eの端末に表示することにより、発話を躊躇するのを抑制することができる。
このように、本実施例によれば、話者A~Eによる会議の生産性の高くない状態から生産性の高い状態になるよう支援することができる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
200 発話支援装置
201 集音装置
202 表示装置
203 表示画面
210 発話支援情報
301 プロセッサ
302 記憶デバイス
700 発話音量テーブル
800 発話時間テーブル
801 全体発話有無
802 全体発話割合
810 累積値テーブル
811 累積値
812 平均
813 分散
900 話者間会話テーブル
901 会話回数マトリクス
902 平均
903 分散
1000 通知情報
1100 分析結果情報

Claims (15)

  1. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置であって、
    前記プロセッサは、
    前記複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記話者の属性を示す有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれかに対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する第1特定処理と、
    前記複数の第2発話時間長に関する個人発話レベルと、前記話者が他の話者と同時間帯に発話した前記他の話者の人数分の第3発話時間長から得られる前記話者の個人話者バランスと、に基づいて、前記話者の属性を、前記有識者、前記発言の支援が必要な話者、前記話題の提供者、および前記会話の進行役の中から特定する第2特定処理と、
    前記第1特定処理によって前記発話状態が前記複数の異なる第2発話状態の中のいずれかの第2発話状態であると特定された場合、前記複数の話者のうち前記第特定処理によって特定された第2発話状態に対応する属性である話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援装置。
  2. 請求項1に記載の発話支援装置であって、
    前記決定処理では、前記プロセッサは、前記第2発話状態が、前記発話レベルが所定の発話レベルに達しており、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達していない発話状態である場合、前記複数の話者のうち前記属性が前記有識者または前記発言の支援が必要な話者に該当する話者を、前記介入者に決定する、
    ことを特徴とする発話支援装置。
  3. 請求項1に記載の発話支援装置であって、
    前記決定処理では、前記プロセッサは、前記第2発話状態が、前記発話レベルが所定の発話レベルに達しておらず、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達していない発話状態である場合、前記複数の話者のうち前記属性が前記会話の進行役に該当する話者を、前記介入者に決定する、
    ことを特徴とする発話支援装置。
  4. 請求項1に記載の発話支援装置であって、
    前記決定処理では、前記プロセッサは、前記第2発話状態が、前記発話レベルが所定の発話レベルに達しておらず、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達している発話状態である場合、前記複数の話者のうち前記属性が前記話題の提供者に該当する話者を、前記介入者に決定する、
    ことを特徴とする発話支援装置。
  5. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置であって、
    前記複数の話者の各々が有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれの属性に該当するかを示す属性情報にアクセス可能であり、
    前記プロセッサは、
    複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記属性情報のいずれかの属性に対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する特定処理と、
    前記特定処理によって特定された第2発話状態が、前記発話レベルが所定の発話レベルに達しており、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達していない発話状態である場合、前記複数の話者のうち前記属性が前記有識者または前記発言の支援が必要な話者に該当する話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援装置。
  6. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置であって、
    前記複数の話者の各々が有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれの属性に該当するかを示す属性情報にアクセス可能であり、
    前記プロセッサは、
    複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記属性情報のいずれかの属性に対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する特定処理と、
    前記特定処理によって特定された第2発話状態が、前記発話レベルが所定の発話レベルに達しておらず、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達していない発話状態である場合、前記複数の話者のうち前記属性が前記会話の進行役に該当する話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援装置。
  7. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置であって、
    前記複数の話者の各々が有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれの属性に該当するかを示す属性情報にアクセス可能であり、
    前記プロセッサは、
    複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記属性情報のいずれかの属性に対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する特定処理と、
    前記特定処理によって特定された第2発話状態が、前記発話レベルが所定の発話レベルに達しておらず、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達している発話状態である場合、前記複数の話者のうち前記属性が前記話題の提供者に該当する話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援装置。
  8. 請求項1から7のいずれか一項に記載の発話支援装置であって、
    前記決定処理では、前記プロセッサは、前記複数の話者の会話期間内に前記介入者を決定し、
    前記出力処理では、前記プロセッサは、前記会話期間内に前記介入者に関する情報を出力する、
    ことを特徴とする発話支援装置。
  9. 請求項1から8のいずれか一項に記載の発話支援装置であって、
    前記出力処理では、前記プロセッサは、前記決定処理によって前記介入者が変更または決定されなくなるまで、前記介入者に関する情報の出力を継続する、
    ことを特徴とする発話支援装置。
  10. 請求項1から9のいずれか一項に記載の発話支援装置であって、
    前記出力処理では、前記プロセッサは、前記会話への介入を前記介入者に促す情報を出力する、
    ことを特徴とする発話支援装置。
  11. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置が実行する発話支援方法であって、
    前記プロセッサは、
    複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記話者の属性を示す有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれかに対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する第1特定処理と、
    前記複数の第2発話時間長に関する個人発話レベルと、前記話者が他の話者と同時間帯に発話した前記他の話者の人数分の第3発話時間長から得られる前記話者の個人話者バランスと、に基づいて、前記話者の属性を、前記有識者、前記発言の支援が必要な話者、前記話題の提供者、および前記会話の進行役の中から特定する第2特定処理と、
    前記第1特定処理によって前記発話状態が前記複数の異なる第2発話状態の中のいずれかの第2発話状態であると特定された場合、前記複数の話者のうち前記第特定処理によって特定された第2発話状態に対応する属性である話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援方法。
  12. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置が実行する発話支援方法であって、
    前記複数の話者の各々が有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれの属性に該当するかを示す属性情報にアクセス可能であり、
    前記プロセッサは、
    複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記属性情報のいずれかの属性に対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する特定処理と、
    前記特定処理によって特定された第2発話状態が、前記発話レベルが所定の発話レベルに達しており、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達していない発話状態である場合、前記複数の話者のうち前記属性が前記有識者または前記発言の支援が必要な話者に該当する話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援方法。
  13. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置が実行する発話支援方法であって、
    前記複数の話者の各々が有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれの属性に該当するかを示す属性情報にアクセス可能であり、
    前記プロセッサは、
    複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記属性情報のいずれかの属性に対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する特定処理と、
    前記特定処理によって特定された第2発話状態が、前記発話レベルが所定の発話レベルに達しておらず、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達していない発話状態である場合、前記複数の話者のうち前記属性が前記会話の進行役に該当する話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援方法。
  14. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置が実行する発話支援方法であって、
    前記複数の話者の各々が有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれの属性に該当するかを示す属性情報にアクセス可能であり、
    前記プロセッサは、
    複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記属性情報のいずれかの属性に対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する特定処理と、
    前記特定処理によって特定された第2発話状態が、前記発話レベルが所定の発話レベルに達しておらず、かつ、前記全体話者バランスが前記所定の全体話者バランスに到達している発話状態である場合、前記複数の話者のうち前記属性が前記話題の提供者に該当する話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行することを特徴とする発話支援方法。
  15. 複数の話者の各々の音声データに基づいて、どの話者がいつ発話したかを認識可能な発話支援装置のプロセッサに、
    前記複数の話者の少なくとも1人が発話した第1発話時間長に関する発話レベルと、前記複数の話者の各々の話者が発話した複数の第2発話時間長から得られる前記複数の話者の全体話者バランスと、に基づいて、前記複数の話者の発話状態が、前記複数の話者の会話の生産性が高い第1発話状態と、前記第1発話状態に該当せずかつ前記話者の属性を示す有識者、発言の支援が必要な話者、話題の提供者、および会話の進行役のいずれかに対応する複数の異なる第2発話状態とのうち、いずれの発話状態であるかを特定する第1特定処理と、
    前記複数の第2発話時間長に関する個人発話レベルと、前記話者が他の話者と同時間帯に発話した前記他の話者の人数分の第3発話時間長から得られる前記話者の個人話者バランスと、に基づいて、前記話者の属性を、前記有識者、前記発言の支援が必要な話者、前記話題の提供者、および前記会話の進行役の中から特定する第2特定処理と、
    前記第1特定処理によって前記発話状態が前記複数の異なる第2発話状態の中のいずれかの第2発話状態であると特定された場合、前記複数の話者のうち前記第特定処理によって特定された第2発話状態に対応する属性である話者を、前記会話に対する介入者に決定する決定処理と、
    前記決定処理によって決定された前記介入者に関する情報を出力する出力処理と、
    を実行させるための発話支援プログラム。
JP2020038977A 2020-03-06 2020-03-06 発話支援装置、発話支援方法、および発話支援プログラム Active JP7154245B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020038977A JP7154245B2 (ja) 2020-03-06 2020-03-06 発話支援装置、発話支援方法、および発話支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020038977A JP7154245B2 (ja) 2020-03-06 2020-03-06 発話支援装置、発話支援方法、および発話支援プログラム

Publications (2)

Publication Number Publication Date
JP2021140569A JP2021140569A (ja) 2021-09-16
JP7154245B2 true JP7154245B2 (ja) 2022-10-17

Family

ID=77668737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020038977A Active JP7154245B2 (ja) 2020-03-06 2020-03-06 発話支援装置、発話支援方法、および発話支援プログラム

Country Status (1)

Country Link
JP (1) JP7154245B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345250A (ja) 2005-06-09 2006-12-21 Fujitsu Ltd 発言者決定方法
JP2010074494A (ja) 2008-09-18 2010-04-02 Yamaha Corp 会議支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345250A (ja) 2005-06-09 2006-12-21 Fujitsu Ltd 発言者決定方法
JP2010074494A (ja) 2008-09-18 2010-04-02 Yamaha Corp 会議支援装置

Also Published As

Publication number Publication date
JP2021140569A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
EP3611895B1 (en) Method and device for user registration, and electronic device
US10592611B2 (en) System for automatic extraction of structure from spoken conversation using lexical and acoustic features
US10347250B2 (en) Utterance presentation device, utterance presentation method, and computer program product
CN108766418A (zh) 语音端点识别方法、装置及设备
CN104143332B (zh) 声音处理装置以及声音处理方法
US9196253B2 (en) Information processing apparatus for associating speaker identification information to speech data
CN109739354A (zh) 一种基于声音的多媒体交互方法及装置
CN107463684A (zh) 语音回复方法及装置、计算机装置和计算机可读存储介质
CN112700767B (zh) 人机对话打断方法及装置
CN107545898B (zh) 一种区分说话人语音的处理方法及装置
JP2020160425A (ja) 評価システム、評価方法、及びコンピュータプログラム。
JP7154245B2 (ja) 発話支援装置、発話支援方法、および発話支援プログラム
JP7204337B2 (ja) 会議支援装置、会議支援システム、会議支援方法及びプログラム
CN111506183A (zh) 一种智能终端及用户交互方法
US11318373B2 (en) Natural speech data generation systems and methods
JP5691174B2 (ja) オペレータ選定装置、オペレータ選定プログラム、オペレータ評価装置、オペレータ評価プログラム及びオペレータ評価方法
CN110516043A (zh) 用于问答系统的答案生成方法和装置
JP6946499B2 (ja) 発話支援装置、発話支援方法、および発話支援プログラム
JP2020140169A (ja) 話者決定装置、話者決定方法、および話者決定装置の制御プログラム
JP7420109B2 (ja) 情報出力システム、サーバ装置および情報出力方法
CN109432773A (zh) 游戏场景的处理方法、装置、电子设备与存储介质
KR102291113B1 (ko) 회의록 작성 장치 및 방법
WO2020196743A1 (ja) 評価システム及び評価方法
CN106557914A (zh) 一种闹钟提醒方法和装置
US20230208966A1 (en) Determination method, information processing apparatus, and computer-readable recording medium storing determination program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221004

R150 Certificate of patent or registration of utility model

Ref document number: 7154245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150