JP6763103B1 - 話者間相性判定装置、話者間相性判定方法およびプログラム - Google Patents
話者間相性判定装置、話者間相性判定方法およびプログラム Download PDFInfo
- Publication number
- JP6763103B1 JP6763103B1 JP2020087227A JP2020087227A JP6763103B1 JP 6763103 B1 JP6763103 B1 JP 6763103B1 JP 2020087227 A JP2020087227 A JP 2020087227A JP 2020087227 A JP2020087227 A JP 2020087227A JP 6763103 B1 JP6763103 B1 JP 6763103B1
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- matrix
- unit
- aptitude
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
また、Webコミュニケーションサービスへの投稿データに含まれる特徴語から抽出された特徴量ベクトルから性格型を分類する手法によれば、投稿時点での一時的感情を推定することはできても、投稿者の恒常的性格を推定することは困難である。同時に、投稿データから抽出すべき特徴語を予め辞書に適切に定義しておかない限り、性格型への分類における精度が低下してしまうため、労力を要するものであった。
以下では、例えば、コールセンタ内に設置される1つまたは複数のPC(Personal Computer)において、オペレータの音声、および電話網を介して集音される顧客の音声をそれぞれ録音して、音声処理サーバへ送信し、音声処理サーバにおいて、話者であるオペレータおよび顧客の性格をそれぞれ判定した上で、オペレータおよび顧客の間の相性を判定する一例を主として説明するが、本実施形態はこれに限定されない。
図1は、本実施形態に係る音声処理システムのネットワーク構成の非限定的一例を示す図である。図1を参照して、音声処理システムは、PC(Personal Computer)1および3、ルータ6、および音声処理サーバ7を備える。PC1、3は、ネットワーク5、ルータ6、およびインターネット8を介して、音声処理サーバ7に接続される。
なお、図1には2つのPCが図示されているが、本実施形態におけるPCの数はこれに限定されず、1つであっても、3つ以上であってもよい。
音声処理サーバ7は、PC1、3で集音された話者の音声を解析して、話者の性格を判定するとともに、複数の話者について判定された性格同士の相性を判定する音声処理を実行する。音声処理サーバ7により実行される本実施形態の音声処理の詳細は、図3〜図12を参照して後述する。
図2は、本実施形態に係る音声処理サーバ7の機能構成の非限定的一例を示す図である。
なお、音声解析部13が出力する定量的指標は、話者の性格を推定し得る限り、任意の指標が用いられてよいが、本実施形態では、以下、自己主張度(積極性/慎重性)および感情表現度(論理性/感情性)の2軸で定量的指標の値を算出する例を説明する。
具体的には、本実施形態において、相性判定部16は、性格型マトリクス上で、指定された話者それぞれについて選択されたセルの間の相対距離を算出し、算出されたセル間の相対距離の値から、指定された話者間の相性の程度を定量的に求める。この相性判定処理の詳細は、図6および図7を参照して後述する。
図3は、音声処理サーバ7が実行する音声処理の詳細処理手順の一例を示すフローチャートである。
図3を参照して、S1で、音声処理サーバ7の音声取得部11は、PC1、3から、PC1、3において集音および録音された話者の音声を取得する。音声取得部11は、プッシュ型またはプル型でPC1、3から適宜音声を受信してもよい。
本実施形態では、音声ファイルの音声波形の周波数スペクトルを非言語的に解析することで、話者を適切な性格型に分類するためのパラメータの値を導出する。このように、音声処理サーバ7は、集音された音声の言語やコンテキストに依存することなく、話者の音声を解析することができるため、性格や相性を判定すべき話者は、任意の内容で発話すればよい。発話を促すためには、例えば、「お名前と年代と性別をお話しください。」、「あなたの趣味や今興味があることをお話しください。」等のトリガメッセージをPC1、3の表示装置上に出力し、録音ボタンの押下時に、話者により発話された応答音声をマイクロフォン2,4で集音して、PC1、3の記憶装置上に録音すればよい。
音声取得部11は、録音された図4に示す話者の音声の音声波形を走査して、有音区間を検出して切り出す。なお、図4の音声波形について、PC1、3における集音の際に、録音された話者の音声波形の振幅の閾値を用いて、例えば、音声波形の振幅がマイクロフォンの最大音量の半分程度に収まるように、マイクロフォンの音量を調整してもよい。また、音声取得部11は、音声波形を走査する前に、音声波形を適宜増幅することにより正規化してよい。
音声取得部11はまた、無音音量(振幅)の閾値を超えた位置(経過秒数)を検出し、検出された位置に対して、無音区間の開始を示す「E」とマークして記憶装置に記憶する。
また、有音区間を切り出す際に、音声取得部11は、切り出された有音区間の前後に糊代(遊び)区間を付加して切り出してもよい。例えば、音声取得部12は、「S−糊代閾値(例えば、0.2秒)」から「E+糊代閾値(例えば、0.2秒)」を、1つの有音区間として切り出してよい。
図5を参照して、性格型マトリクス9は2軸を有し、縦軸は、正方向に積極性(Energetic)、負方向に慎重性(Stress)を示し、横軸は、左方向に論理性(Logical)、右方向に感情性(Emotional)を示す。
図5において、性格型マトリクス9は4つのセグメントに分割され、左上のセグメントはEL型(積極的かつ論理的)、右上のセグメントはEE(積極的かつ論理的)、左下のセグメントはSL型(慎重かつ論理的)、右下のセグメントはSE型(慎重かつ感情的)をそれぞれ性格型として示す。
具体的には、本実施形態において、相性判定部16は、図5に示す性格型マトリクス9で、指定された話者それぞれについて選択されたセルの間の相対距離を算出し、算出されたセル間の相対距離の値から、指定された話者間の相性の程度を定量的に求める。
図6を参照して、一例として、相性判定の基準となる話者についてS4で決定されたセグメントがEL型(積極的かつ論理的)、決定されたセルがEL型中のA1であるものとし、これを基準セルRとする。相性判定部16は、基準セルRから、相性判定の相手の話者について決定されたセグメントおよびセルまでの相対距離を図6に示すように算出する。
図7を参照して、相性判定テーブルは、相対距離0〜1は「最適」、相対距離2〜3は「良好」、相対距離4〜5は「良い」、相対距離6〜7は「普通」、相対距離8〜9は「警告」、相対距離10〜11は「注意」、相対距離12〜15は「回避」と定義している。
図8を参照して、PC1、3の表示画面上のメッセージフィールド81は、話者の発話を促すメッセージとして、「お名前と年代と性別と出身地をお話しください。」を表示している。なお、本実施形態は、発話の言語やコンテキストに異存することなく話者の性格型および話者間の相性を判定するため、集音すべき発話内容は任意であり、したがって、発話を促すメッセージも任意の発話を促すメッセージであれば足りる。
図9において、性格判定ボタン92を押下すると、図10の画面に遷移する。
図10を参照して、メッセージフィールド81は、図8および図9の画面を介して発話が録音された話者について判定された性格の判定結果を表示する。
性格保存ボタン101を押下すると、発話が録音された話者について判定された性格の判定結果が記憶装置に記憶される。
話者1選択フィールド121は、第1の話者(「山田太郎」)を表示し、第2の話者(「鈴木一郎」)は、話者2選択フィールド111の押下により、第2の話者として設定される。
図12を参照して、メッセージフィールド81は、第2の話者(「鈴木一郎」)の性格判定結果を表示している。
相性判定結果フィールド121は、第1の話者(「山田太郎」)と第2の話者(「鈴木一郎」)との相性が良好である旨を表示している。
これにより、バイアスを有効に排除しつつ、簡易かつ十分に高精度に、話者の性格を分類し、かつ話者間の相性を判定することができる。
以下、図13および図14を参照して、本発明の実施形態2を、実施形態1と異なる点についてのみ詳細に説明する。
実施形態1は、発話音声の解析結果に基づいて判定された話者の性格型に基づいて、複数の話者間の相性を判定した。本実施形態は、複数の話者間の相性を判定することに替えて、またはこれに加えて、発話音声の解析結果に基づいて判定された話者の性格型に基づいて、話者の職業適性(適応度)を判定する。
図13は、本実施形態において、音声処理サーバ7が実行する音声処理の詳細処理手順の一例を示すフローチャートである。
図13を参照して、S1からS4までの各処理は、図3に示す実施形態1の各処理と同様である。
S7で、音声処理サーバ7の性格型分類部14はさらに、S4で判定された話者の性格型に基づいて、話者の適性を判定する。本実施形態をコールセンタ業務に適用する場合、性格型分類部14は、例えば、オペレータの発話を解析して得られるオペレータの性格に基づいて、オペレータの職業適性を判定してよい。
これにより、バイアスを有効に排除しつつ、簡易かつ十分に高精度に、話者の性格を分類し、かつ話者の適性を判定することができる。
図15は、音声処理システムにおける各装置がそれぞれ備えるハードウエア構成の一例を示す図である。音声処理サーバ7、およびPC1、3は、図15に示すハードウエアコンポーネントの全部又は一部を備える。図15に示す各装置は、CPU21、ROM22、RAM23、外部メモリ24、入力部25、表示部26、通信I/F27及びシステムバス28を備えてよい。
また、本発明は、上述の実施形態の一部または1以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)における1つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、コンピュータが読みだしたプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
2 マイクロフォン
3 PC
4 マイクロフォン
5 ネットワーク
6 ルータ
7 音声処理サーバ
8 インターネット
9 性格型マトリクス
9a 適性判定マトリクス
11 音声取得部
12 音声記憶部
13 音声解析部
14 性格型分類部
15 性格型記憶部
16 相性判定部
17 出力部
21 CPU
22 ROM
23 RAM
24 外部メモリ
25 入力部
26 表示部
27 通信I/F
Claims (12)
- 話者により発話された音声データを解析する音声解析部と、
複数のセグメントが配置され、かつ前記複数のセグメントのそれぞれが複数のセルに分割されたマトリクスであって、前記複数のセルのそれぞれが異なる性格型に対応するマトリクスを記憶するマトリクス記憶部と、
前記音声解析部による解析結果に基づいて、前記マトリクス記憶部により記憶される前記マトリクス上のセルを選択するセル選択部と、
複数の話者について、前記セル選択部によりそれぞれ選択されたセルの間の前記マトリクス上の相対距離に基づいて、前記複数の話者の間の相性を判定する相性判定部と、
を備える話者間相性判定装置。 - 前記相性判定部は、前記セル選択部によりそれぞれ選択されたセルの間の前記マトリクスの縦方向および横方向の経路長から、前記相対距離を算出する
ことを特徴とする請求項1に記載の話者間相性判定装置。 - 前記相性判定部は、前記セル選択部によりそれぞれ選択された複数のセルが、前記マトリクスに配置された異なるセグメントに位置する場合、所定の値を前記相対距離に付加して、前記相対距離を算出する
ことを特徴とする請求項1または2に記載の話者間相性判定装置。 - 前記相性判定部は、前記セル選択部によりそれぞれ選択された複数のセルが、前記マトリクス上で対角線上に配置される異なるセグメントに位置する場合、前記マトリクス上で縦方向または横方向に隣接して配置される異なるセグメントに位置する場合より、大きい値を前記相対距離に付加して、前記相対距離を算出する
ことを特徴とする請求項3に記載の話者間相性判定装置。 - 前記相対距離に付加すべき前記所定の値を、前記複数のセルがそれぞれ属する前記セグメントの前記マトリクス内の配置に応じて変更する閾値変更部をさらに備える
ことを特徴とする請求項3または4に記載の話者間相性判定装置。 - 前記音声解析部による解析に先立って、前記音声データの音声波形に基づいて、前記音声データから有音区間を抽出し、抽出された前記有音区間を、所定の時間長以上となるまで繋ぎ合わせる前処理部をさらに備える
ことを特徴とする請求項1から5のいずれか1項に記載の話者間相性判定装置。 - 前記相性判定部により判定された前記相性を、前記セル選択部により選択されたセルに対応する性格型と対応付けて、出力装置に出力させる出力部をさらに備える
ことを特徴とする請求項1から6のいずれか1項に記載の話者間相性判定装置。 - 前記マトリクスの各セルに属性ごとに異なる適性値を分布させた複数の適性マトリクスを記憶する適性マトリクス記憶部と、
前記適性マトリクス記憶部に記憶される前記複数の適性マトリクスのうち、前記話者の前記属性に対応する適性マトリクスを参照して、前記セル選択部により選択されたセルの前記マトリクス上の位置に基づいて、前記話者の適性を判定する適性判定部と、をさらに備える
ことを特徴とする請求項1から7のいずれか1項に記載の話者間相性判定装置。 - 前記適性判定部により判定された前記適性を、前記セル選択部により選択されたセルに対応する性格型と対応付けて、出力装置に出力させる適性出力部をさらに備える
ことを特徴とする請求項8に記載の話者間相性判定装置。 - 話者により発話された音声データを解析する音声解析部と、
複数のセグメントが配置され、かつ前記複数のセグメントのそれぞれが複数のセルに分割されたマトリクスであって、前記複数のセルのそれぞれが異なる性格型に対応するマトリクスを記憶するマトリクス記憶部と、
前記マトリクス記憶部に記憶される前記マトリクスの各セルに、属性ごとに異なる適性値を分布させた複数の適性マトリクスを記憶する適性マトリクス記憶部と、
前記音声解析部による解析結果に基づいて、前記マトリクス記憶部により記憶される前記マトリクス上のセルを選択するセル選択部と、
前記適性マトリクス記憶部に記憶される前記複数の適性マトリクスのうち、前記話者の前記属性に対応する適性マトリクスを参照して、前記セル選択部により選択されたセルの前記マトリクス上の位置に基づいて、前記話者の適性を判定する適性判定部と、
を備える話者適性判定装置。 - 話者間相性判定装置が実行する話者間相性判定方法であって、
話者により発話された音声データを解析するステップと、
複数のセグメントが配置され、かつ前記複数のセグメントのそれぞれが複数のセルに分割されたマトリクスであって、前記複数のセルのそれぞれが異なる性格型に対応するマトリクスを記憶するステップと、
前記音声データの解析結果に基づいて、記憶される前記マトリクス上のセルを選択するステップと、
複数の話者について、それぞれ選択されたセルの間の前記マトリクス上の相対距離に基づいて、前記複数の話者の間の相性を判定するステップと、
を含むことを特徴とする話者間相性判定方法。 - 話者間相性判定処理をコンピュータに実行させるための話者間相性判定プログラムであって、該プログラムは、前記コンピュータに、
話者により発話された音声データを解析する音声解析処理と、
複数のセグメントが配置され、かつ前記複数のセグメントのそれぞれが複数のセルに分割されたマトリクスであって、前記複数のセルのそれぞれが異なる性格型に対応するマトリクスを記憶するマトリクス記憶処理と、
前記音声解析処理による解析結果に基づいて、前記マトリクス記憶処理により記憶される前記マトリクス上のセルを選択するセル選択処理と、
複数の話者について、前記セル選択処理によりそれぞれ選択されたセルの間の前記マトリクス上の相対距離に基づいて、前記複数の話者の間の相性を判定する相性判定処理と、を含む処理を実行させるためのものである、
ことを特徴とする話者間相性判定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020087227A JP6763103B1 (ja) | 2020-05-19 | 2020-05-19 | 話者間相性判定装置、話者間相性判定方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020087227A JP6763103B1 (ja) | 2020-05-19 | 2020-05-19 | 話者間相性判定装置、話者間相性判定方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6763103B1 true JP6763103B1 (ja) | 2020-09-30 |
JP2021182067A JP2021182067A (ja) | 2021-11-25 |
Family
ID=72614616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020087227A Active JP6763103B1 (ja) | 2020-05-19 | 2020-05-19 | 話者間相性判定装置、話者間相性判定方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6763103B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022097816A1 (ko) * | 2020-11-05 | 2022-05-12 | 한국과학기술원 | 대화 상대와 사용자의 성격 정보를 고려한 대화 상대에 대한 신뢰 정도 예측 시스템 및 그 방법 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3280825B2 (ja) * | 1995-04-26 | 2002-05-13 | 富士通株式会社 | 音声特徴分析装置 |
JP2008242534A (ja) * | 2007-03-24 | 2008-10-09 | Hiroko Ishiwaka | ヒーリングシステム、サーバ装置、情報処理装置、およびプログラム |
JP5281527B2 (ja) * | 2009-09-17 | 2013-09-04 | 日本電信電話株式会社 | 対話型性格特徴判定装置とその方法と、プログラム |
JP2018097292A (ja) * | 2016-12-16 | 2018-06-21 | 日本電気株式会社 | 感情識別装置、感情識別方法および感情識別プログラム |
JP6455955B1 (ja) * | 2017-10-17 | 2019-01-23 | 株式会社イー・ファルコン | 人の成長を促すための方法、該方法を実施するためのコンピュータプログラム、及び、パーソナリティ評価マップ |
-
2020
- 2020-05-19 JP JP2020087227A patent/JP6763103B1/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022097816A1 (ko) * | 2020-11-05 | 2022-05-12 | 한국과학기술원 | 대화 상대와 사용자의 성격 정보를 고려한 대화 상대에 대한 신뢰 정도 예측 시스템 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2021182067A (ja) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9509845B2 (en) | System and method for pairing agents and callers within a call center | |
US10250741B2 (en) | Systems and methods for managing, analyzing and providing visualizations of multi-party dialogs | |
Aiello et al. | Psychological well-being and work engagement among Italian social workers: Examining the mediational role of job resources | |
JP5394118B2 (ja) | 行動分析装置及びコールセンターシステム | |
JP2017508188A (ja) | 適応型音声対話のための方法 | |
CN103248771A (zh) | 用于呼叫中心对话的对话质量监视的系统及其方法 | |
US20140278506A1 (en) | Automatically evaluating and providing feedback on verbal communications from a healthcare provider | |
EP4020467A1 (en) | Voice coaching system and related methods | |
JP6763103B1 (ja) | 話者間相性判定装置、話者間相性判定方法およびプログラム | |
JP2013157666A (ja) | 電話応対業務支援システムおよびその方法 | |
US20200342469A1 (en) | System and method for performing a quality assessment by segmenting and analyzing verbatims | |
JP2020000713A (ja) | 分析装置、分析方法及びコンピュータープログラム | |
KR20160142949A (ko) | 컨택 센터를 위한 감성 분석 장치 및 그 방법 | |
JP2021157419A (ja) | 対話型業務支援システムおよび対話型業務支援方法 | |
US20200125647A1 (en) | Determination of biorhythms through video journal services | |
JP2018049140A (ja) | 音声分析プログラム、音声分析装置、及び音声分析方法 | |
JP2016153833A (ja) | 性格評価支援システム及び採用試験システム | |
US20230116808A1 (en) | Information processing device and program | |
KR20230081882A (ko) | 심리 상담 시스템 및 심리 상담 방법 | |
EP2546790A1 (en) | Computer-implemented system and method for assessing and utilizing user traits in an automated call center environment | |
JP2020060735A (ja) | 音声認識システム | |
JP2018181296A (ja) | 情報提供装置、情報提供方法及びコンピュータープログラム | |
US20150066603A1 (en) | Method and apparatus to analyse skill of contact center employees from the behavior displayed during interactions with customers using computer software |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200519 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200519 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6763103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |