JP6327252B2 - 分析対象決定装置及び分析対象決定方法 - Google Patents
分析対象決定装置及び分析対象決定方法 Download PDFInfo
- Publication number
- JP6327252B2 JP6327252B2 JP2015530723A JP2015530723A JP6327252B2 JP 6327252 B2 JP6327252 B2 JP 6327252B2 JP 2015530723 A JP2015530723 A JP 2015530723A JP 2015530723 A JP2015530723 A JP 2015530723A JP 6327252 B2 JP6327252 B2 JP 6327252B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- section
- negative
- conversation
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000001514 detection method Methods 0.000 claims description 72
- 230000008909 emotion recognition Effects 0.000 claims description 34
- 230000002123 temporal effect Effects 0.000 claims description 12
- 230000008451 emotion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
- G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
- G06Q30/016—After-sales
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、会話の分析技術に関する。
会話を分析する技術の一例として、通話データを分析する技術がある。例えば、コールセンタ、コンタクトセンタなどと呼ばれる部署で行われる通話のデータが分析される。以降、このような、商品やサービスに関する問い合わせや苦情や注文といった顧客からの電話に応対する業務を専門的に行う部署をコンタクトセンタと表記する。
コンタクトセンタに寄せられる顧客の声には、顧客ニーズや満足度などが反映されている場合が多く、顧客との通話からそのような顧客の感情やニーズを抽出することは、リピータ顧客を増加させるために企業にとって大変重要である。特に顧客が怒りを表している通話は、顧客に明らかな不満が存在するため、その不満原因を分析し、改善活動へと繋げることは企業にとって重要である。このように通話者の感情等を抽出することが望まれる対象通話は、コンタクトセンタにおける通話だけに留まらない。
下記特許文献1には、人物Aと人物Bとの会話の中の人物Aの音声に対して感情認識を行い、この感情認識の結果と、役職や立場や年齢や性別等のような人物Bの種別に対応する算出アルゴリズムとを用いて、人物Aの満足度を算出する手法が提案されている。下記特許文献2には、店員と会話との会話の中の顧客の音声に対して感情認識を行い、この感情認識結果から顧客満足度を算出し、当該会話の録音データと顧客満足度とを関連付けて接客データとして記録する手法が提案されている。下記特許文献3には、通話の音声を入力として、一方の話者が怒っている状態であるか否かを判定する手法が提案されている。
しかしながら、上述のような各提案手法は、1人の会話参加者(例えば、顧客)の満足度を算出するか、又は、1人の会話参加者が怒っている状態か否かを判定しているに過ぎず、それら感情の原因まで分析することは行っていない。
一方で、会話内で会話参加者の特定感情の原因を分析する場合、会話内の多数の発話区間が分析対象とされるのが一般的である。例えば、会話内の不満の原因を分析する場合、不満の感情表出態様の1つである怒りを表す発話区間が分析対象とされる。ところが、会話参加者が不満を感じた会話において、その会話参加者の怒り発話を表す怒り発話区間は、多数存在することが多い。よって、検出された怒り発話から不満の原因を抽出する不満原因分析を行うには、そのような多数の怒り発話区間を対象に分析が行われる。更に、高精度に不満の原因を分析するためには、怒り発話区間だけでなく、周辺の通話区間も分析対象に加えることが望まれる。怒りの原因となる会話がなされてからしばらく後に怒りの感情が表出する場合もあり、怒りの発話区間だけでは、その怒りを引き起こした原因を分析することは難しいからである。このように、多数の発話区間を分析対象に加えれば、原因分析の精度は向上する。しかしながら、分析対象の発話区間が増えれば増えるほど、分析効率は低下することになる。
本発明は、このような事情に鑑みてなされたものであり、分析精度を維持しながら、不満会話における会話参加者の不満原因を効率よく分析する技術を提供する。ここで、不満会話とは、少なくとも1人の会話参加者が怒り感情を表出させた会話を意味する。
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第1の側面は、分析対象決定装置に関する。第1の側面に係る分析対象決定装置は、不満会話の音声に対応するデータから、その不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出する要望区間検出部と、上記データから、第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出する否定区間検出部と、上記データの中の、要望発話区間から得られる時点を始端とし、要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間を、不満会話における、第1の会話参加者の不満原因の分析対象区間に決定する対象決定部と、を有する。
第2の側面は、少なくとも1つのコンピュータにより実行される分析対象決定方法に関する。第2の側面に係る分析対象決定方法は、不満会話の音声に対応するデータから、その不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出し、上記データから、第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出し、上記データの中の、要望発話区間から得られる時点を始端とし、要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間を、不満会話における、第1の会話参加者の不満原因の分析対象区間に決定することを含む。
なお、本発明の他の側面としては、上記第2の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
上記各側面によれば、分析精度を維持しながら、不満会話における会話参加者の不満原因を効率よく分析する技術を提供することができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
図1は、本実施形態における分析対象決定装置の処理構成例を概念的に示す図である。図1に示されるように、分析対象決定装置100は、不満会話の音声に対応するデータから、当該不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出する要望区間検出部101と、上記データから、第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出する否定区間検出部102と、上記データの中の、要望発話区間から得られる時点を始端とし、要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間を、上記不満会話における、第1の会話参加者の不満原因の分析対象区間に決定する対象決定部103とを有する。
図1に示される分析対象決定装置100は、例えば、後述する詳細実施形態における通話分析サーバ10と同様のハードウェア構成を有し、その通話分析サーバ10と同様にプログラムが処理されることで、上述の各処理部が実現される。
図2は、本実施形態における分析対象決定装置100の動作例を示すフローチャートである。本実施形態における分析対象決定方法は、分析対象決定装置100のような少なくとも1つのコンピュータにより実行され、図2に示されるような処理工程を含む。即ち、分析対象決定方法は、不満会話の音声に対応するデータから、当該不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出し(S21)、上記データから、第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出し(S22)、上記データの中の、要望発話区間から得られる時点を始端とし、要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間を、上記不満会話における、第1の会話参加者の不満原因の分析対象区間に決定する(S23)、ことを含む。なお、(S21)及び(S22)の実行順は逆であってもよいし、(S21)及び(S22)は並列に実行されてもよい。
不満会話とは、上述のとおり、少なくとも1人の会話参加者が怒り感情を表出させた会話を意味する。会話とは、2以上の会話参加者が、言語の発声などによる意思表示によって、話をすることを意味する。会話には、銀行の窓口や店舗のレジ等のように、会話参加者が直接、話をする形態もあれば、通話機を用いた通話やテレビ会議等のように、離れた位置にいる会話参加者同士が話をする形態もあり得る。また、会話の音声中、一人の会話参加者が声を発している連続領域を発話又は発話区間と表記する。例えば、発話区間は、会話参加者の音声波形において所定値以上の振幅が継続している区間として検出される。通常の会話は、各会話参加者の発話区間、無声区間などから形成される。ここで、音声には、人間が発する声に加えて、人間以外の物から生じる音も含まれる。よって、発話及び発話区間は、音の区間であってもよい。
本実施形態では、不満会話の音声に対応するデータから、第1の会話参加者の要望発話を表す要望発話区間、及び、第2の会話参加者の否定発話を表す否定発話区間が検出される。不満会話の音声に対応するデータは、不満会話が録音された音声データであってもよいし、その音声データから音声認識処理により取得された音声テキストデータ及び発生時間データであってもよい。要望発話は、第1の会話参加者が要望を述べている発話であり、否定発話は、第2の会話参加者が否定を述べている発話である。不満会話の音声に対応するデータから要望発話区間及び否定発話区間を検出する手法には、複数の手法が存在する。このような複数の検出手法の詳細については、後述する。
そして、本実施形態では、要望発話区間から得られる時点を始端とし、要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間が、上記不満会話における、第1の会話参加者の不満原因の分析対象区間に決定される。要望発話区間から得られる時点には、始端時間、終端時間のような要望発話区間内の任意の時点や、要望発話区間内の任意の時点から所定時間(数秒程度)前又は所定時間後の時点が含まれる。また、否定発話区間から得られる時点には、始端時間、終端時間のような否定発話区間内の任意の時点や、否定発話区間内の任意の時点から所定時間(数秒程度)前又は所定時間後の時点が含まれる。但し、本実施形態は、上記区間のみを分析対象区間に決定することが望ましいが、上記区間以外の発話区間を分析対象区間に加えることを排除するものではない。
本発明者らは、或る会話参加者が要望を述べ、その要望に対して他の会話参加者が否定するという会話パターンが不満会話において頻出することに着眼し、要望及びその否定を表す会話パターンの中に、要望を述べ否定された会話参加者の不満原因が存在する可能性が極めて高いことを見出した。そこで、本実施形態では、不満会話の音声に対応するデータの中の、そのような要望及びその否定を表す会話パターンに対応する区間が不満原因の分析対象区間に決定される。ここで、第1の会話参加者の要望発話に対する第2の会話参加者の否定発話は、その要望発話の後に生じる。よって、本実施形態では、不満原因の分析対象区間を決めるための否定発話区間には、要望発話区間よりも後の否定発話区間が選ばれる。要望発話区間よりも後の否定発話区間とは、要望発話区間の始端時間よりも後の始端時間及び終端時間を持つ否定発話区間を意味し、要望発話区間の終端時間よりも前の始端時間を持つ否定発話区間も含まれる。そして、本実施形態では、上述のように、上記会話パターンに対応する区間として、要望発話区間から得られる時点を始端とし、要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間が選択される。
このように、不満会話における、不満原因の分析対象区間を決定することで、多数かつ長時間の通話区間を分析対象とするのではなく、不満原因が存在する可能性が高い部分のみを分析対象とすることができる。更に、このように分析対象を絞ったとしても、不満原因が存在する可能性が高い部分を特定しているため、分析精度を維持することができる。これにより、本実施形態によれば、分析精度を維持しつつ、不満原因分析の効率を向上させることができる。
以下、上述の実施形態について更に詳細を説明する。以下には、詳細実施形態として、第1実施形態を例示する。以下の第1実施形態は、上述の分析対象決定装置及び分析対象決定方法をコンタクトセンタシステムに適用した場合の例である。よって、以下の詳細実施形態では、コンタクトセンタにおける、顧客とオペレータとの間の通話であって、顧客が怒り感情を表出させた通話が、上述の不満会話に相当する。また、顧客とオペレータが上述の会話参加者に相当し、顧客が第1の会話参加者に相当し、オペレータが第2の会話参加者に相当する。
但し、上述の分析対象決定装置及び分析対象決定方法は、通話データを扱うコンタクトセンタシステムへの適用に限定されるものではなく、会話データを扱う様々な態様に適用可能である。例えば、それらは、コンタクトセンタ以外の社内の通話管理システムや、個人が所有する、PC(Personal Computer)、固定電話機、携帯電話機、タブレット端末、スマートフォン等の通話端末などに適用することも可能である。更に、会話データとしては、例えば、銀行の窓口や店舗のレジにおける、担当者と顧客の会話を示すデータなどが例示できる。以下、通話とは、或る通話者と或る通話者とがそれぞれ持つ通話機器が呼接続されてから呼切断されるまでの間の呼を意味する。
[第1実施形態]
〔システム構成〕
図3は、第1実施形態におけるコンタクトセンタシステム1の構成例を示す概念図である。第1実施形態におけるコンタクトセンタシステム1は、交換機(PBX)5、複数のオペレータ電話機6、複数のオペレータ端末7、ファイルサーバ9、通話分析サーバ10等を有する。通話分析サーバ10は、上述の実施形態における分析対象決定装置100に相当する。
〔システム構成〕
図3は、第1実施形態におけるコンタクトセンタシステム1の構成例を示す概念図である。第1実施形態におけるコンタクトセンタシステム1は、交換機(PBX)5、複数のオペレータ電話機6、複数のオペレータ端末7、ファイルサーバ9、通話分析サーバ10等を有する。通話分析サーバ10は、上述の実施形態における分析対象決定装置100に相当する。
交換機5は、通信網2を介して、顧客により利用される、PC、固定電話機、携帯電話機、タブレット端末、スマートフォン等の通話端末と通信可能に接続されている。通信網2は、インターネットやPSTN(Public Switched Telephone Network)等のような公衆網、無線通信ネットワーク等である。更に、交換機5は、コンタクトセンタの各オペレータが用いる各オペレータ電話機6とそれぞれ接続される。交換機5は、顧客からの呼を受け、その呼に応じたオペレータのオペレータ電話機6にその呼を接続する。
各オペレータは、オペレータ端末7をそれぞれ用いる。各オペレータ端末7は、コンタクトセンタシステム1内の通信網8(LAN(Local Area Network)等)に接続される、PC等のような汎用コンピュータである。例えば、各オペレータ端末7は、各オペレータと顧客との間の通話における顧客の音声データ及びオペレータの音声データをそれぞれ録音する。顧客の音声データとオペレータの音声データとは、混合状態から所定の音声処理により分離されて生成されてもよい。なお、本実施形態は、このような音声データの録音手法及び録音主体を限定しない。各音声データの生成は、オペレータ端末7以外の他の装置(図示せず)により行われてもよい。
ファイルサーバ9は、一般的なサーバコンピュータにより実現される。ファイルサーバ9は、顧客とオペレータとの間の各通話の通話データを、各通話の識別情報と共にそれぞれ格納する。各通話データには、時間情報、顧客の音声データとオペレータの音声データとのペアなどがそれぞれ含まれる。各音声データには、顧客及びオペレータの声に加えて、顧客電話機3及びオペレータ端末7から入力される音も含まれてもよい。ファイルサーバ9は、顧客及びオペレータの各音声を録音する他の装置(各オペレータ端末7等)から、顧客の音声データとオペレータの音声データとを取得する。
通話分析サーバ10は、ファイルサーバ9に格納される各通話データをそれぞれ分析し、ユーザの要求に応じた分析結果を出力する。通話分析サーバ10は、自身が持つ表示装置に表示させてもよいし、WEBサーバ機能により当該分析結果をユーザ端末上のブラウザに表示させるようにしてもよい。第1実施形態における通話分析サーバ10は、顧客が不満を表出させた不満通話の通話データから顧客の不満原因の分析対象区間を決定する。
通話分析サーバ10は、図3に示されるように、ハードウェア構成として、CPU(Central Processing Unit)11、メモリ12、入出力インタフェース(I/F)13、通信装置14等を有する。メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク、可搬型記憶媒体等である。入出力I/F13は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置、表示装置やプリンタ等のようなユーザに情報を提供する装置などと接続される。通信装置14は、通信網8を介して、ファイルサーバ9などと通信を行う。但し、通話分析サーバ10のハードウェア構成は制限されない。
〔処理構成〕
図4は、第1実施形態における通話分析サーバ10の処理構成例を概念的に示す図である。第1実施形態における通話分析サーバ10は、通話データ取得部20、音声認識部21、怒り感情認識部22、要望区間検出部23、否定区間検出部24、対象決定部25、表示処理部26等を有する。これら各処理部は、例えば、CPU11によりメモリ12に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F13を介してインストールされ、メモリ12に格納されてもよい。
図4は、第1実施形態における通話分析サーバ10の処理構成例を概念的に示す図である。第1実施形態における通話分析サーバ10は、通話データ取得部20、音声認識部21、怒り感情認識部22、要望区間検出部23、否定区間検出部24、対象決定部25、表示処理部26等を有する。これら各処理部は、例えば、CPU11によりメモリ12に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F13を介してインストールされ、メモリ12に格納されてもよい。
通話データ取得部20は、ファイルサーバ9から、分析対象となる複数通話の通話データを各通話の識別情報と共にそれぞれ取得する。それら複数の通話データは、通話分析サーバ10とファイルサーバ9との間の通信により取得されてもよいし、可搬型記録媒体を介して取得されてもよい。
音声認識部21は、通話データに含まれるオペレータ及び顧客の各音声データの各発話区間に対して音声認識処理をそれぞれ行う。これにより、音声認識部21は、当該通話データから、オペレータ音声及び顧客音声に対応する各音声テキストデータ及び各発声時間データをそれぞれ取得する。ここで、音声テキストデータとは、顧客又はオペレータにより発された声がテキスト化された文字データである。各発声時間データは、各音声テキストデータの発声時間をそれぞれ示し、各音声テキストデータが得られた各発話区間の始端時間及び終端時間をそれぞれ含む。なお、本実施形態では、この音声認識処理には、周知な手法が利用されればよく、その音声認識処理自体及びその音声認識処理で利用される各種音声認識パラメータを制限しない。
怒り感情認識部22は、通話データに含まれる顧客の音声データの各発話区間に対して怒り感情の認識処理をそれぞれ行う。怒り感情認識部22は、各発話区間における音声から韻律的特徴情報を取得し、この韻律的特徴情報を用いて、顧客の各発話区間に怒り感情が表われているか否かを判定する。怒り感情が表われている発話区間は怒り発話区間と表記される。韻律的特徴情報としては、例えば、基本周波数や音声パワー等が利用される。また、怒り感情認識部22は、韻律的特徴量を用いずに単語特徴量等、他の特徴量を用いてもよいし、韻律的特徴量と他の特徴量とを組み合わせて用いてもよい。単語特徴量が用いられる場合には、音声認識部21により取得される音声テキストデータが利用されればよい。なお、本実施形態では、この怒り感情認識処理には、周知な手法が利用されればよく(上記特許文献3を参照)、怒り感情認識処理自体は制限されない。
怒り感情認識部22は、SVM(Support Vector Machine)のような識別モデル(識別関数)を用いて、顧客の各発話区間が怒りを表すか否かを判定するようにしてもよい。具体的には、「怒り」と「平常」の発話区間の韻律的特徴情報を学習データとして与え、「怒り」と「平常」とを識別するように学習された識別モデルを、怒り感情認識部22が予め保持するようにしてもよい。識別モデルの学習手法及び識別モデルを用いたデータ識別手法には、周知の機械学習技術及び周知のデータ識別(パターン認識)技術を用いればよい。
怒り感情認識部22は、上述のような判定により、顧客の怒り発話区間を検出する。これにより、怒り発話区間の始端時間及び終端時間が取得される。
オペレータ及び顧客の各発話区間は、音声認識部21及び怒り感情認識部22の各認識処理が実行される前に、通話データ取得部20により取得された通話データに含まれる音声データから検出されるようにしてもよい。この検出により、各発話区間の始端時間及び終端時間が取得される。本実施形態は、発話区間の具体的検出方法を制限しない。発話区間は、音声認識部21の音声認識処理によって検出されてもよい。また、通話データ取得部20が、通話データと共に、発話区間の情報を取得するようにしてもよい。
要望区間検出部23及び否定区間検出部24は、上述の要望区間検出部101及び否定区間検出部102に相当する。要望区間検出部23及び否定区間検出部24は、怒り感情認識部22により怒り発話区間を含むと判定された通話データ(不満通話データ)を対象にそれぞれ処理を行う。
要望区間検出部23は、怒り感情認識部22により検出された怒り発話区間を基準に、不満通話内の所定の時間的位置にある要望候補区間に含まれる、顧客の発話区間の中から、上記要望発話区間を検出する。要望区間検出部23は、当該要望発話区間を検出するにあたり、まず、怒り発話区間に基づいて、要望候補区間を決定する。
要望候補区間を決めるための所定の時間的位置に関する情報は予め要望区間検出部23により保持される。所定の時間的位置は、時間を単位に設定されていてもよいし、顧客の発話区間の数を単位に設定されていてもよい。また、要望候補区間の不満通話内の時間的位置を決めるための怒り発話区間内の基準時点は、怒り発話区間内の始端時間、終端時間又はそれ以外の任意の時点に設定される。また、1つの不満通話内に複数の怒り発話区間が検出された場合には、要望候補区間の時間的位置を決めるための基準時点は、検出された複数の怒り発話区間の中の1つの怒り発話区間内の任意の位置であってもよいし、複数の怒り発話区間をマージした区間内の任意の位置であってもよい。不満原因の発端となり得る顧客の要望発話は、怒り発話よりも前に発声される可能性が高い。よって、当該要望候補区間の始端及び終端は、怒り発話区間よりも所定時間前又は所定発話区間前に設定されることが望ましい。
要望区間検出部23は、上記要望候補区間内の顧客の各発話区間に対する音声認識部21による音声認識の結果に、要望表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、この判定結果に基づいて、要望発話区間を検出することができる。この場合、要望区間検出部23は、要望表現リストに含まれる単語又は単語列が含まれている発話区間を要望発話区間と判定し、単語又は単語列が含まれていない発話区間を要望発話区間でないと判定することができる。要望表現リストに含まれる単語又は単語列には、「たい」、「してほしい」、「できませんか」といった要望を表す複数の語句が設定される。要望区間検出部23は、要望表現リストを予め保持する。また、要望区間検出部23は、音声認識部21による音声認識結果のみでなく、要望候補区間の韻律的特徴情報も利用して、当該判定を行うこともできる。例えば、要望区間検出部23は、語尾の基本周波数が高くなっている発話区間を優先的に要望発話区間と判定するようにしてもよい。
要望区間検出部23は、上記検出手法と共に、又は、上記検出手法に代えて、次のような手法で、要望発話区間を検出することもできる。即ち、要望区間検出部23は、SVMのような識別モデル(識別関数)を持ち、この識別モデルに上記要望候補区間内の顧客の発話区間の音声認識結果(単語特徴量情報)を与えることで、各発話区間が要望発話区間か否かを判定することもできる。この場合、単語特徴量情報を特徴量として、正例である要望発話区間と負例であるその他の発話区間とを、学習データとして与え、要望発話区間とその他の発話区間とを識別するように学習された識別モデルを、要望区間検出部23が予め保持する。この識別モデルは、要望発話モデルと表記することもできる。この場合、要望区間検出部23は、要望発話モデルから出力される、要望候補区間内の顧客の各発話区間に関する要望発話スコアに基づいて、一定値以上の要望発話スコアを示す発話区間を要望発話区間と決定する。単語特徴量情報は、例えば、音声認識部21により抽出される音声テキストデータに含まれる各語句に予め関連付けられ、音声認識部21により保持される。また、要望発話モデルは、単語特徴量情報と韻律的特徴情報を特徴量とする識別モデルであってもよい。この場合、要望発話モデルには、要望候補区間内の顧客の発話区間に関する単語特徴量情報及び韻律的特徴情報の少なくとも一方が入力として与えられる。
否定区間検出部24は、怒り感情認識部22により検出された怒り発話区間及び要望区間検出部23により検出される要望発話区間の少なくとも一方を基準に、不満通話内の所定の時間的位置にある否定候補区間に含まれる、オペレータの発話区間の中から、上記否定発話区間を検出する。否定区間検出部24は、当該否定発話区間を検出するにあたり、まず、怒り発話区間及び要望発話区間の少なくとも一方に基づいて、否定候補区間を決定する。否定候補区間を決めるための所定の時間的位置に関する情報は予め否定区間検出部24により保持される。所定の時間的位置は、時間を単位に設定されていてもよいし、顧客の発話区間の数を単位に設定されていてもよい。また、否定候補区間は、上記要望候補区間と同一に設定されてもよい。
不満通話内に頻出する上述の会話パターンに含まれる、オペレータの否定発話は、顧客の怒り発話と関連する可能性が高い。一方で、オペレータの否定発話は、オペレータが単独で否定語を発声する場面と、顧客の要望に対してオペレータが否定を述べる場面とに生じ得る。これら2つの場面のうち、顧客の要望に対するオペレータの否定発話のほうが、オペレータ単独での否定発話よりも、顧客の怒り発話に結びつきかつ不満の原因を含む可能性が高い。そこで、本実施形態では、否定候補区間の不満通話内の時間的位置を決めるための基準時点は、怒り発話区間及び要望発話区間の少なくとも一方を考慮して設定される。即ち、当該基準点は、怒り発話区間内の任意の時点、要望発話区間内の任意の時点、又は、怒り発話区間及び要望発話区間から導かれる区間内の任意の時点に設定される。1つの不満通話内に複数の怒り発話区間及び複数の要望発話区間が検出された場合には、否定候補区間の時間的位置を決めるための基準時点は、検出された複数の怒り発話区間及び検出された複数の要望発話区間から導出される区間内の任意の位置に設定される。但し、上述のようなオペレータの否定発話と顧客の怒り及び不満との関係性を考慮すると、不満の原因を含む可能性の高いオペレータの否定発話は、顧客の怒り発話区間よりも前であって、顧客の要望発話よりも後に生じる可能性が高い。そこで、当該否定候補区間の始端は、怒り発話区間よりも所定時間前又は所定発話区間前で、かつ、要望候補区間よりも所定時間後又は所定発話区間後に設定されることが望ましい。
否定区間検出部24は、上記否定候補区間内のオペレータの各発話区間に対する音声認識部21による音声認識の結果に、否定表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、この判定結果に基づいて、否定発話区間を検出することができる。この場合、否定区間検出部24は、否定表現リストに含まれる単語又は単語列が含まれている発話区間を否定発話区間と判定し、単語又は単語列が含まれていない発話区間を否定発話区間でないと判定することができる。否定表現リストに含まれる単語又は単語列には、「しておりません」、「できかねます」といった否定を表す複数の語句が設定される。但し、否定表現リストに含まれる単語列として、「残念ながら」、「申し訳ありませんが」といった謝罪を表す語句も合せて設定されてもよい。顧客の要望に対してオペレータが述べる謝罪は、要望に対する否定の意味も含むからである。否定区間検出部24は、否定表現リストを予め保持する。また、否定区間検出部24は、音声認識部21による音声認識結果のみでなく、否定候補区間の韻律的特徴情報も利用して、当該判定を行うこともできる。例えば、否定区間検出部24は、発話速度が遅い発話区間を優先的に否定発話区間と判定するようにしてもよい。
否定区間検出部24は、上記検出手法と共に、又は、上記検出手法に代えて、次のような手法で、否定発話区間を検出することもできる。即ち、否定区間検出部24は、SVMのような識別モデル(識別関数)を持ち、この識別モデルに上記否定候補区間内のオペレータの発話区間の音声認識結果(単語特徴量情報)を与えることで、各発話区間が否定発話区間か否かを判定することもできる。この場合、単語特徴量情報を特徴量として、正例である否定発話区間と負例であるその他の発話区間とを、学習データとして与え、否定発話区間とその他の発話区間とを識別するように学習された識別モデルを、否定区間検出部24が予め保持する。この識別モデルは、否定発話モデルと表記することもできる。この場合、否定区間検出部24は、否定発話モデルから出力される、否定候補区間内のオペレータの各発話区間に関する否定発話スコアに基づいて、一定値以上の否定発話スコアを示す発話区間を否定発話区間と決定する。単語特徴量情報は、例えば、音声認識部21により抽出される音声テキストデータに含まれる各語句に予め関連付けられ、音声認識部21により保持される。また、否定発話モデルは、単語特徴量情報と韻律的特徴情報を特徴量とする識別モデルであってもよい。この場合、否定発話モデルには、否定候補区間内のオペレータの発話区間に関する単語特徴量情報及び韻律的特徴情報の少なくとも一方が入力として与えられる。
対象決定部25は、上述の対象決定部103に相当する。対象決定部25は、要望区間検出部23により検出された要望発話区間から得られる時点を始端とし、否定区間検出部24により検出された、その要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間、顧客の不満原因の分析対象区間に決定する。更に、対象決定部25は、要望区間検出部23により複数の要望発話区間が検出され、かつ、否定区間検出部24により複数の否定発話区間が検出された場合に、要望発話区間の始端時間と、この始端時間よりも後の始端時間及び終端時間を持ちかつその要望発話区間と時間的に隣接する次の要望発話区間の始端時間よりも前の始端時間を持つ否定発話区間の中の最も遅い終端時間を持つ否定発話区間の終端時間との間を、当該分析対象区間に決定する。続けて、対象決定部25は、上記次の要望発話区間の始端時間を基準に、上述と同様に、次の分析対象区間を決定することができる。不満通話内で時間的に隣接する要望発話区間と否定発話区間との間が所定時間以上離れている場合には、対象決定部25は、その否定発話区間を顧客の要望に対する否定発話ではない可能性が高いため、その否定区間を分析対象区間を決定する上での対象から除外してもよい。
表示処理部26は、怒り感情認識部22により検出された怒り発話区間を表わす描画要素、及び、対象決定部25により決定された分析対象区間を表す描画要素が、各不満通話に関し、通話内の時系列に応じてそれぞれ並ぶ描画データを生成する。表示処理部26は、この描画データに基づいて分析結果画面を通話分析サーバ10に入出力I/F13を介して接続される表示装置に表示させる。また、表示処理部26は、WEBサーバ機能を持ち、この描画データをWEBクライアント装置に表示させるようにしてもよい。
〔動作例〕
以下、第1実施形態における分析対象決定方法について図5を用いて説明する。図5は、第1実施形態における通話分析サーバ10の動作例を示すフローチャートである。以下の説明では、通話分析サーバ10が各処理工程の実行主体となるが、通話分析サーバ10に含まれる上述の各処理部が実行主体となってもよい。
以下、第1実施形態における分析対象決定方法について図5を用いて説明する。図5は、第1実施形態における通話分析サーバ10の動作例を示すフローチャートである。以下の説明では、通話分析サーバ10が各処理工程の実行主体となるが、通話分析サーバ10に含まれる上述の各処理部が実行主体となってもよい。
通話分析サーバ10は、通話データを取得する(S51)。例えば、通話分析サーバ10は、ファイルサーバ9に格納される複数の通話データの中から1つの通話データを取得する。
続いて、通話分析サーバ10は、取得された通話データに含まれるオペレータ及び顧客の各音声データの各発話区間に対して音声認識処理をそれぞれ行う(S52)。具体的な処理内容は、音声認識部21について説明したとおりである。
通話分析サーバ10は、取得された通話データに含まれる顧客の音声データの各発話区間に対して怒り感情の認識処理をそれぞれ行う(S53)。但し、怒り感情の認識処理が、韻律的特徴情報を用いず、単語特徴量情報を用いる場合には、通話分析サーバ10は、(S52)の音声認識結果に対して、怒り感情の認識処理を行う。具体的な処理内容は、怒り感情認識部22について説明したとおりである。上記認識処理により、通話分析サーバ10は、その通話データの中から、顧客の怒り発話区間を検出する。
通話分析サーバ10は、通話データが不満通話か否かを判定する(S54)。具体的には、通話分析サーバ10は、(S53)で怒り発話区間が検出された通話データは不満通話であると判定し(S54;YES)、怒り発話区間が検出されなかった通話データは不満通話でないと判定する(S54;NO)。通話分析サーバ10は、当該通話データが不満通話出なかった場合(S54;NO)、他の通話データを取得する(S51)。
当該通話データが不満通話であった場合(S54;YES)、通話分析サーバ10は、要望候補区間に含まれる顧客の発話区間の中から、要望発話区間を検出する(S55)。(S55)において、通話分析サーバ10は、まず、(S53)で検出された怒り発話区間に基づいて、要望候補区間を決定する。要望候補区間の決定手法については、要望区間検出部23について説明したとおりである。また、要望発話区間の検出方法についても、要望区間検出部23について説明したとおりである。
更に、通話分析サーバ10は、否定候補区間に含まれるオペレータの発話区間の中から、否定発話区間を検出する(S56)。(S56)において、通話分析サーバ10は、まず、(S53)で検出された怒り発話区間及び(S55)で検出された要望発話区間の少なくとも一方に基づいて、否定候補区間を決定する。否定候補区間の決定については、否定区間検出部24について説明したとおりである。また、否定発話区間の検出方法についても、否定区間検出部24について説明したとおりである。
通話分析サーバ10は、(S55)で検出された要望発話区間及び(S56)で検出された否定発話区間に基づいて、要望発話区間から得られる時点を始端とし、その要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間を、顧客の不満原因の分析対象区間に決定する(S57)。更に、通話分析サーバ10は、(S55)で複数の要望発話区間が検出され、かつ、(S56)で複数の否定発話区間が検出された場合に、要望発話区間の始端時間と、この始端時間よりも後の始端時間及び終端時間を持ちかつその要望発話区間と時間的に隣接する次の要望発話区間の始端時間よりも前の始端時間を持つ否定発話区間の中の最も遅い終端時間を持つ否定発話区間の終端時間との間を、当該分析対象区間に決定する。
通話分析サーバ10は、不満通話の各通話データに関し、(S53)で検出された怒り発話区間を表す描画要素、及び、(S57)で決定された分析対象区間を表す描画要素がその不満通話内の時系列に沿って並ぶ分析結果画面を表示する(S58)。
なお、図5に例示されるフローチャートでは、複数の工程(処理)が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。例えば、(S55)及び(S56)は逆の順で実行されてもよいし、並列に実行されてもよい。
〔第1実施形態の作用及び効果〕
上述したように第1実施形態では、通話データに対して音声認識処理及び怒り感情認識処理が実行され、怒り感情認識処理の結果に応じて、その通話データが不満通話か否かが判定される。そして、不満通話の音声に対応するデータから、要望発話区間及び否定発話区間が検出される。要望発話区間は、不満通話内の要望候補区間に含まれる、顧客の発話区間の中から検出され、否定発話区間は、不満通話内の否定候補区間に含まれる、オペレータの発話区間の中から検出される。要望候補区間は、怒り発話区間との時間関係で、要望発話が含まれる可能性が高い区間に決定され、否定候補区間は、怒り発話区間及び要望発話区間の少なくとも一方との時間関係で、否定発話が含まれる可能性が高い区間に決定される。これにより、全ての発話区間の中から対象の発話区間を検出する場合と比較して、効率よくかつ高精度に、要望発話区間及び否定発話区間を検出することができる。
上述したように第1実施形態では、通話データに対して音声認識処理及び怒り感情認識処理が実行され、怒り感情認識処理の結果に応じて、その通話データが不満通話か否かが判定される。そして、不満通話の音声に対応するデータから、要望発話区間及び否定発話区間が検出される。要望発話区間は、不満通話内の要望候補区間に含まれる、顧客の発話区間の中から検出され、否定発話区間は、不満通話内の否定候補区間に含まれる、オペレータの発話区間の中から検出される。要望候補区間は、怒り発話区間との時間関係で、要望発話が含まれる可能性が高い区間に決定され、否定候補区間は、怒り発話区間及び要望発話区間の少なくとも一方との時間関係で、否定発話が含まれる可能性が高い区間に決定される。これにより、全ての発話区間の中から対象の発話区間を検出する場合と比較して、効率よくかつ高精度に、要望発話区間及び否定発話区間を検出することができる。
そして、第1実施形態では、要望発話区間から得られる時点を始端とし、要望発話区間よりも後の否定発話区間から得られる時点を終端とする区間が、不満通話における、顧客の不満原因の分析対象区間に決定される。このように、第1実施形態によれば、通話者の怒りを表す全ての怒り発話区間を分析対象とするのではなく、顧客の不満原因が存在する可能性が高い会話区間、即ち、顧客の要望がオペレータにより否定される会話パターンを表す区間のみを分析対象とすることができるため、分析精度を維持しつつ、分析効率を向上させることができる。
更に、第1実施形態では、複数の要望発話区間及び複数の否定発話区間が検出された場合には、要望発話区間の始端時間と、その始端時間よりも後の始端時間及び終端時間を持ちかつ要望発話区間と時間的に隣接する次の要望発話区間の始端時間よりも前の始端時間を持つ否定発話区間の中の最も遅い終端時間を持つ否定発話区間の終端時間との間が、分析対象区間に決定される。上述のように、不満の原因を含む可能性の高いオペレータの否定発話は、顧客の要望に対して否定を述べた発話であるため、顧客の要望発話よりも後に生じる。よって、第1実施形態によれば、オペレータの否定発話を表す発話区間の中でも、不満の原因を含む可能性の高い否定発話区間から、分析対象区間が決定されるため、分析効率の向上を実現しながらも、分析精度の低下を防ぐことができる。
以下に実施例を挙げ、上述の各実施形態を更に詳細に説明する。但し、本発明は以下の実施例から何ら制限を受けない。
図6は、実施例における通話データに含まれるオペレータ及び顧客の発話区間の一部の情報と、各発話区間に対する音声認識結果と、各発話区間に対する怒り認識結果との例を示す図である。図6において、CUは顧客を示し、OPはオペレータを示し、発話番号は、発話区間を識別する情報である。
図6の例によれば、発話番号107の発話区間が怒り発話区間として認識されている。例えば、通話分析サーバ10(要望区間検出部23)は、怒り発話区間の始端時間(145.5秒)から所定時間(40秒)前の時点と、怒り発話区間の終端時間(146.5秒)から所定時間(10秒)後の時点との間を要望候補区間として決定する。この場合、要望候補区間は、105.5秒の時点から156.5秒の時点までの区間に決定され、通話分析サーバ10は、その要望候補区間内の顧客の発話区間から、要望発話区間を検出する。
同様に、例えば、通話分析サーバ10(否定区間検出部24)は、怒り発話区間の始端時間(145.5秒)から所定時間(30秒)前の時点と、怒り発話区間の終端時間(146.5秒)から所定時間(20秒)後の時点との間を否定候補区間として決定する。この場合、否定候補区間は、115.5秒の時点から166.5秒の時点までの区間に決定され、通話分析サーバ10は、その否定候補区間内のオペレータの発話区間から、否定発話区間を検出する。
図7は、実施例における要望表現リストの例を示す図である。通話分析サーバ10(要望区間検出部23)は、このような要望表現リストを保持し、この要望表現リストを用いて要望発話区間を検出する。図6の例において、発話番号101の顧客の発話区間の音声認識結果には、図7に示される表現番号1の語句が含まれ、発話番号105の顧客の発話区間の音声認識結果には、図7に示される表現番号2の語句が含まれる。よって、通話分析サーバ10は、発話番号101の発話区間及び発話番号105の発話区間を要望発話区間として検出する。
図8は、実施例における否定表現リストの例を示す図である。通話分析サーバ10(否定区間検出部24)は、このような否定表現リストを保持し、この否定表現リストを用いて否定発話区間を検出する。図8の例における否定表現リストは、表現番号5の語句のように、謝罪を表す語句も含む。ここで、図6の例において、発話番号102のオペレータの発話区間の音声認識結果には、図8に示される表現番号5の語句が含まれ、発話番号106のオペレータの発話区間の音声認識結果には、図8に示される表現番号4及び5の語句が含まれる。よって、通話分析サーバ10は、発話番号102の発話区間及び発話番号106の発話区間を否定発話区間として検出する。
本実施例では、通話分析サーバ10(対象決定部25)は、要望発話区間の始端時間と否定発話区間の終端時間との間を、顧客の不満原因の分析対象区間に決定する。即ち、発話番号101の要望発話区間の始端時間(124.1秒)の時点と、発話番号102の否定発話区間の終端時間(131.1秒)の時点との間が1つ目の分析対象区間に決定され、発話番号105の要望発話区間の始端時間(135.8秒)の時点と、発話番号106の否定発話区間の終端時間(145.0秒)の時点との間が2つ目の分析対象区間に決定される。本実施例では、否定表現リストに謝罪を表す語句が含まれ、結果として、発話番号102の発話区間が否定発話区間として検出された。しかしながら、否定表現リストに謝罪を表す語句が含まれなくてもよく、発話番号102の発話区間が否定発話区間として検出されなくてもよい。
[変形例]
上述の第1実施形態では、要望候補区間内から要望発話区間が検出され、否定候補区間内から否定発話区間が検出された。しかしながら、処理効率は低下するものの、不満通話全体を対象として要望発話区間及び否定発話区間の検出が行われてもよい。
[変形例]
上述の第1実施形態では、要望候補区間内から要望発話区間が検出され、否定候補区間内から否定発話区間が検出された。しかしながら、処理効率は低下するものの、不満通話全体を対象として要望発話区間及び否定発話区間の検出が行われてもよい。
また、通話分析サーバ10は、音声認識部21及び怒り感情認識部22を持たず、他の装置が、音声認識部21及び怒り感情認識部22を持ってもよい。この場合、通話分析サーバ10は、通話データと共に、他の装置が有する音声認識部21及び怒り感情認識部22の各処理結果をそれぞれ取得する。この場合、図5に示される動作例において、(S52)及び(S53)は、通話分析サーバ10以外の他の装置により実行されればよい。
上記の各実施形態及び各変形例の一部又は全部は、以下の付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
(付記1)不満会話の音声に対応するデータから、該不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出する要望区間検出部と、
前記データから、前記第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出する否定区間検出部と、
前記データの中の、前記要望発話区間から得られる時点を始端とし、前記要望発話区間よりも後の前記否定発話区間から得られる時点を終端とする区間を、前記不満会話における、前記第1の会話参加者の不満原因の分析対象区間に決定する対象決定部と、
を備える分析対象決定装置。
前記データから、前記第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出する否定区間検出部と、
前記データの中の、前記要望発話区間から得られる時点を始端とし、前記要望発話区間よりも後の前記否定発話区間から得られる時点を終端とする区間を、前記不満会話における、前記第1の会話参加者の不満原因の分析対象区間に決定する対象決定部と、
を備える分析対象決定装置。
(付記2)前記対象決定部は、前記要望区間検出部により複数の要望発話区間が検出され、かつ、前記否定区間検出部により複数の否定発話区間が検出された場合に、要望発話区間の始端時間と、該始端時間よりも後の始端時間及び終端時間を持ちかつ該要望発話区間と時間的に隣接する次の要望発話区間の始端時間よりも前の始端時間を持つ否定発話区間の中の最も遅い終端時間を持つ否定発話区間の終端時間との間を、前記分析対象区間に決定する、
付記1に記載の分析対象決定装置。
付記1に記載の分析対象決定装置。
(付記3)前記不満会話の音声データから、前記第1の会話参加者の怒り感情が表われる怒り発話区間を検出する怒り感情認識部、
を更に備え、
前記要望区間検出部は、前記怒り感情認識部により検出される前記怒り発話区間を基準に、前記不満会話内の所定の時間的位置にある要望候補区間に含まれる、前記第1の会話参加者の発話区間の中から、前記要望発話区間を検出し、
前記否定区間検出部は、前記怒り感情認識部により検出される前記怒り発話区間及び前記要望区間検出部により検出される前記要望発話区間の少なくとも一方を基準に、前記不満会話内の所定の時間的位置にある否定候補区間に含まれる、前記第2の会話参加者の発話区間の中から、前記否定発話区間を検出する、
付記1又は2に記載の分析対象決定装置。
を更に備え、
前記要望区間検出部は、前記怒り感情認識部により検出される前記怒り発話区間を基準に、前記不満会話内の所定の時間的位置にある要望候補区間に含まれる、前記第1の会話参加者の発話区間の中から、前記要望発話区間を検出し、
前記否定区間検出部は、前記怒り感情認識部により検出される前記怒り発話区間及び前記要望区間検出部により検出される前記要望発話区間の少なくとも一方を基準に、前記不満会話内の所定の時間的位置にある否定候補区間に含まれる、前記第2の会話参加者の発話区間の中から、前記否定発話区間を検出する、
付記1又は2に記載の分析対象決定装置。
(付記4)前記不満会話の音声データに含まれる任意の発話区間に対して音声認識を行う音声認識部、
を更に備え、
前記要望区間検出部は、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果に、要望表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記要望発話区間を検出し、
前記否定区間検出部は、前記要望候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果に、否定表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記否定発話区間を検出する、
付記3に記載の分析対象決定装置。
を更に備え、
前記要望区間検出部は、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果に、要望表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記要望発話区間を検出し、
前記否定区間検出部は、前記要望候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果に、否定表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記否定発話区間を検出する、
付記3に記載の分析対象決定装置。
(付記5)前記不満会話の音声データに含まれる任意の発話区間に対して音声認識を行う音声認識部、
を更に備え、
前記要望区間検出部は、機械学習された要望発話モデルに、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果を与え、該要望発話モデルから得られる要望発話スコアに基づいて、前記要望発話区間を検出し、
前記否定区間検出部は、機械学習された否定発話モデルに、前記否定候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果を与え、該否定発話モデルから得られる否定発話スコアに基づいて、前記否定発話区間を検出する、
付記3又は4に記載の分析対象決定装置。
を更に備え、
前記要望区間検出部は、機械学習された要望発話モデルに、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果を与え、該要望発話モデルから得られる要望発話スコアに基づいて、前記要望発話区間を検出し、
前記否定区間検出部は、機械学習された否定発話モデルに、前記否定候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果を与え、該否定発話モデルから得られる否定発話スコアに基づいて、前記否定発話区間を検出する、
付記3又は4に記載の分析対象決定装置。
(付記6)少なくとも1つのコンピュータにより実行される分析対象決定方法において、
不満会話の音声に対応するデータから、該不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出し、
前記データから、前記第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出し、
前記データの中の、前記要望発話区間から得られる時点を始端とし、前記要望発話区間よりも後の前記否定発話区間から得られる時点を終端とする区間を、前記不満会話における、前記第1の会話参加者の不満原因の分析対象区間に決定する、
ことを含む分析対象決定方法。
不満会話の音声に対応するデータから、該不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出し、
前記データから、前記第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出し、
前記データの中の、前記要望発話区間から得られる時点を始端とし、前記要望発話区間よりも後の前記否定発話区間から得られる時点を終端とする区間を、前記不満会話における、前記第1の会話参加者の不満原因の分析対象区間に決定する、
ことを含む分析対象決定方法。
(付記7)前記分析対象区間の決定は、複数の要望発話区間が検出され、かつ、複数の否定発話区間が検出された場合に、要望発話区間の始端時間と、該始端時間よりも後の始端時間及び終端時間を持ちかつ該要望発話区間と時間的に隣接する次の要望発話区間の始端時間よりも前の始端時間を持つ否定発話区間の中の最も遅い終端時間を持つ否定発話区間の終端時間との間を、前記分析対象区間に決定する、
付記6に記載の分析対象決定方法。
付記6に記載の分析対象決定方法。
(付記8)前記不満会話の音声データから、前記第1の会話参加者の怒り感情が表われる怒り発話区間を検出する、
ことを更に含み、
前記要望発話区間の検出は、前記検出された怒り発話区間を基準に、前記不満会話内の所定の時間的位置にある要望候補区間に含まれる、前記第1の会話参加者の発話区間の中から、前記要望発話区間を検出し、
前記否定発話区間の検出は、前記検出された怒り発話区間及び前記検出された要望発話区間の少なくとも一方を基準に、前記不満会話内の所定の時間的位置にある否定候補区間に含まれる、前記第2の会話参加者の発話区間の中から、前記否定発話区間を検出する、
付記6又は7に記載の分析対象決定方法。
ことを更に含み、
前記要望発話区間の検出は、前記検出された怒り発話区間を基準に、前記不満会話内の所定の時間的位置にある要望候補区間に含まれる、前記第1の会話参加者の発話区間の中から、前記要望発話区間を検出し、
前記否定発話区間の検出は、前記検出された怒り発話区間及び前記検出された要望発話区間の少なくとも一方を基準に、前記不満会話内の所定の時間的位置にある否定候補区間に含まれる、前記第2の会話参加者の発話区間の中から、前記否定発話区間を検出する、
付記6又は7に記載の分析対象決定方法。
(付記9)前記不満会話の音声データに含まれる任意の発話区間に対して音声認識を行う、
ことを更に含み、
前記要望発話区間の検出は、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識の結果に、要望表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記要望発話区間を検出し、
前記否定発話区間の検出は、前記要望候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識の結果に、否定表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記否定発話区間を検出する、
付記8に記載の分析対象決定方法。
ことを更に含み、
前記要望発話区間の検出は、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識の結果に、要望表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記要望発話区間を検出し、
前記否定発話区間の検出は、前記要望候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識の結果に、否定表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記否定発話区間を検出する、
付記8に記載の分析対象決定方法。
(付記10)前記不満会話の音声データに含まれる任意の発話区間に対して音声認識を行う、
ことを更に含み、
前記要望発話区間の検出は、機械学習された要望発話モデルに、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識の結果を与え、該要望発話モデルから得られる要望発話スコアに基づいて、前記要望発話区間を検出し、
前記否定発話区間の検出は、機械学習された否定発話モデルに、前記否定候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識の結果を与え、該否定発話モデルから得られる否定発話スコアに基づいて、前記否定発話区間を検出する、
付記8又は9に記載の分析対象決定方法。
ことを更に含み、
前記要望発話区間の検出は、機械学習された要望発話モデルに、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識の結果を与え、該要望発話モデルから得られる要望発話スコアに基づいて、前記要望発話区間を検出し、
前記否定発話区間の検出は、機械学習された否定発話モデルに、前記否定候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識の結果を与え、該否定発話モデルから得られる否定発話スコアに基づいて、前記否定発話区間を検出する、
付記8又は9に記載の分析対象決定方法。
(付記11)付記6から10のいずれか1つに記載の分析対象決定方法を少なくとも1つのコンピュータに実行させるプログラム。
(付記12)付記11に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
(付記12)付記11に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
この出願は、2013年8月7日に出願された日本出願特願2013−163824号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
Claims (7)
- 不満会話の音声に対応するデータから、該不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出する要望区間検出部と、
前記データから、前記第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出する否定区間検出部と、
前記データの中の、前記要望発話区間から得られる時点を始端とし、前記要望発話区間よりも後の前記否定発話区間から得られる時点を終端とする区間を、前記不満会話における、前記第1の会話参加者の不満原因の分析対象区間に決定する対象決定部と、
を備える分析対象決定装置。 - 前記対象決定部は、前記要望区間検出部により複数の要望発話区間が検出され、かつ、前記否定区間検出部により複数の否定発話区間が検出された場合に、要望発話区間の始端時間と、該始端時間よりも後の始端時間及び終端時間を持ちかつ該要望発話区間と時間的に隣接する次の要望発話区間の始端時間よりも前の始端時間を持つ否定発話区間の中の最も遅い終端時間を持つ否定発話区間の終端時間との間を、前記分析対象区間に決定する、
請求項1に記載の分析対象決定装置。 - 前記不満会話の音声データから、前記第1の会話参加者の怒り感情が表われる怒り発話区間を検出する怒り感情認識部、
を更に備え、
前記要望区間検出部は、前記怒り感情認識部により検出される前記怒り発話区間を基準に、前記不満会話内の所定の時間的位置にある要望候補区間に含まれる、前記第1の会話参加者の発話区間の中から、前記要望発話区間を検出し、
前記否定区間検出部は、前記怒り感情認識部により検出される前記怒り発話区間及び前記要望区間検出部により検出される前記要望発話区間の少なくとも一方を基準に、前記不満会話内の所定の時間的位置にある否定候補区間に含まれる、前記第2の会話参加者の発話区間の中から、前記否定発話区間を検出する、
請求項1又は2に記載の分析対象決定装置。 - 前記不満会話の音声データに含まれる任意の発話区間に対して音声認識を行う音声認識部、
を更に備え、
前記要望区間検出部は、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果に、要望表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記要望発話区間を検出し、
前記否定区間検出部は、前記要望候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果に、否定表現リストに含まれる単語又は単語列が含まれるか否かをそれぞれ判定し、該判定結果に基づいて、前記否定発話区間を検出する、
請求項3に記載の分析対象決定装置。 - 前記不満会話の音声データに含まれる任意の発話区間に対して音声認識を行う音声認識部、
を更に備え、
前記要望区間検出部は、機械学習された要望発話モデルに、前記要望候補区間内の前記第1の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果を与え、該要望発話モデルから得られる要望発話スコアに基づいて、前記要望発話区間を検出し、
前記否定区間検出部は、機械学習された否定発話モデルに、前記否定候補区間内の前記第2の会話参加者の各発話区間に対する前記音声認識部による音声認識の結果を与え、該否定発話モデルから得られる否定発話スコアに基づいて、前記否定発話区間を検出する、
請求項3又は4に記載の分析対象決定装置。 - 少なくとも1つのコンピュータにより実行される分析対象決定方法において、
不満会話の音声に対応するデータから、該不満会話を行う複数の会話参加者の中の第1の会話参加者の要望発話を表す要望発話区間を検出し、
前記データから、前記第1の会話参加者とは異なる第2の会話参加者の否定発話を表す否定発話区間を検出し、
前記データの中の、前記要望発話区間から得られる時点を始端とし、前記要望発話区間よりも後の前記否定発話区間から得られる時点を終端とする区間を、前記不満会話における、前記第1の会話参加者の不満原因の分析対象区間に決定する、
ことを含む分析対象決定方法。 - 請求項6に記載の分析対象決定方法を少なくとも1つのコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013163824 | 2013-08-07 | ||
JP2013163824 | 2013-08-07 | ||
PCT/JP2014/058758 WO2015019662A1 (ja) | 2013-08-07 | 2014-03-27 | 分析対象決定装置及び分析対象決定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015019662A1 JPWO2015019662A1 (ja) | 2017-03-02 |
JP6327252B2 true JP6327252B2 (ja) | 2018-05-23 |
Family
ID=52461011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015530723A Active JP6327252B2 (ja) | 2013-08-07 | 2014-03-27 | 分析対象決定装置及び分析対象決定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9875236B2 (ja) |
JP (1) | JP6327252B2 (ja) |
WO (1) | WO2015019662A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9953077B2 (en) * | 2015-05-29 | 2018-04-24 | International Business Machines Corporation | Detecting overnegation in text |
JP6617053B2 (ja) * | 2016-02-29 | 2019-12-04 | Kddi株式会社 | 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法 |
US10311875B2 (en) | 2016-12-22 | 2019-06-04 | Soundhound, Inc. | Full-duplex utterance processing in a natural language virtual assistant |
JP6327777B1 (ja) * | 2018-03-22 | 2018-05-23 | 株式会社Zaizen | 分類情報生成装置、分類情報生成方法、およびプログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6363145B1 (en) * | 1998-08-17 | 2002-03-26 | Siemens Information And Communication Networks, Inc. | Apparatus and method for automated voice analysis in ACD silent call monitoring |
US7197132B2 (en) * | 2002-03-21 | 2007-03-27 | Rockwell Electronic Commerce Technologies, Llc | Adaptive transaction guidance |
JP2007033754A (ja) * | 2005-07-26 | 2007-02-08 | Nec Corp | 音声監視システムと方法並びにプログラム |
JP5088741B2 (ja) * | 2008-03-07 | 2012-12-05 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 2者間の対話の音声データを処理するシステム、方法およびプログラム |
WO2010041507A1 (ja) * | 2008-10-10 | 2010-04-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 会話における特定状況を抽出するシステムおよび方法 |
JP4972107B2 (ja) * | 2009-01-28 | 2012-07-11 | 日本電信電話株式会社 | 通話状態判定装置、通話状態判定方法、プログラム、記録媒体 |
JP5385677B2 (ja) * | 2009-05-12 | 2014-01-08 | 日本電信電話株式会社 | 対話状態分割装置とその方法、そのプログラムと記録媒体 |
US20100332287A1 (en) * | 2009-06-24 | 2010-12-30 | International Business Machines Corporation | System and method for real-time prediction of customer satisfaction |
US8463606B2 (en) * | 2009-07-13 | 2013-06-11 | Genesys Telecommunications Laboratories, Inc. | System for analyzing interactions and reporting analytic results to human-operated and system interfaces in real time |
JP2011210100A (ja) | 2010-03-30 | 2011-10-20 | Seiko Epson Corp | 接客データ記録装置、接客データ記録方法およびプログラム |
JP2011237957A (ja) | 2010-05-10 | 2011-11-24 | Seiko Epson Corp | 満足度算出装置、満足度算出方法およびプログラム |
JP5708155B2 (ja) * | 2011-03-31 | 2015-04-30 | 富士通株式会社 | 話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラム |
US8694307B2 (en) * | 2011-05-19 | 2014-04-08 | Nice Systems Ltd. | Method and apparatus for temporal speech scoring |
WO2014069075A1 (ja) * | 2012-10-31 | 2014-05-08 | 日本電気株式会社 | 不満会話判定装置及び不満会話判定方法 |
JP6341092B2 (ja) * | 2012-10-31 | 2018-06-13 | 日本電気株式会社 | 表現分類装置、表現分類方法、不満検出装置及び不満検出方法 |
JPWO2014069076A1 (ja) * | 2012-10-31 | 2016-09-08 | 日本電気株式会社 | 会話分析装置及び会話分析方法 |
US9460083B2 (en) * | 2012-12-27 | 2016-10-04 | International Business Machines Corporation | Interactive dashboard based on real-time sentiment analysis for synchronous communication |
WO2015105994A1 (en) * | 2014-01-08 | 2015-07-16 | Callminer, Inc. | Real-time conversational analytics facility |
US10469662B2 (en) * | 2014-06-09 | 2019-11-05 | Avaya Inc. | System and method for managing customer interactions in an enterprise |
-
2014
- 2014-03-27 JP JP2015530723A patent/JP6327252B2/ja active Active
- 2014-03-27 WO PCT/JP2014/058758 patent/WO2015019662A1/ja active Application Filing
- 2014-03-27 US US14/909,187 patent/US9875236B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2015019662A1 (ja) | 2017-03-02 |
US20160203121A1 (en) | 2016-07-14 |
US9875236B2 (en) | 2018-01-23 |
WO2015019662A1 (ja) | 2015-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014069076A1 (ja) | 会話分析装置及び会話分析方法 | |
JP6341092B2 (ja) | 表現分類装置、表現分類方法、不満検出装置及び不満検出方法 | |
JP6358093B2 (ja) | 分析対象決定装置及び分析対象決定方法 | |
US10771627B2 (en) | Personalized support routing based on paralinguistic information | |
US10896428B1 (en) | Dynamic speech to text analysis and contact processing using agent and customer sentiments | |
US9549068B2 (en) | Methods for adaptive voice interaction | |
US10592611B2 (en) | System for automatic extraction of structure from spoken conversation using lexical and acoustic features | |
US9672829B2 (en) | Extracting and displaying key points of a video conference | |
US20130246064A1 (en) | System and method for real-time speaker segmentation of audio interactions | |
JP2007286377A (ja) | 応対評価装置、その方法、プログラムおよびその記録媒体 | |
JP6213476B2 (ja) | 不満会話判定装置及び不満会話判定方法 | |
JP6327252B2 (ja) | 分析対象決定装置及び分析対象決定方法 | |
CN110674385A (zh) | 客服升级场景下匹配客服的方法及装置 | |
JP6365304B2 (ja) | 会話分析装置及び会話分析方法 | |
CN114138960A (zh) | 用户意图识别方法、装置、设备及介质 | |
WO2014069443A1 (ja) | 不満通話判定装置及び不満通話判定方法 | |
US20110197206A1 (en) | System, Method And Program Product For Analyses Based On Agent-Customer Interactions And Concurrent System Activity By Agents | |
WO2014069444A1 (ja) | 不満会話判定装置及び不満会話判定方法 | |
CN113689886B (zh) | 语音数据情感检测方法、装置、电子设备和存储介质 | |
JP2019101399A (ja) | 好感度推定装置、好感度推定方法、プログラム | |
Arran et al. | Represent the Degree of Mimicry between Prosodic Behaviour of Speech Between Two or More People |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6327252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |