JP5700114B2 - 通話支援装置、通話支援方法 - Google Patents

Description

本発明は、通話を支援する通話支援装置、通話支援方法に関する。

従来、コールセンタにおいてオペレータが顧客と通話する際、顧客への適切な対応を支援するために、通話中の顧客の音声から顧客の心理状態を測定して、顧客の心理状態をオペレータに通知する技術が知られている。心理状態を把握する技術として、例えば、通話中に出現した不満語キーワードの多寡で顧客の不満レベル判定する技術や、顧客の音声を音声認識処理により音声情報を取得し、言語情報、発話速度、音量などの韻律的特徴を用いて顧客の感情を判別する技術が知られている。また、言葉と感情の関連付けに基づき、利用者の感情判断する技術が知られている。しかし、顧客はオペレータとの会話中は、感情を抑制して真の感情を表面に表さないことが多いため、従来のようにオペレータとの通話中の音声からでは精度よく顧客の心理状態を把握することは難しい。そこで、顧客の心理状態を精度よく測定するために、顧客がオペレータを意識しないで発した顧客の音声を取得し、その取得した音声を利用して顧客の心理状態を測定すること技術が望まれている。

なお、関連する技術として、被保留側（顧客側）が音声で保留解除でき、メッセージを録音する構内交換機の保留解除に関する技術や、保留中に被保留者側からの要求により被保留側（オペレータ側）を非保留状態に復旧して保留者側を呼び出す技術が知られている。また、被保留者が保留者に対するメッセージを残して切断する技術や、保留状態が一定時間経過すると、被保留者側の音声をモニタ用スピーカに流す技術が知られている。なお、保留解除に関する上記いずれの技術も、被保留側が意図的に保留側へ自分の意向や要求を伝えることを目的としている。

特開２００５−１４２８９７号公報 特開２００８−５３８２６号公報 特許第３８５７９２２号公報 特開２０００−８３０９８号公報 特開平０６−３７８９５号公報 特開平０９−２００３４０号公報 特開平０５−２１９１５９号公報

本発明は、オペレータが通話中に指示した保留状態において、オペレータを意識せずに顧客が発した音声の特徴を解析し、その解析結果に基づいて顧客の心理状態を測定し、心理状態を測定する精度を向上させる通話支援装置、通話支援方法を提供することを目的とする。

本実施の態様のひとつである第１の発話者が用いる第１の端末と第２の発話者が用いる第２の端末間で行なわれる通信において、第２の発話者を支援する通話支援装置は、出力部を備えている。

出力部は、該通信の保留状態を検知した場合、該保留状態における上記第１の発話者の音声情報と、該保留状態以前の上記第１の発話者の音声情報と、の比較結果に基づき、上記第１の発話者の感情に関する情報を出力する。

実施の態様によれば、オペレータが通話中に指示した保留状態において、顧客の発した音声の特徴を解析し、その解析結果に基づいて顧客の心理状態を測定することで、顧客の心理状態を測定する精度を向上させるという効果を奏する。

通話支援をするシステムの一実施例を示す図である。 通話支援装置のハードウェアの一実施例を示す図である。 制御部と記憶部の機能の一実施例を示す図である。 オペレータ端末のハードウェアの一実施例を示す図である。 オペレータ端末と接続される装置の一実施例を示す図である。 接続部の動作の一実施例を示すフロー図である。 オペレータ情報と音声情報のデータ構造の一実施例を示す図である。 音声記録部の動作の一実施例を示すフロー図である。 オペレータ発話抽出処理の動作の一実施例を示す図である。 オペレータ発話抽出処理の動作の一実施例を示す図である。 発話日時情報のデータ構造の一実施例を示す図である。 実施形態１の解析部の動作の一実施例を示す図である。 保留前平均発話音量の計算処理の動作の一実施例を示す図である。 実施形態１の顧客の音声の特徴を解析する方法の一実施例のタイムチャートを示す図である。 メッセージの内容と対応情報のデータ構造の一実施例を示す図である。 実施形態２の制御部と記憶部の機能の一実施例を示す図である。 実施形態２の解析部の動作の一実施例を示す図である。 不満語検出情報と不満語キーワード情報のデータ構造の一実施例を示す図である。 音声認識処理の動作の一実施例を示す図である。 実施形態２の顧客の音声の特徴を解析する方法の一実施例のタイムチャートを示す図である。

以下図面に基づいて、実施形態について詳細を説明する。
実施形態１は、オペレータが通話中に指示した保留状態における顧客の発した音声を取得し、取得した音声の特徴を解析し、その解析結果に基づいて顧客の心理状態を測定することで、顧客の心理状態を測定する精度を向上させることができる。すなわち、保留中において顧客は、自身の会話がオペレータに伝わっていないと思っているため、顧客は不満などの本当の感情を独り言、舌打ち、ため息などなどの形で素直に表現すると想定される。そのため、従来顧客の心理状態を測定するために利用されなかった保留状態における顧客の発した音声を取得し、取得した音声の特徴を後述する解析処理をすることで、顧客の心理状態を測定する精度を向上させることができる。また、顧客の心理状態を測定する精度が向上することにより、オペレータを支援する際の顧客への指示内容を、顧客の心理状態に応じた適切なものにできる。

図１は、通話支援をするシステムの一実施例を示す図である。図１に示すシステムは、通話支援装置１（サーバ）、顧客端末２（第１の端末）、オペレータ端末３（第２の端末）を有し、通話支援装置１と顧客端末２はインターネットなどの公衆回線や専用回線などのネットワーク４と接続されている。通話支援装置１とオペレータ端末３は、例えば、コールセンタ内でネットワークを介して接続されている。また、コールセンタとは別に設けられた通話支援装置１とコールセンタ内のオペレータ端末３が、例えば、ネットワーク４と接続されていてもよい。顧客端末２は、例えば、顧客が利用している電話機、Internet Protocol（ＩＰ）電話機、ソフトフォンなどである。オペレータ端末３については後述する。

通話支援装置１について説明する。
図２は、通話支援装置のハードウェアの一実施例を示す図である。通話支援装置１は、制御部２０１、記憶部２０２、記録媒体読取装置２０３、入出力インタフェース２０４（入出力Ｉ／Ｆ）、通信インタフェース２０５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス２０６によってそれぞれ接続されている。

通話支援装置１はサーバなどを用いて実現することが考えられる。通話支援装置１は、制御部２０１、記憶部２０２などを有している。制御部２０１は、後述する接続部３０１、音声記録部３０２、解析部３０３、指示部３０４などを有している。また、制御部２０１はマルチコアCentral Processing Unit（ＣＰＵ）、マルチコアＣＰＵやプログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。つまり、オペレータに対して適切な指示を迅速に行うことが求められるため、制御部２０１には各処理部が並列に動作し、各処理部の演算結果を連携して用いる構成であることが求められる。

記憶部２０２は、後述するオペレータ情報３０５、音声情報３０６、発話日時情報３０７、対応情報３０８などを記憶している。記憶部２０２は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記憶部２０２にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。上記オペレータ情報３０５、音声情報３０６、発話日時情報３０７、対応情報３０８などは、テーブル以外の記憶方法であってもよく、ハードウェアとしてデータベースに記録されていてもよい。

記録媒体読取装置２０３は、制御部２０１の制御に従って記録媒体２０７に対するデータのリード／ライトを制御する。そして、記録媒体２０７に記録媒体読取装置２０３の制御で書き込まれたデータを記録させたり、記録媒体２０７に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体２０７は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部２０２もnon-transitory（非一時的）な記録媒体に含まれる。

入出力インタフェース２０４には、入出力部２０８が接続され、利用者が入力した情報を受信し、バス２０６を介して制御部２０１に送信する。また、制御部２０１からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部２０８の入力装置は、例えば、キーボード、ポインティングデバイス（マウスなど）、タッチパネルなどが考えられる。なお、入出力部２０８の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube（ＣＲＴ）ディスプレイ、プリンタなどの出力装置であってもよい。

通信インタフェース２０５は、顧客端末２およびオペレータ端末３との間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース２０５は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。

このようなハードウェア構成を有するコンピュータを用いることによって、後述する各種処理機能が実現される。その場合システムが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体２０７に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの記録媒体２０７が販売される。また、プログラムをサーバコンピュータの記憶装置に記録しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、記録媒体２０７に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶部２０２に記録する。そして、コンピュータは、自己の記憶部２０２からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、記録媒体２０７から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

制御部２０１と記憶部２０２について説明する。
図３は、制御部と記憶部の機能の一実施例を示す図である。図３の制御部２０１は、接続部３０１、音声記録部３０２、解析部３０３、指示部３０４などを有している。

接続部３０１は、例えば、顧客端末２から呼を受信すると後述するオペレータ情報３０５を検索して、通話中でないオペレータを抽出する。例えば、オペレータが通話中であるか通話中でないかを示す識別子を参照して、通話中でないオペレータを抽出する。通話中でないオペレータが抽出された場合は、接続部３０１は抽出したオペレータ端末３と呼を受信した顧客端末２とを接続して、通話可能な状態にする。その後、接続部３０１は音声記録部３０２に対して、該通話の記録開始通知を音声記録部３０２に指示する。また、抽出したオペレータ端末３と顧客端末２との通話が終了したことを検出すると、接続部３０１は通話を終え、オペレータが通話中でないことを示す識別子をオペレータ情報３０５に記録する。

また、接続部３０１は、オペレータ端末３の制御部４０１から送信される保留状態にする保留通知を受信することで、オペレータ端末３から送信される音声情報に代えて保留メッセージを顧客端末２に対して送信する。あわせて、接続部３０１は、例えば保留状態にする保留通知を音声記録部３０２および解析部３０３へ送信する。

さらに、接続部３０１は、オペレータ端末３の制御部４０１から送信される保留解除を示す保留通知を受信することで、顧客端末２に対して、今まで送信していた保留メッセージに代えてオペレータ端末３からの音声情報を送信する。あわせて、接続部３０１は、例えば保留解除を示す保留通知を音声記録部３０２および解析部３０３へ送信する。

音声記録部３０２は、接続部３０１から記録開始通知の指示を受信すると、顧客の音声とオペレータの音声を、日時または通話開始からの経過時間に対応付けて、後述する音声情報３０６に記録する。なお、顧客の音声だけを音声情報３０６に記録してもよい。

解析部３０３は、オペレータ端末３によって送信された保留通知によって開始された該通信の保留状態を検知し、該保留状態における顧客の音声情報の特徴を解析する。解析部３０３は、顧客端末２から送信される顧客の音声を記憶部２０２に記憶する。顧客と通話するオペレータの用いるオペレータ端末３から送信される、顧客端末２との通話を保留状態にする保留通知を、接続部３０１を経由し取得して、保留状態の期間に対応する顧客の音声の特徴を解析する。そして、解析の結果に応じてオペレータの顧客への対応をオペレータ端末３に通知する。また、解析部３０３は、顧客の音声の特徴を解析として、保留状態に対応する期間の顧客の音声レベルの平均値ｐ２が、該保留状態前の期間に対応する音声レベルの平均値ｐ１より大きい値であるか否かを判定する。そして、平均値ｐ２が大きいときオペレータへの対応に不満があることを指示部３０４に通知する。

さらに、解析部３０３は顧客の音声の特徴を解析として、保留状態に移行した日時から一定期間経過後に、平均値ｐ１より平均値ｐ２が大きいと判定されたとき、保留が長引いたことに対して不満があることを指示部３０４に通知する。

指示部３０４は、解析部３０３で求めた顧客の心理状態に対応するメッセージ情報（判定情報）を対応情報３０８から取得し、オペレータ端末３に出力する。例えば、指示部３０４は、顧客の音声情報の特徴に基づいた該顧客の発話者に関する判定情報をオペレータ端末３に出力する。判定情報は、オペレータが顧客に対してとるべき行動に関する情報である。

図３の記憶部２０２は、オペレータ情報３０５、音声情報３０６、発話日時情報３０７、対応情報３０８などを記憶している。なお、オペレータ情報３０５、音声情報３０６、発話日時情報３０７、対応情報３０８については後述する。

オペレータ端末３について説明する。
図４は、オペレータ端末のハードウェアの一実施例を示す図である。オペレータ端末３は、Personal Computer（ＰＣ）などを用いることが考えられる。オペレータ端末３は、制御部４０１、記憶部４０２、記録媒体読取装置４０３、入出力インタフェース４０４（入出力Ｉ／Ｆ）、通信インタフェース４０５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス４０６によってそれぞれ接続されている。制御部４０１は、Central Processing Unit（ＣＰＵ）やプログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。制御部４０１は、オペレータ端末３の各部を制御する。

記憶部４０２は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記憶部４０２にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。

記録媒体読取装置４０３は、制御部４０１の制御に従って記録媒体４０７に対するデータのリード／ライトを制御する。そして、記録媒体４０７に記録媒体読取装置４０３の制御で書き込まれたデータを記録させたり、記録媒体４０７に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体４０７は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部４０２もnon-transitory（非一時的）な記録媒体に含まれる。

入出力インタフェース４０４には、入出力部４０８が接続され、利用者が入力した情報を受信し、バス４０６を介して制御部４０１に送信する。また、制御部４０１からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部４０８の入力装置は、例えば、キーボード、ポインティングデバイス（マウスなど）、タッチパネルなどが考えられる。なお、入出力部４０８の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube（ＣＲＴ）ディスプレイ、プリンタなどの出力装置であってもよい。

図５は、オペレータ端末と接続される装置の一実施例を示す図である。図５に示すオペレータ端末３に接続される入出力部４０８は、図５に示す保留入力部５０１、音声入力部５０２、音声出力部５０３を有している。保留入力部５０１は、通話支援装置１に保留状態の開始と解除を通知する。保留状態の開始と解除の保留通知は、例えば、顧客の質問に対して回答をする際、オペレータが回答を準備するのに時間が必要なときに、顧客を待たせている間音楽などを顧客端末２から流すときに、通話支援装置１に保留状態の開始を知らせる通知がされる。また、通話を再開するときは通話支援装置１に保留状態の解除を知らせる通知がされる。音声入力部５０２は、オペレータの発する音声を取得してオペレータ端末３に入力する。例えば、マイクなどのである。音声出力部５０３は、顧客端末２から送られてくる顧客の音声を出力する。例えば、ヘッドフォン、スピーカなどである。なお、音声入力部５０２と音声出力部５０３はヘッドセットであってもよい。

通信インタフェース４０５は、通話支援装置１および顧客端末２との間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース４０５は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。

通話支援装置の動作について説明する。
図６は、接続部の動作の一実施例を示すフロー図である。ステップＳ６０１では、接続部３０１が顧客端末２から送信された呼を受信する。

呼を受信したことを検出するとステップＳ６０２では、接続部３０１が通話中でないオペレータが存在するかを、オペレータ情報３０５を検索して検出する。オペレータ情報は、オペレータが利用するオペレータ端末３が顧客端末２と接続され、通話中であるか通話中でないかを示す情報である。

図７は、オペレータ情報と音声情報のデータ構造の一実施例を示す図である。図７に示すオペレータ情報３０５は、「オペレータＩＤ」「通話状況」を有している。「オペレータＩＤ」はオペレータが現在利用しているオペレータ端末３を識別するための識別子が記録されている。本例では、オペレータ端末の識別子として「ＯＰ１１１１１」「ＯＰ２２２２２」「ＯＰ３３３３３」・・・・が記録されている。「通話状況」は、現在オペレータ端末３が顧客端末２と接続され、通話中であるか通話中でないかを示す識別子が記録されている。本例では、識別子として通話中であることを示す「１」、通話中でなく空き状態であることを示す「０」が、オペレータ端末の識別子に関連付けられて記録されている。

次に、ステップＳ６０２において接続部３０１が空き状態のオペレータ端末３を検出すると、ステップＳ６０４（Ｙｅｓ）に移行する。また、接続部３０１が空き状態のオペレータ端末３を検出できないときは、ステップＳ６０３（Ｎｏ）に移行する。

ステップＳ６０３では、接続部３０１がオペレータ情報に空き状態のオペレータ端末３を検出するまで、呼を受信した顧客端末２との接続を待つ。ここで、呼を受信してから接続するまでの待ち時間と顧客の音声を音声情報３０６に記録してもよい。すなわち、この待ち時間においても音楽や音声案内などのデータが顧客端末２に送信され、オペレータが通話中に指示した保留状態と同じと考えられる。よって、顧客は自身の会話がオペレータに伝わっていないと思っているため、顧客は不満などの本当の感情を独り言、舌打ち、ため息などなどの形で素直に表現すると想定される。なお、この状態において取得した顧客の音声は、オペレータ端末３が決定した後、顧客の心理状態を測定するデータとして用いてもよい。

ステップＳ６０４では、接続部３０１が通話中でない顧客端末２とオペレータ端末３とを接続する。図７のオペレータ情報３０５においては、オペレータ端末の識別子「ＯＰ３３３３３」に対応するオペレータが空き状態であるので、呼を受信した顧客端末２と接続する。

ステップＳ６０５では、接続部３０１がオペレータ情報のオペレータの状態を通話中であることを示す識別子に変更する。図７のオペレータ情報３０５においては、オペレータ端末３と顧客端末２とを接続されると空きであることを示す識別子「０」から通話中であることを示す識別子「１」に変更する。

ステップＳ６０６では、接続部３０１が通話の記録開始を示す情報を記録通知に含めて音声記録部３０２に通知する。音声記録部３０２は、記録開始を示す記録通知を受信するオペレータの音声と顧客の音声を記録する。

ステップＳ６０７では、接続部３０１が顧客端末２とオペレータ端末３の通話が終了したか否かを検出し、通話が終了したことを検出した場合にはステップＳ６０８（Ｙｅｓ）に移行し、通話が継続している場合にはステップＳ６０７（Ｎｏ）に移行する。

顧客端末２とオペレータ端末３の通話が終了したことを検出すると、ステップＳ６０８で接続部３０１は、オペレータ情報のオペレータ端末３の通話状態を、現在を空きであることを示す識別子に変更する。図７のオペレータ情報３０５においては、オペレータ端末３が通話中であることを示す識別子「１」から空きであることを示す識別子「０」に変更する。また、ステップＳ６０８で接続部３０１は、音声記録部３０２へ通話が終了したことを示す情報を含む記録通知を送信する。

音声記録部の動作について説明する。
図８は、音声記録部の動作の一実施例を示すフロー図である。ステップＳ８０１では、音声記録部３０２が接続部３０１から送信された記録開始通知を受信すると、顧客の音声とオペレータの音声を記録する音声ファイルを開く。音声ファイルは、例えば、ウェーブフォーマット形式やエムピースリーフォーマット形式などで記録された音声データが記録されている。

ステップＳ８０２では、音声記録部３０２が現在通話中になっている顧客とオペレータがそれぞれまだ発話していない状態であることを記憶部２０２に記録する。例えば、テンポラリとして記憶部２０２に顧客発話記憶領域とオペレータ発話記憶領域を確保し、発話がない場合には未発話であることを示す「未発話」を記憶し、顧客とオペレータが発話しているときは発話中であるとし「発話中」を記憶する。ここでは、接続して間もないのでまだ顧客とオペレータに発話がないとして「未発話」を顧客発話記憶領域とオペレータ発話記憶領域にそれぞれ記憶する。なお、発話をしたか否かの判定については後述する。

ステップＳ８０３では、音声記録部３０２が通話中であるか否かを判定して、通話中であればステップＳ８０４（Ｙｅｓ）に移行し、通話が終了していればステップＳ８０８（Ｎｏ）に移行する。例えば、通話が終了したことを示す情報を含む記録通知を接続部３０１から取得した場合には、ステップＳ８０８に移行する。

ステップＳ８０４では、音声記録部３０２が顧客の音声データとオペレータの音声データを、接続部３０１を介して決められた周期で取得し、音声ファイルへ書き込む。例えば、２０ミリ秒毎に音声データとオペレータの音声データを音声ファイルへ書き込むことが考えられる。ただし、音声データの書き込みは２０ミリ秒に限定されるものではない。

ステップＳ８０５では、音声記録部３０２が顧客の音声データを決められた周期で解析部３０３へ転送する。例えば、２０ミリ秒毎に顧客の音声データを解析部３０３へ転送することが考えられる。ただし、顧客の音声データの書き込みは２０ミリ秒に限定されるものではない。

ステップＳ８０６では、音声記録部３０２が顧客の発話を抽出する顧客発話抽出処理をし、ステップＳ８０７では、音声記録部３０２がオペレータの発話を抽出するオペレータ発話抽出処理をする。顧客発話抽出処理とオペレータ発話抽出処理については後述する。

ステップＳ８０８では、音声記録部３０２が音声ファイルを閉じ、ステップＳ８０９で音声記録部３０２が音声ファイルを音声情報に記憶する。例えば、通話が終了したことを示す情報を含む記録通知を接続部３０１から取得すると、図７に示されている音声ファイルを閉じて音声情報３０６に記録される。図７に示されている音声情報３０６は、「コールＩＤ」「音声ファイル名」「左チャネル発話者」「右チャネル発話者」を有している。「コールＩＤ」には、顧客端末２とオペレータ端末３間で行われる通話に付される識別子である。本例では、通話を識別する識別子として「７８４０１２８」「７８４０１２９」「７８４０１３０」「７８４０１３１」・・・・が記録されている。「音声ファイル名」には、音声記録部３０２により作成された音声ファイルを示す名称が「コールＩＤ」に関連付けられて記録されている。また、この音声データに関連付けられて音声ファイルの記録場所が記録されている。本例では、音声ファイルの名称として「１００８０１１０２３２０００．ｗａｖ」「１００９０１１６３４２０１０．ｗａｖ」「１００９０３１７３２１００９．ｗａｖ」「１００９０３１２３４３０００．ｗａｖ」・・・・を記録している。
「左チャネル発話者」「右チャネル発話者」には、顧客またはオペレータが記録されているチャネルを示す情報が記録されている。本例では、左チャネルにオペレータの発話であることを示す「オペレータ」が記録され、右チャネルに顧客の発話であることを示す「顧客」が記録されている。

オペレータ発話抽出処理と顧客発話抽出処理について説明する。
図９は、オペレータ発話抽出処理の動作の一実施例を示す図である。図１０は、オペレータ発話抽出処理の動作の一実施例を示す図である。

図９のステップＳ９０１では、音声記録部３０２が決められた周期ごとに取得した周期分のオペレータの音声データを用いて、最大音量値Ｖ１を求める。例えば、２０ミリ秒周期ごとに２０ミリ秒分のオペレータの音声データを取得し、その２０ミリ秒分の音声データに含まれる音量を示すデータを解析して、最大音量値Ｖ１を求める。ただし、周期は２０ミリ秒に限定されるものではない。

ステップＳ９０２では、音声記録部３０２が決められた周期ごとに最大音量値Ｖ１と予め決められた音量値Ｖ０とを比較し、Ｖ１＞Ｖ０であるか否かを判定する。Ｖ１＞Ｖ０であればステップＳ９０３（Ｙｅｓ）に移行し、Ｖ１≦Ｖ０であればステップＳ９０６に移行する。ここで、無音値Ｖ０は無音であると考えられる音量である。無音値Ｖ０は、例えば、無通話時雑音を計測し、その計測した値の平均を無音値Ｖ０にしてもよい。

ステップＳ９０３では、音声記録部３０２がオペレータ発話記憶領域を参照して未発話であるか否かを判定する。未発話である場合にはステップＳ９０４（Ｙｅｓ）に移行し、そうでない場合にはオペレータ発話抽出処理を終了して、次の顧客発話抽出処理に移行する。

ステップＳ９０４では、音声記録部３０２が現在の日時とオペレータが発話開始したことを示す情報を発話日時情報に記録する。例えば、図１１の発話日時情報３０７のように記録することが考えられる。

図１１は、発話日時情報のデータ構造の一実施例を示す図である。図１１の発話日時情報３０７は、「コールＩＤ」「日時」「イベント種別」「発話内平均音量」を有している。「コールＩＤ」には、顧客端末２とオペレータ端末３間で行われる通話に付される識別子である。本例では、通話を識別する識別子として「７８４０１２８」・・・・が記録されている。「日時」には、オペレータが発話を開始した現在の日時が記録されている。本例では、年月日と時間を示す「２０１０／１／１ １０：２３：４３」「２０１０／１／１ １０：２３：５９」「２０１０／１／１ １０：２３：５９」「２０１０／１／１ １０:２４：０１」「２０１０／１／１ １０:２４：０１」・・・・が記録されている。「イベント種別」にはオペレータまたは顧客の発話開始及び発話終了などのイベントの種別を示す情報が、「日時」に対応付けられて記録されている。本例では、「オペレータ発話開始」「オペレータ発話終了」「顧客発話開始」「顧客発話終了」「保留開始」「保留解除」がイベントを種別する情報として記録されている。なお、オペレータが発話開始したことを示す情報は「オペレータ発話開始」である。「発話内平均音量」には、顧客が発話した期間の平均音量が記録されている。発話内平均音量値の求め方については後述する。本例では、発話内平均音量として発話内平均音量値Ｖ３「３１」「３２」「１２」「５８」「３４」が、顧客が発話した期間に関連付けられて記録されている。発話内平均音量は例えば利得（ｄＢ）で示してもよいし、音量を示すことができれば限定されるものではない。

ステップＳ９０５では、音声記録部３０２がオペレータ発話状態を「発話中」にする。オペレータ発話記憶領域の「未発話」を「発話中」に変更する。
ステップＳ９０６では、音声記録部３０２がオペレータ発話記憶領域を参照して発話中であるか否かを判定する。発話中である場合にはステップＳ９０７（Ｙｅｓ）に移行し、そうでない場合にはオペレータ発話抽出処理を終了して、次の顧客発話抽出処理に移行する。

ステップＳ９０７では、音声記録部３０２が現在の日時とオペレータが発話終了したことを示す情報を発話日時情報に記録する。例えば、図１１の発話日時情報３０７のように記録することが考えられる。オペレータが発話終了したことを示す情報は「オペレータ発話終了」である。

ステップＳ９０８では、音声記録部３０２がオペレータ発話状態を「未発話」にする。オペレータ発話記憶領域の「発話中」を「未発話」に変更する。

図１０は、顧客発話抽出処理の動作の一実施例を示す図である。
図１０のステップＳ１００１では、音声記録部３０２が決められた周期ごとに取得した周期分の顧客の音声データを用いて、最大音量値Ｖ２を求める。例えば、２０ミリ秒周期ごとに２０ミリ秒分の顧客の音声データを取得し、その２０ミリ秒分の音声データに含まれる音量を示すデータを解析して、最大音量値Ｖ２を求める。ただし、周期は２０ミリ秒に限定されるものではない。

ステップＳ１００２では、音声記録部３０２が決められた周期ごとに最大音量値Ｖ２と予め決められた音量値Ｖ０とを比較し、Ｖ２＞Ｖ０であるか否かを判定する。Ｖ２＞Ｖ０であればステップＳ１００３に移行し、Ｖ２≦Ｖ０であればステップＳ１００８に移行する。ここで、無音値Ｖ０は無音であると考えられる音量である。また、無音値Ｖ０は無通話時雑音を計測し、その計測した値の平均を無音値Ｖ０にしてもよい。

ステップＳ１００３では、音声記録部３０２が顧客発話記憶領域を参照して未発話であるか否かを判定する。未発話である場合にはステップＳ１００４（Ｙｅｓ）に移行し、そうでない場合には顧客発話抽出処理を終了して、図８のステップＳ８０３（Ｎｏ）に移行する。

ステップＳ１００４では、音声記録部３０２が現在の日時と顧客が発話開始したことを示す情報を発話日時情報に記録する。例えば、図１１の発話日時情報３０７のように記録することが考えられる。顧客が発話開始したことを示す情報は「顧客発話開始」である。

ステップＳ１００５では、音声記録部３０２が音量合計値Ｖ２Ｓを最大音量値Ｖ２に変更する。つまり、前の状態が未発話である場合に音量合計値Ｖ２Ｓを初期化するために最大音量値Ｖ２を代入する。

ステップＳ１００６では、音声記録部３０２が顧客発話状態を「発話中」にする。顧客発話記憶領域の「未発話」を「発話中」に変更する。
ステップＳ１００７では、音声記録部３０２が音量合計値Ｖ２ＳをＶ２Ｓ＋Ｖ２に変更する。つまり、前の状態が発話中である場合、本周期において取得した最大音量値Ｖ２を前回の音量合計値Ｖ２Ｓに加算して、加算した値を音量合計値Ｖ２Ｓとする。

ステップＳ１００８では、音声記録部３０２が顧客発話記憶領域を参照して発話中であるか否かを判定する。発話中である場合にはステップＳ１００９（Ｙｅｓ）に移行し、発話中でない場合には顧客発話抽出処理を終了して、図８のステップＳ８０３（Ｎｏ）に移行する。

ステップＳ１００９では、音声記録部３０２が現在の日時とオペレータが発話終了したことを示す情報を発話日時情報に記録する。例えば、図１１の発話日時情報３０７に示すように、「日時」「イベント種別」に記録することが考えられる。顧客が発話終了したことを示す情報は「顧客発話終了」である。

ステップＳ１０１０では、音声記録部３０２が発話内平均音量値Ｖ３を求める。発話内平均音量値Ｖ３は、音量合計値Ｖ２Ｓ／（顧客発話終了日時−顧客発話開始日時）×サンプリング数ｓａｍｐｌｅの式を用いて求める。サンプリング数ｓａｍｐｌｅは、顧客の音声を決められた周期内でサンプリングして得られるデータの数量である。つまり、周期内のサンプリング数である。

ステップＳ１０１１では、音声記録部３０２が発話終了日時、発話内平均音量値Ｖ３を発話日時情報３０７の「発話内平均音量」に記憶する。本例では、発話内平均音量値Ｖ３「３１」「３２」「１２」「５８」「３４」が、顧客発話終了日時に関連付けられて記憶されている。

ステップＳ１０１２では、音声記録部３０２が顧客発話状態を「未発話」にする。顧客発話記憶領域の「発話中」を「未発話」に変更する。
解析部３０３の動作について説明する。

図１２は、実施形態１の解析部の動作の一実施例を示す図である。ステップＳ１２０１では、解析部３０３がオペレータ端末３から送信される保留開始を示す保留通知を受信して、保留状態であることを検出する。保留開始の保留通知は、オペレータが通話中に保留状態にする際に、保留入力部５０１から保留状態にすることをオペレータ端末３に入出力インタフェース４０４を介して通知する。その通知を受信すると、制御部４０１は保留開始を示す保留通知を生成して接続部３０１に送信される。接続部３０１は受信した保留通知を、解析部３０３に送信する。解析部３０３は受信した保留通知を受信した後、保留通知を解析して保留開始であることを検出する。

次に、解析部３０３は保留開始（保留中を示す）であるか否かを判定し、保留開始を検出すればステップＳ１２０２（Ｙｅｓ）に移行し、そうでない場合には保留開始を検出するまで待機する。

ステップＳ１２０２では、解析部３０３が現在の日時を保留開始日時とし発話日時情報に記録する。例えば、図１１の発話日時情報３０７の例であれば、コールＩＤ「７８４０１２８」における保留開始日時として２０１０年１月１日１０時２４分４７秒を示す「２０１０／１／１ １０：２４：４７」を記録する。また、関連するイベント種別に「保留開始」を記録する。

ステップＳ１２０３では、解析部３０３が保留前の音量の平均値ｐ１を求める。この保留前平均発話音量値の計算処理については後述する。
ステップＳ１２０４では、解析部３０３が保留中の現在日時を処理日時ｐｔ１とする。

ステップＳ１２０５では、解析部３０３が一定時間経過したか否かを判定して、経過していればステップＳ１２０６（Ｙｅｓ）に移行し、経過していなければ一定時間経過するまで待つ。

ステップＳ１２０６では、解析部３０３が処理日時ｐｔ１から現在日時までの間に存在する顧客の発話終了日時と発話内平均音量値ｐ２を求める。図１１に示す発話日時情報３０７の例であれば、イベント種別の「保留開始」から「保留終了」の期間にある処理日時ｐｔ１から現在日時までの「顧客発話終了」に関連付けられている発話内平均音量値Ｖ３を取得する。

ステップＳ１２０７では、解析部３０３が顧客発話終了の日時を発話日時情報から取得できていない場合にはステップＳ１２１２（Ｙｅｓ）に移行し、取得できた場合にはステップＳ１２０８（Ｎｏ）に移行する。すなわち、取得できない場合には顧客発話終了の日時が取得するためにステップＳ１２１２に移行する。

ステップＳ１２０８では、解析部３０３が発話内平均音量値ｐ２と保留前平均発話音量ｐ１を比較し、ｐ２＞ｐ１である場合にステップＳ１２０９（Ｙｅｓ）に移行し、ｐ２≦ｐ１である場合にステップＳ１２１２（Ｎｏ）に移行する。ｐ２＞ｐ１である場合は、顧客は保留前より大きな声で独り言を言っているので、オペレータに不満があると推定される。ｐ２≦ｐ１である場合はオペレータに不満がないと推定される。

ステップＳ１２０９では、解析部３０３が限界時間経過前であるか否かを判定し、限界時間経過前であればステップＳ１２１０（Ｙｅｓ）に移行し、限界時間を経過していればステップＳ１２１１（Ｎｏ）に移行する。限界時間は、保留開始日時から保留中の現在の時間を比較するために用いる閾値で、記憶部２０２に記録されている。限界時間は、例えば、顧客が保留状態で待たされたときに不満が出始める時間で、過去の調査結果などによって決める値である。よって、限界時間経過前とはまだ不満がない状態であり、限界時間を経過していれば顧客が保留状態で待たされことに不満を持っていると推定される。

ステップＳ１２１０では、解析部３０３が感情フラグに「１」を書き込む。本例では、感情フラグに「１」を書き込む場合、オペレータの対応自体に対して不満があることを示している。

ステップＳ１２１１では、解析部３０３が感情フラグに「２」を書き込む。本例では、感情フラグに「２」がある場合、保留により長い間待たされたことに不満があることを示している。

なお、通話中に保留状態が複数回あった場合に、感情フラグに「１」「２」両方が書き込まれている場合、オペレータの対応自体と、保留により長い間待たされたことに対して不満があることを示している。また、感情フラグは、例えば、テンポラリとして記憶部２０２に感情フラグの記憶領域を確保し、顧客の心理状態に応じた値を書き込む領域である。なお、本例では顧客の心理状態を不満度「１」「２」で示している。

ステップＳ１２１２では、認知解析部３０３がオペレータ端末３から送信される保留解除を示す保留通知を受信して、保留が解除された状態であることを検出する。保留解除の保留通知は、オペレータが通話中に保留を解除する際に、保留入力部５０１から保留解除にすることをオペレータ端末３に入出力インタフェース４０４を介して通知する。その通知を受信すると、制御部４０１は保留解除を示す保留通知を生成して接続部３０１に送信される。接続部３０１は受信した保留通知を、解析部３０３に送信する。解析部３０３は受信した保留通知を受信した後、保留通知を解析して保留解除であることを検出する。

次に、解析部３０３は保留解除であるか否かを判定し、保留解除を検出すればステップＳ１２１３（Ｙｅｓ）に移行し、そうでない場合にはステップＳ１２０４（Ｎｏ）に移行する。

ステップＳ１２１３では、解析部３０３が感情フラグを参照して、感情フラグに顧客の心理状態に応じた値が記憶されているか否かを判定する。感情フラグに値が記憶されている場合はステップＳ１２１４（Ｙｅｓ）に移行し、記憶されている場合は本処理を終了して、次の保留開始を待つ。

ステップＳ１２１４では、解析部３０３が感情フラグの示す情報を含む対応指示通知を指示部３０４に通知する。その後、指示部３０４は対応指示通知を受信して、感情フラグの示す情報に対応するオペレータを支援するためのメッセージ情報（判定情報）を対応情報３０８から選択して、選択したメッセージ情報を、接続部３０１を介してオペレータ端末３に送信する。

図１３は、保留前平均発話音量の計算処理の動作の一実施例を示す図である。ステップＳ１３０１では、解析部３０３が直前の保留解除のうち遅い日時もしくは通話開始日時を発話日時情報から取得してｔ１とする。直前の保留解除のうち遅い日時を取得する場合、通話中に数回の保留状態が断続的にあった場合に、最も遅い日時の保留状態の保留解除の日時を取得する。また、保留状態がまだ発生していない場合には、通話開始日時を取得する。

ステップＳ１３０２では、解析部３０３が音量積値Ｖｐを０とし、ステップＳ１３０３では、解析部３０３が発話時間積ｔｐを０とし、初期値を代入する。
ステップＳ１３０４では、解析部３０３がｔ１以降の顧客発話開始の日時をｔ２とする。図１１に示す発話日時情報３０７の例であれば、通話開始日時をｔ１として「２０１０／１／１ １０：２３：４３」とした場合、「２０１０／１／１ １０：２３：５９」「２０１０／１／１ １０：２４：０３」がｔ２となる。

ステップＳ１３０５では、解析部３０３がｔ２を取得できた否かを判定し、取得できている場合にはステップＳ１３０６（Ｙｅｓ）に移行し、取得できていない場合にはステップＳ１３０９（Ｎｏ）に移行する。取得できている場合は、顧客がまだ発話をしていない状態である。

ステップＳ１３０６では、解析部３０３がｔ２以降の顧客発話終了の日時で最古の日時をｔ３とし、その日時に対応する発話内平均音量をＶｃ１とする。図１１に示す発話日時情報３０７の例であれば、ｔ２を「２０１０／１／１ １０：２３：５９」とすると、ｔ２以降の顧客発話終了の日時で最古の日時は「２０１０／１／１ １０：２４：０１」となるので、「２０１０／１／１ １０：２４：０１」をｔ３とする。そして、「２０１０／１／１ １０：２４：０１」に関連付けられている発話内平均音量「３１」をＶｃ１とする。

ステップＳ１３０７では、解析部３０３が音量積値Ｖｐに（Ｖｃ１×（ｔ２−ｔ３））を加える。ステップＳ１３０８では、解析部３０３が発話時間積値ｔｐに（ｔ２−ｔ３）を加える。

ステップＳ１３０９で解析部３０３は、発話時間積値ｔｐが０以上であるか否かを判定し、０以上である場合ステップＳ１３１０（Ｙｅｓ）に移行し、０より小さい場合ステップＳ１３１１（Ｎｏ）に移行する。

ステップＳ１３１０では、解析部３０３が音量積値Ｖｐ÷発話時間積値ｔｐを求めて、保留前音量平均値ｐ１とする。また、ステップＳ１３１１では解析部３０３が保留前音量平均値p１を無音値Ｖ０とする。

なお、音声の音量パワー情報を用いて音量パワーの変化情報を数値化することで感情認識を行う技術として、例えば、特開２００４−３１７８２２号公報などに開示されている技術を用いてもよい。

図１４を用いて顧客の音声の特徴を解析する方法について説明する。
図１４は、実施形態１の顧客の音声の特徴を解析する方法の一実施例のタイムチャートを示す図である。図１３に示すフロー図で求めた保留前平均発話音量値ｐ１は、図１４のＡ、Ｂに示すタイムチャートの保留前期間（ｔ１−保留開始）の平均発話音量値ｐ１（点線間の値）を示している。図１４のＡに示すタイムチャートは、図１２に示すフロー図で求めた感情フラグに「１」が書き込まれた場合のタイムチャートである。保留前平均発話音量値ｐ１より発話内平均音量値ｐ２が大きいため、オペレータの対応自体に対して顧客がオペレータに不満があることを示している。

図１４のＢに示すタイムチャートは、ステップＳ１２１１では、図１２に示すフロー図で求めた感情フラグに「２」が書き込まれた場合のタイムチャートである。限界時間経過後に発話内平均音量値ｐ２が保留前平均発話音量値ｐ１より大きくなっているため、保留により長い間待たされたことに不満があることを示している。

オペレータ端末３側に表示するメッセージについて説明する。
指示部３０４は対応指示通知を受信して、感情フラグの示す情報に対応するオペレータを支援するためのメッセージ情報を対応情報３０８から選択して、選択したメッセージ情報を、接続部３０１を介してオペレータ端末３に送信する。図１５は、メッセージの内容と対応情報のデータ構造の一実施例を示す図である。図１５の対応情報３０８は、「感情フラグ」「メッセージ情報」有している。「感情フラグ」には、感情フラグに記憶されている顧客の心理状態を示す識別子が記録されている。本例では、不満度を示す「１」「２」「１，２」・・・・が記録されている。「メッセージ情報」には、オペレータを支援するメッセージが感情フラグに関連付けられて記録されている。本例では、図１５に示すメッセージ１５０１、１５０２、１５０３に対応する「ｍｅｓ＿１」「ｍｅｓ＿２」「ｍｅｓ＿３」がそれぞれ記録されている。

次に、通話支援装置１から送信されたメッセージ情報を受信すると、オペレータ端末３に接続されている入出力部４０８の出力部であるディスプレイに、図１５に示すオペレータを支援するメッセージが表示される。メッセージ１５０１は感情フラグに「１」が記録されているときに選択されるメッセージである。感情フラグに「１」がある場合、オペレータの対応自体に対して不満があることを示しているので、「お客様は、実は、あなたの対応にご不満のようです。」「お客様の真意を意識して、会話を再開してください。」などのメッセージを通知する。

メッセージ１５０２は感情フラグに「２」が記録されているときに選択されるメッセージである。感情フラグに「２」がある場合、保留状態が長いことに不満があることを示しているので、「お客様は、保留が長引いたのでご不満のようです。」「お待たせして大変申し訳ございませんと一言伝えてから、会話を再開してください。」などのメッセージを通知する。

メッセージ１５０３は感情フラグに「１」「２」が両方記録されているときに選択されるメッセージである。感情フラグに「１」「２」両方がある場合、オペレータの対応自体と、保留により長い間待たされたことに対して不満があることを示している。「お客様は、実は、あなたの対応にご不満のようです。また、保留が長引いたのでご不満のようです。お客様の真意を意識して、また、「お待たせして大変申し訳ございません」と一言伝えてから、話しを続けてください。」などのメッセージを通知する。

実施形態１によれば、オペレータが通話中に指示した保留状態における顧客の発した音声を取得し、取得した音声の特徴を解析し、その解析結果に基づいて顧客の心理状態を測定することで、顧客の心理状態を測定する精度を向上させることができる。すなわち、保留中において顧客は、自身の会話がオペレータに伝わっていないと思っているため、顧客は不満などの本当の感情を独り言、舌打ち、ため息などなどの形で素直に表現すると想定される。そのため、従来顧客の心理状態を測定するために利用されなかった保留状態における顧客の発した音声を取得し、取得した音声の特徴を後述する解析処理をすることで、顧客の心理状態を測定する精度を向上させることができる。また、顧客の心理状態を測定する精度が向上することにより、顧客へのオペレータの指示を顧客の心理状態に応じた適切なものにできる。

実施形態２について説明する。
実施形態２の記憶部２０２には、特定の心理状態を示す特定の語句、あるいは、特定の心理状態を示すと推定される特定の語句を記憶する。

実施形態２の解析部３０３は記憶部２０２を参照し、保留状態における顧客の音声情報に特定の語句が含まれるか否かを判断する。実施形態２の解析部３０３は、保留状態に対応する期間の音声に対して音声認識処理をし、例えば、顧客が不満であることを示す不満語情報に記録されている不満語が、音声に含まれているか否かを判定する。特定の心理状態を示す特定の語句、あるいは、特定の心理状態を示すと推定される特定の語句として、顧客が不満であることを示す不満語情報などが考えられる。

実施形態２の指示部３０４は、特定の語句が含まれるか否かの判断結果に基づき、顧客の心理状態に関連するメッセージ情報（判定情報）を、オペレータ端末３に出力する。また、実施形態２の指示部３０４は、保留状態に移行した時点から一定期間経過後に、特定の語句が顧客の音声情報に含まれていると解析部３０３により判定されたとき、保留状態について顧客が不満を抱いていることを示す判定情報をオペレータ端末３に出力する。

図１６は、実施形態２の制御部と記憶部の機能の一実施例を示す図である。図１６の制御部２０１は、接続部３０１、音声記録部３０２、解析部３０３、指示部３０４、音声認識処理部１６０１などを有している。接続部３０１、音声記録部３０２、指示部３０４の説明は、実施形態１で説明しているので省略する。

実施形態２の解析部３０３について説明する。
図１７は、実施形態２の解析部の動作の一実施例を示す図である。ステップＳ１７０１では、解析部３０３がオペレータ端末３から送信される保留開始を示す保留通知を受信して、保留状態であることを検出する。保留開始の保留通知は、オペレータが通話中に保留状態にする際に、保留入力部５０１から保留状態にすることをオペレータ端末３に入出力インタフェース４０４を介して通知する。その通知を受信すると、制御部４０１は保留開始を示す保留通知を生成して接続部３０１に送信される。接続部３０１は受信した保留通知を、解析部３０３に送信する。解析部３０３は受信した保留通知を受信した後、保留通知を解析して保留開始であることを検出する。

次に、解析部３０３は保留開始（保留中を示す）であるか否かを判定し、保留開始を検出すればステップＳ１２０２に移行し、そうでない場合には保留開始を検出するまで待機する。

ステップＳ１７０２では、解析部３０３が現在の日時を保留開始日時とし発話日時情報に記録する。例えば、図１１の発話日時情報３０７の例であれば、コールＩＤ「７８４０１２８」における保留開始日時として２０１０年１月１日１０時２４分４７秒を示す「２０１０／１／１ １０：２４：４７」を記録する。また、関連するイベント種別に「保留開始」を記録する。

ステップＳ１７０３では、解析部３０３が音声認識処理により検出した不満語を記録する記憶領域として不満語検出情報を作成する。図１８に不満語検出情報１８０１を示す。不満語検出情報１８０１は、「検出日時」「検出キーワード」を有している。「検出日時」には、不満語を検出した日時を記憶する。本例では、不満語を検出した日時として「２０１０／１／１ １０：２４：５５」「２０１０／１／１ １０：２４：５９」・・・・が記憶されている。「検出キーワード」には、検出された不満語が不満語を検出した日時に関連付けられて記録されている。本例では、不満語として「むかつく」「イライラする」・・・・が記憶されている。

ステップＳ１７０４では、解析部３０３が音声認識処理を開始する指示を音声認識処理部１６０１に通知する。この音声認識処理については後述する。
ステップＳ１７０５では、解析部３０３が保留中の現在日時を処理日時ｐｔ１とする。

ステップＳ１７０６では、解析部３０３が一定時間経過したか否かを判定して、経過していればステップＳ１２０６（Ｙｅｓ）に移行し、経過していなければ一定時間経過するまで待つ。

ステップＳ１７０７では、解析部３０３が処理日時ｐｔ１から現在日時までの間に存在する検出した不満語を不満語検出情報から取得する。
ステップＳ１７０８では、解析部３０３が不満語検出情報から不満語を取得したか否かを判定し、取得した場合にはステップＳ１７１２（Ｙｅｓ）に移行し、取得していない場合にはステップＳ１７１２に移行する。

ステップＳ１７０９では、解析部３０３が限界時間経過前であるか否かを判定し、限界時間経過前であればステップＳ１２１０（Ｙｅｓ）に移行し、限界時間を経過していればステップＳ１２１１（Ｎｏ）に移行する。限界時間は、保留開始日時から保留中の現在の時間を比較するために用いる閾値で、記憶部２０２に記録されている。限界時間は、例えば、顧客が保留状態で待たされたときに不満が出始める時間で、過去の調査結果などによって決める値である。よって、限界時間経過前とはまだ不満がない状態であり、限界時間を経過していれば顧客が保留状態で待たされことに不満を持っていると推定される。

ステップＳ１７１０では、解析部３０３が感情フラグに「１」を書き込む。本例では、感情フラグに「１」を書き込む場合、オペレータの対応自体に対して不満があることを示している。

ステップＳ１７１１では、解析部３０３が感情フラグに「２」を書き込む。本例では、感情フラグに「２」がある場合、保留により長い間待たされたことに不満があることを示している。

なお、通話中に保留状態が複数回あった場合に、感情フラグに「１」「２」両方が書き込まれている場合、オペレータの対応自体と、保留により長い間待たされたことに対して不満があることを示している。また、感情フラグは、例えば、テンポラリとして記憶部２０２に感情フラグの記憶領域を確保し、顧客の心理状態に応じた値を書き込む領域である。なお、本例では顧客の心理状態を不満度「１」「２」で示している。

ステップＳ１７１２では、認知解析部３０３がオペレータ端末３から送信される保留解除を示す保留通知を受信して、保留が解除された状態であることを検出する。保留解除の保留通知は、オペレータが通話中に保留を解除する際に、保留入力部５０１から保留解除にすることをオペレータ端末３に入出力インタフェース４０４を介して通知する。その通知を受信すると、制御部４０１は保留解除を示す保留通知を生成して接続部３０１に送信される。接続部３０１は受信した保留通知を、解析部３０３に送信する。解析部３０３は受信した保留通知を受信した後、保留通知を解析して保留解除であることを検出する。

次に、解析部３０３は保留解除であるか否かを判定し、保留解除を検出すればステップＳ１７１３（Ｙｅｓ）に移行し、そうでない場合にはステップＳ１７０４（Ｎｏ）に移行する。

ステップＳ１７１３では、解析部３０３が音声認識処理を終了する指示を音声認識処理部１６０１に通知する。
ステップＳ１７１４では、解析部３０３が感情フラグを参照して、感情フラグに顧客の心理状態に応じた値が記憶されているか否かを判定する。感情フラグに値が記憶されている場合はステップＳ１２１４（Ｙｅｓ）に移行し、記憶されている場合は本処理を終了して、次の保留開始を待つ。

ステップＳ１７１５では、解析部３０３が感情フラグの示す情報を含む対応指示通知を指示部３０４に通知する。その後、指示部３０４は対応指示通知を受信して、感情フラグの示す情報に対応するオペレータを支援するためのメッセージ情報（判定情報）を対応情報３０８から選択して、選択したメッセージ情報（判定情報）を、接続部３０１を介してオペレータ端末３に送信する。

図１９は、音声認識処理の動作の一実施例を示す図である。ステップＳ１９０１では、音声認識処理部１６０１が解析部３０３から音声認識の開始指示を受信する。
ステップＳ１９０２では、音声認識処理部１６０１が不満語キーワード情報１８０２を読み込む。不満語キーワード情報１８０２は、例えば、不満語を登録したテーブルなどで、記憶部２０２に記録されている。不満語キーワード情報１８０２は、不満語として「むかつく」「早くしろよ」「イライラする」「しっかりしろよ」・・・・などを記憶している。

ステップＳ１９０３では、音声認識処理部１６０１が音声認識処理を行う。ここで、音声認識処理は音声波形中に指定されたキーワード（不満語キーワード情報１８０２）が含まれているかを検出する処理である。音声認識処理部１６０１は、例えば、不満語キーワード情報１８０２に登録された不満語それぞれについて、発音される際の音声波形の特徴を特定する。この特定処理は、例えば、実際に顧客の発話の音声認識処理する以前に処理して音声認識処理用の記憶部に記憶しておけばよい。そして、音声認識処理部１６０１は、この記憶部に記憶された各不満語の音声波形の特徴を実際の顧客発話の音声波形を比較することで、不満語が含まれているか検出する。このような処理は、例えば、特開２００５−１４２８９７号公報、特開２００８−５３８２６号公報などに開示されている音声認識処理を用いることが考えられる。

ステップＳ１９０４では、音声認識処理部１６０１が不満語を検出したか否かを判定すし、検出した場合にはステップＳ１９０５に移行し、検出していない場合にはステップＳ１９０６に移行する。

ステップＳ１９０５では、音声認識処理部１６０１が検出した不満語を検出した日時に関連付けて不満語検出情報１８０１に記録する。
ステップＳ１９０６では、音声認識処理部１６０１が解析部３０３から音声認識処理を終了する指示を受信したか否かを判定し、受信したときは音声認識処理を停止し、受信していないときはステップＳ１９０３に移行する。すなわち、保留状態が解除された場合に音声認識処理を停止する。音声認識処理部１６０１は、不満語検出情報１８０１を求める。

図２０を用いて実施形態２における顧客の音声の特徴を解析する方法について説明する。
図２０は、実施形態２の顧客の音声の特徴を解析する方法の一実施例のタイムチャートを示す図である。図２０のＡに示すタイムチャートは、図１７に示すフロー図で求めた感情フラグに「１」を書き込まれた場合のタイムチャートである。保留中の顧客の音声に不満語である「むかつく」を検出しているので、オペレータの対応自体に対して顧客が不満であることを示している。

図１７のＢに示すタイムチャートは、ステップＳ１２１１では、図１２に示すフロー図で求めた感情フラグに「２」を書き込まれた場合のタイムチャートである。限界時間経過後に保留中の顧客の音声に不満語である「むかつく」を検出しているので、保留により長い間待たされたことに不満があることを示している。

オペレータ端末３側に表示するメッセージについて説明する。
指示部３０４は対応指示通知を受信して、感情フラグの示す情報に対応するオペレータを支援するためのメッセージ情報を対応情報３０８から選択して、選択したメッセージ情報を、接続部３０１を介してオペレータ端末３に送信する。通話支援装置１から送信されたメッセージ情報を受信すると、オペレータ端末３に接続されている入出力部４０８の出力部であるディスプレイに、図１５に示すオペレータを支援するメッセージが表示される。

実施形態２によれば、オペレータが通話中に指示した保留状態における顧客の発した音声を取得し、取得した音声の特徴を解析し、その解析結果に基づいて顧客の心理状態を測定することで、顧客の心理状態を測定する精度を向上させることができる。すなわち、保留中において顧客は、自身の会話がオペレータに伝わっていないと思っているため、顧客は不満などの本当の感情を独り言、舌打ち、ため息などなどの形で素直に表現すると想定される。そのため、従来顧客の心理状態を測定するために利用されなかった保留状態における顧客の発した音声を取得し、取得した音声の特徴を後述する解析処理をすることで、顧客の心理状態を測定する精度を向上させることができる。また、顧客の心理状態を測定する精度が向上することにより、顧客へのオペレータの指示を顧客の心理状態に応じた適切なものにできる。

また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。各実施形態は処理に矛盾の無い限りにおいて、互いに組み合わせても構わない。

１ 通話支援装置
２ 顧客端末
３ オペレータ端末
４ ネットワーク
２０１ 制御部
２０２ 記憶部
２０３ 記録媒体読取装置
２０４ 入出力インタフェース
２０５ 通信インタフェース
２０６ バス
２０７ 記録媒体
２０８ 入出力部
３０１ 接続部
３０２ 音声記録部
３０３ 解析部
３０４ 指示部
３０５ オペレータ情報
３０６ 音声情報
３０７ 発話日時情報
３０８ 対応情報
４０１ 制御部
４０２ 記憶部
４０３ 記録媒体読取装置
４０４ 入出力インタフェース
４０５ 通信インタフェース
４０６ バス
４０７ 記録媒体
４０８ 入出力部
５０１ 保留入力部
５０２ 音声入力部
５０３ 音声出力部
１６０１ 音声認識処理部

Claims (12)

1. 第１の発話者が用いる第１の端末と第２の発話者が用いる第２の端末間で行なわれる通信において、第２の発話者を支援する通話支援装置であって、
   該通信の保留状態を検知した場合、該保留状態における前記第１の発話者の音声情報と、該保留状態以前の該第１の発話者の音声情報と、の比較結果に基づき、前記第１の発話者の感情に関する情報を出力する出力部、
   を備えることを特徴とする通話支援装置。
2. さらに、前記第１の端末と前記第２の端末間で行なわれる通信における前記第１の発話者の音声情報を記憶する記憶部を備え、
   前記出力部は、
   前記記憶部を参照し、該保留状態における前記第１の発話者の音声情報の音声レベルの第１の平均値と、該保留状態以前の該第１の発話者の音声情報の音声レベルの第２の平均値と、を比較し、
   前記第１の平均値と前記第２の平均値との比較結果に基づき、前記第１の発話者の心理状態に関連する判定情報を、前記第２の端末に出力する、
   ことを特徴とする請求項１に記載の通話支援装置。
3. 前記出力部は、
   該保留状態に移行した時点から一定期間経過後に、前記第１の平均値と前記第２の平均値とを比較する、
   ことを特徴とする請求項２に記載の通話支援装置。
4. さらに、特定の心理状態を示す特定の語句、あるいは、特定の心理状態を示すと推定される特定の語句を記憶した記憶部を備え、
   前記出力部は、
   前記記憶部を参照し、該保留状態における前記第１の発話者の音声情報に前記特定の語句が含まれるか否かを判断し、
   前記特定の語句が含まれるか否かの判断結果に基づき、前記第１の発話者の心理状態に関連する判定情報を、前記第２の端末に出力する、
   ことを特徴とする請求項１に記載の通話支援装置。
5. 前記出力部は、
   該保留状態に移行した時点から一定期間経過後に、前記特定の語句が前記第１の発話者の音声情報に含まれていると判定されたとき、前記保留状態について前記第１の発話者が不満を抱いていることを示す前記判定情報を前記第２の端末に出力する、
   ことを特徴とする請求項４に記載の通話支援装置。
6. 前記出力部は、
   前記第１の発話者の音声情報に基づいた、前記第２の発話者が前記第１の発話者に対してとるべき行動に関する前記判定情報を、前記第２の端末に出力する、
   ことを特徴とする請求項２に記載の通話支援装置。
7. コンピュータが、第１の発話者が用いる第１の端末と第２の発話者が用いる第２の端末間で行なわれる通信において、第２の発話者を支援する通話支援方法であって、
   前記コンピュータは、
   該通信の保留状態を検知した場合、該保留状態における前記第１の発話者の音声情報と、該保留状態以前の該第１の発話者の音声情報と、の比較結果に基づき、前記第１の発話者の感情に関する情報を出力する、
   ことを特徴とする通話支援方法。
8. 前記コンピュータは、
   記憶部に記憶された、前記第１の端末と前記第２の端末間で行なわれる通信における前記第１の発話者の音声情報を参照し、
   該保留状態における前記第１の発話者の音声情報の音声レベルの第１の平均値と、該保留状態以前における該第１の発話者の音声情報の音声レベルの第２の平均値と、を比較し、
   前記第１の平均値と前記第２の平均値との比較結果に基づき、前記第１の発話者の状態に関連する判定情報を、前記第２の端末に出力する、
   ことを特徴とする請求項７に記載の通話支援方法。
9. 前記コンピュータは、
   該保留状態に移行した時点から一定期間経過後に、前記第１の平均値と前記第２の平均値とを比較する、
   ことを特徴とする請求項８に記載の通話支援方法。
10. 前記コンピュータは、
    記憶部に記憶された特定の心理状態を示す特定の語句、あるいは、特定の心理状態を示すと推定される特定の語句を参照し、前記保留状態における前記第１の発話者の音声情報に該特定の語句が含まれているか否かを判断し、
    前記特定の語句が含まれるか否かの判断結果に基づき、前記第１の発話者の心理状態に関連する判定情報を、前記第２の端末に出力する、
    ことを特徴とする請求項７に記載の通話支援方法。
11. 前記コンピュータは、
    該保留状態に移行した時点から一定期間経過後に、前記特定の語句が前記第１の発話者の音声情報に含まれていると判定されたとき、前記保留状態について前記第１の発話者が不満を抱いていることを示す前記判定情報を出力する、
    ことを特徴とする請求項１０に記載の通話支援方法。
12. 前記コンピュータは、
    前記第１の発話者の音声情報に基づいた、前記第２の発話者が前記第１の発話者に対してとるべき行動に関する前記判定情報を、前記第２の端末に出力する、
    ことを特徴とする請求項８に記載の通話支援方法。

Images