JP7045020B2

JP7045020B2 - 対話支援装置及び対話装置

Info

Publication number: JP7045020B2
Application number: JP2017037648A
Authority: JP
Inventors: 彰則伊藤; 富廣井
Original assignee: Tohoku University NUC; Josho Gakuen Educational Foundation
Current assignee: Tohoku University NUC; Josho Gakuen Educational Foundation
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2022-03-31
Anticipated expiration: 2037-02-28
Also published as: JP2018142280A

Description

本発明は、対話支援装置及び対話装置に関する。

近年、利用者の発話に応じた音声を出力可能な対話装置を利用して、利用者に様々なサービスを提供する試みがなされている。しかしながら、対話装置のみによる人との音声対話には限界があり、対話装置が完全に自立して利用者と対話することは難しい。そこで、利用者と対話装置との間の対話に生じている問題を検出し、対話装置と利用者との間にオペレータを介在させる技術が提案されている（例えば特許文献１参照）。

特開２００７－１９０６４１号公報

しかしながら、従来技術は、対話装置と利用者との対話にオペレータを介入させるか否かを、対話システムによって対話が成立していない（対話不成立）と判断された場合に介入させるものである。オペレータは通常、複数の業務や複数台の対話装置等を担当し、また、対話システムの使用状況とは無関係の業務をしていることも多い。利用者と対話装置との対話が成立していないという問題が生じた場合、介入指示がオペレータに通知される。しかし、介入指示が通知された場合であっても、実際の対話状況は、介入が必須である場合もあれば、介入することが望ましいが必ずしも介入が必須ではない場合もある。そのため、オペレータの介入頻度は、対話システムの用途、日時等における繁閑や業務時間におけるオペレータの他業務とのバランス等を考慮して適切に調整されることが望ましい。

しかし従来技術では対話ロボットの実使用場面における用途やオペレータの要員計画等、システム運営者側の諸事情を考慮して判断するものではなく、そのため、対話装置と利用者との対話にオペレータを、オペレータ等の事情を考慮して状況に応じて適宜介入させることができないという問題があった。また、従来は、オペレータを介入させるか否かの判定を利用者の音声や画像等の特徴ごとに介入判定を行っていたことから、対話不成立を判定する精度も悪く、発話前の状態で対話が困難である場合の判定も難しく、介入頻度を適切に変更し、適切にオペレータを介入させることが困難であった。

上記事情に鑑み、本発明は、対話ロボットと利用者との対話にオペレータを状況に応じて適宜介入させることができる技術を提供することを目的としている。

本発明の一態様は、利用者と対話装置が対話し、利用者の音声と画像を用いて対話の成立又は不成立を判断し、対話不成立の場合には通信回線を介してオペレータが介入する対話装置に用いられる対話支援装置であって、対話装置と対話する利用者の音声データを取得する音声データ取得部と、前記利用者が撮像された画像データを取得する画像データ取得部と、前記音声データが示す音声の特徴量である音声特徴量を取得する音声特徴量取得部と、前記画像データが示す画像の特徴量である画像特徴量を取得する画像特徴量取得部と、前記対話装置と前記利用者との対話にオペレータを介入させる必要があるか否かを判定するための判定基準値を自装置に設定する判定基準値設定部と、前記画像特徴量及び前記音声特徴量に基づいて前記利用者と前記対話装置との対話の不成立の程度を示す指標値を算出し、算出した前記指標値が前記判定基準値を超えた場合、前記対話への介入が必要であることをオペレータに通知する介入用通知判定部と、を備え、前記判定基準値設定部は、前記判定基準値をより高い値又はより低い値に変更することで、オペレータの介入頻度をより低い頻度又はより高い頻度に調整する、対話支援装置である。

本発明の一態様は上記の対話支援装置であって、前記判定基準値設定部は、オペレータの要員計画に基づいて前記判定基準値を変更する。

本発明の一態様は上記の対話支援装置であって、前記介入用通知判定部は、オペレータの介入が必要であると判定した場合、前記オペレータの音声を前記対話装置に出力させる対話制御部をさらに備える。

本発明の一態様は上記の対話支援装置であって、前記介入用通知判定部は、前記画像特徴量及び前記音声特徴量の各入力に対して前記利用者が前記対話装置と円滑に対話できているか否かを示す第１の指標値を取得し、前記各入力に対して取得した第１の指標値に基づいて前記対話装置と前記利用者との対話にオペレータを介入させるか否かを判定するための第２の指標値を取得し、取得した前記第２の指標値と前記判定基準値との大小関係に基づいて、前記対話にオペレータを介入させるか否かを判定する。

本発明の一態様は、利用者と対話し、利用者の音声と画像を用いて対話の成立又は不成立を判断し、対話不成立の場合には通信回線を介してオペレータが介入する対話装置であって、自装置と対話する利用者の音声データを取得する音声データ取得部と、前記利用者が撮像された画像データを取得する画像データ取得部と、取得された前記音声データ及び前記画像データを認識し、前記利用者の発話の内容又は動作に応じた音声を出力する応答部と、前記音声データが示す音声の特徴量である音声特徴量を取得する音声特徴量取得部と、前記画像データが示す画像の特徴量である画像特徴量を取得する画像特徴量取得部と、前記対話装置と前記利用者との対話にオペレータを介入させる必要があるか否かを判定するための判定基準値を自装置に設定する判定基準値設定部と、前記画像特徴量及び前記音声特徴量に基づいて前記利用者と自装置との対話の不成立の程度を示す指標値を算出し、算出した前記指標値が前記判定基準値を超えた場合、前記対話への介入が必要であることをオペレータに通知する介入用通知判定部と、を備え、前記判定基準値設定部は、前記判定基準値をより高い値又はより低い値に変更することで、オペレータの介入頻度をより低い頻度又はより高い頻度に調整する、対話装置である。

本発明により、対話ロボットと利用者との対話にオペレータを状況に応じて適宜介入させることが可能となる。

第１実施形態の対話システム１００の構成の概略を示す図である。対話システム１００の構成の他の具体例を示す概略図である。第１実施形態の対話支援装置１の機能構成の具体例を示すブロック図である。第１実施形態の対話支援装置１による介入判定処理の流れを示すフローチャートである。第１実施形態の対話システムにおける判定基準値と呼び出し回数比との関係の具体例を示す図である。第２実施形態の対話支援装置１ａの機能構成の具体例を示すブロック図である。第２実施形態における制約情報及び条件情報の具体例を示す図である。対話支援装置１と一体に構成された対話ロボット２ａの機能構成の具体例を示す図である。

＜第１実施形態＞
図１は、第１実施形態の対話システム１００の構成の概略を示す図である。対話システム１００は、対話支援装置１、対話ロボット２及びオペレータ端末３を備える。対話支援装置１は、対話ロボット２と利用者との対話が円滑に進むように、現在の対話の状況を認識し、必要な支援を行う装置である。対話の状況の認識には、対話ロボット２の持つ内部状態、利用者の発する音声、利用者の画像およびその他のセンサーデータを利用する。対話支援装置が行う支援としては、現在の対話状況を対話ロボット２に送信して対話の流れを制御することや、対話が破綻したときに外部のオペレータに連絡をして利用者への対応を要請することなどが挙げられる。

対話ロボット２は本発明における対話装置の一例である。対話装置とは、利用者と音声を主とした対話を行うことによって、利用者からの情報収集および利用者への情報提供を行う装置である。音声だけでなく画像やその他のセンサ情報を利用する装置であっても良い。対話ロボット２は、利用者と対話できるロボットであって、利用者の発話音声と画像を入力認識し応答するものをいう。対話ロボット２の形態は人型ロボットの形状に限られず情報端末の形態であってもよい。対話ロボット２は、利用者と音声を主とした対話を行うことによって、利用者からの情報収集及び利用者への情報提供を行う装置であれば他のどのような情報を用いるものであってもよい。例えば、音声だけでは対話の成立、不成立を精度良く判定することができない場合、音声データに加えて対話中の利用者の画像データを用いるものであってもよい。この場合、画像データは対話ロボット２に備わったカメラ等の撮像手段によって取得されてもよいし、別途設けられた撮像手段によって取得されてもよい。一般には、対話ロボット２等の対話装置が撮像手段を備えていることが望ましい。

対話支援装置１、対話ロボット２及びオペレータ端末３は、通信回線４を介して互いに通信可能である。対話支援装置１は、対話ロボット２と利用者との対話が円滑に進むように、現在の対話の状況を認識し、必要な支援を行う装置である。対話の状況の認識には、対話ロボット２の持つ内部状態、利用者の発する音声、利用者の画像およびその他のセンサーデータを利用する。対話支援装置２が行う支援としては、現在の対話状況を対話ロボット２に送信して対話の流れを制御することや、対話が破綻したときに外部のオペレータに連絡をして利用者への対応を要請することなどが挙げられる。

対話支援装置１は、利用者とロボットとの対話を監視し、必要に応じて利用者の対話ロボット２との対話を、オペレータとの対話に切り替える。対話ロボット２は、入力された音声が示す内容に応じた音声を出力する対話装置である。対話ロボット２は、利用者との対話を行うほか、自装置に対して発せられた利用者の音声を、通信回線４を介して対話支援装置１に送信する。オペレータ端末３は、対話支援装置１の制御に基づき対話ロボット２に接続され、オペレータの音声を対話ロボット２から出力させる機能を有する。オペレータ端末３は、対話が不成立でオペレータの介入が必要と判定される場合にオペレータに通知し、オペレータは必要に応じて対話ロボットを介して状況を入手し介入すべきと判断すれば対話ロボットに代わり利用者と対話する。

図２は、対話システム１００の構成の他の具体例を示す概略図である。対話ロボット２は、対話支援装置を含んでも、含まなくともよいが、対話支援装置１の機能を含んでいると通信回線の通信量を軽減することができ、好ましい。図１が、対話ロボット２、対話支援装置１が各々通信回線を介して接続された一例を示したのに対して、図２（Ａ）は対話支援装置１を介して対話ロボット２と通信回線が接続された一例を示す。また、図２（Ｂ）は、対話支援装置１が対話ロボット２に含まれる一例を示す。

図３は、第１実施形態の対話支援装置１の機能構成の具体例を示すブロック図である。対話支援装置１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。対話支援装置１は、プログラムの実行によって通信部１０１、画像データ取得部１０２、音声データ取得部１０３、画像特徴量取得部１０４、発話区間識別部１０５、音声特徴量取得部１０６、介入用通知判定部１０９及び対話制御部１１０を備える装置として機能する。なお、対話支援装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

通信部１０１は、自装置を通信回線４に接続する通信インタフェースを備えて構成される。通信部１０１は、通信回線４を介して対話ロボット２及びオペレータ端末３と通信する。

画像データ取得部１０２は、対話ロボット２と対話中の利用者が撮像された画像データを取得する（図４のステップＳ１０１に対応）。例えば、利用者を撮像する撮像部（図示せず）は対話ロボット２に備えられる。この場合、画像データ取得部１０２は、対話ロボット２との通信により画像データを取得する。また、撮像部は、対話中の利用者を撮像可能な位置に設置された撮像装置であってもよい。この場合、撮像装置は通信回線４に接続され、画像データ取得部１０２は、撮像装置との通信により画像データを取得してもよい。

音声データ取得部１０３は、対話ロボット２に対して発せられた利用者の音声データを取得する（図４のステップＳ１０４に対応）。例えば、利用者の音声を入力する音声入力部（図示せず）は対話ロボット２に備えられる。この場合、音声データ取得部１０３は、対話ロボット２との通信により音声データを取得する。また、音声入力部は、対話中の利用者の音声を取得可能な位置に設置された音声入力装置であってもよい。この場合、音声入力装置は通信回線４に接続され、音声データ取得部１０３は、音声入力装置との通信により画像データを取得してもよい。

画像特徴量取得部１０４は、画像データ取得部１０２によって取得された画像データが示す画像の特徴量（以下「画像特徴量」という。）を取得する（図４のステップＳ１０２に対応）。第１実施形態における画像特徴量は、利用者の挙動に関する特徴量である。具体的には、画像特徴量は、利用者の体全体が単位時間当たりに移動した量や、利用者の顔及び視線の向き、及びそれらの時間変化に関する特徴量を含む。画像特徴量取得部１０４は、取得した画像特徴量を示す情報を介入用通知判定部１０９に出力する。

発話区間識別部１０５は、音声データの周波数解析等により、音声データの示す音声区間から利用者の発話が含まれる区間（以下「発話区間」という。）を識別する（図４のステップＳ１０５に対応）。発話区間識別部１０５は、利用者の発話区間を示す情報を音声特徴量取得部１０６に出力する。

音声特徴量取得部１０６は、音声データ取得部１０３によって取得された音声データが示す音声の特徴量（以下「音声特徴量」という。）を取得する（図４のステップＳ１０７に対応）。第１実施形態における音声特徴量は、利用者の発話タイミングに関する特徴量及び音声の周波数に関する特徴量である。具体的には、音声特徴量は、対話ロボット２が利用者に対して発話を促してから、実際に利用者の発話が開始されるまでに要した時間や有声休止（「あー」「えーと」など、同じ母音が引き延ばされることを特徴とする無意味発話）等に関する特徴量を含む。音声特徴量取得部１０６は、発話区間識別部１０５によって識別された発話区間の情報に基づいて利用者の発話タイミングに関する音声特徴量を取得する。また、音声特徴量取得部１０６は、音声データに基づいて周波数解析を行うことにより音声の周波数に関する特徴量を取得する。音声特徴量取得部１０６は、利用者の発話タイミングに関する特徴量及び音声の周波数に関する特徴量を音声特徴量として介入用通知判定部１０９に出力する。

記憶部１０７は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部１０７は判定基準値情報を記憶する。判定基準値情報は、対話ロボット２と利用者との対話にオペレータを介入させるか否かの判定するための判定基準値を示す情報である。判定基準値情報は、判定基準値設定部１０８によって記憶部１０７に記憶される。

判定基準値設定部１０８は、対話ロボット２と利用者との対話にオペレータを介入させるか否かを判定するために必要となる判定基準値を自装置に設定する機能を有する。具体的には、判定基準値の設定とは、判定基準値情報を記憶部１０７に記憶させることを意味する。記憶部１０７に記憶させる判定基準値情報はどのような方法で取得されてもよい。判定基準値及びその適用範囲等の判定基準情報の入力者としては、例えば、システム運用者又はオペレータ、あるいはＡＩ（Artificial Intelligence：人工知能）等が挙げられる。例えば、判定基準値設定部１０８は、マウスやキーボード等の入力装置を介して判定基準値情報を取得してもよいし、通信部１０１を介した通信によって他の装置から判定基準値情報を取得してもよい。また、例えば、判定基準値設定部１０８は、種々の情報を用いて判定基準値情報を生成してもよいし、判定基準値となりうる複数の判定基準値情報の中から用いられるべき判定基準値情報を選択してもよい。

また、対話ロボット２が複数存在する場合、判定基準値設定部１０８は、複数の対話ロボット２ごとの判定基準値を設定してもよいし、複数の対話ロボット２を分類するグループごとに判定基準値を設定してもよい。

介入用通知判定部１０９は、対話ロボット２と利用者との対話にオペレータを介入させるか否かを判定する（図４のステップＳ１０３、Ｓ１０６、Ｓ１０８～Ｓ１１２に対応）。以下、この判定を介入判定という。具体的には、介入用通知判定部１０９は、画像特徴量取得部１０４によって取得された画像特徴量と、音声特徴量取得部１０６によって取得された音声特徴量と、判定基準値設定部１０８によって設定された判定基準値と、に基づいて介入判定を行う。介入用通知判定部１０９は、介入判定の判定結果を対話制御部１１０に出力する。

対話制御部１１０は、介入用通知判定部１０９によって行われた介入判定の判定結果に基づいて対話ロボット２の音声出力機能を制御する。

図４は、第１実施形態の対話支援装置１による介入判定処理の流れを示すフローチャートである。まず、画像データ取得部１０２が、対話ロボット２と対話中の利用者が撮像された画像データを取得する（ステップＳ１０１）。画像データ取得部１０２は、取得した画像データを画像特徴量取得部１０４に出力する。画像特徴量取得部１０４は、画像データ取得部１０２から画像データを取得する。画像特徴量取得部１０４は、取得した画像データの画像特徴量を取得する（ステップＳ１０２）。画像特徴量取得部１０４は、取得した画像特徴量を、利用者が対話ロボット２と円滑に対話できているか否かを識別する第１の識別器（以下「第１識別器」という。）に入力する。これにより、画像特徴量取得部１０４は、第１識別器の出力として、例えば、利用者が対話ロボット２と円滑に対話できていない、すなわち対話が成立していない対話不成立の確率ｐ１を取得する（ステップＳ１０３）。

一方、画像データの取得と並行して、音声データ取得部１０３が、対話ロボット２と対話中の利用者の音声データを取得する（ステップＳ１０４）。音声データ取得部１０３は、取得した音声データを発話区間識別部１０５及び音声特徴量取得部１０６に出力する。発話区間識別部１０５は、音声データ取得部１０３から音声データを取得する。発話区間識別部１０５は、取得した音声データに基づいて利用者の発話区間を識別する（ステップＳ１０５）。発話区間識別部１０５は、識別した発話区間を示す情報を音声特徴量取得部１０６に出力する。

音声特徴量取得部１０６は、発話区間識別部１０５から、利用者の発話区間を示す情報を取得する。音声特徴量取得部１０６は、利用者の発話区間に関する特徴量を、利用者が対話ロボット２と円滑に対話できているか否かを識別する第２の識別器（以下「第２識別器」という。）に入力する。これにより、音声特徴量取得部１０６は、第２識別器の出力として、例えば、利用者が対話ロボット２と円滑に対話できていない、すなわち対話が成立していない対話不成立の確率ｐ２を取得する（ステップＳ１０６）。ここでいう発話区間に関する特徴量は、例えば利用者のフィラー音声又は言い淀みに関する特徴量である。

一方、音声特徴量取得部１０６は、音声データ取得部１０３から音声データを取得する。音声特徴量取得部１０６は、取得した音声データの音声特徴量を取得する（ステップＳ１０７）。例えば、音声特徴量は、音声波形の解析によって取得可能な音声の特徴量（声の大きさや高さ、速さ等）である。その意味では、上記の発話区間に関する特徴量も音声特徴量の一つに含まれても良い。音声特徴量取得部１０６は、取得した音声特徴量を、利用者が対話ロボット２と円滑に対話できているか否かを識別する第３の識別器（以下「第３識別器」という。）に入力する。これにより、音声特徴量取得部１０６は、第３識別器の出力として、例えば、利用者が対話ロボット２と円滑に対話できていない、すなわち対話が成立していない対話不成立の確率ｐ３を取得する（ステップＳ１０８）。

なお、上述した各識別器は、サンプルデータの特徴量を機械学習することによって生成される。各識別器は、サポートベクターマシンやニューラルネットワークなどの機械学習手法を用いて生成することができる。画像特徴量取得部１０４及び音声特徴量取得部１０６は、予め生成された識別器を有してもよいし、サンプルデータの特徴量を機械学習することにより各識別器を生成する機能を有しても良い。また、画像特徴量取得部１０４及び音声特徴量取得部１０６は、生成された各識別器を、新たに得られたサンプルデータの特徴量に基づいて更新する機能を有しても良い。

続いて、介入用通知判定部１０９が、確率ｐ１、ｐ２及びｐ３に基づいて、利用者が対話ロボット２と円滑に対話できているか否かを最終的に判定する。具体的には、介入用通知判定部１０９は、機械学習に基づく確率統合の手法（例えば以下の参考文献１を参照。）を用いて確率ｐ１、ｐ２及びｐ３を統合し、利用者が対話ロボット２と円滑に対話できていない確率ｐを算出する（ステップＳ１０９）。
参考文献１：千葉他「対話中のユーザ状態逐次推定のための多段階識別手法に関する検討」、情報処理学会研究報告 Vol.2013 No.21 1-6

介入用通知判定部１０９は、算出した確率ｐ（利用者が対話ロボット２と円滑に対話できていない確率）を判定基準値（閾値θ）と比較する（ステップＳ１１０）。ｐがθ以上である場合（ステップＳ１１０－ＹＥＳ）、介入用通知判定部１０９は、利用者と対話ロボット２との対話にオペレータの介入用通知が必要と判定する（ステップＳ１１１）。一方、ｐがθ未満である場合（ステップＳ１１０－ＮＯ）、介入用通知判定部１０９は、オペレータへの介入用通知は不要と判定する（ステップＳ１１２）。通知されたオペレータは通常ただちに介入するが、状況により判断することも可能である。

このような介入判定処理によれば、対話ロボット２の問いかけから利用者の発話が発生するまでの時間、利用者による発話の休止、利用者の顔の向きや視線の方向、顔の動き等の単位時間あたりの量の観測することにより、利用者が対話ロボット２と円滑に対話できているか否かを判定することができる。例えば、対話が困難である場合、発話までの時間が長くなる（概ね５秒以上）傾向がある。また、この場合、発話の休止頻度が高い、視線が中心を外れる、首を傾げる動作が見られるなどの傾向がある。これらの特徴はそれぞれが独立して観測されるものではなく、互いに何らかの相関を有すると考えられる。そのため、利用者と対話ロボット２とが円滑に対話できているか否かを、これらの各特徴のそれぞれに判定基準値を設けて判定することは必ずしも適切でない。

例えば、これらの特徴ごとに独立して介入判定を行った場合、必要以上に頻繁にオペレータが呼び出されたり、呼び出すべきタイミングが適切でなかったりといった問題が生じる可能性がある。実施形態の対話支援装置１は、音声特徴量と画像特徴量と発話区間（間合い）のそれぞれに基づいて対話に問題が生じている確率を算出し、これらの特徴ごとに算出された確率を、更に機械学習に基づく手法で統合する構成を備えることにより、問題が生じている確率をより精度よく算出することが可能となる。音声、画像等の個別要素のみで対話不成立を判定する方法に比べて、個別要素を統合して対話不成立の確率を算出するため、判定精度が向上し、オペレータの呼び出しの要否がより精度良く判定されることにつながる。

このように構成された第１実施形態の対話支援装置１は、対話ロボットと利用者との対話にオペレータを効率良く介入させることが可能となる。具体的には、対話支援装置１は、判定基準値情報を取得又は生成して自装置に設定する判定基準値設定部１０８を備える。この判定基準値設定部１０８を備えることにより、対話支援装置１は、システム運営者側の諸事情を考慮した上で、対話ロボットと利用者との対話にオペレータを介入させるか否かを判定することができる。オペレータの介入が必要と判断した場合、対話制御部１１０オペレータの音声を対話装置２に出力させる。

図５は、第１実施形態の対話システムにおける判定基準値と呼び出し回数比との関係の具体例を示す図である。図５の横軸θは判定基準値としての閾値を表し、縦軸は呼び出し回数比を表す。呼び出し回数比は、オペレータの呼び出し回数の基準値に対する比を表す。ここでは、θが０．６のときの呼び出し回数比を基準（１．０）としている。下記の式（３）において、適合率Ｐが０．６のとき再現率Ｒも約０．６となるため、ここではＰ＝０．６を基準とした。

図５に示すグラフは次のようにして求められた。まず、対話システムを利用して実際に対話を行った際に、オペレータの介入を必要とするかどうかについて、さまざまな判断基準値で判定を行った。この時に、実際に介入が必要であった回数をＮ、対話システムが、介入が必要と判定した回数のうち実際に介入が必要だった回数をＮ_ｔｐ、対話システムが、介入が必要と判定した回数のうち実際は介入が不要であった回数をＮ_ｆｐとすると、この対話システムの適合率Ｐ（対話システムによる介入判定の的中率）は以下の式（１）で求められる。また、再現率（実際に介入が必要な状況を検出した確率）は、以下の式（２）で求められる。

Ｐ＝Ｎ_ｔｐ／（Ｎ_ｔｐ＋Ｎ_ｆｐ）式（１）

Ｒ＝Ｎ_ｔｐ／Ｎ式（２）

実際の検出結果を分析した結果、ＰとＲとの間には相関があり、その相関は大凡次の式（３）のように表すことができる。

Ｒ(Ｐ)＝ｍｉｎ（１．０，１．１－０．９Ｐ）式（３）

そのため、Ｎをある値（例えば１００回）としたときに、対話システムを使って実際に検出される回数は次の式（４）のように表すことができる。

Ｎ_ｔｐ＋Ｎ_ｆｐ＝Ｎ×Ｒ／Ｐ式（４）

ここで、Ｐを介入判定の指標値として利用すれば、介入が必要な状況１００回当たりの呼び出し回数比は次の式（５）で求めることができる。閾値θは、判定基準値である。

１００×ｍｉｎ（１／θ，１．１／θ－０．９）式（５）

例えば、第１実施形態の対話システムがイベント会場の案内に用いられる場合を想定する。この場合、利用者が対話システムを利用するために提供される対話ロボット等の利用者端末は、イベント会場のエントランス等の場所に設置されることが多い。このような場所に十分なスペースが確保されていない場合、時間帯によっては対話ロボット周辺に多くの人が滞留してしまい、会場全体の混雑を招く可能性がある。このような状況が想定される用途に対して、従来技術では、オペレータを介入させるか否かの判定基準値を柔軟に変更することができないため、オペレータに対して現場の混雑の状況に応じた効率の良い介入を行わせることができず、対話システム自身が会場の人の流れを阻害する要因となってしまう可能性があった。これに対して、第１実施形態の対話システムによれば、例えば、イベント運営者は、会場の混雑状況に応じて判定基準値を柔軟に変更することができる。これにより、混雑時にはオペレータの介入頻度を向上させ、対話ロボットが利用者と円滑に対話することができなくなる状況が発生することを未然に防止し、会場が混雑することを抑制することが可能になる。

例えば図５の例の場合、通常時の判定基準値（閾値θ）を０．６（最大値１．０）に設定して運用しているところ、当該時間帯のみ、システム運用者又はオペレータが対話不成立の確率に対する閾値を０．４に引き下げることで、オペレータの呼び出し頻度を容易に約２倍に上げることができる。この場合、対話不成立が生じていないときであってもオペレータが呼び出される確率が高くはなるが、オペレータの対応頻度を多くすることによって、積極的に案内することで対話不成立を未然に防ぎ、被案内人が対話トラブルにより対話システム前に長く居続けないようにすることで混雑を防ぐことができる。

また、イベント会場のオペレータは、開催されるイベントによっては会場内の安全チェック等の別業務を兼任する場合もある。このような場合において、従来技術では、オペレータを介入させるか否かの判定基準値を柔軟に変更することができないため、オペレータの介入頻度が高い状況では、オペレータが安全チェック等の別業務を十分に行うことができない可能性があった。これに対して、第１実施形態の対話システムによれば、例えば、イベント運営者は、オペレータに課されるその日の業務内容に応じて、オペレータの介入頻度を下げるような判定基準値を設定することができる。これにより、オペレータは、安全チェック等の別業務の遂行に注力することが可能になる。

例えば図５の例の場合、通常時の判定基準値（閾値θ）を０．６（最大値１．０）に設定して運用しているところ、当該イベント当日のみ、システム運用者又はオペレータが対話不成立の確率に対する閾値を０．８に引き上げることで、オペレータの呼び出し頻度を約２分の１に容易に下げることができる。この場合、対話不成立が生じてもオペレータが呼び出されなくなる確率が高くはなるが、オペレータがより重要な安全チェック等の業務に注力できるようにすることができる。

また、例えば、一人のオペレータが、複数のイベント会場の利用者の応対を行わなければならない場合も想定される。この場合、利用者と対話ロボットとの対話の円滑性がイベント会場ごとに異なる場合もある。例えば、一部のイベントが高齢者向けのイベントである場合には、他のイベントよりもオペレータの介入頻度が高まることが想定される。また、高齢の利用者に対する応対は、若年の利用者に対する応対よりも時間がかかることも想定される。このような場合、従来技術では、オペレータを介入させるか否かの判定基準値を柔軟に変更することができないため、複数のイベント会場においてオペレータ介入の必要性が同じ頻度で発生することになる。その結果、オペレータが、高齢の利用者に対する応対の負荷によって、若年の利用者に対する応対を十分に行えなくなる状況が発生しうる。さらに、高齢の利用者に対する応対と、若年の利用者に対する応対とが同時に発生した場合、両者に対する応対が不十分なものになってしまう可能性がある。これに対して、第１実施形態の対話システムによれば、例えば、イベント運営者は、複数のイベント会場の対話ロボットに対して、イベントや利用者の傾向等に応じた判定基準値を設定することができる。これにより、オペレータは、高齢の利用者に対する応対することが可能になる。

例えば図５の例の場合、２つの対話ロボットＡ及びＢについて、通常時の判定基準値（閾値θ）を０．６（最大値１．０）に設定して運用しているところ、当該イベント当日のみ、システム運用者又はオペレータが対話ロボットＡ及びＢの対話不成立の確率に対する閾値を０．８に引き上げることで、対話ロボットＡ及びＢによるオペレータの呼び出し頻度を約２分の１に容易に下げることができる。この場合、対話不成立が生じてもオペレータが呼び出されなくなる確率が高くはなるが、高齢者以外は通常、対話トラブルに陥っていても比較的自己対処能力が高いので、オペレータが他の対話ロボットＣを通じた高齢者のガイドにより注力できるようにすることができる。

＜第２実施形態＞
図６は、第２実施形態の対話支援装置１ａの機能構成の具体例を示すブロック図である。対話支援装置１ａは、記憶部１０７に代えて記憶部１０７ａを備える点、判定基準値設定部１０８に代えて判定基準値設定部１０８ａを備える点で、第１実施形態の対話支援装置１ａと異なる。対話支援装置１ａのその他の機能部は、第１実施形態の対話支援装置１と同様であるため、図３と同じ符号を付すことによって図６での説明を省略する。

記憶部１０７ａは、判定基準値情報に加えて、制約情報及び条件情報をさらに記憶する。制約情報は、対話システムに関する運用上の制約を示す情報である。条件情報は、対話支援装置１ａが介入判定における判定基準値を設定する際の条件を示す情報である。

判定基準値設定部１０８ａは、制約情報及び条件情報に基づいて介入判定の判定基準値を決定する。判定基準値設定部１０８ａは、決定した判定基準値を示す情報を判定基準値情報として記憶部１０７ａに記憶させることで、自装置に介入判定の判定基準値を設定する。なお、判定基準設定部１０８ａは、介入用通知判定部１０９が介入判定を行う都度、判定基準値を決定してもよいし、判定基準値の決定を所定期間ごとに行っても良い。例えば１日に１度閾値を見直すような場合、判定基準設定部１０８ａは一旦決定した判定基準値を、その日に参照される判定基準値として記憶部１０７ａに記憶させてもよい。

図７は、第２実施形態における制約情報及び条件情報の具体例を示す図である。図７（Ａ）に示す制約情報テーブルＴ１は、制約情報の一例として、オペレータの要員計画情報を保持する。オペレータの要員計画情報は、システム運営者がオペレータとして確保する要員の計画を示す情報である。この場合、例えば制約情報テーブルＴ１は、日付及び要員の組み合わせごとに制約情報レコードを有する。制約情報レコードは、日付、要員及び勤務予定の各値を有し、“日付”の値が示す日における各“要員”の“勤務予定”を表す。例えば、制約情報テーブルＴ１は、“２０１７年３月１０日”において要員Ａ及びＢがオペレータとして勤務し（値“○”）、要員Ｃはオペレータとして勤務しない（値“×”）ことを表す。

また、図７（Ｂ）に示す条件情報テーブルＴ２は、条件情報の一例として、オペレータの数及び負荷と判定基準値とが対応づけられた情報を保持する。この場合、例えば条件情報テーブルＴ２は、要員総数と回線利用率との組み合わせごとに条件情報レコードを有する。条件情報レコードは、要員総数、回線利用率及び判定基準値の各値を有する。“要員総数”の値は、オペレータとして確保される要員の総数を表す。“回線利用率”の値は、オペレータと対話ロボット２との間の通話回線の利用率を表す。すなわち、回線利用率は、一定時間当たりに占める通話時間（通話状態にある時間）の比率である。この場合、通話時間には、音声は途切れていても利用者が注意を傾けている時間等も含まれる。回線利用率が高い状況は、オペレータの介入が頻繁に発生している状況であり、オペレータの負荷が高い状況であると考えられる。そのため、ここでは、オペレータの負荷を表す指標値として回線利用率を用いる。“判定基準値”の値は、要員総数及び回線利用率によって表される状況において、オペレータの介入が適切な頻度で行われるように調整された判定基準値の閾値を表す。例えば、条件情報テーブルＴ２は、オペレータの総数が“２”人であり、回線利用率が“１０～５０”％の範囲内である場合に設定されるべき判定基準値の閾値が０．６であることを表している。なお、図７（Ｂ）の条件情報テーブルＴ２における判定基準値は、対話ロボット２と利用者との対話が円滑に行われていない確率を表している。

このように構成された第２実施形態の対話支援装置１ａでは、判定基準値設定部１０８ａが、制約情報及び条件情報に基づいて判定基準値を設定する。このような判定基準値の設定を行うことにより、対話支援装置１ａは、システム運用上の制約の範囲内で、より効率良くオペレータを介入させることが可能になる。特にオペレータの要因計画に基づいて判定基準値を変更することで、オペレータの介入をより適切に行わせることが可能になる。

＜変形例＞
以下、上記実施形態の対話支援装置１及び１ａに共通の変形例について説明する。以下では、簡単のため対話支援装置１についての変形例として記載するが、以下に記載する変形例は対話支援装置１ａにも適用可能である。

対話支援装置１は、音声のみを切り替えるだけでなく、利用者と対話中のオペレータの映像を対話ロボット２の表示部に表示させるように構成されてもよい。

対話支援装置１は、対話ロボット２と一体に構成されてもよいし、別体として構成されてもよい。図８は、対話支援装置１と一体に構成された対話ロボット２ａの機能構成の具体例を示す図である。図８に示す各機能部のうち、対話支援装置１と同様の機能部には図３と同じ符号を付すことにより、対話支援装置１と同様の機能部についての説明を省略する。この場合、対話ロボット２ａは、対話支援装置１が備える各機能部に加え、音声入力部２０１、撮像部２０２、音声対話データベース２０３、音声制御部２０４及び音声出力部２０５を備える。音声入力部２０１は、自装置に利用者の音声を入力するとともに、入力された音声を音声データ取得部１０３に出力する。撮像部２０２は、利用者の画像を撮像するとともに、撮像した画像を画像データ取得部１０２に出力する。音声対話データベース２０３は、入力された利用者の音声や画像を認識し、利用者の発話の内容又は動作に応じて応答すべき内容を決定するために必要な情報を記憶するデータベースである。音声制御部２０４は、取得された利用者の音声及び画像と、音声対話データベース２０３に記憶された情報とに基づいて、利用者に対して応答すべき内容を決定する。音声出力部２０５は、音声制御部２０４によって決定された内容を音声として出力する。

従来は、オペレータを介入させるか否かの判定を利用者の音声や画像等の特徴ごとに介入判定を行っていたことから、介入頻度を適切に変更することが困難であった。これに対して、上述した実施形態の対話支援装置によれば、複数の指標値をまとめた一つの指標値を調整すればよいことから、介入判定の閾値を適切かつ容易に変更することができる。

上述した実施形態における対話支援装置又は対話ロボット（対話装置の一例）をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、入力された音声が示す内容に応じた音声を出力する対話装置を有するシステムに適用可能である。

１００…対話システム、１，１ａ…対話支援装置、１０１…通信部、１０２…画像データ取得部、１０３…音声データ取得部、１０４…画像特徴量取得部、１０５…発話区間識別部、１０６…音声特徴量取得部、１０７…記憶部、判定基準値設定部１０８、１０９…介入用通知判定部、１１０…対話制御部、２，２ａ…対話ロボット、２０１…音声入力部、２０２…音声対話データベース、２０３…音声制御部、２０４…音声出力部、３…オペレータ端末、４…通信回線

Claims

利用者と対話装置が対話し、利用者の音声と画像を用いて対話の成立又は不成立を判断し、対話不成立の場合には通信回線を介してオペレータが介入する対話装置に用いられる対話支援装置であって、
対話装置と対話する利用者の音声データを取得する音声データ取得部と、
前記利用者が撮像された画像データを取得する画像データ取得部と、
前記音声データが示す音声の特徴量である音声特徴量を取得する音声特徴量取得部と、
前記画像データが示す画像の特徴量である画像特徴量を取得する画像特徴量取得部と、
前記利用者と前記対話装置との対話が成立していない可能性を示す複数の確率値を前記音声特徴量および前記画像特徴量に基づいて取得するとともに、取得した前記複数の確率値を、前記利用者と前記対話装置との対話が成立していない可能性を示す一の確率値に統合し、統合した前記一の確率値が所定の閾値を超えた場合、前記対話への介入が必要であることをオペレータに通知する介入用通知判定部と、
前記介入用通知判定部が、前記対話装置と前記利用者との対話にオペレータを介入させる必要があるか否かを判定するために前記一の確率値と比較する前記閾値を自装置に設定する判定基準値設定部と、
を備え、
前記判定基準値設定部は、前記閾値をより高い値に設定することでオペレータの介入頻度をより低くし、前記閾値をより低い値に設定することでオペレータの介入頻度をより高くする、
対話支援装置。
前記閾値は、オペレータの呼び出し回数の基準値に対する実際の呼び出し回数の比に対応づけられた値である、
請求項１に記載の対話支援装置。
利用者と対話装置が対話し、利用者の音声と画像を用いて対話の成立又は不成立を判断し、対話不成立の場合には通信回線を介してオペレータが介入する対話装置に用いられる対話支援装置であって、
対話装置と対話する利用者の音声データを取得する音声データ取得部と、
前記利用者が撮像された画像データを取得する画像データ取得部と、
前記音声データが示す音声の特徴量である音声特徴量を取得する音声特徴量取得部と、
前記画像データが示す画像の特徴量である画像特徴量を取得する画像特徴量取得部と、
前記対話装置と前記利用者との対話にオペレータを介入させる必要があるか否かを判定するための判定基準値を自装置に設定する判定基準値設定部と、
前記画像特徴量及び前記音声特徴量に基づいて前記利用者と前記対話装置との対話の不成立の程度を示す指標値を算出し、算出した前記指標値が前記判定基準値を超えた場合、前記対話への介入が必要であることをオペレータに通知する介入用通知判定部と、
を備え、
前記判定基準値設定部は、オペレータの要員計画に基づいて前記判定基準値を変更し、
前記判定基準値設定部は、前記判定基準値をより高い値又はより低い値に変更することで、オペレータの介入頻度をより低い頻度又はより高い頻度に調整する、
対話支援装置。
前記介入用通知判定部は、オペレータの介入が必要であると判定した場合、前記オペレータの音声を前記対話装置に出力させる対話制御部をさらに備える、
請求項１から３のいずれか一項に記載の対話支援装置。
利用者と対話し、利用者の音声と画像を用いて対話の成立又は不成立を判断し、対話不成立の場合には通信回線を介してオペレータが介入する対話装置であって、
自装置と対話する利用者の音声データを取得する音声データ取得部と、
前記利用者が撮像された画像データを取得する画像データ取得部と、
取得された前記音声データ及び前記画像データを認識し、前記利用者の発話の内容又は動作に応じた内容の音声を出力する応答部と、
前記音声データが示す音声の特徴量である音声特徴量を取得する音声特徴量取得部と、
前記画像データが示す画像の特徴量である画像特徴量を取得する画像特徴量取得部と、
前記利用者と前記対話装置との対話が成立していない可能性を示す複数の確率値を前記音声特徴量および前記画像特徴量に基づいて取得するとともに、取得した前記複数の確率値を、前記利用者と前記対話装置との対話が成立していない可能性を示す一の確率値に統合し、統合した前記一の確率値が所定の閾値を超えた場合、前記対話への介入が必要であることをオペレータに通知する介入用通知判定部と、
前記介入用通知判定部が、前記対話装置と前記利用者との対話にオペレータを介入させる必要があるか否かを判定するために前記一の確率値と比較する前記閾値を自装置に設定する判定基準値設定部と、
を備え、
前記判定基準値設定部は、前記閾値をより高い値に設定することでオペレータの介入頻度をより低くし、前記閾値をより低い値に設定することでオペレータの介入頻度をより高くする、
対話装置。
利用者と対話し、利用者の音声と画像を用いて対話の成立又は不成立を判断し、対話不成立の場合には通信回線を介してオペレータが介入する対話装置であって、
自装置と対話する利用者の音声データを取得する音声データ取得部と、
前記利用者が撮像された画像データを取得する画像データ取得部と、
取得された前記音声データ及び前記画像データを認識し、前記利用者の発話の内容又は動作に応じた内容の音声を出力する応答部と、
前記音声データが示す音声の特徴量である音声特徴量を取得する音声特徴量取得部と、
前記画像データが示す画像の特徴量である画像特徴量を取得する画像特徴量取得部と、
前記対話装置と前記利用者との対話にオペレータを介入させる必要があるか否かを判定するための判定基準値を自装置に設定する判定基準値設定部と、
前記画像特徴量及び前記音声特徴量に基づいて前記利用者と自装置との対話の不成立の程度を示す指標値を算出し、算出した前記指標値が前記判定基準値を超えた場合、前記対話への介入が必要であることをオペレータに通知する介入用通知判定部と、
を備え、
前記判定基準値設定部は、オペレータの要員計画に基づいて前記判定基準値を変更し、
前記判定基準値設定部は、前記判定基準値をより高い値又はより低い値に変更することで、オペレータの介入頻度をより低い頻度又はより高い頻度に調整する、
対話装置。