JP6794872B2 - 音声取引システムおよび連携制御装置 - Google Patents
音声取引システムおよび連携制御装置 Download PDFInfo
- Publication number
- JP6794872B2 JP6794872B2 JP2017030359A JP2017030359A JP6794872B2 JP 6794872 B2 JP6794872 B2 JP 6794872B2 JP 2017030359 A JP2017030359 A JP 2017030359A JP 2017030359 A JP2017030359 A JP 2017030359A JP 6794872 B2 JP6794872 B2 JP 6794872B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- voice
- unit
- state
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Description
本発明は、音声取引システムおよび連携制御装置に関する。
近年、利用者の状態を検出する技術が多く開発されている。また、利用者の状態に応じた制御を行う装置が普及している。例えば、特許文献１には、仮想環境における人物のステータスを手動または自動で切り替える技術が開示されている。また、特許文献２には、撮影した画像に基づいて、装置の操作中に利用者が携帯電話を用いて通話を行っていることを検出する技術が開示されている。また、特許文献３には、ＡＴＭで操作が所定時間行われないことを検出し、遠隔よりガイダンスを行う技術が開示されている。
ところで、近年では、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）を利用した装置の開発も進んでいる。上記のような装置では、一般に利用者からの入力に対しタイムアウトの制限を設けている場合が多い。このため、なんらかの理由により利用者がタイムアウトまでに入力を行えない場合、利用者とＡＩとの対話がスムーズに成立しないことも懸念される。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、利用者とＡＩとの対話をより円滑に成立させることが可能な、新規かつ改良された音声取引システムおよび連携制御装置を提供することにある。
上記課題を解決するために、本発明のある観点によれば、利用者に対して操作案内を行い、音声によって取引を行う取引部と、前記利用者の画像を撮影する撮影部と、前記撮影部が撮影した画像を解析し、前記利用者の状態を認識する状態認識部と、前記取引部が取得した前記利用者の音声に基づいて認識した認識テキストをＡＩシステムに送信し、前記ＡＩシステムより受信した前記認識テキストに対応する回答テキストに基づいて合成した合成音声を前記取引部に出力するＡＩ連携部と、を備え、前記ＡＩ連携部は、前記状態認識部が認識した前記利用者の状態に基づいて前記利用者の取引遂行可否を判定し、前記利用者が取引遂行不能であると判定した場合に、予め記憶された擬似応答テキストを前記ＡＩシステムに継続して送信し、前記利用者が取引遂行可能な状態に復帰したと判定した場合に、前記擬似応答テキストの送信を終了する、ことを特徴とする音声取引システムが供される。
前記擬似応答テキストは、意味を成さないテキストまたは前記ＡＩシステムが時間を要する対応を指示するテキストのうち少なくともいずれかを含んでもよい。
前記ＡＩ連携部は、前記状態認識部が認識した前記利用者の状態に基づいて前記利用者が取引とは異なる行動を行っていると推定した場合、前記利用者が取引遂行不能であると判定してもよい。
前記状態認識部は、前記利用者に係る利用者属性をさらに認識し、前記ＡＩ連携部は、前記利用者属性が対象属性に該当する場合、タイムアウトの延長指示を前記ＡＩシステムに送信してもよい。
前記対象属性は、高齢者または外国人のうち少なくともいずれかを含んでもよい。
また、上記課題を解決するために、本発明の別の観点によれば、取引部により取得された利用者の音声に基づいて音声認識を行い、認識テキストを生成する音声認識部と、前記認識テキストをＡＩシステムに送信し、前記ＡＩシステムより前記認識テキストに対応する回答テキストを受信する通信部と、前記回答テキストに基づく音声合成を行う音声合成部と、撮影された画像に基づいて認識された前記利用者の状態に基づいて前記利用者の取引遂行可否を判定し、前記利用者が取引遂行不能であると判定した場合に、前記通信部に、予め記憶された擬似応答テキストを前記ＡＩシステムに継続して送信させ、前記利用者が取引遂行可能な状態に復帰したと判定した場合に、前記通信部に前記擬似応答テキストの送信を終了させる連携制御部と、を備える、ことを特徴とする連携制御装置が提供される。
以上説明したように本発明によれば、利用者とＡＩとの対話をより円滑に成立させることが可能となる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．第１の実施形態＞
＜＜１．１．第１の実施形態の概要＞＞
まず、本発明の第１の実施形態の概要について説明する。上述したように、近年では、ＡＩ技術を用いて利用者に対する自動対応を行う装置が開発されている。上記のような装置には、例えば、金融機関の店舗などに設置されるＶＴＭ（Ｖｉｄｅｏ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）が挙げられる。
＜＜１．１．第１の実施形態の概要＞＞
まず、本発明の第１の実施形態の概要について説明する。上述したように、近年では、ＡＩ技術を用いて利用者に対する自動対応を行う装置が開発されている。上記のような装置には、例えば、金融機関の店舗などに設置されるＶＴＭ（Ｖｉｄｅｏ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）が挙げられる。
ここで、ＶＴＭとは、金融機関の店舗などにおいて、利用者が操作する端末であり、利用者は、ＶＴＭを用いてＡＩと対話を行うことで、種々の金融取引を行うことが可能である。
しかし、例えば、ＡＩとの対話が開始されたのち、利用者がなんらかの理由により入力を行えない状態となった場合、ＡＩに設定されるタイムアウトを超過してしまう状況も想定される。この場合、ＡＩが利用者の状態を考慮せずに勝手に説明を進めてしまう、など利用者とＡＩとの対話がスムーズに成立しないことも懸念される。
本実施形態に係る音声取引システムおよび連携制御装置は、上記の点に着目して発想されたものであり、利用者の状態に応じてＡＩを制御することで、利用者とＡＩとの対話をより円滑に成立させることを可能とする。このために、本実施形態に係る音声取引システムおよび連携制御装置は、利用者が取引遂行不能であると判定した場合には、利用者に代わってＡＩとの擬似応答を行うことを特徴の一つとする。
図１は、本実施形態の概要について説明するための図である。図１には、利用者Ｕ１、利用者Ｕ１が操作するＶＴＭ１０、連携制御装置３０、およびＡＩシステム４０が示されている。また、図１には、利用者Ｕ１がＶＴＭの操作開始後に、携帯電話などを用いて通話を始めた場合の例が示されている。
この場合、本実施形態に係る連携制御装置３０は、利用者Ｕ１が通話を行っている状態であると認識されたことに基づいて、利用者Ｕ１が取引遂行不能であると判定してよい。また、この際、本実施形態に係る連携制御装置３０は、利用者Ｕ１に代わってＡＩシステム４０との擬似応答を行うことで、ＡＩシステムのタイムアウトを超過せずに対話を継続させることができる。
さらには、本実施形態に係る連携制御装置３０は、上記の擬似応答中には、ＡＩシステムから送信される回答を出力しないことで、利用者Ｕ１が取引遂行可能な状態に復帰するまでＶＴＭ１０を待機させることができる。
このように、本実施形態に係る音声取引装置および連携制御装置によれば、利用者が取引遂行不能な状態である場合であっても、ＡＩシステムがタイムアウトすることを防ぐことができ、利用者とＡＩシステムとのより円滑な会話を成立させることが可能となる。
＜＜１．２．システム構成例＞＞
次に、本実施形態に係る音声取引システム１のシステム構成例について説明する。図２は、本実施形態に係る音声取引システム１のシステム構成例を示す図である。図２を参照すると、本実施形態に係る音声取引システム１は、ＶＴＭ１０、状態認識装置２０、および連携制御装置３０を備える。また、本実施形態に係る音声取引システム１は、ネットワーク５０を介して、ＡＩシステム４０と接続される。
次に、本実施形態に係る音声取引システム１のシステム構成例について説明する。図２は、本実施形態に係る音声取引システム１のシステム構成例を示す図である。図２を参照すると、本実施形態に係る音声取引システム１は、ＶＴＭ１０、状態認識装置２０、および連携制御装置３０を備える。また、本実施形態に係る音声取引システム１は、ネットワーク５０を介して、ＡＩシステム４０と接続される。
（ＶＴＭ１０）
本実施形態に係るＶＴＭ１０は、上述したとおり、金融機関の店舗などにおいて、利用者が操作する端末である。本実施形態に係るＶＴＭ１０は、音声取引システム１において、利用者に対して操作案内を行い、音声によって取引を行う取引部として機能する。このため、本実施形態に係るＶＴＭ１０は、取得した利用者の音声情報を連携制御装置３０に送信し、また連携制御装置３０により合成された合成音声を出力してよい。また、ＶＴＭ１０は、利用者の画像を撮影する撮影部としての機能を有してよい。ＶＴＭ１０は、撮影した利用者の画像を状態認識装置２０に送信する。
本実施形態に係るＶＴＭ１０は、上述したとおり、金融機関の店舗などにおいて、利用者が操作する端末である。本実施形態に係るＶＴＭ１０は、音声取引システム１において、利用者に対して操作案内を行い、音声によって取引を行う取引部として機能する。このため、本実施形態に係るＶＴＭ１０は、取得した利用者の音声情報を連携制御装置３０に送信し、また連携制御装置３０により合成された合成音声を出力してよい。また、ＶＴＭ１０は、利用者の画像を撮影する撮影部としての機能を有してよい。ＶＴＭ１０は、撮影した利用者の画像を状態認識装置２０に送信する。
（状態認識装置２０）
本実施形態に係る状態認識装置２０は、音声取引システム１において、ＶＴＭ１０が撮影した画像を解析し、利用者の状態を認識する状態認識部として機能する。本実施形態に係る状態認識装置２０は、例えば、利用者が通話を行っている状態や、利用者が鞄の中から書類などを探している状態、利用者が第三者との対話を行っている状態、などを認識することができる。また、本実施形態に係る状態認識装置２０は、上記の認識結果を連携制御装置３０に送信する。
本実施形態に係る状態認識装置２０は、音声取引システム１において、ＶＴＭ１０が撮影した画像を解析し、利用者の状態を認識する状態認識部として機能する。本実施形態に係る状態認識装置２０は、例えば、利用者が通話を行っている状態や、利用者が鞄の中から書類などを探している状態、利用者が第三者との対話を行っている状態、などを認識することができる。また、本実施形態に係る状態認識装置２０は、上記の認識結果を連携制御装置３０に送信する。
（連携制御装置３０）
本実施形態に係る連携制御装置３０は、ＶＴＭ１０とＡＩシステム４０との対話を仲介するＡＩ連携部として機能する。具体的には、本実施形態に係る連携制御装置３０は、ＶＴＭ１０が取得した利用者の音声に基づく音声認識を行い、生成した認識テキストをＡＩシステム４０に送信する。また、連携制御装置３０は、上記の認識テキストに基づいてＡＩシステム４０が生成した回答テキストを受信し、当該回答テキストに基づいて合成した合成音声をＶＴＭ１０に出力させる。
本実施形態に係る連携制御装置３０は、ＶＴＭ１０とＡＩシステム４０との対話を仲介するＡＩ連携部として機能する。具体的には、本実施形態に係る連携制御装置３０は、ＶＴＭ１０が取得した利用者の音声に基づく音声認識を行い、生成した認識テキストをＡＩシステム４０に送信する。また、連携制御装置３０は、上記の認識テキストに基づいてＡＩシステム４０が生成した回答テキストを受信し、当該回答テキストに基づいて合成した合成音声をＶＴＭ１０に出力させる。
また、本実施形態に係る連携制御装置３０は、状態認識装置２０が認識した利用者の状態に基づいて利用者の取引遂行可否を判定する機能を有してよい。この際、本実施形態に係る連携制御装置３０は、利用者が取引遂行不能であると判定した場合に、予め記憶された擬似応答テキストをＡＩシステム４０に継続して送信することができる。また、連携制御装置３０は、利用者が取引遂行可能に復帰したと判定した場合に、前記擬似応答テキストの送信を終了してよい。本実施形態に係る連携制御装置３０が有する上記の機能によれば、利用者が取引遂行不能な状態である場合に、当該利用者に代わってＡＩシステム４０と擬似応答を行い、タイムアウトを防ぐことが可能となる。
（ＡＩシステム４０）
本実施形態に係るＡＩシステム４０は、入力されるテキストに対応する回答テキストを生成し、当該回答テキストを連携制御装置３０に出力する情報処理装置である。ＡＩシステム４０は、例えば、ニューラルネットワーク、回帰モデルなどの機械学習手法、または統計的手法に基づいて上記の回答テキストを生成してもよい。
本実施形態に係るＡＩシステム４０は、入力されるテキストに対応する回答テキストを生成し、当該回答テキストを連携制御装置３０に出力する情報処理装置である。ＡＩシステム４０は、例えば、ニューラルネットワーク、回帰モデルなどの機械学習手法、または統計的手法に基づいて上記の回答テキストを生成してもよい。
（ネットワーク５０）
ネットワーク５０は、本実施形態に係る自動応答システムの各構成を接続する機能を有する。ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
ネットワーク５０は、本実施形態に係る自動応答システムの各構成を接続する機能を有する。ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本実施形態に係る音声取引システム１のシステム構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る音声取引システム１の構成は係る例に限定されない。例えば、状態認識装置２０と連携制御装置３０が有する機能は、同一の装置により実現されてもよい。一方で、連携制御装置３０が有する各機能は、複数の装置に分散して実現されてもよい。本実施形態に係る音声取引システム１の構成は、仕様や運用に応じて柔軟に変形され得る。
＜＜１．３．ＶＴＭ１０の機能構成例＞＞
次に、本実施形態に係るＶＴＭ１０の機能構成例について詳細に説明する。図３は、本実施形態に係るＶＴＭ１０の機能ブロック図の一例である。図３を参照すると、本実施形態に係るＶＴＭ１０は、入力部１１０、出力部１２０、撮影部１３０、カード挿入部１４０、端末制御部１５０、および通信部１６０を備える。
次に、本実施形態に係るＶＴＭ１０の機能構成例について詳細に説明する。図３は、本実施形態に係るＶＴＭ１０の機能ブロック図の一例である。図３を参照すると、本実施形態に係るＶＴＭ１０は、入力部１１０、出力部１２０、撮影部１３０、カード挿入部１４０、端末制御部１５０、および通信部１６０を備える。
（入力部１１０）
入力部１１０は、利用者による入力操作および利用者の発話音声を受け付ける機能を有する。このために、本実施形態に係る入力部１１０は、ユーザによる入力操作を検出するための各種の装置やセンサを含んでよい。入力部１１０は、例えば、タッチパネル、ボタン、キーボード、スイッチなどを含んで構成され得る。また、入力部１１０は、利用者の発話音声を収集するマイクロフォンを含んで構成される。
入力部１１０は、利用者による入力操作および利用者の発話音声を受け付ける機能を有する。このために、本実施形態に係る入力部１１０は、ユーザによる入力操作を検出するための各種の装置やセンサを含んでよい。入力部１１０は、例えば、タッチパネル、ボタン、キーボード、スイッチなどを含んで構成され得る。また、入力部１１０は、利用者の発話音声を収集するマイクロフォンを含んで構成される。
（出力部１２０）
出力部１２０は、利用者に対し視覚情報および音声情報を提示する機能を有する。このために、本実施形態に係る出力部１２０は、例えば、タッチパネル、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを含んで構成される。また、本実施形態に係る出力部１２０は、連携制御装置３０により合成される合成音声を出力するスピーカーを含んで構成される。
出力部１２０は、利用者に対し視覚情報および音声情報を提示する機能を有する。このために、本実施形態に係る出力部１２０は、例えば、タッチパネル、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを含んで構成される。また、本実施形態に係る出力部１２０は、連携制御装置３０により合成される合成音声を出力するスピーカーを含んで構成される。
（撮影部１３０）
撮影部１３０は、利用者や周囲の画像を撮影する機能を有する。このために、本実施形態に係る撮影部１３０は、静止画像または動画像を撮像する撮像センサを含んで構成される。また、本実施形態に係る撮影部１３０が有する機能は、ＶＴＭ１０とは独立した装置として実現されてもよい。
撮影部１３０は、利用者や周囲の画像を撮影する機能を有する。このために、本実施形態に係る撮影部１３０は、静止画像または動画像を撮像する撮像センサを含んで構成される。また、本実施形態に係る撮影部１３０が有する機能は、ＶＴＭ１０とは独立した装置として実現されてもよい。
（カード挿入部１４０）
カード挿入部１４０は、利用者がキャッシュカードなどを挿入するための構成である。本実施形態に係るカード挿入部１４０は、挿入されたキャッシュカードを読み取ることで、利用者ＩＤや口座番号などの情報を取得する機能を有してよい。
カード挿入部１４０は、利用者がキャッシュカードなどを挿入するための構成である。本実施形態に係るカード挿入部１４０は、挿入されたキャッシュカードを読み取ることで、利用者ＩＤや口座番号などの情報を取得する機能を有してよい。
（端末制御部１５０）
端末制御部１５０は、ＶＴＭ１０が備える各構成の動作を制御する機能を有する。本実施形態に係る端末制御部１５０は、例えば、入力部１１０が検出した利用者の入力操作に基づく処理や、出力部１２０の出力制御などを行ってよい。
端末制御部１５０は、ＶＴＭ１０が備える各構成の動作を制御する機能を有する。本実施形態に係る端末制御部１５０は、例えば、入力部１１０が検出した利用者の入力操作に基づく処理や、出力部１２０の出力制御などを行ってよい。
（通信部１６０）
通信部１６０は、ネットワーク５０を介して、状態認識装置２０および連携制御装置３０との情報通信を行う機能を有する。具体的には、通信部１６０は、撮影部１３０が撮影した利用者の画像や、入力部１１０が取得した音響情報を状態認識装置２０に送信する。また、通信部１６０は、入力部１１０が取得した利用者の音声を連携制御装置３０に送信し、連携制御装置３０から合成音声を受信する。
通信部１６０は、ネットワーク５０を介して、状態認識装置２０および連携制御装置３０との情報通信を行う機能を有する。具体的には、通信部１６０は、撮影部１３０が撮影した利用者の画像や、入力部１１０が取得した音響情報を状態認識装置２０に送信する。また、通信部１６０は、入力部１１０が取得した利用者の音声を連携制御装置３０に送信し、連携制御装置３０から合成音声を受信する。
以上、本実施形態に係るＶＴＭ１０の機能構成について説明した。なお、図３を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係るＶＴＭ１０の機能構成は係る例に限定されない。例えば、上述したように、撮影部１３０が有する機能は、ＶＴＭ１０とは別途の装置により実現されてもよい。本実施形態に係るＶＴＭ１０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
＜＜１．４．状態認識装置２０の機能構成例＞＞
次に、本実施形態に係る状態認識装置２０の機能構成例について詳細に説明する。図４は、本実施形態に係る状態認識装置２０の機能ブロック図の一例である。図４を参照すると、本実施形態に係る状態認識装置２０は、画像解析部２１０、音響解析部２２０、および通信部２３０を備える。
次に、本実施形態に係る状態認識装置２０の機能構成例について詳細に説明する。図４は、本実施形態に係る状態認識装置２０の機能ブロック図の一例である。図４を参照すると、本実施形態に係る状態認識装置２０は、画像解析部２１０、音響解析部２２０、および通信部２３０を備える。
（画像解析部２１０）
画像解析部２１０は、撮影部１３０が撮影した利用者の画像を解析し、利用者の状態を認識する機能を有する。この際、画像解析部２１０は、画像解析分野において広く用いられる手法を用いて、上記の認識を行ってよい。本実施形態に係る画像解析部２１０は、例えば、利用者が携帯電話などを用いて通話を行っている状態や、利用者が鞄の中から書類を探している状態、または、利用者が第三者との対話を行っている状態、などを認識してもよい。
画像解析部２１０は、撮影部１３０が撮影した利用者の画像を解析し、利用者の状態を認識する機能を有する。この際、画像解析部２１０は、画像解析分野において広く用いられる手法を用いて、上記の認識を行ってよい。本実施形態に係る画像解析部２１０は、例えば、利用者が携帯電話などを用いて通話を行っている状態や、利用者が鞄の中から書類を探している状態、または、利用者が第三者との対話を行っている状態、などを認識してもよい。
（音響解析部２２０）
音響解析部２２０は、ＶＴＭ１０が取得した音響情報に基づいて利用者の状態を認識する機能を有する。ここで、上記の音響情報には、利用者の音声のほか、周囲の雑音などが含まれてよい。この際、音響解析部２２０は、音響解析分野において広く用いられる手法を用いて、上記の認識を行ってよい。本実施形態に係る音響解析部２２０は、例えば、音響情報から、利用者が鞄の中から書類を探している状態、などを判別し得る。
音響解析部２２０は、ＶＴＭ１０が取得した音響情報に基づいて利用者の状態を認識する機能を有する。ここで、上記の音響情報には、利用者の音声のほか、周囲の雑音などが含まれてよい。この際、音響解析部２２０は、音響解析分野において広く用いられる手法を用いて、上記の認識を行ってよい。本実施形態に係る音響解析部２２０は、例えば、音響情報から、利用者が鞄の中から書類を探している状態、などを判別し得る。
（通信部２３０）
通信部２３０は、ネットワーク５０を介して、ＶＴＭ１０および連携制御装置３０との情報通信を行う機能を有する。具体的には、通信部２３０は、ＶＴＭ１０から利用者の画像や音響情報を受信する。また、通信部２３０は、画像解析部２１０および音響解析部２２０による認識結果を連携制御装置３０に送信する。
通信部２３０は、ネットワーク５０を介して、ＶＴＭ１０および連携制御装置３０との情報通信を行う機能を有する。具体的には、通信部２３０は、ＶＴＭ１０から利用者の画像や音響情報を受信する。また、通信部２３０は、画像解析部２１０および音響解析部２２０による認識結果を連携制御装置３０に送信する。
以上、本実施形態に係る状態認識装置２０の機能構成例について説明した。なお、図４を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る状態認識装置２０の機能構成は、係る例に限定されない。本実施形態に係る状態認識装置２０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
＜＜１．５．連携制御装置３０の機能構成例＞＞
次に、本実施形態に係る連携制御装置３０の機能構成例について詳細に説明する。図５は、本実施形態に係る連携制御装置３０の機能ブロック図の一例である。図５を参照すると、本実施形態に係る連携制御装置３０は、音声認識部３１０、連携制御部３２０、音声合成部３３０、対話状況記録部３４０、および通信部３５０を備える。
次に、本実施形態に係る連携制御装置３０の機能構成例について詳細に説明する。図５は、本実施形態に係る連携制御装置３０の機能ブロック図の一例である。図５を参照すると、本実施形態に係る連携制御装置３０は、音声認識部３１０、連携制御部３２０、音声合成部３３０、対話状況記録部３４０、および通信部３５０を備える。
（音声認識部３１０）
音声認識部３１０は、利用者の発話音声に基づいて音声認識を行う機能を有する。具体的には、本実施形態に係る音声認識部３１０は、ＶＴＭ１０により取得された利用者の音声を文字列に変換することができる。なお、本実施形態においては、音声認識により変換された文字列を認識テキストと称する。音声認識部３１０による音声認識については種々の手法が用いられてよいため、詳細な説明は省略する。
音声認識部３１０は、利用者の発話音声に基づいて音声認識を行う機能を有する。具体的には、本実施形態に係る音声認識部３１０は、ＶＴＭ１０により取得された利用者の音声を文字列に変換することができる。なお、本実施形態においては、音声認識により変換された文字列を認識テキストと称する。音声認識部３１０による音声認識については種々の手法が用いられてよいため、詳細な説明は省略する。
（連携制御部３２０）
連携制御部３２０は、ＶＴＭ１０とＡＩシステム４０との対話を仲介する機能を有する。具体的には、連携制御部３２０は、通信部３５０に、音声認識部３１０により生成された認識テキストをＡＩシステム４０に送信させ、また、通信部３５０に、ＡＩシステム４０から受信した回答テキストに基づいて合成された合成音声を、ＶＴＭ１０に送信させる。
連携制御部３２０は、ＶＴＭ１０とＡＩシステム４０との対話を仲介する機能を有する。具体的には、連携制御部３２０は、通信部３５０に、音声認識部３１０により生成された認識テキストをＡＩシステム４０に送信させ、また、通信部３５０に、ＡＩシステム４０から受信した回答テキストに基づいて合成された合成音声を、ＶＴＭ１０に送信させる。
また、本実施形態に係る連携制御部３２０は、状態認識装置２０により認識された利用者の状態に基づいて、当該利用者の取引遂行可否を判定する機能を有する。本実施形態に係る連携制御部３２０は、前記利用者が取引遂行不能であると判定した場合には、通信部３５０に、予め記憶された擬似応答テキストをＡＩシステムに継続して送信させてよい。
この際、連携制御部３２０は、状態認識装置２０が認識した利用者の状態に基づいて当該利用者が取引とは異なる行動を行っていると推定した場合、当該利用者が取引遂行不能であると判定してよい。上記の取引とは異なる行動には、例えば、通話を行っている状態、鞄の中から書類などを探している状態、第三者と対話を行っている状態、などが含まれる。連携制御部３２０は、例えば、状態認識装置２０が認識した利用者の状態が、通話を行っている状態を示すことに基づいて、当該利用者が取引とは行動を行っていることを推定してよい。
また、上記の擬似応答テキストには、意味を成さないテキストや、ＡＩシステム４０が時間を要する対応を指示するテキストなどが用いられてよい。上記の意味を成さない文字列には、例えば、「あああああ」などの文字列が含まれる。この際、連携制御部３２０は、ＡＩシステム４０から受信した、例えば、「もう一度言ってください」などの回答テキストに対して、再度上記の文字列を通信部３５０に送信させることで、ＡＩシステム４０との擬似応答を継続することができる。
また、上記のＡＩシステム４０が時間を要する対応を指示するテキストには、例えば、「１０秒カウントしなさい」などのテキストが用いられてよい。連携制御部３２０は、利用者が取引遂行可能な状態に復帰するまで、上記のようなテキストを通信部３５０に繰り返し送信させることで、擬似応答を継続してよい。
また、本実施形態に係る擬似応答テキストには、上記の例に限らず、ＡＩシステム４０の仕様に応じた種々のテキストが用いられてよい。連携制御部３２０は、例えば、「東京の明日の天気を教えて」などのテキストを通信部３５０に繰り返し送信させることで、ＡＩシステム４０との擬似応答を継続することもできる。
また、本実施形態に係る連携制御部３２０は、利用者が取引遂行不能であると判定した場合、判定時における利用者とＡＩシステム４０との対話の状況を対話状況記録部３４０に記録させる。この際、連携制御部３２０は、例えば、最後に利用者が入力した音声に基づく認識テキストや、最後にＡＩシステムから受信した回答テキストの内容などを対話状況記録部３４０に記録させてよい。
また、本実施形態に係る連携制御部３２０は、利用者が取引遂行可能に状態に復帰したと判定した場合には、通信部３５０に擬似応答テキストの送信を終了させる。また、連携制御部３２０は、対話状況記録部３４０に記録される擬似応答開始前の対話状況を取得し、当該対話状況に基づく処理を行う。連携制御部３２０は、例えば、通信部３５０に、最後に利用者が入力した音声に基づく認識テキストをＡＩシステム４０に送信させてもよい。また、連携制御部３２０は、通信部３５０に、最後にＡＩシステムから受信した回答テキストをＶＴＭ１０に送信させてもよい。本実施形態に係る連携制御部３２０が有する上記の機能によれば、擬似応答の終了後、擬似応答開始前の対話状況にスムーズに復帰することが可能となり、利用者にとって違和感のない対話を実現することが可能となる。
（音声合成部３３０）
音声合成部３３０は、ＡＩシステムから送信される回答テキストに基づく音声合成を行う機能を有する。上述したように、音声合成部３３０により合成される合成音声は、連携制御部３２０による制御に基づいて、ＶＴＭ１０に送信される。
音声合成部３３０は、ＡＩシステムから送信される回答テキストに基づく音声合成を行う機能を有する。上述したように、音声合成部３３０により合成される合成音声は、連携制御部３２０による制御に基づいて、ＶＴＭ１０に送信される。
（対話状況記録部３４０）
対話状況記録部３４０は、連携制御部３２０による制御に基づいて、利用者とＡＩシステム４０との対話の状況を記録する機能を有する。上述したように、対話状況記録部３４０は、例えば、最後に利用者が入力した音声に基づく認識テキストや、最後にＡＩシステムから受信した回答テキストの内容などを記録してよい。
対話状況記録部３４０は、連携制御部３２０による制御に基づいて、利用者とＡＩシステム４０との対話の状況を記録する機能を有する。上述したように、対話状況記録部３４０は、例えば、最後に利用者が入力した音声に基づく認識テキストや、最後にＡＩシステムから受信した回答テキストの内容などを記録してよい。
（通信部３５０）
通信部３５０は、ネットワーク５０を介して、ＶＴＭ１０、状態認識装置２０、およびＡＩシステムとの情報通信を行う機能を有する。具体的には、通信部３５０は、ＶＴＭ１０から利用者の音声情報を受信し、連携制御部３２０による制御に基づいて音声合成部３３０が合成した合成音声をＶＴＭ１０に送信する。また、通信部３５０は、状態認識装置２０から利用者の状態に係る認識結果を受信する。また、通信部３５０は、連携制御部３２０による制御に基づいて音声認識部３１０が生成した認識テキストをＡＩシステム４０に送信し、当該認識テキストに基づいて生成された回答テキストをＡＩシステム４０から受信する。
通信部３５０は、ネットワーク５０を介して、ＶＴＭ１０、状態認識装置２０、およびＡＩシステムとの情報通信を行う機能を有する。具体的には、通信部３５０は、ＶＴＭ１０から利用者の音声情報を受信し、連携制御部３２０による制御に基づいて音声合成部３３０が合成した合成音声をＶＴＭ１０に送信する。また、通信部３５０は、状態認識装置２０から利用者の状態に係る認識結果を受信する。また、通信部３５０は、連携制御部３２０による制御に基づいて音声認識部３１０が生成した認識テキストをＡＩシステム４０に送信し、当該認識テキストに基づいて生成された回答テキストをＡＩシステム４０から受信する。
以上、本実施形態に係る連携制御装置３０の機能構成例について説明した。なお、図５を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る連携制御装置３０の機能構成は係る例に限定されない。例えば、本実施形態に係る連携制御装置３０が有する各機能は、複数の装置により分散されて実現されてもよい。本実施形態に係る連携制御装置３０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
＜＜１．６．ＡＩシステム４０の機能構成＞＞
次に、本実施形態に係るＡＩシステム４０の機能構成について詳細に説明する。図６は、本実施形態に係るＡＩシステム４０の機能ブロック図の一例である。図６を参照すると、本実施形態に係るＡＩシステム４０は、応答制御部４１０、意図解釈部４２０、回答生成部４３０、および通信部４４０を備える。
次に、本実施形態に係るＡＩシステム４０の機能構成について詳細に説明する。図６は、本実施形態に係るＡＩシステム４０の機能ブロック図の一例である。図６を参照すると、本実施形態に係るＡＩシステム４０は、応答制御部４１０、意図解釈部４２０、回答生成部４３０、および通信部４４０を備える。
（応答制御部４１０）
応答制御部４１０は、ＡＩシステム４０による応答機能を全体に制御する機能を有する。応答制御部４１０は、例えば、ＡＩシステム４０のタイムアウトに係る制御を行ってよい。また、応答制御部４１０は、後述する意図解釈部４２０、回答生成部４３０、および通信部４４０の動作をそれぞれ制御する。
応答制御部４１０は、ＡＩシステム４０による応答機能を全体に制御する機能を有する。応答制御部４１０は、例えば、ＡＩシステム４０のタイムアウトに係る制御を行ってよい。また、応答制御部４１０は、後述する意図解釈部４２０、回答生成部４３０、および通信部４４０の動作をそれぞれ制御する。
（意図解釈部４２０）
意図解釈部４２０は、連携制御装置３０から受信した認識テキストに基づいて、利用者の発話意図を抽出する機能を有する。意図解釈部４２０は、抽出した発話意図を回答生成部４３０に引き渡す。
意図解釈部４２０は、連携制御装置３０から受信した認識テキストに基づいて、利用者の発話意図を抽出する機能を有する。意図解釈部４２０は、抽出した発話意図を回答生成部４３０に引き渡す。
（回答生成部４３０）
回答生成部４３０は、意図解釈部４２０が抽出した利用者の発話意図に基づいて、当該発話意図に対応する回答テキストを生成する機能を有する。なお、回答生成部４３０は、意図解釈部４２０が利用者の発話意図が抽出できない場合には、「もう一度言ってください」などの回答テキストを生成してもよい。
回答生成部４３０は、意図解釈部４２０が抽出した利用者の発話意図に基づいて、当該発話意図に対応する回答テキストを生成する機能を有する。なお、回答生成部４３０は、意図解釈部４２０が利用者の発話意図が抽出できない場合には、「もう一度言ってください」などの回答テキストを生成してもよい。
（通信部４４０）
通信部４４０は、ネットワーク５０を介して、連携制御装置３０との情報通信を行う機能を有する。具体的には、通信部４４０は、連携制御装置３０から認識テキストを受信し、回答生成部４３０が生成した回答テキストを連携制御装置３０に送信する。
通信部４４０は、ネットワーク５０を介して、連携制御装置３０との情報通信を行う機能を有する。具体的には、通信部４４０は、連携制御装置３０から認識テキストを受信し、回答生成部４３０が生成した回答テキストを連携制御装置３０に送信する。
以上、本実施形態に係るＡＩシステム４０の機能構成について説明した。なお、図６を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係るＡＩシステム４０の機能構成は係る例に限定されない。上述したように、本実施形態に係るＡＩシステム４０が有する各機能は、ニューラルネットワーク、回帰モデルなどの機械学習手法、または統計的手法に基づいて設計され得る。このため、上記に挙げた各構成は、明確に分離して構成される必要はなく、選択するアルゴリズムや装置の性能などに応じて柔軟に設計され得る。
＜＜１．７．音声取引システム１の動作の流れ＞＞
次に、本実施形態に係る音声取引システム１の動作の流れについて詳細に説明する。まず、利用者の状態が取引遂行可能である場合における音声取引システム１の動作の流れについて述べる。図７は、利用者の状態が取引遂行可能である場合における音声取引システム１の動作の流れを示すシーケンス図である。
次に、本実施形態に係る音声取引システム１の動作の流れについて詳細に説明する。まず、利用者の状態が取引遂行可能である場合における音声取引システム１の動作の流れについて述べる。図７は、利用者の状態が取引遂行可能である場合における音声取引システム１の動作の流れを示すシーケンス図である。
図７を参照すると、まず、ＶＴＭ１０は、取得した利用者の画像情報および音響情報を状態認識装置２０に送信する（Ｓ１１０１）。また、ＶＴＭ１０は、取得した利用者の音声情報を連携制御装置３０に送信する（Ｓ１１０２）。
次に、状態認識装置２０は、ステップＳ１１０１において受信した画像情報や音響情報に基づいて利用者の状態を認識する（Ｓ１１０３）。図７の一例の場合では、状態認識装置２０は、利用者が通常行動、すなわちＶＴＭ１０に対する発話や入力操作を行っている状態である、と認識してよい。
続いて、状態認識装置２０は、ステップＳ１１０３において認識した利用者の状態に係る認識結果を連携制御装置３０に送信する（Ｓ１１０４）。
次に、連携制御装置３０は、ステップＳ１１０２において受信した利用者の音声情報に基づく音声認識を行い、認識テキストを生成する（Ｓ１１０５）。
また、連携制御装置３０は、ステップＳ１１０４において受信した状態認識結果が通常行動を示すことから、利用者が取引遂行可能であると判定し、ステップＳ１１０５で生成した認識テキストをＡＩシステム４０に送信する（Ｓ１１０６）。
次に、ＡＩシステム４０は、ステップＳ１１０６において受信した認識テキストに基づく意図解釈および回答テキストの生成を行う（Ｓ１１０７）。
続いて、ＡＩシステム４０は、ステップＳ１１０７において生成した回答テキストを連携制御装置３０に送信する（Ｓ１１０８）。
次に、連携制御装置３０は、ステップＳ１１０８において受信した回答テキストに基づく音声合成を行う（Ｓ１１０９）。
続いて、連携制御装置３０は、ステップＳ１１０９において合成した合成音声をＶＴＭ１０に送信し、待機状態に遷移する。
以上、利用者の状態が取引遂行可能である場合における音声取引システム１の動作の流れについて説明した。続いて、利用者の状態が取引遂行不能である場合における音声取引システム１の動作の流れについて述べる。図８は、利用者の状態が取引遂行不能である場合における音声取引システム１の動作の流れを示すシーケンス図である。なお、図７におけるＶＴＭ１０による情報送信（ステップＳ１１０１およびＳ１１０２）、状態認識装置２０による状態認識（Ｓ１１０３）、および連携制御装置３０による音声認識（Ｓ１１０５）は、利用者の状態が取引遂行可能である場合においても共通に行われてよいため、図８における記載、および説明は省略する。
図８を参照すると、まず、状態認識装置２０は、認識した利用者の状態に係る認識結果を連携制御装置３０に送信する（Ｓ１２０１）。図８の一例の場合、状態認識装置２０は、例えば、利用者が通話を行っている状態であることを示す認識結果を連携制御装置３０に送信してもよい。
次に、連携制御装置３０は、ステップＳ１２０１において受信した状態認識結果に基づいて利用者が取引とは異なる行動を行っていると推定し、利用者が取引遂行不能であると判定し、対話状況の記録を行う（Ｓ１２０２）。
続いて、連携制御装置３０は、予め記憶された擬似応答テキストをＡＩシステムに送信する（Ｓ１２０３）
次に、ＡＩシステム４０は、ステップＳ１２０３において受信した認識テキストに基づく意図解釈および回答テキストの生成を行う（Ｓ１２０４）。この際、ＡＩシステム４０は、上記の認識テキストから発話意図が抽出できない場合には、「もう一度言ってください」などの回答テキストを生成してもよい。
続いて、ＡＩシステム４０は、ステップＳ１２０４において生成した回答テキストを連携制御装置３０に送信する（Ｓ１２０５）。
この際、連携制御装置３０は、利用者の状態が取引遂行可能に復帰するまで、繰り返し擬似応答テキストの送信を行ってよい。すなわち、利用者の状態が取引遂行不能である間は、図８に示すステップＳ１２０３〜Ｓ１２０５が繰り返し実行されることとなる。
以上、利用者の状態が取引遂行不能である場合における音声取引システム１の動作の流れについて説明した。続いて、利用者の状態が取引遂行可能に復帰した場合における音声取引システム１の動作の流れについて述べる。図９は、利用者の状態が取引遂行可能に復帰した場合における音声取引システム１の動作の流れを示すシーケンス図である。
なお、図８の場合と同様、図７におけるＶＴＭ１０による情報送信（ステップＳ１１０１およびＳ１１０２）、状態認識装置２０による状態認識（Ｓ１１０３）、および連携制御装置３０による音声認識（Ｓ１１０５）は、共通に行われてよいため、図９における記載、および説明は省略する。
図９を参照すると、まず、状態認識装置２０は、利用者が通常行動を行っている状態であることを示す認識結果を連携制御装置３０に送信する（Ｓ１３０１）。
次に、連携制御装置３０は、図８におけるステップＳ１２０２において記録した対話状況を取得する（Ｓ１３０２）。
続いて、連携制御装置３０は、ステップＳ１３０２で取得した対話状況に基づいて、対話状況の復帰に係る処理を実行する。具体的には、連携制御装置３０は、最後に利用者が入力した音声に基づく認識テキストをＡＩシステム４０に送信してもよい（Ｓ１３０３−１）。また、連携制御装置３０は、最後にＡＩシステムから受信した回答テキストをＶＴＭ１０に送信してもよい（Ｓ１３０３−２）。
連携制御装置３０によるステップＳ１３０３−１や１３０３−２における処理により、利用者とＡＩシステム４０との対話が、擬似応答の開始前の状況に復帰する。
以降、音声取引システム１は、取引が終了するまで、図７〜図９に示した処理繰り返し実行する。以上説明したように、本実施形態に係る音声取引システム１によれば、利用者の状態に応じてＡＩシステム４０と擬似応答を行うことができ、ＡＩシステム４０の改修が困難である場合であっても、効果的にタイムアウトを防ぐことが可能となる。また、本実施形態に係る音声取引システム１によれば、同一の構成を以って複数種類のＡＩシステム４０に対応することができ、汎用的に利用できると共に、システムの構築コストを低減することが可能となる。
＜２．第２の実施形態＞
＜＜２．１．第２の実施形態の概要＞＞
次に、本発明の第２の実施形態について説明する。上記の第１の実施形態では、連携制御装置３０が、利用者の状態に応じて、ＡＩシステム４０との擬似応答を行う場合について述べた。一方、本発明の第２の実施形態に係る連携制御装置３０は、状態認識装置２０が認識した利用者属性に基づいて、ＡＩシステムの制御を行うことを特徴とする。
＜＜２．１．第２の実施形態の概要＞＞
次に、本発明の第２の実施形態について説明する。上記の第１の実施形態では、連携制御装置３０が、利用者の状態に応じて、ＡＩシステム４０との擬似応答を行う場合について述べた。一方、本発明の第２の実施形態に係る連携制御装置３０は、状態認識装置２０が認識した利用者属性に基づいて、ＡＩシステムの制御を行うことを特徴とする。
より具体的には、第２の実施形態に係る状態認識装置２０は、利用者の画像に基づいて、利用者に係る利用者属性をさらに認識してよい。また、第２の実施形態に係る連携制御装置３０は、状態認識装置２０が認識した利用者属性が対象属性に該当する場合、タイムアウトの延長指示をＡＩシステム４０に送信することができる。
図１０は、本発明の第２の実施形態の概要について説明するための図である。図１０には、利用者Ｕ２、ＶＴＭ１０、連携制御装置３０、およびＡＩシステム４０が示されている。また、図１０には、利用者Ｕ２が高齢者である場合の例が示されている。このように、利用者Ｕ２が高齢者である場合、ＡＩシステム４０との対話に慣れていない、などの理由から対応が遅れ、ＡＩシステム４０に設定されるタイムアウトを超過してしまうことも想定される。
このため、本実施形態に係る音声取引システム１は、利用者属性が対象属性に該当する場合には、ＡＩシステム４０にタイムアウトの延長指示を送信することで、利用者Ｕ２が対応に時間を要しても、タイムアウトが生じないよう制御することができる。なお、ここで、上記の対象属性には、高齢者や外国人など、機械操作または対話に不慣れな属性が想定される。このため、本実施形態に係る連携制御装置３０は、例えば、状態認識装置２０が、利用者が高齢者や外国人であると認識したことに基づいて、タイムアウトの延長指示をＡＩシステム４０に送信してもよい。
以上、本発明の第２の実施形態の概要について説明した。なお、以下の説明においては、第１の実施形態との差異について中心に述べる。また、音声取引システム１、ＶＴＭ１０、状態認識装置２０、連携制御装置３０、およびＡＩシステム４０の機能構成については、第１の実施形態と共通するため、詳細な説明は省略する。
＜＜２．２．音声取引システム１の動作の流れ＞＞
続いて、本実施形態に係る音声取引システム１の動作の流れについて説明する。図１１は、利用者が対象属性に該当する場合における音声取引システム１の動作の流れを示すシーケンス図である。
続いて、本実施形態に係る音声取引システム１の動作の流れについて説明する。図１１は、利用者が対象属性に該当する場合における音声取引システム１の動作の流れを示すシーケンス図である。
図１１を参照すると、まず、ＶＴＭ１０は、利用者の画像情報を状態認識装置２０に送信する（Ｓ２１０１）。
次に、状態認識装置２０は、ステップＳ２１０１で受信した画像情報に基づいて、利用者属性の認識を行う（Ｓ２１０２）。
続いて、状態認識装置２０は、ステップＳ２１０２において認識した利用者属性の結果を連携制御装置３０に送信する（Ｓ２１０３）。
次に、連携制御装置３０の連携制御部３２０は、ステップＳ２１０３において受信した利用者属性が対象属性に該当することに基づいて、ＡＩシステム４０にタイムアウトの延長指示を送信するよう通信部３５０を制御する（Ｓ２１０４）。
次に、ＡＩシステム４０の応答制御部４１０は、ステップＳ２１０４において受信したタイムアウトの延長指示に基づいて、タイムアウトを延長する（Ｓ２１０５）。
ここで、本実施形態に係る連携制御装置３０は、ＶＴＭ１０から音声情報を受信するまで、タイムアウトの延長指示を繰り返し送信してよい。すなわち、本実施形態に係る連携制御装置３０は、利用者が発話を行うまで、タイムアウトを延長させることができる。このため、図１１に示すステップＳ２１０４およびＳ２１０５の処理は、ＶＴＭ１０から音声情報が送信されるまで繰り返し実行されてよい。
一方、ＶＴＭ１０から音声情報を受信すると（Ｓ２１０６）、連携制御装置３０は当該音声情報に基づく音声認識を行い、認識テキストを生成する（Ｓ２１０７）。
続いて、連携制御装置３０は、ステップＳ２１０７において生成された認識テキストをＡＩシステムに送信する（Ｓ２１０８）。
なお、以降におけるＡＩシステム４０および音声取引システム１の動作については、第１の実施形態と共通してよい。
以上、本発明の第２の実施形態に係る音声取引システム１の動作の流れについて詳細に説明した。本実施形態に係る音声取引システム１によれば、利用者が機械操作や対話に不慣れな場合であってもタイムアウトの超過を防止し、利用者とＡＩシステム４０との円滑な対話を実現することが可能となる。
なお、上記の説明では、利用者属性が利用者の画像に基づいて認識される場合を例に述べたが、本実施形態に係る利用者属性は、例えば、ＶＴＭ１０が読み取ったキャッシュカードなどの情報に基づいて認識されてもよい。
また、第１および第２の実施形態が有する特徴は、それぞれ組み合わせて実現されてもよい。例えば、音声取引システム１は、利用者が取引遂行不能であると判定した場合に、タイムアウトの延長指示をＡＩシステム４０に送信することもできる。
＜３．ハードウェア構成例＞
次に、本発明の一実施形態に係るＶＴＭ１０、状態認識装置２０、および連携制御装置３０に共通するハードウェア構成例について説明する。図１２は、本発明の一実施形態に係る各構成のハードウェア構成例を示すブロック図である。図１２を参照すると、ＶＴＭ１０、状態認識装置２０、および連携制御装置３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信部８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
次に、本発明の一実施形態に係るＶＴＭ１０、状態認識装置２０、および連携制御装置３０に共通するハードウェア構成例について説明する。図１２は、本発明の一実施形態に係る各構成のハードウェア構成例を示すブロック図である。図１２を参照すると、ＶＴＭ１０、状態認識装置２０、および連携制御装置３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信部８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力部８７８）
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
（出力部８７９）
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置（表示装置）、スピーカー、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置（表示装置）、スピーカー、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
（記憶部８８０）
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信部８８３）
通信部８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
通信部８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
＜４．まとめ＞
以上説明したように、本発明の一実施形態に係る音声取引システム１は、撮影した画像に基づいて利用者の状態を認識することができる。また、本発明の一実施形態に係る音声取引システム１は、認識した利用者の状態に基づいて当該利用者が取引遂行不能であると判定した場合には、ＡＩシステム４０との擬似応答を行うことができる。係る構成によれば、利用者とＡＩとの対話をより円滑に成立させることが可能となる。
以上説明したように、本発明の一実施形態に係る音声取引システム１は、撮影した画像に基づいて利用者の状態を認識することができる。また、本発明の一実施形態に係る音声取引システム１は、認識した利用者の状態に基づいて当該利用者が取引遂行不能であると判定した場合には、ＡＩシステム４０との擬似応答を行うことができる。係る構成によれば、利用者とＡＩとの対話をより円滑に成立させることが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１ 音声取引システム
１０ ＶＴＭ
２０ 状態認識装置
３０ 連携制御装置
３１０ 音声認識部
３２０ 連携制御部
３３０ 音声合成部
３４０ 対話状況記録部
３５０ 通信部
４０ ＡＩシステム
１０ ＶＴＭ
２０ 状態認識装置
３０ 連携制御装置
３１０ 音声認識部
３２０ 連携制御部
３３０ 音声合成部
３４０ 対話状況記録部
３５０ 通信部
４０ ＡＩシステム
Claims (6)
- 利用者に対して操作案内を行い、音声によって取引を行う取引部と、
前記利用者の画像を撮影する撮影部と、
前記撮影部が撮影した画像を解析し、前記利用者の状態を認識する状態認識部と、
前記取引部が取得した前記利用者の音声に基づいて認識した認識テキストをＡＩシステムに送信し、前記ＡＩシステムより受信した前記認識テキストに対応する回答テキストに基づいて合成した合成音声を前記取引部に出力するＡＩ連携部と、
を備え、
前記ＡＩ連携部は、前記状態認識部が認識した前記利用者の状態に基づいて前記利用者の取引遂行可否を判定し、前記利用者が取引遂行不能であると判定した場合に、予め記憶された擬似応答テキストを前記ＡＩシステムに継続して送信し、前記利用者が取引遂行可能な状態に復帰したと判定した場合に、前記擬似応答テキストの送信を終了する、
ことを特徴とする音声取引システム。 - 前記擬似応答テキストは、意味を成さないテキストまたは前記ＡＩシステムが時間を要する対応を指示するテキストのうち少なくともいずれかを含む、
請求項１に記載の音声取引システム。 - 前記ＡＩ連携部は、前記状態認識部が認識した前記利用者の状態に基づいて前記利用者が取引とは異なる行動を行っていると推定した場合、前記利用者が取引遂行不能であると判定する、
請求項１または２に記載の音声取引システム。 - 前記状態認識部は、前記利用者に係る利用者属性をさらに認識し、
前記ＡＩ連携部は、前記利用者属性が対象属性に該当する場合、タイムアウトの延長指示を前記ＡＩシステムに送信する、
請求項１〜３のいずれかに記載の音声取引システム。 - 前記対象属性は、高齢者または外国人のうち少なくともいずれかを含む、
請求項４に記載の音声取引システム。 - 取引部により取得された利用者の音声に基づいて音声認識を行い、認識テキストを生成する音声認識部と、
前記認識テキストをＡＩシステムに送信し、前記ＡＩシステムより前記認識テキストに対応する回答テキストを受信する通信部と、
前記回答テキストに基づく音声合成を行う音声合成部と、
撮影された画像に基づいて認識された前記利用者の状態に基づいて前記利用者の取引遂行可否を判定し、前記利用者が取引遂行不能であると判定した場合に、前記通信部に、予め記憶された擬似応答テキストを前記ＡＩシステムに継続して送信させ、前記利用者が取引遂行可能な状態に復帰したと判定した場合に、前記通信部に前記擬似応答テキストの送信を終了させる連携制御部と、
を備える、
ことを特徴とする連携制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017030359A JP6794872B2 (ja) | 2017-02-21 | 2017-02-21 | 音声取引システムおよび連携制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017030359A JP6794872B2 (ja) | 2017-02-21 | 2017-02-21 | 音声取引システムおよび連携制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018136710A JP2018136710A (ja) | 2018-08-30 |
| JP6794872B2 true JP6794872B2 (ja) | 2020-12-02 |
Family
ID=63366821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017030359A Active JP6794872B2 (ja) | 2017-02-21 | 2017-02-21 | 音声取引システムおよび連携制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6794872B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6755556B2 (ja) * | 2017-10-04 | 2020-09-16 | 株式会社Ｒｅｓｅａｒｃｈ Ｍｉｎｄ | 情報処理装置、情報処理方法および情報処理プログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0527790A (ja) * | 1991-07-18 | 1993-02-05 | Oki Electric Ind Co Ltd | 音声入出力装置 |
| JPH09212568A (ja) * | 1995-08-31 | 1997-08-15 | Sanyo Electric Co Ltd | ユーザ適応型応答装置 |
| JPH11175643A (ja) * | 1997-12-15 | 1999-07-02 | Toshiba Corp | 自動取引装置およびその制御方法 |
| JP2004078582A (ja) * | 2002-08-19 | 2004-03-11 | Laurel Seiki Kk | 自動取引装置 |
| JP2005275935A (ja) * | 2004-03-25 | 2005-10-06 | Omron Corp | 端末装置 |
| US7980378B2 (en) * | 2006-03-23 | 2011-07-19 | Cummins-Allison Corporation | Systems, apparatus, and methods for currency processing control and redemption |
| JP4786516B2 (ja) * | 2006-12-13 | 2011-10-05 | 三菱重工業株式会社 | ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム |
| JP2008257363A (ja) * | 2007-04-02 | 2008-10-23 | Toyota Motor Corp | 操作支援装置 |
| JP2009048336A (ja) * | 2007-08-16 | 2009-03-05 | Oki Electric Ind Co Ltd | 自動取引装置および自動取引システム |
| CN106462598A (zh) * | 2014-05-22 | 2017-02-22 | 索尼公司 | 信息处理设备、信息处理方法与程序 |
-
2017
- 2017-02-21 JP JP2017030359A patent/JP6794872B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018136710A (ja) | 2018-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6428954B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| KR101992676B1 (ko) | 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치 | |
| US11699442B2 (en) | Methods and systems for speech detection | |
| JP6819672B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN108538291A (zh) | 语音控制方法、终端设备、云端服务器及系统 | |
| CN109446876A (zh) | 手语信息处理方法、装置、电子设备和可读存储介质 | |
| US20090079813A1 (en) | Enhanced Interface for Voice and Video Communications | |
| CN105518657B (zh) | 信息处理设备、信息处理方法及计算机可读记录介质 | |
| WO2016152200A1 (ja) | 情報処理システムおよび情報処理方法 | |
| CN105100672A (zh) | 显示装置及其视频通话执行方法 | |
| KR20190068133A (ko) | 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법 | |
| JP6772839B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| WO2020044479A1 (ja) | 情報処理装置及び情報処理方法 | |
| JP6794872B2 (ja) | 音声取引システムおよび連携制御装置 | |
| WO2016157993A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20230326459A1 (en) | Viewing assistance system, viewing assistance method, and nonvolatile recording medium storing program | |
| US20190066676A1 (en) | Information processing apparatus | |
| US9843766B2 (en) | Video communication device and operation thereof | |
| JP7230803B2 (ja) | 情報処理装置および情報処理方法 | |
| JP2016156877A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US11935449B2 (en) | Information processing apparatus and information processing method | |
| TWI303803B (en) | Method and device for enhancing accuracy of voice control with image characters | |
| JP2016180778A (ja) | 情報処理システムおよび情報処理方法 | |
| US20220199096A1 (en) | Information processing apparatus and information processing method | |
| US11984138B1 (en) | Method for monitoring emotion and behavior during conversation for user in need of protection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6794872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |