JP6787269B2 - 音声認識システム及び音声認識方法 - Google Patents

音声認識システム及び音声認識方法 Download PDF

Info

Publication number
JP6787269B2
JP6787269B2 JP2017141765A JP2017141765A JP6787269B2 JP 6787269 B2 JP6787269 B2 JP 6787269B2 JP 2017141765 A JP2017141765 A JP 2017141765A JP 2017141765 A JP2017141765 A JP 2017141765A JP 6787269 B2 JP6787269 B2 JP 6787269B2
Authority
JP
Japan
Prior art keywords
user
answer
intention
utterance
voice recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017141765A
Other languages
English (en)
Other versions
JP2019020683A (ja
Inventor
功一 鈴木
功一 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017141765A priority Critical patent/JP6787269B2/ja
Priority to US16/002,732 priority patent/US10356245B2/en
Priority to CN201810769602.1A priority patent/CN109285541B/zh
Publication of JP2019020683A publication Critical patent/JP2019020683A/ja
Priority to US16/432,362 priority patent/US10863033B2/en
Application granted granted Critical
Publication of JP6787269B2 publication Critical patent/JP6787269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/58—Arrangements for transferring received calls from one subscriber to another; Arrangements affording interim conversations between either the calling or the called party and a third party
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42221—Conversation recording systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4931—Directory assistance systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936—Speech interaction details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/18—Comparators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/39—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4931—Directory assistance systems
    • H04M3/4933—Directory assistance systems with operator assistance

Description

本発明は、音声認識システム及び音声認識方法に関する。
従来より、例えば音声認識部が、顧客の通話音声を音声認識した認識結果の確からしさが閾値以下であることを検出した場合に、認識エラーと判定し、オペレータでの対応に切り替える電話応対システムがある（例えば、特許文献１参照）。
特開２０１５−４９３３７号公報
しかしながら、従来の電話応対システムは顧客の通話音声を音声認識した認識結果の確からしさが閾値以下でないことを検出した場合であっても、顧客に対して適切な応答処理ができるとは限らない。したがって、従来の電話応対システムはオペレータでの対応に迅速に切り替えることができない場合があった。
本発明は上記した課題に鑑みなされたものであり、オペレータでの対応に迅速に切り替えることができる音声認識システム及び音声認識方法を提供することを目的とする。
本発明の実施の形態は、ユーザの発話音声データを音声認識する音声認識手段と、前記発話音声データの音声認識結果に基づき、前記ユーザの発話の意図を理解する意図理解手段と、を有する音声認識システムにおいて、前記意図理解手段が理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して対話回答生成手段が行う回答の信頼度を評価し、前記回答の信頼度が閾値以下の場合に、前記ユーザの通話先を制御する呼接続制御手段に対して、前記ユーザの通話先をオペレータ端末に切り替える指示を行う切替え指示手段を有する。
このため、ユーザの発話の意図を理解した場合であっても、ユーザの発話の意図に対する回答の信頼度が閾値以下の場合に、ユーザの通話先をオペレータ端末に切り替える指示を行うことができる。したがって、オペレータでの対応に迅速に切り替えることができる音声認識システムを提供できる。
本発明の他の実施の形態において、前記切替え指示手段は、前記ユーザの通話先を前記オペレータ端末に切り替える指示を行う場合に、前記ユーザの発話と前記対話回答生成手段が行う回答との履歴情報を、前記オペレータ端末に送信し、前記オペレータ端末に表示させてもよい。
このため、ユーザの通話先をオペレータ端末に切り替える指示を行う場合に、ユーザの発話と回答との履歴情報をオペレータ端末に表示させることができる。したがって、オペレータへの引き継ぎをスムーズに行うことができる。
本発明の他の実施の形態において、前記切替え指示手段は、前記ユーザの発話の意図が、前記ユーザに対して前記対話回答生成手段が回答を行うことのできるユーザ要求として登録されていなければ、前記ユーザの通話先をオペレータ端末に切り替える指示を行うようにしてもよい。
このため、ユーザの発話の意図が、ユーザに対して回答を行うことのできるユーザ要求として登録されていない場合、迅速に、ユーザの通話先をオペレータ端末に切り替える指示を行うことができる。したがって、オペレータでの対応に迅速に切り替えることができる音声認識システムを提供できる。
本発明の他の実施の形態において、前記切替え指示手段は、前記ユーザの発話の意図が、検索に関するユーザ要求として登録されていれば、検索結果の候補又は再検索の回数が多くなるほど、前記回答の信頼度を低くしてもよい。
このため、ユーザの発話の意図が、検索に関するユーザ要求として登録されている場合であっても、検索結果の候補又は再検索の回数が多ければ、迅速に、ユーザの通話先をオペレータ端末に切り替える指示を行うことができる。したがって、オペレータでの対応に迅速に切り替えることができる音声認識システムを提供できる。
本発明の他の実施の形態において、前記意図理解手段が理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して行う回答を生成する対話回答生成手段と、前記ユーザに対して行う回答を音声合成する音声合成手段と、を更に有してもよい。
このため、対話回答生成手段と音声合成手段とを有する音声認識システムを実現することができる。したがって、オペレータでの対応に切り替えるまで、ユーザの発話の意図に基づいた回答を音声合成できる。
本発明の実施の形態の音声認識方法は、ユーザの発話音声データを音声認識し、前記発話音声データの音声認識結果に基づき、前記ユーザの発話の意図を理解する音声認識システムが、前記理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して対話回答生成手段が行う回答の信頼度を評価する手順と、前記回答の信頼度が閾値以下の場合に、前記ユーザの通話先を制御する呼接続制御手段に対して、前記ユーザの通話先をオペレータ端末に切り替える指示を行う手順とを実行する。
このため、ユーザの発話の意図を理解した場合であっても、ユーザの発話の意図に対する回答の信頼度が閾値以下の場合に、ユーザの通話先をオペレータ端末に切り替える指示を行うことができる。したがって、オペレータでの対応に迅速に切り替えることができる音声認識方法を提供できる。
オペレータでの対応に迅速に切り替えることができる音声認識システム及び音声認識方法を提供できる。
本発明の実施の形態に係る音声認識システムの一例の構成図である。 コンピュータの一例のハードウェア構成図である。 本発明の実施の形態に係る音声認識システムの一例の機能構成図である。 ＳＩＰを利用する通話先切替え処理の一例のシーケンス図である。 本発明の実施の形態に係る音声認識システムが実行する処理の一例のフローチャートである。 意図理解辞書の一例の構成図である。 回答信頼度評価処理の一例のフローチャートである。 オペレータ用の画面の一例のイメージ図である。 音声エージェント又はオペレータとユーザとの対話内容の一例を示した説明図である。
以下、本発明の音声認識システム及び音声認識方法を適用した実施の形態について説明する。
図１は本発明の実施の形態に係る音声認識システムの一例の構成図である。音声認識システム１は、センタ１０、車両２０、オペレータ端末３０及びコンテンツプロバイダ４０を含む。車両２０は、ＤＣＭ(Data Communication Module)２１、車載器２２、マイク２３及びスピーカ２４を搭載している。なお、図１では車両２０、オペレータ端末３０及びコンテンツプロバイダ４０が一台の例を示したが、一台以上であればよい。
ＤＣＭ２１及び車載器２２は一例としてＣＡＮ(Controller Area Network)２５により互いに通信可能に接続される。マイク２３及びスピーカ２４は、車載器２２に直接接続されており、音声データを入出力する。センタ１０、車両２０に搭載されたＤＣＭ２１、オペレータ端末３０及びコンテンツプロバイダ４０は移動体通信網やインターネット網などのネットワーク５０を介して接続されている。
センタ１０は一台以上のコンピュータ（情報処理装置）により構成される。センタ１０は各車両２０の車載器２２からユーザの発話音声データを収集し、ユーザの発話の意図を理解して音声エージェントによる対話サービス又はオペレータによる対話サービスを提供する。
車両２０に搭載された車載器２２はナビゲーションシステムを含んでいてもよく、ナビゲーションＥＣＵ（ナビゲーション電子制御装置）であってもよい。車載器２２はＣＡＮ２５、ＤＣＭ２１及びネットワーク５０を介してセンタ１０又はオペレータ端末３０と通信を行う。ＤＣＭ２１は車両２０に搭載される通信部又は無線通信装置の一例であり、例えば３Ｇ(3rd Generation)、ＬＴＥ(Long Term Evolution)、４Ｇ(4th Generation)、又は５Ｇ(5th Generation)等の通信回線を介して無線通信を行う。
オペレータ端末３０はオペレータが操作する端末装置であり、コンピュータにより構成される。また、コンテンツプロバイダ４０はセンタ１０に検索機能などを提供する一台以上のコンピュータにより構成される。
なお、車両２０のＣＡＮ２５は一例であって、ＣＡＮ２５の代わりに、Ethernet（登録商標）プロトコルを採用したバス等のＣＡＮ２５以外のバスを用いてもよい。また、車両２０には、これら以外にも様々な装置や機器が搭載されるが、本発明の実施の形態の説明に必要な構成要素を抜き出して示している。
図１のセンタ１０、車両２０に搭載された車載器２２、オペレータ端末３０及びコンテンツプロバイダ４０を構成するコンピュータは、例えば図２に示すようなハードウェア構成により実現される。図２はコンピュータの一例のハードウェア構成図である。
図２に示したコンピュータ５００は、入力装置５０１、表示装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７及びＨＤＤ５０８などを備え、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び表示装置５０２は必要なときに接続して利用する形態であってもよい。
入力装置５０１はキーボードやマウス、タッチパネルなどであり、ユーザ等が各操作信号を入力するのに用いられる。表示装置５０２はディスプレイ等であり、コンピュータ５００による処理結果を表示する。通信Ｉ／Ｆ５０７はコンピュータ５００をネットワークに接続するインタフェースである。ＨＤＤ５０８は、プログラムやデータを格納している不揮発性の記憶装置の一例である。
外部Ｉ／Ｆ５０３は、外部装置とのインタフェースである。コンピュータ５００は外部Ｉ／Ｆ５０３を介してＳＤメモリカードなどの記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。ＲＯＭ５０５は、プログラムやデータが格納された不揮発性の半導体メモリ（記憶装置）の一例である。ＲＡＭ５０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。
ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。図１のセンタ１０、車載器２２、オペレータ端末３０及びコンテンツプロバイダ４０は例えば図２に示すコンピュータ５００のハードウェア構成により、後述するような各種処理を実現できる。
なお、車載器２２を実現するコンピュータ５００は更にＧＰＳ（Global Positioning System）受信機を有する構成としてもよい。ＧＰＳ受信機は、ＧＰＳ衛星から送信されるＧＰＳ信号を受信し、そのＧＰＳ信号に基づき車両２０の現在位置を測定する。
図３は本発明の実施の形態に係る音声認識システムの一例の機能構成図である。図３においてセンタ１０は送受信部１０１、呼接続制御部１０２、音声認識部１０３、意図理解部１０４、対話回答生成部１０５、音声合成部１０６、切替え指示部１０７、音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３を有する。なお、音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３は、センタ１０の記憶装置で実現してもよいし、センタ１０とネットワークを介して接続されている記憶装置で実現してもよい。
図３において音声認識部１０３、意図理解部１０４、対話回答生成部１０５、音声合成部１０６、切替え指示部１０７、音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３は音声エージェント１００を実現している。なお、図３の音声エージェント１００は音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３を有する構成であるが、音声エージェント１００の外部にある音声認識辞書１１１、意図理解辞書１１２及び対話履歴記憶部１１３を利用する構成であってもよい。
送受信部１０１は車両２０、オペレータ端末３０及びコンテンツプロバイダ４０との通信を制御する。呼接続制御部１０２はＳＩＰ（Session Initiation Protocol）を利用して車両２０のユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替える呼接続制御を行う。ＳＩＰはＩＰネットワークを介した通話における呼接続制御プロトコルの一例である。
呼接続制御部１０２は車両２０から受信したユーザの発話音声データを、通話先である音声エージェント１００又はオペレータ端末３０に送信する。ネットワーク５０を利用した発話音声データのやり取りには、例えばＶｏＩＰ（Voice over Internet Protocol）を利用する。
音声エージェント１００の音声認識部１０３は音声認識辞書１１１を用いてユーザの発話音声データを音声認識し、音声認識結果である発話テキストを意図理解部１０４及び対話履歴記憶部１１３に出力する。なお、音声認識辞書１１１を用いた音声認識処理は既存の技術であるため、説明を省略する。
意図理解部１０４は入力された発話テキストを形態素解析し、文脈（何に対する問い合わせであるか等）を理解する。また、意図理解部１０４は理解した文脈や意図理解辞書１１２により、問い合わせ内容や問いかけ内容等、ユーザの発話の意図を理解する。意図理解部１０４は理解したユーザの発話の意図（ユーザ要求）に基づき、ユーザの発話に対する回答を検索する。意図理解部１０４は意図理解の結果、回答の検索結果を切替え指示部１０７及び対話回答生成部１０５に出力する。
対話回答生成部１０５は入力された意図理解の結果、回答の検索結果に基づき、後述するように対話回答データを生成し、音声合成部１０６に出力する。対話回答生成部１０５は必要があれば、対話回答データの生成に検索機能などのコンテンツプロバイダ４０の機能を利用する。また、対話回答生成部１０５は対話回答データを生成する処理の結果（検索機能により検索された候補数など）を切替え指示部１０７に出力する。音声合成部１０６は、入力された対話回答データから対話回答音声データを音声合成し、車両２０に応答する。
このように、音声エージェント１００による対話サービスは呼接続制御部１０２が車両２０から受信したユーザの発話音声データを音声エージェント１００に振り分け、音声認識部１０３、意図理解部１０４、対話回答生成部１０５及び音声合成部１０６の順番に処理することで実現される。
また、音声エージェント１００の切替え指示部１０７は意図理解部１０４から意図理解の結果、回答の検索結果を入力される。また、切替え指示部１０７は対話回答生成部１０５から対話回答データを生成する処理の結果（検索機能により検索された候補数など）を入力される。
切替え指示部１０７は入力された意図理解の結果、回答の検索結果及び対話回答データを生成する処理の結果に基づき、意図理解辞書１１２を利用して、音声エージェント１００による回答の信頼度を評価する。例えば意図理解が正しく行われても、施設の予約などの音声エージェント１００が実行できないユーザ要求であった場合、切替え指示部１０７は信頼度を低く評価する。また、施設の検索などの音声エージェント１００が実行できるユーザ要求であった場合でも、検索機能により検索された候補数が多い場合や再検索の回数が多くなった場合に、切替え指示部１０７は信頼度を低く評価する。
切替え指示部１０７は音声エージェント１００による対話サービスからオペレータによる対話サービス（有人オペレータ対話サービス）に切り替えた方がよい回答の信頼度を閾値として設定されている。切替え指示部１０７は回答の信頼度が閾値以下になると、車両２０のユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替えるように呼接続制御部１０２に指示（例えばＳＩＰのＲＥＦＥＲリクエスト）を行う。
このように、オペレータによる対話サービスは、車両２０から受信したユーザの発話音声データをオペレータ端末３０に振り分けるように、切替え指示部１０７が呼接続制御部１０２に指示を行うことで実現される。また、切替え指示部１０７は対話履歴記憶部１１３から対話履歴を読み出し、その対話履歴又はその対話履歴の要約をオペレータ端末３０に送信する。
図３において車両２０の車載器２２は通話制御部１２１を有する。通話制御部１２１はマイク２３から入力されたユーザの発話を発話音声データに変換してセンタ１０の呼接続制御部１０２に送信する。また、通話制御部１２１は呼接続制御部１０２から受信した対話回答音声データ又はオペレータによる対話回答音声データをスピーカから出力する。
オペレータ端末３０の送受信部１３１はセンタ１０との通信を制御する。通話制御部１３２はマイクから入力されたオペレータの発話を対話回答音声データに変換してセンタ１０の呼接続制御部１０２に送信する。また、通話制御部１３２は呼接続制御部１０２から受信した発話音声データをスピーカから出力する。画面制御部１３３はオペレータ端末３０にオペレータ用の画面を表示する。
オペレータ用の画面には、音声エージェント１００による対話履歴、又は、その対話履歴の要約が情報として表示される。このため、オペレータはユーザ要求と、そのユーザ要求に対する音声エージェント１００の回答とを画面上で確認し、引き継ぎをスムーズに行うことができる。
なお、呼接続制御部１０２はユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替える処理を例えば図４のシーケンス図の手順で行う。図４はＳＩＰを利用する通話先切替え処理の一例のシーケンス図である。
ユーザからの発話があると車載器２２はステップＳ１０１においてＩＮＶＩＴＥリクエストをセンタ１０の呼接続制御部１０２に送信する。ステップＳ１０２において呼接続制御部１０２は事前の登録情報からＩＮＶＩＴＥリクエスト中の発信先ＳＩＰ ＵＲＩに対するＩＰアドレスへＩＮＶＩＴＥリクエストを転送することで音声エージェント１００に着信させる。
ステップＳ１０３、Ｓ１０４において、音声エージェント１００は接続応答を行う「２００ ＯＫ」レスポンスを発信元の車載器２２に返す。ステップＳ１０５、Ｓ１０６において、発信元の車載器２２は「２００ ＯＫ」レスポンスを受け取った確認としてＡＣＫリクエストを発信先の音声エージェント１００に返す。
ステップＳ１０７において、車載器２２と音声エージェント１００とはＩＮＶＩＴＥリクエストや「２００ ＯＫ」レスポンスのボディ部で取り交わしたＳＤＰ（Session Description Protocol）情報からユーザエージェント（ＵＡ）間で音声データなどのマルチメディアデータを送受信する。
ステップＳ１０８において、音声エージェント１００の切替え指示部１０７は回答の信頼度が閾値以下になると、車両２０のユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替えるように呼接続制御部１０２に指示を行う。ステップＳ１０９に進み、呼接続制御部１０２はユーザの通知先を音声エージェント１００からオペレータ端末３０に切り替えるように車載器２２に指示を行う。
ステップＳ１１０〜Ｓ１１５において車載器２２はステップＳ１０１〜Ｓ１０６と同様な手順によりユーザの通知先を音声エージェント１００からオペレータ端末３０に切り替える。ステップＳ１１６に進み、音声エージェント１００は車載器２２にＢＹＥリクエストを送信することで車載器２２との通話を切断する。その後、車載器２２とオペレータ端末３０とは音声データなどのマルチメディアデータを送受信する。
また、音声認識システム１は例えば図５に示す手順で処理を行う。図５は本発明の実施の形態に係る音声認識システムが実行する処理の一例のフローチャートである。ユーザからの発話音声データを受信するとステップＳ１１からステップＳ１２に進み、センタ１０の音声認識部１０３は、音声認識辞書１１１を用いてユーザの発話音声データを音声認識する。
ステップＳ１３に進み、意図理解部１０４は音声認識結果である発話テキストを形態素解析し、ユーザの発話の意図を理解するための意図理解処理を行う。意図理解処理は音声認識結果である発話テキストの文脈（何に対する問い合わせであるか等）を理解する。
ステップＳ１４に進み、意図理解部１０４は理解した文脈や意図理解辞書１１２により問い合わせ内容や問いかけ内容等、ユーザの発話の意図を理解できたか判定する。例えば発話テキストの文脈が「ＸＸＸＸ施設を探して」であると判定した場合、意図理解部１０４は意図に対する回答検索（ＸＸＸＸ施設の場所の情報の検索）が可能であるため、意図理解できたと判定する。また、発話テキストの文脈が「ＸＸＸＸ施設を目的地にして」であると判定した場合も、意図理解部１０４は意図に対する回答検索（ＸＸＸＸ施設の目的地設定）が可能であるため、意図理解できたと判定する。
発話テキストが「あいうえお」であると判定した場合、意図理解部１０４は文脈が理解できず意図に対する回答検索ができないため、意図理解できないと判定する。発話テキストが「ＸＸＸＸ施設」だけであれば、文脈がないが、場所として理解できるため、意図に対する回答検索（ＸＸＸＸ施設の場所の情報の検索）が可能であるため、意図理解できたと判定する。発話テキストが「ＸＸＸＸ施設の天気」であれば、文脈と合わなくても「施設周辺の天気」と読み替えることができるため、意図理解できたと判定する。発話テキストが「ＸＸＸＸ施設は、天気」であれば、意図に対する回答検索ができないため、意図理解できないと判定する。
ユーザの発話の意図を理解できたと判定すると、意図理解部１０４はステップＳ１５に進み、理解したユーザの発話の意図（ユーザ要求）に基づき、例えば図６の意図理解辞書１１２を利用して、ユーザの発話に対する回答を検索する。図６は意図理解辞書の一例の構成図である。図６の意図理解辞書は項目として、ユーザ発話の意図、回答のための処理及び回答を有する。項目「ユーザ発話の意図」はユーザの発話の意図（ユーザ要求）を表している。項目「回答のための処理」はユーザの発話の意図（ユーザ要求）に対する回答のための処理を表している。項目「回答」はユーザの発話に対する回答を表している。
例えば図６の例ではユーザ発話の意図が「施設の検索」であれば、認識した施設名で検索を行い、検索結果を音声で応答するという回答が設定されている。また、ユーザ発話の意図が「施設の予約」であれば、音声エージェント１００が実行できないユーザ要求であるため、項目「回答のための処理」と項目「回答」とに未設定を表す「−」が設定されている。
ステップＳ１６に進み、切替え指示部１０７は音声エージェント１００による回答の信頼度を例えば図７のフローチャートの処理手順で評価する。図７は回答信頼度評価処理の一例のフローチャートである。
ステップＳ１０１に進み、切替え指示部１０７は図６の意図理解辞書１１２に、ユーザの発話の意図に対する回答が登録されていないか判定する。ユーザの発話の意図に対する回答が登録されていなければ、切替え指示部１０７はステップＳ１０２に進み、回答の信頼度を例えば「０」に評価する。ステップＳ１０２における回答の信頼度の評価「０」は一例であって、ステップＳ１７の閾値よりも小さい値であればよい。ユーザの発話の意図に対する回答が登録されていれば、切替え指示部１０７はステップＳ１０３に進み、回答に応じた信頼度を算出する。
例えば発話テキストが著名なレジャーランドの名称の一部「ＹＹＹ」であれば「場所の情報の検索」の候補が「ＹＹＹランド」や「ＹＹＹストア」など、候補数が多くなるために回答の信頼度の評価を、低めに設定する。ただし、一回目の検索で回答の信頼度の評価が閾値よりも小さな値にならないように設定することが望ましい。このように、一回目の検索で回答の信頼度の評価が閾値よりも小さな値にならないように設定しておけば、音声エージェント１００は「ＹＹＹランドですか？ＹＹＹストアですか？それ以外の施設の場合は正式名でお話し下さい。」などの施設の再確認を行う回答が可能となる。そして、二回目以降の再検索で回答の信頼度の評価が閾値よりも小さな値となるように設定しておくことにより、切替え指示部１０７は音声エージェント１００による少なくとも一回の施設の再確認を許容できる。
図５のステップＳ１７に戻り、切替え指示部１０７はステップＳ１６で評価した回答の信頼度が、閾値以下であるか否かを判定する。閾値以下でなければ、切替え指示部１０７は音声エージェント１００による対話サービスからオペレータによる対話サービスに切り替える必要がないと判定し、ステップＳ１８の音声エージェント１００に回答を行わせるための処理を行う。音声エージェント１００は回線が切断されるか、又は、オペレータによる対話サービスに切り替えられるまで、図５のフローチャートの処理を繰り返す。
ステップＳ１７において、切替え指示部１０７はステップＳ１６で評価した回答の信頼度が閾値以下であればステップＳ２０に進み、対話履歴記憶部１１３に記憶されている音声エージェント１００とユーザとの対話履歴を読み出し、対話履歴の要約をオペレータ端末３０に送信する。ステップＳ２１に進み、切替え指示部１０７は回答の信頼度が閾値以下になると、車両２０のユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替えるように呼接続制御部１０２に指示を行う。呼接続制御部１０２はユーザの通話先を音声エージェント１００からオペレータ端末３０に切り替える。
ステップＳ２２において、オペレータ端末３０は例えば図８のようなオペレータ用の画面１０００を表示する。図８は、オペレータ用の画面の一例のイメージ図である。図８のオペレータ用の画面１０００は、ユーザとの対話履歴の要約１００２が表示されている。オペレータ用の画面１０００を参照することで、オペレータは音声エージェント１００とユーザとの対話内容を容易に把握でき、引き継ぎをスムーズに行うことができる。
オペレータ用の画面１０００はユーザ要求と、そのユーザ要求に対する音声エージェント１００の回答とを紐付けて表示することが望ましい。例えば図８のオペレータ用の画面１０００は音声エージェント１００とユーザとの対話内容が図９のような場合の画面例である。
図９は音声エージェント又はオペレータとユーザとの対話内容の一例を示した説明図である。図９ではユーザ要求「イタリアンレストランの予約」により音声エージェント１００による対話サービスからオペレータによる対話サービスに切り替えられている。ユーザの発話「近くのレストランを教えて」に対して音声エージェント１００は「お調べしました。イタリアンレストランＸＸ、中華レストランＺＺＺ、ＹＹＹレストラン…」を回答している。
また、ユーザの発話「イタリアンレストラン、予約して」に対して音声エージェント１００は「オペレータに繋ぎます」を回答し、ユーザの通話先をオペレータ端末３０に自動で切り替えている。図８のオペレータ用の画面１０００は、図９のような対話内容である場合に、図８のような対話履歴の要約１００２を表示する。
本発明の実施の形態に係る音声認識システム１によれば、ユーザ要求の一次受付として音声エージェント１００を利用できる。その後、施設の予約などの音声エージェント１００により適切な対応が困難なユーザ要求を受け付けると、音声エージェント１００による回答の信頼度は閾値以下となる。したがって、本発明の実施の形態に係る音声認識システム１によれば、音声エージェント１００により適切な対応が困難なユーザ要求を受け付けると、音声エージェント１００による対話サービスをオペレータによる対話サービスに自動で切り替えることができる。
本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば本発明の実施形態に係る音声認識システム１は、ユーザが車載器２２を利用して音声エージェント１００又はオペレータと対話を行う例を示したが、スマートフォンなどの携帯端末を利用して対話を行うようにしてもよい。また、本発明の実施形態に係る音声認識システム１のセンタ１０で行う音声認識、形態素解析、意図理解、意図に対する回答の評価などの処理は、センタ１０以外にあってもよく、例えば車載器２２にあってもよい。
１ 音声認識システム
１０ センタ
２０ 車両
２１ ＤＣＭ(Data Communication Module)
２２ 車載器
２３ マイク
２４ スピーカ
２５ ＣＡＮ(Controller Area Network)
３０ オペレータ端末
４０ コンテンツプロバイダ
５０ ネットワーク
１０１、１３１ 送受信部
１０２ 呼接続制御部
１０３ 音声認識部
１０４ 意図理解部
１０５ 対話回答生成部
１０６ 音声合成部
１０７ 切替え指示部
１１１ 音声認識辞書
１１２ 意図理解辞書
１１３ 対話履歴記憶部
１２１、１３２ 通話制御部
１３３ 画面制御部

Claims (6)

  1. ユーザの発話音声データを音声認識する音声認識手段と、
    前記発話音声データの音声認識結果に基づき、前記ユーザの発話の意図を理解する意図理解手段と、
    を有する音声認識システムにおいて、
    前記意図理解手段が理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して対話回答生成手段が行う回答の信頼度を評価し、前記回答の信頼度が閾値以下の場合に、前記ユーザの通話先を制御する呼接続制御手段に対して、前記ユーザの通話先をオペレータ端末に切り替える指示を行う切替え指示手段
    を有する音声認識システム。
  2. 前記切替え指示手段は、前記ユーザの通話先を前記オペレータ端末に切り替える指示を行う場合に、前記ユーザの発話と前記対話回答生成手段が行う回答との履歴情報を、前記オペレータ端末に送信し、前記オペレータ端末に表示させること
    を特徴とする請求項１記載の音声認識システム。
  3. 前記切替え指示手段は、前記ユーザの発話の意図が、前記ユーザに対して前記対話回答生成手段が回答を行うことのできるユーザ要求として登録されていなければ、前記ユーザの通話先をオペレータ端末に切り替える指示を行うこと
    を特徴とする請求項１又は２記載の音声認識システム。
  4. 前記切替え指示手段は、前記ユーザの発話の意図が、検索に関するユーザ要求として登録されていれば、検索結果の候補又は再検索の回数が多くなるほど、前記回答の信頼度を低くすること
    を特徴とする請求項１乃至３何れか一項記載の音声認識システム。
  5. 前記意図理解手段が理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して行う回答を生成する対話回答生成手段と、
    前記ユーザに対して行う回答を音声合成する音声合成手段と、
    を更に有する請求項１乃至４何れか一項記載の音声認識システム。
  6. ユーザの発話音声データを音声認識し、前記発話音声データの音声認識結果に基づき、前記ユーザの発話の意図を理解する音声認識システムが、
    前記理解した前記ユーザの発話の意図に基づいて、前記ユーザに対して対話回答生成手段が行う回答の信頼度を評価する手順と、
    前記回答の信頼度が閾値以下の場合に、前記ユーザの通話先を制御する呼接続制御手段に対して、前記ユーザの通話先をオペレータ端末に切り替える指示を行う手順と
    を実行する音声認識方法。
JP2017141765A 2017-07-21 2017-07-21 音声認識システム及び音声認識方法 Active JP6787269B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017141765A JP6787269B2 (ja) 2017-07-21 2017-07-21 音声認識システム及び音声認識方法
US16/002,732 US10356245B2 (en) 2017-07-21 2018-06-07 Voice recognition system and voice recognition method
CN201810769602.1A CN109285541B (zh) 2017-07-21 2018-07-13 语音识别系统及语音识别方法
US16/432,362 US10863033B2 (en) 2017-07-21 2019-06-05 Voice recognition system and voice recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017141765A JP6787269B2 (ja) 2017-07-21 2017-07-21 音声認識システム及び音声認識方法

Publications (2)

Publication Number Publication Date
JP2019020683A JP2019020683A (ja) 2019-02-07
JP6787269B2 true JP6787269B2 (ja) 2020-11-18

Family

ID=65014248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017141765A Active JP6787269B2 (ja) 2017-07-21 2017-07-21 音声認識システム及び音声認識方法

Country Status (3)

Country Link
US (2) US10356245B2 (ja)
JP (1) JP6787269B2 (ja)
CN (1) CN109285541B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019046267A (ja) * 2017-09-04 2019-03-22 トヨタ自動車株式会社 情報提供方法、情報提供システム、および情報提供装置
JP7340943B2 (ja) * 2019-03-27 2023-09-08 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP7358621B2 (ja) * 2019-08-14 2023-10-10 ライブパーソン， インコーポレイテッド 対話勧誘を管理するためのシステムおよび方法
WO2021060391A1 (ja) * 2019-09-27 2021-04-01 Ｔｒａｄｆｉｔ株式会社 情報提供方法、情報提供システム、情報提供装置及びコンピュータプログラム
JP7287258B2 (ja) * 2019-12-10 2023-06-06 トヨタ自動車株式会社 エージェント管理装置、プログラムおよびエージェント管理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530109B2 (ja) * 1999-05-31 2004-05-24 日本電信電話株式会社 大規模情報データベースに対する音声対話型情報検索方法、装置および記録媒体
JP3608449B2 (ja) 1999-09-09 2005-01-12 日本電信電話株式会社 音声応答方法及び装置及び音声応答プログラムを格納した記憶媒体
EP1190301A1 (en) * 2000-03-09 2002-03-27 Koninklijke Philips Electronics N.V. Method of interacting with a consumer electronics system
US7606714B2 (en) * 2003-02-11 2009-10-20 Microsoft Corporation Natural language classification within an automated response system
US7844465B2 (en) * 2004-11-30 2010-11-30 Scansoft, Inc. Random confirmation in speech based systems
CN101111885A (zh) * 2005-02-04 2008-01-23 株式会社查纳位资讯情报 使用抽出的声音数据生成应答声音的声音识别系统
JP4197344B2 (ja) * 2006-02-20 2008-12-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声対話システム
US7805305B2 (en) * 2006-10-12 2010-09-28 Nuance Communications, Inc. Enhancement to Viterbi speech processing algorithm for hybrid speech models that conserves memory
JPWO2010128560A1 (ja) * 2009-05-08 2012-11-01 パイオニア株式会社 音声認識装置、音声認識方法、及び音声認識プログラム
KR20110072847A (ko) * 2009-12-23 2011-06-29 삼성전자주식회사 열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법
JP5434731B2 (ja) 2010-03-24 2014-03-05 トヨタ自動車株式会社 音声認識システム及び自動検索システム
JP6126870B2 (ja) * 2013-03-01 2017-05-10 本田技研工業株式会社 音声対話システム及び音声対話方法
KR101759009B1 (ko) * 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
JP6221301B2 (ja) * 2013-03-28 2017-11-01 富士通株式会社 音声処理装置、音声処理システムおよび音声処理方法
JP2015049337A (ja) * 2013-08-30 2015-03-16 株式会社東芝 音声応答装置、音声応答プログラム及び音声応答方法
CN104598445B (zh) * 2013-11-01 2019-05-10 腾讯科技（深圳）有限公司 自动问答系统和方法
WO2015079575A1 (ja) * 2013-11-29 2015-06-04 株式会社 東芝 対話支援システム、方法、及びプログラム
JP6351562B2 (ja) * 2014-11-12 2018-07-04 株式会社アドバンスト・メディア 情報処理システム、受付サーバ、情報処理方法及びプログラム
US11829373B2 (en) * 2015-02-20 2023-11-28 Google Llc Methods, systems, and media for presenting search results
US10559303B2 (en) * 2015-05-26 2020-02-11 Nuance Communications, Inc. Methods and apparatus for reducing latency in speech recognition applications

Also Published As

Publication number Publication date
CN109285541A (zh) 2019-01-29
JP2019020683A (ja) 2019-02-07
US10863033B2 (en) 2020-12-08
CN109285541B (zh) 2023-05-16
US20190028592A1 (en) 2019-01-24
US10356245B2 (en) 2019-07-16
US20190289131A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6787269B2 (ja) 音声認識システム及び音声認識方法
US11869487B1 (en) Allocation of local and remote resources for speech processing
US8618958B2 (en) Navigation device
US9159322B2 (en) Services identification and initiation for a speech-based interface to a mobile device
JP5958475B2 (ja) 音声認識端末装置、音声認識システム、音声認識方法
US8406938B2 (en) Remote operator assistance for one or more user commands in a vehicle
US20180211668A1 (en) Reduced latency speech recognition system using multiple recognizers
US20200211560A1 (en) Data Processing Device and Method for Performing Speech-Based Human Machine Interaction
JP2009300537A (ja) 音声作動システム、音声作動方法および車載装置
US20080255852A1 (en) Apparatuses and methods for voice command processing
JP5244663B2 (ja) 音声によってテキストを入力する音声認識処理方法及びシステム
US20140211669A1 (en) Terminal to communicate data using voice command, and method and system thereof
CN101846525B (zh) 导航信息处理、获取方法及装置
JP2014062944A (ja) 情報処理装置
CN108810244B (zh) 语音对话系统以及信息处理装置
JP6226911B2 (ja) サーバ装置、システム、音声認識機能を管理するための方法、および、情報通信端末を制御するためのプログラム
US20020026319A1 (en) Service mediating apparatus
KR20150108470A (ko) 메신저 서비스 시스템, 그 시스템에서의 상대방의 위치 및 시간 정보를 제공하기 위한 메신저 서비스 방법 및 장치
JP2005331608A (ja) 情報処理装置および情報処理方法
CN110033761B (zh) 通信系统、通信方法以及计算机可读存储介质
JPWO2013132615A1 (ja) ナビゲーション装置、サーバ、ナビゲーション方法及びプログラム
JP2009272984A (ja) 通信制御装置
JP2008277952A (ja) 情報システム
EP1524778A1 (en) Method for communicating information from a server to a user via a mobile communication device running a dialog script
JP2017181667A (ja) 音声認識装置および音声認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201012

R151 Written notification of patent or utility model registration

Ref document number: 6787269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151