JP6448765B2 - 対話装置、方法及びプログラム - Google Patents

対話装置、方法及びプログラム Download PDF

Info

Publication number
JP6448765B2
JP6448765B2 JP2017507164A JP2017507164A JP6448765B2 JP 6448765 B2 JP6448765 B2 JP 6448765B2 JP 2017507164 A JP2017507164 A JP 2017507164A JP 2017507164 A JP2017507164 A JP 2017507164A JP 6448765 B2 JP6448765 B2 JP 6448765B2
Authority
JP
Japan
Prior art keywords
intention
utterance
paraphrase
certainty
highest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017507164A
Other languages
English (en)
Other versions
JPWO2016151698A1 (ja
Inventor
市村 由美
由美 市村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of JPWO2016151698A1 publication Critical patent/JPWO2016151698A1/ja
Application granted granted Critical
Publication of JP6448765B2 publication Critical patent/JP6448765B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/247Thesauruses; Synonyms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0635Training updating or merging of old and new templates; Mean values; Weighting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Description

本発明の実施形態は、対話装置、方法及びプログラムに関する。
従来のコマンド型対話システムは、予め決められたコマンドしか受け付けることができない。それに対して、パーソナルアシスタントと呼ばれるスマートフォン向けの音声対話アプリケーションでは、自由な発話を受け付けることができる。例えば、ユーザが音楽を聴いているときに「音が大きすぎる」と言うと、音量を下げるなど、ユーザの要望に応えてくれる。
このような自由な発話を受け付ける対話システムは、受理可能な意図を予め用意した上で、各意図に対応する発話のバリエーションを収集し、意図を推定するためのモデルを作成することで実現できる。しかしながら、意図に対応する様々な発話のバリエーションを充分に収集するにはコストがかかる。
特許第4639094号 特開平4−110836号
本発明が解決しようとする課題は、意図を推定するためのモデルを作成するコストを低減することができる対話装置、方法及びプログラムを提供することである。
一実施形態に係る対話装置は、取得部、発話データベース、モデル作成部、意図推定部、意図確認部、及び発話登録部を備える。取得部は、発話を取得する。発話データベースは、複数の発話と前記複数の発話それぞれに対応する複数の意図とを格納する。モデル作成部は、前記発話データベースから、意図を推定するためのモデルを作成する。意図推定部は、前記モデルを参照して前記発話の意図を推定することによって第1の意図推定結果を生成する。意図確認部は、前記第1の意図推定結果に応じて、前記発話の正しい意図を確認するために問い合わせを行う。発話登録部は、前記問い合わせに対する返答に基づいて前記発話の意図を決定し、前記発話を前記決定された意図と対応付けて前記発話データベースに登録する。
実施形態に係る対話システムを概略的に示すブロック図。 図1に示した意図確認部の動作例を示すフローチャート。 図1に示した言い換え生成部の動作例を示すフローチャート。 図1に示した言い換えルールに含まれる置き換えルールの例を示す図。 図1に示した言い換えルールに含まれる授受交替動詞テーブルの例を示す図。 図1に示した言い換えルールに含まれる自他交替動詞テーブルの例を示す図。 図1に示した言い換えルールに含まれる反意動詞テーブルの例を示す図。 図1に示した言い換えルールに含まれる反意形容詞テーブルの例を示す図。 図1に示した言い換えルールに含まれる類語テーブルの例を示す図。 図1に示した発話登録部の動作例を示すフローチャート。 図1に示した発話登録部が保持する代表発話テーブルの例を示す図。 図1に示した発話データベースの例を示す図。
以下、図面を参照しながら実施形態を説明する。
図1は、実施形態に係る対話システムを概略的に示している。図1に示される対話システムは、ユーザが操作する端末装置101と、音声認識を行う音声認識サーバ103と、音声合成を行う音声合成サーバ104と、対話制御を行う対話サーバ(対話装置ともいう)105と、を含む。端末装置101、音声認識サーバ103、音声合成サーバ104、及び対話サーバ105は、インターネット網や携帯電話網などのネットワーク102に接続され、互いに通信することができる。
端末装置101は、例えば、パーソナルコンピュータやスマートフォンなどである。端末装置101は、ユーザの発話(ユーザが発した音声)を、ネットワーク102を経由して音声認識サーバ103に送る。音声認識サーバ103は、端末装置101から受け取った発話をテキストに変換し、ネットワーク102を経由して対話サーバ105に送る。対話サーバ105は、音声認識サーバ103から受け取った発話を処理し、発話に応じた応答をテキストで出力し、ネットワーク102を経由して音声合成サーバ104に送る。音声合成サーバ104は、対話サーバ105から受け取った応答を音声に変換し、ネットワーク102を経由して端末装置101に送る。端末装置101は、音声合成サーバ104から受け取った音声を出力する。このようにして、ユーザは、端末装置101を通じて対話サーバ105と音声で対話することができる。
対話サーバ105は、意図推定モデル106、取得部107、意図推定部108、応答部109、言い換え生成部110、意図確認部111、言い換えルール112、発話登録部113、発話データベース114、及びモデル作成部115を備えている。
取得部107は、ユーザの発話を取得する。具体的には、取得部107は、ユーザが端末装置101に入力し音声認識サーバ103によってテキストに変換された発話を受け取る。
意図推定部108は、意図を推定するモデルである意図推定モデル106を参照して、取得部107により取得された発話の意図を推定する。例えば、意図推定部108は、意図とその確信度との組を複数含む意図推定結果を出力する。意図推定結果に含まれる意図は、発話の意図の候補である。モデルを用いた推定処理は広く公知であるので、説明を省略する。
言い換え生成部110は、言い換えルール112を参照して発話を別の表現で言い換えて言い換え文を生成する。例えば、言い換え生成部110は、発話の意味を保持したまま、その発話を別の表現で言い換える。言い換え生成部110は、意図推定部108を使用して、言い換え発話の意図を正しく推定できるかどうかを確認する。言い換え生成部110の処理については、後に詳しく説明する。
意図確認部111は、意図推定部108から出力される意図推定結果に応じて、ユーザの発話の正しい意図を確認するために問い合わせを行う。例えば、意図確認部111は、必要に応じて言い換え生成部110を起動して言い換え文を取得し、取得した言い換え文を使用して問い合わせを行う。意図確認部111の処理については、後に詳しく説明する。
応答部109は、ユーザの発話に対する応答を出力する。例えば、応答部109は、意図確認部111からの指示に従って問い合わせ文を生成し、ネットワーク102を経由して音声合成サーバ104に送る。
発話登録部113は、ユーザの発話の意図を決定し、発話を決定した意図と対応付けて発話データベース114に登録する。例えば、発話登録部113は、問い合わせに対するユーザの返答に基づいて発話の意図を決定することができる。発話登録部113の処理については、後に詳しく説明する。
発話データベース114は、複数の発話と複数の発話それぞれに対応する複数の意図とを格納する。モデル作成部115は、発話データベース114から、意図を推定するためのモデル(例えば統計モデル)を作成する。機械学習を用いたモデルの作成処理は広く公知であるので、説明を省略する。モデル作成部115は、任意のタイミングでモデルを作成することができる。例えば、モデル作成は、発話データベース114に発話が登録されるたびに実行されてもよく、周期的に実行されてもよく、オペレータの操作に基づいて実行されてもよい。モデル作成部115は、作成したモデルを用いて意図推定モデル106を更新し、すなわち、作成したモデルを新たな意図推定モデル106に設定する。
次に、対話サーバ105の動作について説明する。
図2は、意図確認部111の動作例を示している。まず、取得部107がユーザの発話を取得し、意図推定部108がこの発話の意図を推定する。ここでは、この発話を入力発話と称する。
図2のステップS201では、意図確認部111は、意図推定部108から、入力発話及びその意図推定結果を受け取る。意図推定結果は、例えば、下記のように、意図を表すタグと確信度との組を複数含む。確信度は、0から1までの間の数値で表される。
tag01:0.890
tag02:0.769
tag03:0.022
この例では、コロンの前側にあるtag01、tag02、tag03がタグであり、コロンの後側にある0.890、0.769、0.022が確信度である。
ステップS202では、意図確認部111は、1番目に高い確信度の値を変数prob1に、2番目に高い確信度の値を変数prob2にセットし、1番目に高い確信度を有する意図を変数tag1に、2番目に高い確信度を有する意図を変数tag2にセットする。
ステップS203では、意図確認部111は、prob1を所定の閾値αと比較する。prob1が閾値αより小さい場合はステップS205に進み、そうでない場合はステップS204に進む。
ステップS204では、意図確認部111は、prob1からprob2を引いた差を所定の閾値βと比較する。差が閾値βより小さい場合はステップS206に進み、そうでない場合はステップS207に進む。
ステップS205に進んだ場合、ステップS205では、意図確認部111は、言い換え生成部110を起動して、入力発話を別の表現で言い換えた言い換え文を取得し、言い換え文を用いて入力発話の意図を確認する問い合わせを行うよう応答部109に指示する。
ステップS206に進んだ場合、ステップS206では、意図確認部111は、tag1とtag2のどちらが入力発話の意図であるかを確認する問い合わせを行うよう応答部109に指示する。
ステップS208では、意図確認部111は、ステップS205又はステップS206の問い合わせに対するユーザの返答を、意図推定部108を通じて受け取り、ここでの処理を終了する。
ステップS207に進んだ場合、ステップS207では、意図確認部111は、tag1を応答部109に渡し、ここでの処理を終了する。
以上で意図確認部111の処理を終了する。
図3は、言い換え生成部110の動作例を示し、図4Aから図4Fは、言い換えルール112の例を示している。言い換えルール112は、図4Aに示される置き換えルール112aと、図4Bに示される授受交替動詞テーブル112bと、図4Cに示される自他交替動詞テーブル112cと、図4Dに示される反意動詞テーブル112dと、図4Eに示される反意形容詞テーブル112eと、図4Fに示される類語テーブル112fと、を含む。各ルール及びテーブルは、ID、表現1、表現2のフィールドを含む。
置き換えルール112aは、対象が表現1又は表現2に一致(マッチ)したら表現2又は表現1に置き換えるという意味のルールである。IDがr0001であるルールは、表現1が「動詞連用形+づらい」、表現2が「動詞連用形+にくい」となっている。例えば、「パンは食べづらい」という発話を考える。「食べづらい」は表現1に一致するので、言い換え生成部110は「食べづらい」を「食べにくい」に置き換える。それにより「パンは食べにくい」という言い換え文が得られる。
IDがr0004であるルールは、表現1が「<授受交替動詞テーブルの表現1>連用形+てほしい」、表現2が「<授受交替動詞テーブルの表現2>連用形+たい」となっている。例えば、「お金を貸してほしい」という発話を考える。「貸してほしい」という表現中の「貸す」は授受交替動詞テーブル112bにおけるIDがvj0001の表現1に一致するので、言い換え生成部110は、「貸す」を「借りる」に置き換え、さらに「てほしい」は「たい」に置き換える。それにより、「貸してほしい」は「借りたい」に置き換えられ、最終的に「お金を借りたい」という言い換え文が得られる。
図3のステップS301では、言い換え生成部110は、意図確認部111から入力発話を受け取る。ステップS302では、言い換え生成部110は、変数Nに言い換えルール112に格納されているルール数をセットし、変数iに初期値1をセットする。
ステップS303では、言い換え生成部110は、iがN以下であるかどうかを判定する。iがN以下である場合はステップS304に進み、そうでない場合はステップS306に進む。ステップS304では、入力発話がi番目の言い換えルールの表現1又は表現2に一致するかどうかを判定する。一致する場合はステップS307に進み、そうでない場合はステップS305に進む。ステップS305では、言い換え生成部110はiに1を加算し、ステップS303に戻る。
ステップS306に進んだ場合、ステップS306では、言い換え生成部110は、言い換え文を生成できないことを応答部109に伝え、ここでの処理を終了する。
ステップS307に進んだ場合、ステップS307では、言い換え生成部110は、入力発話と一致した表現1又は表現2を、対応する表現2又は表現1に置き換えて、言い換え文を生成する。ステップS308では、言い換え生成部110は、言い換え文を意図推定部108に送り、意図推定部108から言い換え文の意図推定結果を受け取る。意図推定結果は、意図を表すタグと確信度との組を複数含む。
ステップS309では、言い換え生成部110は、1番目に高い確信度の値を変数prob1に、2番目に高い確信度の値を変数prob2にセットする。ステップS310では、言い換え生成部110は、prob1と所定の閾値αを比較する。prob1が閾値α以上である場合はステップS311に進み、そうでない場合はステップS305に戻る。ステップS311では、prob1からprob2を引いた差と所定の閾値βとを比較する。差が閾値β以上である場合はステップS312に進み、そうでない場合はステップS305に戻る。言い換え生成部110の閾値α、βは、意図確認部111の閾値α、βと同じ値であってもよく、異なる値であってもよい。
ステップS312に進んだ場合、ステップS312では、言い換え生成部110は、言い換え文を応答部109に渡す。ステップS313では、言い換え生成部110は、言い換え文の意図推定結果を発話登録部113に渡し、ここでの処理を終了する。
以上で言い換え生成部110の処理を終了する。
図5は、発話登録部113の動作例を示している。図5のステップS501では、発話登録部113は、意図確認部111を通じて、問い合わせ(図2のステップS205又はS206に示される問い合わせ)に対するユーザの返答を受け取る。
ステップS502では、発話登録部113は、受け取った返答がYES又はNOを意味する発話であるかどうかを判定する。例えば、「はい」、「そうです」はYESを意味する発話であり、「いいえ」、「いや、違うよ」はNOを意味する発話である。YES又はNOを意味する発話である場合はステップS503に進み、そうでない場合はステップS507に進む。
ステップS503では、発話登録部113は、受け取った返答がYESを意味する発話(すなわち肯定的な発話)であるかどうかを判定する。返答がYESを意味する発話である場合はステップS504に進み、返答がNOを意味する発話(すなわち否定的な発話)である場合はここでの処理を終了する。
ステップS504に進んだ場合、ステップS504では、発話登録部113は、言い換え生成部110から、入力発話(すなわち言い換え前の発話)と言い換え文の意図推定結果とを受け取る。ステップS505では、発話登録部113は、言い換え文の意図推定結果に含まれる1番目に高い確信度を持つ意図を変数tag0にセットする。ステップS506では、発話登録部113は、入力発話をtag0と対応付けて発話データベース114に登録し、ここでの処理を終了する。
ステップS507では、発話登録部113は、意図推定部108から、入力発話とその意図推定結果とを受け取る。ステップS508では、発話登録部113は、この意図推定結果に含まれる1番目に高い確信度を持つ意図を変数tag1に、2番目に高い確信度を持つ意図を変数tag2にセットする。
ステップS509では、発話登録部113は、tag1を代表する発話とユーザの返答との類似度を変数sim1に、tag2を代表する発話とユーザの返答との類似度を変数sim2にセットする。例えば、発話登録部113は、図6に示すような、意図を表すタグを代表発話と対応付けた代表発話テーブルを保持し、代表発話テーブルからtag1及びtag2に対応する代表発話を取得する。文と文の類似度は、例えば、文に含まれる単語を要素とする単語ベクトル同士のコサイン類似度を計算することで得ることができる。
ステップS510では、発話登録部113は、sim1とsim2との最大値を所定の閾値γと比較する。sim1とsim2との最大値が閾値γより小さい場合はここでの処理を終了し、そうでない場合はステップS511に進む。
ステップS511では、発話登録部113は、sim1とsim2を比較する。sim1がsim2より大きい場合はステップS512に進み、そうでない場合はステップS513に進む。
ステップS512に進んだ場合ステップS512では、発話登録部113は、入力発話をtag1の意図と対応付けて発話データベース114に登録し、ここでの処理を終了する。
ステップS513では、発話登録部113は、入力発話をtag2の意図と対応付けて発話データベース114に登録し、ここでの処理を終了する。
以上で発話登録部113の処理を終了する。
以上に説明した処理によって、ユーザが入力した発話が意図と対応付けて発話データベース114に登録される。図7は、発話データベース114の例を示している。発話データベース114は、ID、意図を表すタグ、発話のフィールドを含む。例えば、IDがs0001である発話データは、タグがrequest (object=loan, act=get)で、発話が「お金を借りたい」である。
このように、対話サーバ105は、ユーザが入力した発話の意図を正しく推定できなかった場合に、ユーザに意図を確認する問い合わせを行い、問い合わせに対するユーザの返答に基づいて意図を決定する。それにより、発話を適切な意図と対応付けて収集することが可能となる。その結果、意図に対応する発話を収集するコストが低減され、意図を推定するためのモデルを作成するコストが低減される。
次に、本実施形態に係る対話システムの動作について、具体例を用いて説明する。
ユーザが「お金を貸してほしいのですが」と発話したとする。この発話から次のような意図推定結果が得られる。
request (object=loan, act=get):0.020
request (object=account, act=open):0.015
request (object=foreign_money, act=buy):0.011
ここで閾値α=0.030、閾値β=0.020とする。1番目に高い確信度0.020は閾値αより小さいので、言い換え生成部110が起動される(図2のステップS205)。「お金を貸してほしいのですが」の「貸す」は、図4Bに示される授受交替動詞テーブル112bにおけるIDがvj0001の表現1に一致するので、言い換え生成部110は「借りる」を得る。「貸してほしい」は、図4Aに示される置き換えルール112aにおけるIDがr0004であるルールの表現1に一致するので、言い換え生成部110は「借りたい」を得る。言い換え生成部110は、最終的に「お金を借りたいのですが」という言い換え文を得る(図3のステップS307)。意図推定部108は、言い換え文「お金を借りたいのですが」から、次のような意図推定結果を得る(図3のステップS308)。
request (object=loan, act=get):0.850
request (object=account, act=open):0.015
request (object=foreign_money, act=buy):0.011
1番目に高い確信度0.850は閾値αよりも大きく、1番目に高い確信度0.850から2番目に高い確信度0.015を引いた差は閾値βよりも大きいので、言い換え文は応答部109に渡される(図3のステップS312)。応答部109は、この言い換え文を用いて、「申し訳ありませんが、発言を理解できませんでした。お金を借りたいのですが、という意味でしょうか?」のような問い合わせをする。ユーザがこれに対して「はい」と返答すると、最初に入力された発話である「お金を貸してほしいのですが」を、「お金を借りたいのですが」の意図であるrequest (object=loan, act=get)と対応づけて発話データベース114に登録する。
別の例を説明する。ユーザが「音を大きくしてほしい」と発話したとする。この発話から次のような意図推定結果が得られる。
request (object=volume, act=up):0.795
request (object=volume, act=down):0.790
request (object=power, act=on):0.011
前述の例と同様、閾値α=0.030、閾値β=0.020とする。1番目に高い確信度0.795は閾値αより大きく、1番目に高い確信度0.795から2番目に高い確信度0.790を引いた差0.005は閾値βより小さい。この場合、意図確認部111は、request (object=volume, act=up)とrequest (object=volume, act=down)のどちらがユーザの意図なのかを確認する問い合わせを行うよう応答部109に指示する(図2のステップS206)。応答部109は、request (object=volume, act=up)とrequest (object=volume, act=down)の代表発話を用いて、「申し訳ありませんが、発言を正しく理解できなかったかもしれません。音量を上げたいのでしょうか、音量を下げたいのでしょうか?」のような問い合わせをする。ユーザがこれに対して「上げたいのよ」と返答すると、「上げたいのよ」が「音量を上げたい」及び「音量を下げたい」のどちらと類似度が高いかを計算する(図5のステップS510及びS511)。この場合、「音量を上げたい」の類似度が「音量を下げたい」の類似度より高い。このため、発話登録部113は、「音量を上げたい」の意図であるrequest (object=volume, act=up)を、最初に入力された発話である「音を大きくしてほしい」と対応付けて、発話データベース114に登録する。
また、別の例を説明する。ユーザが「FXをやりたくない」あるいは「FXを中止したい」と発話したとする。発話データベース114にどちらの発話も登録されていない場合、これらの発話に対する意図推定結果の確信度は閾値未満になる可能性が高く、発話の意図推定に失敗する。図4Dの反意動詞テーブル112dによると、「やる」は「やめる」の反意動詞であることが分かり、類語テーブル112fによると、「中止する」は「やめる」の類語であることが分かる。置き換えルール112aにおけるr0010又はr0012のルールを適用することにより、どちらの発話に対しても「FXをやめたい」という言い換え文が得られる。この言い換え文と同じ発話が発話データベース114に登録されている場合、言い換え文に対する意図推定結果の確信度は閾値以上になる可能性が高い。確信度が閾値以上である場合、応答部109はこの言い換え文を用いて、「申し訳ありませんが、発言を理解できませんでした。FXをやめたいという意味でしょうか?」のような問い合わせを行う。ユーザがこれに対して肯定の返答をすれば、最初に入力された発話である「FXをやりたくない」あるいは「FXを中止したい」に対する意図は正しく推定されることになる。さらに、これらの発話が正しい意図と対応付けられて発話データベース114に登録され、意図推定モデル106が更新される。このため、以降は、「FXをやりたくない」或いは「FXを中止したい」という発話は、一度目に意図推定が行われた時点で、正しく意図推定されるようになる。
さらに別の例を説明する。ユーザが「ローンの負担を軽減したい」あるいは「ローンの負担を増やしたくない」と発話したとする。発話データベース114にどちらの発話も登録されていない場合でも、「ローンの負担を減らしたい」という発話が登録されていれば、言い換えルール112を適用することにより、入力発話に対する意図が正しく推定されることになる。さらに、これらの発話が正しい意図と対応付けられて発話データベース114に登録され、意図推定モデル106が更新される。このため、以降は、「ローンの負担を軽減したい」或いは「ローンの負担を増やしたくない」という発話は、一度目に意図推定が行われた時点で、正しく意図推定されるようになる。
なお、本実施形態では、(1)助動詞又は助動詞に相当する機能表現に関する同義表現の組を用いた言い換えルール、(2)名詞、動詞、形容詞、形容動詞に関する同義語の組を用いた言い換えルール、(3)動詞、形容詞、形容動詞に関する反意語の組を用いた言い換えルール、(4)授受又は自他が交替する動詞の組を用いた言い換えルール、のいずれかを1回適用して、元の文(入力発話)から言い換え文を生成する例を示したが、1つの文に対して(1)〜(4)の異なる種類のルールを複数組み合わせて適用しても構わないし、同じ種類のルールを複数組み合わせて適用しても構わない。
また、本実施形態では、ネットワーク102を通じて、端末装置101、音声認識サーバ103、音声合成サーバ104、対話サーバ105を利用する実施形態を説明したが、対話システムは、音声認識サーバ103又は音声合成サーバ104を利用せずに、テキストによる入力又はテキストによる出力を行う対話システムとして実現しても構わない。また、音声認識サーバ103、音声合成サーバ104、対話サーバ105のすべて又はいずれかを端末装置101上で動作するように構成しても構わない。
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の対話サーバによる効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータ又は組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式はいずれの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態の対話サーバと同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成はいずれの構成であってもよい。
なお、本実施形態におけるコンピュータ又は組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等のいずれの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (5)

  1. 発話を取得する取得部と、
    複数の発話と前記複数の発話それぞれに対応する複数の意図とを格納する発話データベースと、
    前記発話データベースから、意図を推定するためのモデルを作成するモデル作成部と、
    前記モデルを参照して前記発話の意図を推定することによって、複数の第1意図と、当該複数の第1意図それぞれの複数の第1確信度と、を含む第1の意図推定結果を生成する意図推定部と、
    助動詞又は助動詞に相当する機能表現に関する同義表現の組を用いた言い換えルールと、名詞、動詞、形容詞、形容動詞に関する同義語の組を用いた言い換えルールと、動詞、形容詞、形容動詞に関する反意語の組を用いた言い換えルールと、授受又は自他が交替する動詞の組を用いた言い換えルールと、の少なくとも1つの言い換えルールを参照して前記発話の一部を別の表現に置き換えることによって、前記発話の意味を保持したまま前記発話の言い換え文を生成する言い換え生成部と、
    前記発話の正しい意図を確認するために問い合わせを行う意図確認部であって、前記第1の意図推定結果に応じて前記言い換え文を用いて前記問い合わせを行い、1番目に高い第1確信度から2番目に高い第1確信度を引いた値が第1の閾値より小さい場合に、前記1番目に高い第1確信度を有する第1意図と前記2番目に高い第1確信度を有する第1意図とのいずれが正しい意図であるかを確認するために前記問い合わせを行う意図確認部と、
    前記問い合わせに対する返答に基づいて前記発話の意図を決定し、前記発話を前記決定された意図と対応付けて前記発話データベースに登録する発話登録部であって、前記問い合わせに対する返答により指定される、前記1番目に高い第1確信度を有する意図と前記2番目に高い第1確信度を有する第1意図との一方を、前記発話の意図に決定する発話登録部と、
    を具備する対話装置。
  2. 記意図確認部は、前記1番目に高い第1確信度が第2の閾値より小さい場合に、前記言い換え文を用いて前記問い合わせを行い、
    前記発話登録部は、前記言い換え文を用いた前記問い合わせに対する返答が肯定的である場合に、前記1番目に高い第1確信度を有する第1意図を前記発話の意図に決定する、請求項1に記載の対話装置。
  3. 発話を取得する取得部と、
    複数の発話と前記複数の発話それぞれに対応する複数の意図とを格納する発話データベースと、
    前記発話データベースから、意図を推定するためのモデルを作成するモデル作成部と、
    前記モデルを参照して前記発話の意図を推定することによって、第1の意図推定結果を生成する意図推定部と、
    助動詞又は助動詞に相当する機能表現に関する同義表現の組を用いた言い換えルールと、名詞、動詞、形容詞、形容動詞に関する同義語の組を用いた言い換えルールと、動詞、形容詞、形容動詞に関する反意語の組を用いた言い換えルールと、授受又は自他が交替する動詞の組を用いた言い換えルールと、の少なくとも1つの言い換えルールを参照して前記発話の一部を別の表現に置き換えることによって、前記発話の意味を保持したまま前記発話の言い換え文を生成する言い換え生成部と、
    前記発話の正しい意図を確認するために問い合わせを行う意図確認部であって、前記第1の意図推定結果に応じて前記言い換え文を用いて前記問い合わせを行う意図確認部と、
    前記問い合わせに対する返答に基づいて前記発話の意図を決定し、前記発話を前記決定された意図と対応付けて前記発話データベースに登録する発話登録部と、
    を具備し、
    前記第1の意図推定結果は、複数の第1意図と、当該複数の第1意図それぞれの複数の第1確信度と、を含み、
    前記意図推定部は、前記モデルを参照して前記言い換え文の意図を推定することによって、複数の第2意図と、当該複数の第2意図それぞれの複数の第2確信度と、を含む第2の意図推定結果を生成し、
    前記意図確認部は、1番目に高い第2確信度から2番目に高い第2確信度を引いた値が閾値以上である場合に、前記言い換え文を用いて前記問い合わせを行い、
    前記発話登録部は、前記言い換え文を用いた前記問い合わせに対する返答が肯定的である場合に、1番目に高い第1確信度を有する第1意図を前記発話の意図に決定する、対話装置。
  4. 発話を取得することと、
    複数の発話と前記複数の発話それぞれに対応する複数の意図とを格納する発話データベースから、意図を推定するためのモデルを作成することと、
    前記モデルを参照して前記発話の意図を推定することによって、複数の第1意図と、当該複数の第1意図それぞれの複数の第1確信度と、を含む第1の意図推定結果を生成することと、
    助動詞又は助動詞に相当する機能表現に関する同義表現の組を用いた言い換えルールと、名詞、動詞、形容詞、形容動詞に関する同義語の組を用いた言い換えルールと、動詞、形容詞、形容動詞に関する反意語の組を用いた言い換えルールと、授受又は自他が交替する動詞の組を用いた言い換えルールと、の少なくとも1つの言い換えルールを参照して前記発話の一部を別の表現に置き換えることによって、前記発話の意味を保持したまま前記発話の言い換え文を生成することと、
    前記発話の正しい意図を確認するために問い合わせを行うことであって、前記第1の意図推定結果に応じて前記言い換え文を用いて前記問い合わせを行い、1番目に高い第1確信度から2番目に高い第1確信度を引いた値が閾値より小さい場合に、前記1番目に高い第1確信度を有する第1意図と前記2番目に高い第1確信度を有する第1意図とのいずれが正しい意図であるかを確認するために前記問い合わせを行うことと、
    前記問い合わせに対する返答に基づいて前記発話の意図を決定し、前記発話を前記決定された意図と対応付けて前記発話データベースに登録することであって、前記問い合わせに対する返答により指定される、前記1番目に高い第1確信度を有する意図と前記2番目に高い第1確信度を有する第1意図との一方を、前記発話の意図に決定することと、
    を具備する対話方法。
  5. コンピュータを、
    発話を取得する手段と、
    複数の発話と前記複数の発話それぞれに対応する複数の意図とを格納する発話データベースから、意図を推定するためのモデルを作成する手段と、
    前記モデルを参照して前記発話の意図を推定することによって、複数の第1意図と、当該複数の第1意図それぞれの複数の第1確信度と、を含む第1の意図推定結果を生成する手段と、
    助動詞又は助動詞に相当する機能表現に関する同義表現の組を用いた言い換えルールと、名詞、動詞、形容詞、形容動詞に関する同義語の組を用いた言い換えルールと、動詞、形容詞、形容動詞に関する反意語の組を用いた言い換えルールと、授受又は自他が交替する動詞の組を用いた言い換えルールと、の少なくとも1つの言い換えルールを参照して前記発話の一部を別の表現に置き換えることによって、前記発話の意味を保持したまま前記発話の言い換え文を生成する手段と、
    前記発話の正しい意図を確認するために問い合わせを行う手段であって、前記第1の意図推定結果に応じて前記言い換え文を用いて前記問い合わせを行い、1番目に高い第1確信度から2番目に高い第1確信度を引いた値が閾値より小さい場合に、前記1番目に高い第1確信度を有する第1意図と前記2番目に高い第1確信度を有する第1意図とのいずれが正しい意図であるかを確認するために前記問い合わせを行う手段と、
    前記問い合わせに対する返答に基づいて前記発話の意図を決定し、前記発話を前記決定された意図と対応付けて前記発話データベースに登録する手段であって、前記問い合わせに対する返答により指定される、前記1番目に高い第1確信度を有する意図と前記2番目に高い第1確信度を有する第1意図との一方を、前記発話の意図に決定する手段として機能させるための対話プログラム。
JP2017507164A 2015-03-20 2015-03-20 対話装置、方法及びプログラム Active JP6448765B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/058562 WO2016151698A1 (ja) 2015-03-20 2015-03-20 対話装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016151698A1 JPWO2016151698A1 (ja) 2017-05-25
JP6448765B2 true JP6448765B2 (ja) 2019-01-09

Family

ID=56978796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017507164A Active JP6448765B2 (ja) 2015-03-20 2015-03-20 対話装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US20170140754A1 (ja)
JP (1) JP6448765B2 (ja)
WO (1) WO2016151698A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586530B2 (en) * 2017-02-23 2020-03-10 Semantic Machines, Inc. Expandable dialogue system
US10258295B2 (en) 2017-05-09 2019-04-16 LifePod Solutions, Inc. Voice controlled assistance for monitoring adverse events of a user and/or coordinating emergency actions such as caregiver communication
JP6980411B2 (ja) * 2017-05-23 2021-12-15 株式会社日立製作所 情報処理装置、対話処理方法、及び対話処理プログラム
KR101970899B1 (ko) * 2017-11-27 2019-04-24 주식회사 머니브레인 문맥 기반으로 음성 인식의 성능을 향상하기 위한 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체
KR101959292B1 (ko) * 2017-12-08 2019-03-18 주식회사 머니브레인 문맥 기반으로 음성 인식의 성능을 향상하기 위한 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체
WO2019142427A1 (ja) * 2018-01-16 2019-07-25 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11398221B2 (en) 2018-02-22 2022-07-26 Sony Corporation Information processing apparatus, information processing method, and program
US11182565B2 (en) 2018-02-23 2021-11-23 Samsung Electronics Co., Ltd. Method to learn personalized intents
WO2019198667A1 (ja) * 2018-04-10 2019-10-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11314940B2 (en) 2018-05-22 2022-04-26 Samsung Electronics Co., Ltd. Cross domain personalized vocabulary learning in intelligent assistants
US11854535B1 (en) * 2019-03-26 2023-12-26 Amazon Technologies, Inc. Personalization for speech processing applications
CN111341309A (zh) 2020-02-18 2020-06-26 百度在线网络技术(北京)有限公司 一种语音交互方法、装置、设备和计算机存储介质
WO2021246056A1 (ja) * 2020-06-05 2021-12-09 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム
CN113806469B (zh) * 2020-06-12 2024-06-11 华为技术有限公司 语句意图识别方法及终端设备
CN114416931A (zh) * 2020-10-28 2022-04-29 华为云计算技术有限公司 标签生成方法、装置及相关设备
JP6954549B1 (ja) * 2021-06-15 2021-10-27 ソプラ株式会社 エンティティとインテントとコーパスの自動生成装置及びプログラム
US11404062B1 (en) 2021-07-26 2022-08-02 LifePod Solutions, Inc. Systems and methods for managing voice environments and voice routines
US11410655B1 (en) 2021-07-26 2022-08-09 LifePod Solutions, Inc. Systems and methods for managing voice environments and voice routines

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4128342B2 (ja) * 2001-07-19 2008-07-30 三菱電機株式会社 対話処理装置及び対話処理方法並びにプログラム
JP4400316B2 (ja) * 2004-06-02 2010-01-20 日産自動車株式会社 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4581549B2 (ja) * 2004-08-10 2010-11-17 ソニー株式会社 音声処理装置および方法、記録媒体、並びにプログラム
JP4639094B2 (ja) * 2005-02-04 2011-02-23 株式会社日立製作所 音声認識システム、音声認識装置及び音声認識プログラム
JP4816409B2 (ja) * 2006-01-10 2011-11-16 日産自動車株式会社 認識辞書システムおよびその更新方法
US7524181B2 (en) * 2006-07-18 2009-04-28 Fu-Chuan Chiang Blowing assembly
JP4728905B2 (ja) * 2006-08-02 2011-07-20 クラリオン株式会社 音声対話装置および音声対話プログラム
JP2011033680A (ja) * 2009-07-30 2011-02-17 Sony Corp 音声処理装置及び方法、並びにプログラム
KR101709187B1 (ko) * 2012-11-14 2017-02-23 한국전자통신연구원 계층적 대화 태스크 라이브러리를 이용한 이중 대화관리 기반 음성대화시스템
CN107077843A (zh) * 2014-10-30 2017-08-18 三菱电机株式会社 对话控制装置和对话控制方法

Also Published As

Publication number Publication date
JPWO2016151698A1 (ja) 2017-05-25
WO2016151698A1 (ja) 2016-09-29
US20170140754A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
JP6448765B2 (ja) 対話装置、方法及びプログラム
JP6334815B2 (ja) 学習装置、方法、プログラムおよび音声対話システム
US10629186B1 (en) Domain and intent name feature identification and processing
JP6464650B2 (ja) 音声処理装置、音声処理方法、およびプログラム
US20170103757A1 (en) Speech interaction apparatus and method
JP2020505643A (ja) 音声認識方法、電子機器、及びコンピュータ記憶媒体
US9588967B2 (en) Interpretation apparatus and method
JP2017167659A (ja) 機械翻訳装置、方法、およびプログラム
WO2017166631A1 (zh) 语音信号处理方法、装置和电子设备
JP6873805B2 (ja) 対話支援システム、対話支援方法、及び対話支援プログラム
JPWO2019031268A1 (ja) 情報処理装置、及び情報処理方法
JP2020077159A (ja) 対話システム、対話装置、対話方法、及びプログラム
JP2016001242A (ja) 質問文生成方法、装置、及びプログラム
WO2019113911A1 (zh) 设备控制方法、云端设备、智能设备、计算机介质及设备
US9318128B1 (en) Methods and systems for determining instructions for applications that are recognizable by a voice interface
JP6468258B2 (ja) 音声対話装置および音声対話方法
US20200175985A1 (en) Electronic device and method of controlling thereof
JP6275569B2 (ja) 対話装置、方法およびプログラム
US20210327415A1 (en) Dialogue system and method of controlling the same
JP6391925B2 (ja) 音声対話装置、方法およびプログラム
JP6481643B2 (ja) 音声処理システムおよび音声処理方法
KR102067973B1 (ko) 음소열의 편집 거리를 이용한 웨이크업 단어 선정 방법
JP2008293098A (ja) 応答スコア情報生成装置、対話処理装置
JPWO2018135302A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP2017198790A (ja) 音声評定装置、音声評定方法、教師変化情報の生産方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181204

R151 Written notification of patent or utility model registration

Ref document number: 6448765

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151