JP5149737B2 - 自動会話システム、並びに会話シナリオ編集装置 - Google Patents

自動会話システム、並びに会話シナリオ編集装置 Download PDF

Info

Publication number
JP5149737B2
JP5149737B2 JP2008212191A JP2008212191A JP5149737B2 JP 5149737 B2 JP5149737 B2 JP 5149737B2 JP 2008212191 A JP2008212191 A JP 2008212191A JP 2008212191 A JP2008212191 A JP 2008212191A JP 5149737 B2 JP5149737 B2 JP 5149737B2
Authority
JP
Japan
Prior art keywords
sentence
conversation
answer sentence
answer
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008212191A
Other languages
English (en)
Other versions
JP2010048980A (ja
Inventor
声揚 黄
裕 勝倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universal Entertainment Corp
Original Assignee
Universal Entertainment Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universal Entertainment Corp filed Critical Universal Entertainment Corp
Priority to JP2008212191A priority Critical patent/JP5149737B2/ja
Priority to US12/542,311 priority patent/US8935163B2/en
Priority to EP09010660.0A priority patent/EP2157570B1/en
Priority to CN2009101670565A priority patent/CN101656799B/zh
Publication of JP2010048980A publication Critical patent/JP2010048980A/ja
Application granted granted Critical
Publication of JP5149737B2 publication Critical patent/JP5149737B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Description

本発明は、自動会話システム、並びに会話シナリオ編集装置に関し、より詳しくはユーザの発話に応答する回答を自動的に出力して、ユーザとの会話を成立させることが可能なシステムである自動会話システム、並びにこの自動会話システムに用いられる会話シナリオを生成及び編集する会話シナリオ編集装置に関する。
従来、ユーザの発話を受け取ると、この発話内容に応じた回答を出力する自動会話装置が提案されるようになってきた(例えば、特許文献1)。従来の自動会話装置では、ユーザの発話とそれに対応する回答を一対として記憶したデータベースを用い、このデータベースを検索することによって、ユーザの発話に対応する回答を出力させる方式が一般的であった。
特開2002−366190号公開公報
しかし、ユーザの発話に対応する回答を一対一の関係で出力する従来の方式では、ある話題に関して自然な会話をユーザと自動会話装置との間で成立させたり、予め用意したストーリー性のある内容(例えば、制度の仕組みの説明、救急治療の内容など)を少しずつ、ユーザに語りかけたりすることを、自動会話装置により実現することは難しい。
このような、自然な流れの会話を成立するための技術として、ユーザ発話に応答しながら、予め用意した会話の流れに沿った会話内容を実現するシナリオを用いることが提案されているが、このシナリオから言語モデルを作成するには、専門知識を有するKB(ナレッジ・ベース、知識ベース)技術者によらなければ、言語モデルを作成することはできなかった。しかも、多くの場合、KB(知識ベース)と会話エンジンが融合されているために、KB作成者であっても「シナリオ」の全体を把握することができない。
本発明の目的は、専門知識を有さないものであっても、ユーザ発話に応答しながら、予め用意した会話の流れに沿った会話内容を実現するシナリオに基づいた言語モデルを生成することを可能にして、より的確な音声認識にもとづいた会話内容を実現可能にすることを目的とする。
上記課題を解決するための手段として、本発明は以下の特徴を備えている。
(1) ユーザ発話を音声認識することにより入力文を生成し、この入力文に応じた回答文を会話サーバに要求する会話装置と、前記会話装置から回答文を要求された場合、会話シナリオに基づいて回答文を決定し、この回答文を前記会話装置に送信し、回答文をユーザに出力させる会話サーバとを有する自動会話システムのために、前記会話シナリオを用いる会話シナリオ編集装置であって、
前記入力文と前記回答文とを有する前記会話シナリオを生成する編集手段と、
前記編集手段により生成された前記会話シナリオを示すデータを前記会話サーバに送信する会話シナリオ送信手段と、
前記会話シナリオに基づいて、前記会話装置が音声認識を行う場合に使用する言語モデルを生成する言語モデル生成手段と
を有し、
前記回答文には、該回答文のIDデータ、及び、該回答文の次にユーザに出力される可能性のある回答文を特定するための次プラン指定情報が関連づけられており、前記次プラン指定情報は、前記次にユーザに出力される可能性のある回答文のIDデータを示す情報であり、
前記会話サーバは、1の回答文をユーザに出力した後、さらに、前記会話装置から入力文に応じた回答文を要求された場合、該入力文と、前記1の回答文に関連づけられた次プラン指定情報によって特定される回答文とに基づいて、前記1の回答文とは異なる回答文をユーザに出力し、
前記編集手段は、所定の回答文が出力された後特定の入力文が入力された場合に出力される回答文として特定の回答文が設定され、前記所定の回答文が出力された後前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文及び前記特定の回答文とは異なる1の回答文が設定され、前記所定の回答文及び前記特定の回答文とは異なる1の回答文が出力された後前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文が設定された会話シナリオを生成し、
前記所定の回答文は、1個の回答文からなり、前記特定の入力文は、N個(Nは2以上の整数)の入力文からなり、前記特定の回答文は、前記N個の入力文に対応するN個の回答文からなり、前記所定の回答文及び前記特定の回答文とは異なる1の回答文は、前記N個の入力文に対応する第1の回答文〜第Nの回答文のいずれかであり、
前記編集手段は、
前記所定の回答文が出力された後前記N個の入力文のいずれもが入力されなかった場合に出力される回答文として前記第1の回答文が設定され、前記第K(Kは、1〜N−1の整数)の回答文が出力された後該第Kの回答文に対応する前記特定の入力文が入力されなかった場合に出力される回答文として前記第(K+1)の回答文が設定され、前記第Nの回答文が出力された後該第Nの回答文に対応する前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文が設定された会話シナリオを生成することを特徴とする会話シナリオ編集装置。
(2) ユーザ発話を音声認識することにより入力文を生成し、この入力文に応じた回答文を会話サーバに要求する会話装置と、
前記会話装置から回答文を要求された場合、会話シナリオに基づいて回答文を決定し、この回答文を前記会話装置に送信し、回答文をユーザに出力させる会話サーバと、
前記会話シナリオに基づいて、前記会話装置が音声認識を行う場合に使用する言語モデルを生成する言語モデル生成手段を有する会話シナリオ編集装置と
を有し、
前記会話シナリオ編集装置は、さらに、
前記入力文と前記回答文とを有する前記会話シナリオを生成する編集手段と、
前記編集手段により生成された前記会話シナリオを示すデータを前記会話サーバに送信する会話シナリオ送信手段とを有し、
前記回答文には、該回答文のIDデータ、及び、該回答文の次にユーザに出力される可能性のある回答文を特定するための次プラン指定情報が関連づけられており、前記次プラン指定情報は、前記次にユーザに出力される可能性のある回答文のIDデータを示す情報であり、
前記会話サーバは、1の回答文をユーザに出力した後、さらに、前記会話装置から入力文に応じた回答文を要求された場合、該入力文と、前記1の回答文に関連づけられた次プラン指定情報によって特定される回答文とに基づいて、前記1の回答文とは異なる回答文をユーザに出力し、
前記編集手段は、所定の回答文が出力された後特定の入力文が入力された場合に出力される回答文として特定の回答文が設定され、前記所定の回答文が出力された後前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文及び前記特定の回答文とは異なる1の回答文が設定され、前記所定の回答文及び前記特定の回答文とは異なる1の回答文が出力された後前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文が設定された会話シナリオを生成し、
前記所定の回答文は、1個の回答文からなり、前記特定の入力文は、N個(Nは2以上の整数)の入力文からなり、前記特定の回答文は、前記N個の入力文に対応するN個の回答文からなり、前記所定の回答文及び前記特定の回答文とは異なる1の回答文は、前記N個の入力文に対応する第1の回答文〜第Nの回答文のいずれかであり、
前記編集手段は、
前記所定の回答文が出力された後前記N個の入力文のいずれもが入力されなかった場合に出力される回答文として前記第1の回答文が設定され、前記第K(Kは、1〜N−1の整数)の回答文が出力された後該第Kの回答文に対応する前記特定の入力文が入力されなかった場合に出力される回答文として前記第(K+1)の回答文が設定され、前記第Nの回答文が出力された後該第Nの回答文に対応する前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文が設定された会話シナリオを生成し、
前記会話シナリオは、複数のドメインからなり、各ドメインは、それぞれ1の会話テーマに対応した入力文及び回答文を有し、
前記会話サーバは、入力文に応じた回答文を前記会話装置から要求された場合、該入力文を有するドメインを選択するとともに、該ドメインに含まれる回答文を探索することにより該入力文に応じた回答文を出力し、
前記所定の回答文が出力された後前記N個の入力文のいずれかが入力された場合、該入力された入力文に対応する前記特定の回答文を出力する一方、前記所定の回答文が出力された後、前記N個の入力文のいずれとも異なる入力文が入力された場合、又は、所定期間が経過した場合、前記第1の回答文を出力し、
前記第K(Kは、1〜N−1の整数)の回答文が出力された後、該第Kの回答文に対応する前記特定の入力文が入力されなかった場合、又は、所定期間が経過した場合、前記第(K+1)の回答文を出力し、
前記第Nの回答文が出力された後、該第Nの回答文に対応する前記特定の入力文が入力されなかった場合、又は、所定期間が経過した場合、前記所定の回答文を再度出力することを特徴とする自動会話システム。
本発明は、会話シナリオ編集装置として提案される。この会話シナリオ編集装置は、ユーザ発話を音声認識することにより入力文を生成し、この入力文に応じた回答文を会話サーバに要求する会話装置と、会話装置から回答文を要求された場合、会話シナリオに基づいて回答文を決定し、この回答文を会話装置に送信し、回答文をユーザに出力させる会話サーバとを有する自動会話システムのために、会話シナリオを生成する会話シナリオ編集装置であって、前記会話シナリオに基づいて、会話装置が音声認識を行う場合に使用する言語モデルを生成する言語モデル生成手段(例えば、言語モデル生成部)とを有することを特徴としている。
この会話シナリオ編集装置によれば、ユーザ発話に応答しながら、予め用意した会話の流れに沿った会話内容を実現する会話シナリオに基づいた言語モデルを生成して、より的確な音声認識にもとづいた会話内容を実現可能とすることができる。
前記会話シナリオは、対象と射からなり、射である入力文と、その射に対応する対象である回答文と、を有する前記会話シナリオを生成する編集手段をさらに有していてもよい。かかる会話シナリオ編集装置によれば、従来の自動会話装置においては、KBに基づいて会話を実行する会話エンジンに特有の知識が理解できるKB(知識ベース)技術者のみしか作成できなかったが、会話装置を動作させる知識を一般の人(エンドユーザなど)にも自由に「対象と射の枠組み」からなる会話シナリオが構築できるようにすることで、より的確な音声認識にもとづいた会話内容を実現可能とすることができる。しかも、これにより、KB作成者は「会話シナリオ」の全体が把握できるようになる。
また、本発明に基づく、会話シナリオ編集装置は以下の利点を有する。
・会話シナリオが「対象(回答文)と射(入力文)」を連結しながら構築できるので、シナリオの表現が明快である。
・対象の引用機能を開発しているので、対象に関して引用元の情報(ある対象を引用している対象に関わる情報)が利用できる。
・対象の遷移先と引用元により、対象の状態遷移関係が一覧できる。
・対象と射を並べた「回答列」で「対象と射」の基本性質を表現することができる。
・「回答列」は正に「台本」に類するものであり、一般の台本作成という観点では「回答列は極めて明快な情報」である。
・会話シナリオ編集装置・会話サーバ・会話装置の全体により、「台本通りに会話装置を動作させる」ことが実現できる。
なお、会話シナリオ編集装置は「対象と射とからなる会話シナリオ」が扱えるような仕組みであれば、上記の内容に限定されることはない。
上記会話シナリオ編集装置は、会話シナリオから射に対応する対象を検索するための動的知識を生成する動的知識生成手段をさらに有していてもよい。かかる会話シナリオ編集装置によれば、高速で、入力文に相当する射及びこの射に対応する対象を検索し、対象である回答文を出力させることが可能となる。
また、上記会話シナリオ編集装置において、会話シナリオ編集装置は、予め定めた内容のユーザ発話以外の全てのユーザ発話を一つの射として記述することが可能であるようにしてもよい。かかる会話シナリオ編集装置によれば、無限のユーザ発話を被覆可能な回答文を定義することが可能となる。
本発明の第2の態様は、自動会話システムとして提案される。この自動会話システムは、ユーザ発話を音声認識することにより入力文を生成し、この入力文に応じた回答文を会話サーバに要求する会話装置と、前記会話装置から回答文を要求された場合、会話シナリオに基づいて回答文を決定し、この回答文を前記会話装置に送信し、回答文をユーザに出力させる会話サーバと、前記会話シナリオに基づいて、前記会話装置が音声認識を行う場合に使用する言語モデルを生成する言語モデル生成手段を有する会話シナリオ編集装置と
を有することを特徴としている。
かかる自動会話システムによれば、ユーザ発話(入力文)に応答しながら、予め用意した会話の流れに沿った会話内容を実現する会話シナリオに基づいた言語モデルを生成して、より的確な音声認識にもとづいた会話内容を実現可能とすることができる。
また、上記自動会話システムにおいて、前記会話シナリオは、対象と射とからなり、射である入力文と、その射に対応する対象である回答文とを有する前記会話シナリオを生成する編集手段をさらに有するようにしてもよい。
かかる自動会話システムによれば、従来の自動会話装置においては、KBに基づいて会話を実行する会話エンジンに特有の知識が理解できるKB(知識ベース)技術者のみしか作成できなかったが、会話装置を動作させる知識を一般の人(エンドユーザなど)にも自由に「対象と射の枠組み」からなる会話シナリオが構築できるようにすることで、より的確な音声認識にもとづいた会話内容を実現可能とすることができる。しかも、これにより、KB作成者は「会話シナリオ」の全体が把握できるようになる。
また、上記の自動会話システムにおいて、前記会話シナリオから射に対応する対象を検索するための動的知識を生成する動的知識生成手段をさらに有するようにしてもよい。
また、上記会話シナリオ編集装置において、会話シナリオ編集装置は、予め定めた内容のユーザ発話以外の全てのユーザ発話を一つの射として記述することが可能であるようにしてもよい。かかる会話シナリオ編集装置によれば、無限のユーザ発話を被覆可能な回答文を定義することが可能となる。
また、上記自動会話システムにおいて、会話サーバは、会話装置に行わせる動作を記述した動作制御情報を会話装置に送信し、会話装置は動作制御情報に基づいて、回答文の出力とともに動作を実行するようにしてもよい。かかる自動会話システムによれば、回答文の内容だけでなく会話装置が実行できるどのような動作をも、会話シナリオ作成者が会話シナリオを通じて制御することが可能となる。
また、上記自動会話システムにおいて、会話装置は、動作制御情報によって動作を制御される端末装置(例えば、ロボット等)であるようにしてもよい。かかる発明によれば、会話シナリオ作成者が会話シナリオを通じて端末装置の動作制御をおこない、会話シナリオを動作制御プログラムとして活用することも可能となる。
本発明によれば、ユーザ発話に応答しながら、予め用意した会話の流れに沿った会話内容を実現する会話シナリオに基づいた言語モデルを生成して、より的確な音声認識にもとづいた会話内容を実現可能とすることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
本実施の形態は、予め用意された会話シナリオに基づいて、ユーザの発話などに応答して回答を出力する自動会話システム、及び会話シナリオを生成、編集する会話シナリオ編集装置として提案される。
[1.自動会話システム、会話シナリオ編集装置の構成例]
以下、自動会話システム、会話シナリオ編集装置の構成例について説明する。図1は、自動会話システム1の構成例を示すブロック図である。自動会話システム1は、会話装置10と、会話装置10に接続された会話サーバ20と、会話サーバ20が使用する会話シナリオを生成、編集する会話シナリオ編集装置30で構成される。
会話装置10は、ユーザが発話を入力すると、その発話内容を会話サーバ20に送信する。会話サーバ20は、発話内容を受け取ると、会話シナリオに基づいて発話内容に対する返事である回答とこの回答に対応した動作であって会話装置10に実行させる動作を記述した情報である動作制御情報を決定し、回答及び動作制御情報を会話装置10に出力する。
会話シナリオ編集装置30は、会話シナリオ40を生成、編集し、生成済み若しくは編集済みの会話シナリオを出力する。出力された会話シナリオ40は会話サーバ20に記憶される。また、会話シナリオ編集装置30は生成した会話シナリオ40に基づいて言語モデル50を生成する。言語モデル50は会話装置10が音声認識をするために使用される。
以下に、上記装置のそれぞれについて詳述する。
[1.1.会話装置]
会話装置10は、ユーザの発話(ユーザ発話)を入力として取得し、この入力内容(以下、入力文と呼ぶ)を会話サーバ20に送信し、会話サーバ20から返信されてくる回答及び動作制御情報を受信し、受信内容に基づいて、回答の出力及び動作制御情報に応じた動作を実行する機能を有する。
会話装置10は、演算処理装置(CPU)、主メモリ(RAM)、読出し専用メモリ(ROM)、入出力装置(I/O)、必要な場合にはハードディスク装置等の外部記憶装置を具備している情報処理装置、或いはそのような情報処理装置を含む器具、おもちゃなどであって、例えばコンピュータ、携帯電話機、いわゆるインターネット家電、又はロボットなどの装置である。会話装置10の前記ROM、若しくはハードディスク装置などにプログラムが記憶されており、このプログラムを主メモリ上に載せ、CPUがこれを実行することにより会話装置10が実現される。また、上記プログラムは必ずしも情報処理装置内の記憶装置に記憶されていなくともよく、外部の装置(例えば、ASP(アプリケーション・サービス・プロバイダ)のサーバなど)から提供され、これを主メモリに乗せる構成であってもよい。
図2Aは、会話装置10の一構成例を示すブロック図である。会話装置10は、入力部11と、入力部11に接続された音声認識部15と、音声認識部15に接続された会話処理部12と、会話処理部12に接続された動作制御部13と、会話処理部12及び動作制御部13に接続された出力部14とを有している。また、会話処理部12は会話サーバ20と通信可能である。また、音声認識部15は、会話シナリオ編集装置30が生成した言語モデル50を受け取り、この言語モデルに基づいて音声信号を入力文に変換する。
入力部11は、ユーザの発話内容(音声信号)を受け取り、これを電気信号など会話処理部12が処理可能な信号に変換して渡す機能を有する。入力部11は、例えば、マイクである。
音声認識部15は、入力部11から受け取った信号に基づいて、ユーザの発話内容を推測し、推測の結果得られたユーザの発話内容を入力文として出力する機能を有する。図2Bに音声認識部15の構成例を示す機能ブロック図を掲げる。音声認識部10は、音声信号を受け取る前処理部110と、前処理部110に接続された特徴抽出部120と、特徴抽出部120に接続された識別部130とを有している。
識別部130は、識別演算部140と、識別演算部140に接続された音響モデル記憶部150,及び言語モデル記憶部160とを有している。識別演算部140は特徴抽出部120に接続されているとともに、会話制御部20に接続されている。また、言語モデル記憶部160の記憶内容は、後述する言語モデル生成部34からの出力によって書き換えされる。
前処理部110は、音声信号であるアナログ信号をデジタル信号に変換し、またノイズを除去して特徴抽出を容易にする雑音除去処理を行う。
特徴抽出部120は、前処理部110から出力されたアナログ信号を受け取り、このアナログ信号から、パターンがどのクラスに属するものなのかを判定する情報を取得する処理を行う。ここで、「パターン」とは実世界の音、画像などの情報をいい、「クラス」とはパターンが当てはまる予め定められた概念である。例えば、「あ」の発音により生じる音声信号はパターンであり、その音声信号は記号「あ」というクラスとなる。
特徴抽出部120は、音声信号であるデジタル信号から、その音声信号の特徴を示す特徴量を算出する。特徴量をどのように算出するかはいろいろな手法が提案されているが、例えばデジタル信号をスペクトルに変換しフォルマントを抽出し、これを特徴ベクトルとして算出する方法がある。或いは特徴抽出部120は、デジタル信号をMFCC(Mel Frequency Cepstrum Coefficient)という特徴量を取得する方法によって、特徴ベクトルとして算出するようにしてもよく、どのような方法が採用されてもかまわない。
識別部130は、特徴抽出部120によって出力された特徴ベクトルがどのクラスに属するかを判別する機能を有する。識別部130は、各クラスを代表するプロトタイプベクトルを予め用意しておいて、入力された特徴ベクトルがどのプロトタイプベクトルに近似するかを算出し、特徴ベクトルに対応するクラスを決定する。
識別部130の構成をより詳しく説明すると、識別部130は、識別演算部140と、識別演算部140に接続された音響モデル記憶部150及び言語モデル記憶部160とを有している。
音響モデル記憶部150は音響モデルを記憶する機能を有する。音響モデルは、単語列w、w,…、wを発声したときに特徴ベクトル系列X1,X2,…、xがどのくらいの確率で観測されるかということを表した条件付き確率を求める確率モデルである。
言語モデル記憶部160は言語モデルを記憶する機能を有する。言語モデルは、単語列w、w,…、wの発生確率P(w、w,…、w)を求める確率モデルである。
この確率モデルは、コーパスと呼ばれる文例集(例えば、新聞記事を集めた電子データ、この実施の形態では会話シナリオを含む)に現れる単語wk−1の出現回数と、単語列wk−1、wの出現回数をカウントし、後者を前者で割ることにより、単語の連接確率を算出し、単語列の発生確率を求める。
識別演算部140は、音声モデルを用いて単語列w、w,…、wを発声したときに特徴ベクトル系列X1,X2,…、xが観測される確率P1と、単語列w、w,…、wの発生確率P2との積を求め、この積が最大となる単語列w、w,…、wを探索する機能を有する。
識別演算部140は、探索の結果得られた単語列を入力文として出力し、会話制御部処理部12に渡す。
以上で識別部130、音声認識部15の説明を終了する。
図2Aに戻り、会話装置10の構成例の説明をつつける。
会話処理部12は、音声認識部15から受け取った入力文を会話サーバ20に送り、入力文に応じた回答文及びその回答文に対応する動作制御情報を送信するよう、会話サーバ20に要求する。また、会話処理部12は、会話サーバ20から回答文及びその回答文に対応する動作制御情報を受信すると、回答文を出力部14に渡して出力させるとともに、動作制御情報を動作制御部13に渡す。
動作制御部13は、会話処理部12から渡された動作制御情報に基づいて、指定された動作を実行する。指定された動作が出力部14による表示の実行(例えば、指定された動作の再生)であれば、これを出力部14に実行させる。また、指定された動作が、会話サーバ20から取得した回答文とは別の回答文の出力(例えば、会話サーバ20から取得した回答文が「何について話しますか?」、別の回答文が「何か言ってくださいね!」)である場合には、そのような回答文を出力部14に出力させる。
出力部14は、回答文をユーザが了知可能な態様で出力する機能を有する。回答文をどのような態様で出力するかについては、本発明において制限はない。出力部14は、例えば、回答文を文字情報としてユーザに提供する場合には、液晶ディスプレイ装置などであり、また回答文を音声情報としてユーザに提供する場合には、人工音声生成装置及びスピーカである。
[1.2.会話サーバ]
会話サーバ20は、会話シナリオに基づいて発話内容に対する返事である回答とこの回答に対応した動作であって会話装置10に実行させる動作を記述した情報である動作制御情報を決定し、回答及び動作制御情報を会話装置10に出力する機能を有する装置である。
会話サーバ20は、演算処理装置(CPU)、主メモリ(RAM)、読出し専用メモリ(ROM)、入出力装置(I/O)、必要な場合にはハードディスク装置等の外部記憶装置を具備している情報処理装置などであって、例えばコンピュータ、ワークステーション、サーバ装置などである。会話サーバ20の前記ROM、若しくはハードディスク装置などにプログラムが記憶されており、このプログラムを主メモリ上に載せ、CPUがこれを実行することにより会話サーバが実現される。また、上記プログラムは必ずしも情報処理装置内の記憶装置に記憶されていなくともよく、外部の装置(例えば、ASP(アプリケーション・サービス・プロバイダのサーバなど))から提供され、これを主メモリに乗せる構成であってもよい。
会話装置10と会話サーバ20とは、有線又は無線により接続される構成でも良く、また、LAN,無線LAN,インターネットなどの通信網(複数の通信網を組み合わせても良い)を介して接続されていても良い。また、会話装置10と会話サーバ20とは、必ずしも個別独立の装置でなくとも良く、会話装置10と会話サーバ20とを同一の装置により実現する構成であっても本発明は成立する。
図3は、会話サーバ20の一構成例を示すブロック図である。会話サーバ20は、会話装置10と通信可能な回答処理部21と、回答処理部21に接続された意味解釈辞書部23及び会話シナリオ記憶部22とを有している。
回答処理部21は、会話装置10から入力文を受け取り、この入力文に応じた回答文を会話シナリオ記憶部22に記憶されている会話シナリオに基づいて選択若しくは決定し、決定した回答文とこの回答文に対応づけられた動作制御情報を会話装置10に送信する。また、回答処理部21は、意味解釈辞書部23が記憶する意味解釈辞書を参照して、入力文の同意語又は同意文を取得し、この同意語又は同意文に基づいた回答文の選択若しくは決定を行う。
意味解釈辞書部23は、入力文に対応する回答文の言い換え(同意語による拡張など)をおこなうための意味解釈辞書を記憶する機能を有する。意味解釈辞書はシソーラスのような機能を有するデータベースに相当する。
会話シナリオ記憶部22は、会話シナリオ編集装置30によって生成、又は編集された会話シナリオ40を記憶する機能を有する。会話シナリオ40の説明については後述する。
[1.3.会話シナリオ編集装置]
会話シナリオ編集装置30は、前述の会話サーバ20が使用する会話シナリオを新たに生成し、又は生成済みの会話シナリオを変更し、内容を追加し、又は内容の一部削除を行って修正された会話シナリオを生成する機能を有する。
会話シナリオ編集装置30は、演算処理装置(CPU)、主メモリ(RAM)、読出し専用メモリ(ROM)、入出力装置(I/O)、必要な場合にはハードディスク装置等の外部記憶装置を具備している情報処理装置などであって、例えばコンピュータ、ワークステーションなどである。会話シナリオ編集装置30の前記ROM、若しくはハードディスク装置などにプログラムが記憶されており、このプログラムを主メモリ上に載せ、CPUがこれを実行することにより会話シナリオ編集装置30が実現される。また、上記プログラムは必ずしも情報処理装置内の記憶装置に記憶されていなくともよく、外部の装置(例えば、ASP(アプリケーション・サービス・プロバイダのサーバなど))から提供され、これを主メモリに乗せる構成であってもよい。
図4は、会話シナリオ編集装置30の一構成例を示すブロック図である。会話シナリオ編集装置30は、入力部31と、入力部31に接続されたエディタ部32と、エディタ部32に接続された出力部34及び会話シナリオ保持部33と、会話シナリオ保持部33に接続された言語モデル生成部34とを有している。
入力部31は、ユーザの入力を受け取り、これを電気信号などエディタ部32が処理可能な信号に変換して渡す機能を有する。入力部31は、例えば、キーボード、ポインティングデバイス、タッチパネル、マイクのいずれか或いはこれらの組み合わせである。
出力部34は、編集中又は編集完了後の会話シナリオの内容を会話シナリオ編集装置30の使用者(オペレータ)が認識可能な態様で出力する機能を有する。出力部34は、例えば、液晶ディスプレイ装置などである。
エディタ部32は、入力部31から入力された内容に応じて、会話シナリオとしてのデータの生成、及びその編集(追加、変更、削除)を行う機能を有する。なお、編集中の会話シナリオの内容は出力部34に表示させることにより、オペレータが会話シナリオの内容をリアルタイムで把握できるようにしている。また、エディタ部32は、編集が完了した会話シナリオのデータを会話シナリオ保持部33に出力する。
また、エディタ部32は、生成されている会話シナリオにおいて適正な状態遷移関係が保たれているか否かをチェックし、違反が生じている場合にはオペレータに違反が生じていること、違反が生じている入力文又は回答文を知らせるメッセージ等を生成し、出力部に表示等させる機能を有していても良い。
また、エディタ部32は会話サーバ20の意味解釈辞書部23に相当する意味解釈辞書部をさらに有していても良く、エディタ部32はこの意味解釈辞書部を用いて、会話シナリオにおいて重複する意味内容の入力文又は回答文が存在する場合、これらを整理したり統合したりする、或いは整理、統合をオペレータに促す機能を有していても良い。
会話シナリオ保持部33は、エディタ部32から受け取った会話シナリオ40を、後に読み取りできる態様で記憶又は保持する機能を有する。会話シナリオ保持部33に記憶された会話シナリオ40のデータは、必要に応じて、又は、所定のタイミングなどで会話サーバ20の会話シナリオ記憶部22に送られる。会話シナリオ保持部33から会話シナリオ記憶部22への会話シナリオ40の転送は、記憶媒体を経由した態様で行われても良いし、通信網、通信ケーブルを経由して行われるものであってもよい。
言語モデル生成部34は、会話シナリオ保持部33に記憶された会話シナリオ40から、この会話シナリオ40に含まれる入力文、或いは入力文及び回答文から、これらに含まれる単語列の発生確率を算出し、算出した結果を言語モデル50として記憶する機能を有する。
記憶された言語モデル50は、必要に応じて、又は、所定のタイミングなどで会話装置10の音声認識部15に転送される。言語モデル生成部34から音声認識部15への言語モデル50の転送は、記憶媒体を経由した態様で行われても良いし、通信網、通信ケーブルを経由して行われるものであってもよい。
[1.3.1.会話シナリオについて]
ここで、会話シナリオ40について説明する。本発明における会話シナリオは下記の特徴を有する。
(1)回答文を「対象」とし、ユーザ発話(入力文)を「射」とする。
この特徴を備えることにより、会話シナリオが定める会話の流れを「状態遷移図」で表現することが可能となる。本発明の会話シナリオは、後述する「その他」機能を用いることにより、全ての入力文(ユーザ発話)に対応した回答文の出力が可能となる。また、後述する「タイマー」発話によりユーザの「無言」(入力無し)に対応できる(無言を射として扱える)。
図5は、会話シナリオの例を示す状態遷移図である。図中、楕円枠X1,X2,X3,X4はそれぞれ回答文であり、これらは「対象」に相当する。図中、矢印近傍に表示された文は、入力文であり、これらは「射」に相当する。図中<その他>はX1からの射「好きです」及び「嫌いです」以外の入力文を示す。図中、<timer>は、ユーザが無言のまま所定期間の経過させた状態を示す。また、「<その他>|<timer>」という表記は、<その他>又は<timer>を意味する。
図5に示した例では、「何か食べたい」という「射」は回答文X1である「あなたはラーメンが好きですか」である「対象」に遷移させる。回答文X1の出力後、第1の射「嫌いです」が発生した場合には、回答文X4「残念!話題を変えましょう」に遷移する。一方、回答文X1の出力後、第2の射「好きです」が発生した場合には、回答文X3「じゃ、美味しい店を紹介してあげる」に遷移する。一方、回答文X1の出力後、第1及び第2の射以外の射が発生した場合又はユーザが無言のまま一定期間が経過した場合、回答文X2「ラーメンは好き?嫌い?」に遷移する。
上記図5の会話シナリオをデータとして表現すると、一例として図6のような内容となる。ここで、「X1(発話A)X2」は回答列であり、X1の回答状態は発話AによりX2の回答状態に遷移することを記述している。
(2)射には合成が定義できる
この特徴により、主シナリオから分岐するような発話を受け付けることができるようになるとともに、分岐しても元(主シナリオ)に戻すことができる。従って、会話シナリオの作成者は自らが思い描く会話の流れ「ストーリー」が構築でき、このストーリーに沿った会話を会話システムに行わせることができる。
図7は、射の合成を含む会話シナリオの例を示した状態遷移図である。図中の記号及び表記については、図5に準じる。この例の会話シナリオでは、回答文X1「あなたはラーメンが好きですか?」の出力後、第1の射「嫌いです」が発生した場合には、回答文X3「そう?ラーメンは美味しいんだけどな」に遷移する。一方、第1の射以外の射が発生した場合又はユーザが無言のまま一定期間が経過した場合、回答文X2「本当に美味しい店を紹介してあげる」に遷移する。
上記の回答文X3「そう?ラーメンは美味しいんだけどな」の出力後は、一つの射<その他>|<timer>のみが規定されており、いずれの入力文(ユーザ発話)又は一定期間の経過により回答文X2「本当に美味しい店を紹介してあげる」に遷移する。
このような射の合成を含む会話シナリオの例を使用することを可能としているため、本発明では、相手の発話を尊重しつつ、固執したい自分の発話に導くことが可能となる。
なお、上記図7の会話シナリオを回答列として表現すると、図8のような内容となる。ここにX2はX2の引用である。引用されたX2の引用元はX2であり、形式的には、対象X1とX2との間に射「(嫌いです) X3 (<その他>|<timer>)」が定められていることに相当する。この射は、射「嫌いです」と射「<その他>|<timer>」の合成である。
(3)単位元が定義できる
本発明の会話シナリオでは、単位元が定義できる。「単位元」とは対象を遷移させない射をいう。単位元が定義できることにより、以下のことが可能となる。
(イ) ユーザ発話に対して「強制回答」をすることができる。
図9は、強制回答を行う会話シナリオの例を示した状態遷移図である。この例では、回答文X1「私はラーメンが好きです。ラーメンこそグルメの本質」の出力時において、NULLの付いた第1の射<その他>が規定されており、どのような入力文(ユーザ発話)であっても、入力文を無視して「私はラーメンが好きです。ラーメンこそグルメの本質」の強制出力がなされる。一方、回答文X1「私はラーメンが好きです。ラーメンこそグルメの本質」の出力後、第2の射<timer>により回答文X2「本当に美味しい店を紹介してあげる」に遷移する。
この例では、相手の発話を無視することを「NULL」と表記している。図9に示した例では、全ての発話を無視するために<その他>にNULLを付けているが、「嫌い」だけを無視するようにすることもできる。
なお、上記図9の会話シナリオを回答列として表現すると、図10のような内容となる。回答列「X1 (<その他>) X1」において、「(<その他>)」はX1からX1への射であり、単位元である。
(ロ)ユーザ発話に対して「固執回答」をすることができる。図11は、ユーザ発話に対して「固執回答」をする会話シナリオの例を示す状態遷移図である。図11の例では、回答文X1「ラーメン好き?嫌い?」の出力後、第1の射「嫌いです」が発生した場合には、回答文X3「そう?ラーメンは美味しいんだけどな」に遷移する。一方、回答文X1の出力後、第2の射「好き」が発生した場合には、回答文X2「本当に美味しい店を紹介してあげる」に遷移する。一方、回答文X1の出力後、第1及び第2の射以外の射が発生した場合又はユーザが無言のまま一定期間が経過した場合、再び回答文X1「ラーメンは好き?嫌い?」に戻る。このようにして、ユーザに「好き」か「嫌い」かの二者択一を強制的に行わせることができるようになる。
なお、上記図11の会話シナリオを回答列として表現すると、図12のような内容となる。ここにX1はX1の引用である。引用されたX1は引用元のX1と同じ遷移先を有する。このような意味でX1とX1は同形であり、この場合の射「(<その他>|<timer>)」もX1からX1への射に相当するので単位元と呼ぶ。
(ハ)「合成により構成された単位元」により「閉ループ回答」が構築できる。この特徴を備えることにより、閉じられたループの中で相手の発話を促すことが可能となる。図13は、「合成により構成された単位元」により「閉ループ回答」が構築された会話シナリオの例を示した状態遷移図である。この例では、回答文X1、X2,X3,X4によって閉ループが構築されており、この閉ループにより会話の流れをコントロールすることが可能となる。上記図13の会話シナリオを回答列として表現すると、図14のような内容となる。この場合にもX1からX1の射に相当する
(<その他>|<timer>) X2 (<その他>|<timer>)
X3 (<その他>|<timer>) X4 (<その他>|<timer>)
を単位元と呼ぶ。この場合の単位元は「閉ループ」を構成している。
以上で、「項目(3)単位元が定義できる」の説明を終了する。
(4)射の合成には結合法則が成り立つ
この特徴により、ある射に対応する回答列Sに対して、異なる2つの経路に沿う回答列S1とS2の構築が可能であり、しかもそれらが等しいものとして扱うことができる。このとき、Sをある問題に関わる回答列とすると、S1とS2は、Sに対する異なる解釈を与える回答列であり、問題解決に関わる情報を提供している。この特徴を有するが故に、本発明にかかる会話シナリオでは、ロジカルなユーザ発話に対応することができる。
図15に、射の合成に結合法則が成り立つ会話シナリオの例の状態遷移図を示す。なお、上記図15の会話シナリオを回答列として表現すると、図16のような内容となる。ここに、X2はX2の引用である。形式的に次式が成立する。
(ヒントは) X3 (××です) X4 (<その他>|<timer>)
= (××です) X4 (<その他>|<timer>)
= (ヒントは) X3 (<その他>|<timer>)
(5)可換な図式が描ける
この特徴により、任意の対象に到着するための射が定義できる。このため、シナリオにゴールが設定できるとともに、シナリオ全体の把握ができることとなる。
(6)その他
本発明は、「入力文を対象とし、回答文を射として扱える談話の範囲」では「検索の仕組みが全く異なるため、「入力文を射とし、回答文を対象として扱える談話の範囲」と同様の扱いはできない。本件では、前者のような談話の範囲は扱わない。
[1.5.会話シナリオ編集装置の位置づけ]
ここで、本発明の会話シナリオ編集装置30の位置づけについてまとめる。
(1)対象と射とを有する会話シナリオに関しては、以下の特徴をあげることができる。
・回答文を対象、入力文を射とする(状態遷移)
・入力文を尊重しつつ、固執したい回答文に導く(文脈維持:合成)
・入力文とは関係なく、回答文を言い切る(強制回答:単位元)
・相手に対して必要な発話を言うまで繰り返し催促する(固執回答:単位元)
・閉じられたループの中で入力文を促す(閉ループ:単位元)
・問題解決に繋がるような会話を行う(問題解決:結合法則)
・ゴールに向かうような会話を行う(ゴールのある会話:可換な図式)
なお、回答列によっても上記の特徴を整理することができる。会話シナリオ編集装置30は、上記の会話シナリオの特徴を回答列で表現する機能を有したものである。
上上記の会話シナリオを利用することにより、会話サーバ20は、単なる検索を行えばよい。すなわち、会話サーバは、現在の状態を、会話シナリオの対象(回答文)として把握し、利用者発話が発生した場合には、会話サーバ20は、意味解析を行いながら最適な射(入力文)を検索し、次の状態は、検索された射(入力文)に対応する対象(回答文)とする。
なお、上記の会話シナリオは状態遷移図やそれに基づいたデータ(図6,8,10等)として表現するだけでなく、図17に示すような、アウトラインエディタのようなGUIを用いて生成、編集されるようにしてもかまわない。
[2.会話シナリオ生成装置の動作例]
次に、上記会話シナリオ編集装置30の動作例について説明する。
本実施の形態にかかる会話シナリオ編集装置30は、複数の異なる主題(会話のテーマ)についてユーザとの会話を成立させることが出来る。図18は、会話シナリオ保持部33及び会話シナリオ記憶部22(以下、単に会話シナリオ保持部33と略す)が記憶する会話シナリオのデータ構成例を示す図である。
会話シナリオ保持部33は、談話の圏又は主題(会話テーマ)201に対応するドメイン200ごとに個別の会話シナリオデータを持つことが出来る。例えば、「天候」ドメインと「コーヒー豆」ドメインそれぞれに関する会話シナリオデータを有することが出来、ユーザが天候に関する発話をした場合には、会話サーバ20、より詳しくは回答処理部21は、「天候」ドメインである会話シナリオデータを優先して入力文(ユーザ発話ともいう)に対応する回答文(システム発話ともいう)を探索し、ユーザ発話に応答するシステム発話を出力させる。一方、ユーザが「コーヒー豆」に関する発話をした場合には、回答処理部21は、「コーヒー豆」ドメインである会話シナリオデータを優先してユーザ発話に対応するシステム発話を探索し、ユーザ発話に応答するシステム発話を出力させる。
各ドメイン200は、ユーザ発話文(入力文に相当する、以下同じ)210とユーザ発話文に対する自動会話システムの回答として用意されたシステム発話文220を有している。図18に示した例では、ユーザ発話分210−1と、これに関連づけされたシステム発話220−1が記録されているともに、このシステム発話220−1に応答してユーザが発話すると想定されるユーザ発話文210−2が記録され、このユーザ発話文210−2に対する自動会話システムの回答として用意されたシステム発話文220―2が記録されている。
例えば、上記の会話シナリオは以下のようなユーザとシステムの会話となる。
ユーザ発話文210−1:「いい天気ですね」
システム発話文220―1:「いい天気は好きですか?」
ユーザ発話文210−1:「はい、好きですよ」
システム発話文220―1:「雨の日は嫌いですか?」
図18に示した会話シナリオは最も単純な形態のものを示した。本自動会話システムが扱える会話シナリオでは、同一のシステム発話に対して、ユーザが異なる反応をしてユーザ発話を返した場合に対応できるよう、一つのシステム発話文に対して複数のユーザ発話文を用意することも可能である。
会話シナリオ編集装置30は、会話シナリオ保持部33に格納させる新たなドメイン200と、そのドメイン200ユーザ発話文210、システム発話文220からなる会話シナリオデータを生成し、会話シナリオ保持部33に記憶させる機能を有する。
[3.会話シナリオの入力例]
次に、会話シナリオの入力例について説明する。図19から図23は、あるドメイン200について会話シナリオを入力した場合の入力画面の遷移の一例を示した図である。
図19は、会話シナリオ編集装置30によって生成された入力インターフェイス画面の一例を示す。ここでは、ドメイン200が「コーヒー豆」についてのものであるとして説明する。
会話シナリオ編集装置30、より詳しくはエディタ部@は、入力インターフェイスとなるウインドウ300を生成し、出力部34に表示させる。ウインドウ300には表示領域301が設けられており、ユーザが入力部31を操作することによって、ユーザ発話文及びシステム発話文がここに入力される。図19の例では、ドメイン名302が表示されており、このドメイン200に格納される会話シナリオの入力を待ち受けている状態である。
図20は、このドメイン200に格納される会話シナリオの開始であるユーザ発話文401が入力され他状態の画面例である。
実際に自動会話が実行される場合には、会話サーバ20の回答処理部21は、ユーザ発話がここで記述されているユーザ発話文401「コーヒー豆について」と一致するか、或いはこれと同一視可能な発話内容である場合には、ユーザ発話に応答するシステム発話文を抽出するドメイン200としてドメイン名303を「コーヒー豆」とするドメイン200を会話シナリオ記憶部22から選択し、このドメイン200を優先してシステム発話文を選択することになる。
会話シナリオの入力者であるユーザは、上記ユーザ発話文401に対する回答であるシステム発話文の入力を行う。図21は、ユーザ発話文401「コーヒー豆について」についてのシステム発話文501がユーザにより入力された状態のウインドウ300の表示例を示す。この例では、「コーヒー豆について」というユーザ発話文401に対して、『味の特徴についてお答えします。「モカ」、「ブルーマウンテン」、「キリマンジャロ」のうち、どれが知りたいですか?』という問いかけであるシナリオ回答文501を自動会話システムが発する会話シナリオが記述されたものとする。
次に、会話シナリオの入力者であるユーザは、上記シナリオ回答文501に対して、予想されるユーザ発話文を入力する。図22は、前記のシナリオ回答文501に対して、予想されるユーザ発話文601が入力された状態のウインドウ300の表示例を示す。この例では、『味の特徴についてお答えします。「モカ」、「ブルーマウンテン」、「キリマンジャロ」のうち、どれが知りたいですか?』というシステム発話文501に対して、ユーザが「ブルーマウンテン」という回答をすると予想して、ユーザ発話文601「ブルーマウンテン」がユーザにより入力されたものとする。
次に、会話シナリオの入力者であるユーザは、上記ユーザ発話文601に対するシステム発話文を入力する。図7は、前記のユーザ発話文601に対するシステム発話文701が入力された状態のウインドウ300の表示例を示す。会話シナリオの入力者は、ユーザ発話文601の回答として、システム発話文701を入力する。
このような会話シナリオにより、自動会話システムはユーザがコーヒー豆のブルーマウンテンについて知りたい場合に、その回答を返すことが出来るようになる。なお、これ以降も会話シナリオの入力者は、ユーザと自動会話システムの会話が続くように、ユーザ発話文、システム発話文の入力を継続することが出来る。
上記のようにして入力された会話シナリオ(ユーザ発話文とシステム発話文の集合)は、エディタ部32により会話シナリオ保持部33へ書き込まれ、記憶される。この会話シナリオは会話サーバ20の会話シナリオ記憶部22に移される。なお、会話シナリオ記憶部22に移される場合に、会話サーバ20に適したものとするように会話シナリオの変換、移植を行うようにしてもよい。
会話サーバ20の回答処理部21は会話シナリオ記憶部22に記憶された新たな会話シナリオをも参照して、ユーザ発話に対するシナリオ回答を出力できるようになる。
[3.変形例]
本実施の形態は、以下のように変形されても成立する。
(1)会話シナリオ編集装置の変形例
図24に変形例にかかる会話シナリオ編集装置30Xの機能ブロック図である。会話シナリオ編集装置30Xは、基本的に前述した会話シナリオ編集装置30と同様の構成を有しており、会話シナリオ保持部33に接続された動的知識生成部35を有している点が異なっている。なお、同一の構成要素については同一の参照符号を付し、それらの説明については省略する。
動的知識生成部35は、会話シナリオ保持部33に記憶される会話シナリオ40にもとづいて、動的知識40Xを生成する機能を有する。動的知識40Xは、回答列である会話シナリオ40から、会話サーバ20がより高速且つ高効率に射である入力文および、その対象である回答文を検索できるように再構成されたデータである。
かかる変形例によれば、会話サーバ20の処理負荷を低減させ、高速な回答文の返信を可能とすることができる。
[4.会話サーバの構成の別の例]
本発明にかかる会話サーバ20、回答処理部21は下記のような構成を採用しても、本発明を実現可能である。以下、会話サーバ20,より詳しくは回答処理部21の構成例について述べる。図25は、回答処理部21の拡大ブロック図であって、会話制御部300及び文解析部400の具体的構成例を示すブロック図である。回答処理部21は、会話制御部300と、文解析部400と、会話データベース500を有している。会話データベース500は、会話シナリオ40又は、動的知識40Xを記憶する機能を有する。
[4.1.4.文解析部]
次に、図25を参照しながら文解析部400の構成例について説明する。
文解析部400は、入力部100又は音声認識部200で特定された文字列を解析するものである。この文解析部400は、本実施の形態では、図25に示すように、文字列特定部410と、形態素抽出部420と、形態素データベース430と、入力種類判定部440と、発話種類データベース450とを有している。文字列特定部410は、入力部100及び音声認識部200で特定された一連の文字列を一文節毎に区切るものである。この一文節とは、文法の意味を崩さない程度に文字列をできるだけ細かく区切った一区切り文を意味する。具体的に、文字列特定部410は、一連の文字列の中に、ある一定以上の時間間隔があるときは、その部分で文字列を区切る。文字列特定部410は、その区切った各文字列を形態素抽出部420及び入力種類判定部440に出力する。尚、以下で説明する「文字列」は、一文節毎の文字列を意味するものとする。
[4.1.4.1.形態素抽出部]
形態素抽出部420は、文字列特定部410で区切られた一文節の文字列に基づいて、その一文節の文字列の中から、文字列の最小単位を構成する各形態素を第一形態素情報として抽出するものである。ここで、形態素とは、本実施の形態では、文字列に現された語構成の最小単位を意味するものとする。この語構成の最小単位としては、例えば、名詞、形容詞、動詞などの品詞が挙げられる。
各形態素は、図26に示すように、本実施の形態ではm1、m2、m3…、と表現することができる。図26は、文字列とこの文字列から抽出される形態素との関係を示す図である。図26に示すように、文字列特定部410から文字列が入力された形態素抽出部420は、入力された文字列と、形態素データベース430に予め格納されている形態素群(この形態素群は、それぞれの品詞分類に属する各形態素についてその形態素の見出し語・読み・品詞・活用形などを記述した形態素辞書として用意されている)とを照合する。その照合をした形態素抽出部420は、その文字列の中から、予め記憶された形態素群のいずれかと一致する各形態素(m1、m2、…)を抽出する。この抽出された各形態素を除いた要素(n1、n2、n3…)は、例えば助動詞等が挙げられる。
この形態素抽出部420は、抽出した各形態素を第一形態素情報として話題特定情報検索蔀320に出力する。なお、第一形態素情報は構造化されている必要はない。ここで「構造化」とは、文字列の中に含まれる形態素を品詞等に基づいて分類し配列することをいい、たとえば発話文である文字列を、「主語+目的語+述語」などの様に、所定の順番で形態素を配列してなるデータに変換することを言う。もちろん、構造化した第一形態素情報を用いたとしても、それが本実施の形態を実現をさまたげることはない。
[4.1.4.2.入力種類判定部]
入力種類判定部440は、文字列特定部410で特定された文字列に基づいて、発話内容の種類(発話種類)を判定するものである。この発話種類は、発話内容の種類を特定する情報であって、本実施の形態では、例えば図27に示す「発話文のタイプ」を意味する。図27は、「発話文のタイプ」と、その発話文のタイプを表す二文字のアルファベット、及びその発話文のタイプに該当する発話文の例を示す図である。
ここで、「発話文のタイプ」は、本実施の形態では、図27に示すように、陳述文(D ; Declaration)、時間文(T ; Time)、場所文(L ; Location)、反発文(N ; Negation)などから構成される。この各タイプから構成される文は、肯定文又は質問文で構成される。「陳述文」とは、利用者の意見又は考えを示す文を意味するものである。この陳述文は本実施の形態では、図27に示すように、例えば"私は佐藤が好きです"などの文が挙げられる。「場所文」とは、場所的な概念を伴う文を意味するものである。「時間文」とは、時間的な概念を伴う文を意味するものである。「反発文」とは、陳述文を否定するときの文を意味する。「発話文のタイプ」についての例文は図27に示す通りである。
入力種類判定部440が「発話文のタイプ」を判定するには、入力種類判定部440は、本実施の形態では、図28に示すように、陳述文であることを判定するための定義表現辞書、反発文であることを判定するための反発表現辞書等を用いる。具体的に、文字列特定部410から文字列が入力された入力種類判定部440は、入力された文字列に基づいて、その文字列と発話種類データベース450に格納されている各辞書とを照合する。その照合をした入力種類判定部440は、その文字列の中から、各辞書に関係する要素を抽出する。
この入力種類判定部440は、抽出した要素に基づいて、「発話文のタイプ」を判定する。例えば、入力種類判定部440は、ある事象について陳述している要素が文字列の中に含まれる場合には、その要素が含まれている文字列を陳述文として判定する。入力種類判定部440は、判定した「発話文のタイプ」を回答取得部380に出力する。
[4.1.5.会話データベース]
次に、会話データベース500が記憶するデータのデータ構成例について図29を参照しながら説明する。図29は、会話データベース500が記憶するデータの構成例を示す概念図である。
会話データベース500は、図29に示すように、話題を特定するための話題特定情報810を予め複数記憶している。又、それぞれの話題特定情報810は、他の話題特定情報810と関連づけられていてもよく、例えば、図29に示す例では、話題特定情報C(810)が特定されると、この話題特定情報C(810)に関連づけられている他の話題特定情報A(810)、話題特定情報B(810),話題特定情報D(810)が定まるように記憶されている。
具体的には、話題特定情報810は、本実施の形態では、利用者から入力されると予想される入力内容、又は利用者への回答文に関連性のある「キーワード」を意味する。
話題特定情報810には、一又は複数の話題タイトル820が対応付けられて記憶されている。話題タイトル820は、一つの文字、複数の文字列又はこれらの組み合わせからなる形態素により構成されている。各話題タイトル820には、利用者への回答文830が対応付けられて記憶されている。また、回答文830の種類を示す複数の回答種類は、回答文830に対応付けられている。
次に、ある話題特定情報810と他の話題特定情報810との関連づけについて説明する。図30は、ある話題特定情報810Aと他の話題特定情報810B、810C〜810C、810D〜810D…との関連付けを示す図である。なお、以下の説明において「関連づけされて記憶される」とは、ある情報Xを読み取るとその情報Xに関連づけられている情報Yを読み取りできることをいい、例えば、情報Xのデータの中に情報Yを読み出すための情報(例えば、情報Yの格納先アドレスを示すポインタ、情報Yの格納先物理メモリアドレス、論理アドレスなど)が格納されている状態を、「情報Yが情報Xに『関連づけされて記憶され』ている」というものとする。
図30に示す例では、話題特定情報は他の話題特定情報との間で上位概念、下位概念、同義語、対義語(本図の例では省略)が関連づけされて記憶させることができる。本図に示す例では、話題特定情報810A(=「映画」)に対する上位概念の話題特定情報として話題特定情報810B(=「娯楽」)が話題特定情報810Aに関連づけされて記憶されており、たとえば話題特定情報(「映画」)に対して上の階層に記憶される。
また、話題特定情報810A(=「映画」)に対する下位概念の話題特定情報810C(=「監督」)、話題特定情報810C(=「主演」)、話題特定情報810C(=「配給会社」)、話題特定情報810C(=「上映時間」)、および話題特定情報810D(=「七人の侍」)、話題特定情報810D(=「乱」)、話題特定情報810D(=「用心棒」)、…、が話題特定情報810Aに関連づけされて記憶されている。
又、話題特定情報810Aには、同義語900が関連付けられている。この例では、話題特定情報810Aであるキーワード「映画」の同義語として「作品」、「内容」、「シネマ」が記憶されている様子を示している。このような同意語を定めることにより、発話にはキーワード「映画」は含まれていないが「作品」、「内容」、「シネマ」が発話文等に含まれている場合に、話題特定情報810Aが発話文等に含まれているものとして取り扱うことを可能とする。
回答処理部21は、会話データベース500の記憶内容を参照することにより、ある話題特定情報810を特定するとその話題特定情報810に関連づけられて記憶されている他の話題特定情報810及びその話題特定情報810の話題タイトル820、回答文830などを高速で検索・抽出することが可能となる。
次に、話題タイトル820(「第二形態素情報」ともいう)のデータ構成例について、図31を参照しながら説明する。図31は、話題タイトル820のデータ構成例を示す図である。
話題特定情報810D、810D、810D、…はそれぞれ複数の異なる話題タイトル820、820、…、話題タイトル820、820、…、話題タイトル820、820、…を有している。本実施の形態では、図31に示すように、それぞれの話題タイトル820は、第一特定情報1001と、第二特定情報1002と、第三特定情報1003によって構成される情報である。ここで、第一特定情報1001は、本実施の形態では、話題を構成する主要な形態素を意味するものである。第一特定情報1001の例としては、例えば文を構成する主語が挙げられる。また、第二特定情報1002は、本実施の形態では、第一特定情報1001と密接な関連性を有する形態素を意味するものである。この第二特定情報1002は、例えば目的語が挙げられる。更に、第三特定情報1003は、本実施の形態では、ある対象についての動きを示す形態素、又は名詞等を修飾する形態素を意味するものである。この第三特定情報1003は、例えば動詞、副詞又は形容詞が挙げられる。なお、第一特定情報1001、第二特定情報1002、第三特定情報1003それぞれの意味は上述の内容に限定される必要はなく、別の意味(別の品詞)を第一特定情報1001、第二特定情報1002、第三特定情報1003に与えても、これらから文の内容を把握可能な限り、本実施の形態は成立する。
例えば、主語が「七人の侍」、形容詞が「面白い」である場合には、図31に示すように、話題タイトル(第二形態素情報)820は、第一特定情報1001である形態素「七人の侍」と、第三特定情報1003である形態素「面白い」とから構成されることになる。なお、この話題タイトル820には第二特定情報1002に該当する形態素は含まれておらず、該当する形態素がないことを示すための記号「*」が第二特定情報1002として格納されている。
なお、この話題タイトル820(七人の侍;*;面白い)は、「七人の侍は面白い」の意味を有する。この話題タイトル820を構成する括弧内は、以下では左から第一特定情報1001、第二特定情報1002、第三特定情報1003の順番となっている。また、話題タイトル820のうち、第一から第三特定情報に含まれる形態素がない場合には、その部分については、「*」を示すことにする。
なお、上記話題タイトル820を構成する特定情報は、上記のような第一から第三特定情報のように三つに限定されるものではなく、例えば更に他の特定情報(第四特定情報、およびそれ以上)を有するようにしてもよい。
次に、回答文830について図32を参照して説明する。回答文830は、図32に示すように、本実施の形態では、利用者から発話された発話文のタイプに対応した回答をするために、陳述(D ; Declaration)、時間(T ; Time)、場所(L ; Location)、否定(N ; Negation)などのタイプ(回答種類)に分類されて、各タイプごとに用意されている。また肯定文は「A」とし、質問文は「Q」とする。
話題特定情報810のデータ構成例について、図33を参照して説明する。図33は、ある話題特定情報810「佐藤」に対応付けされた話題タイトル820,回答文830の具体例を示す。
話題特定情報810「佐藤」には、複数の話題タイトル(820)1−1、1−2、…が対応付けされている。それぞれの話題タイトル(820)1−1,1−2,…には回答文(830)1−1,1−2、…が対応付けされて記憶されている。回答文830は、回答種類840ごとに用意されている。
話題タイトル(820)1−1が(佐藤;*;好き){これは、「佐藤が好きです」に含まれる形態素を抽出したもの}である場合には、その話題タイトル(820)1-1に対応する回答文(830)1−1は、(DA;陳述肯定文「私も佐藤が好きです」)、(TA;時間肯定文「私は打席に立ったときの佐藤が好きです」)などが挙げられる。後述する回答取得部380は、入力種類判定部440の出力を参照しながらその話題タイトル820に対応付けられた一の回答文830を取得する。
各回答文には、当該回答文に対応するように、ユーザ発話に対して優先的に出力される回答文(「次回答文」とよぶ)を指定する情報である次プラン指定情報840が定められている。次プラン指定情報840は、次回答文を特定できる情報であれば、どのような情報であってもよく、たとえば、会話データベース500に格納されているすべての回答文から少なくとも一つの回答文を特定できる回答文ID、などである。
なお、本実施の形態においては、次プラン指定情報840は、回答文単位で次回答文を特定する情報(例えば、回答文ID)として説明するが、次プラン指定情報840は、話題タイトル820、話題特定情報810単位で、次回答文(この場合には、複数の回答文が次回答文として指定されるので、次回答文群とよぶ。ただし、実際に回答文として出力されるのは、この回答文群に含まれるいずれかの回答文となる)を特定する情報であってもかまわない。たとえば、話題タイトルID、話題特定情報IDを時プラン指定情報として使用しても本実施の形態は成立する。
[4.1.6.会話制御部]
ここで図25に戻り、会話制御部300の構成例を説明する。
会話制御部300は、回答処理部21内の各構成要素(音声認識部200,文解析部400、会話データベース500,出力部600,音声認識辞書記憶部700)間のデータの受け渡しを制御するとともに、ユーザ発話に応答する回答文の決定、出力を行う機能を有する。
会話制御部300は、本実施の形態では、図25に示すように、管理部310と、プラン会話処理部320と,談話空間会話制御処理部330と、CA会話処理部340とを有している。以下これらの構成要素について説明する。
[4.1.6.1.管理部]
管理部310は談話履歴を記憶し、且つ必要に応じて更新する機能を有する。管理部310は話題特定情報検索部350と、省略文補完部360と、話題検索部370と、回答取得部380からの要求に応じて、記憶している談話履歴の全部又は一部をこれら各部に渡す機能を有する。
[4.1.6.2.プラン会話処理部]
プラン会話処理部320は、プランを実行し、プランに従った会話をユーザとの間で成立させる機能を有する。「プラン」とは、予め定めた順番に従って予め定めた回答をユーザに提供することをいう。以下、プラン会話処理部320について説明する。
プラン会話処理部320は、ユーザ発話に応じて、予め定めた順番に従って予め定めた回答を出力する機能を有する。
図34は、プランを説明するための概念図である。図34に示すように、プラン空間1401には複数のプラン1、プラン2,プラン3、プラン4など様々なプラン1402があらかじめ準備されている。プラン空間1401とは、会話データベース500に格納された複数のプラン1402の集合をいう。回答処理部21は、装置起動時若しくは会話開始時にあらかじめ開始用に定められたプランを選択し、若しくは各ユーザ発話の内容に応じて、プラン空間1401の中から適宜いずれかのプラン1402を選択し、選択したプラン1402を用いてユーザ発話に対する回答文の出力を行う。
図35は、プラン1402の構成例を示す図である。プラン1402は、回答文1501と、これに関連づけられた次プラン指定情報1502を有している。次プラン指定情報1502は、当該プラン1402に含まれる回答文1501の次に、ユーザに出力する予定の回答文(次候補回答文と呼ぶ)を含むプラン1402を特定する情報である。この例では、プラン1は、プラン1実行時に回答処理部21が出力する回答文A(1501)と、この回答文A(1501)に関連づけられた次プラン指定情報1502とを有している。次プラン指定情報1502は、回答文A(1501)についての次候補回答文である回答文B(1501)を有するプラン1402を特定する情報「ID:002」である。同様に、回答文B(1501)についても、次プラン指定情報1502が定められており、回答文B(1501)が出力された場合に、次候補回答文を含むプラン2(1402)が指定される。このように、プラン1402は次プラン指定情報1502により連鎖的につながり、一連の連続した内容をユーザに出力するというプラン会話を実現する。すなわち、ユーザに伝えたい内容(説明文、案内文、アンケート、など)を複数の回答文に分割し、かつ各回答文の順番を予め定めてプランとして準備して置くことにより、ユーザの発話に応じてこれら回答文を順番にユーザに提供することが可能となる。なお、次プラン指定情報1502によって指定されたプラン1402に含まれる回答文1501は、直前の回答文の出力に応答するユーザ発話があれば、必ずしも直ちに出力される必要はなく、ユーザと回答処理部21との間で、当該プラントは別の話題についての会話を挟んだ後に、次プラン指定情報1502によって指定されたプラン1402に含まれる回答文1501が出力されることもあり得る。
なお、図35に示す回答文1501は、図33に示す回答文830の中のいずれか一の回答文文字列に対応し、また図35に示す次プラン指定情報1502は、図33に示す次プラン指定情報840に対応している。
なお、プラン1402のつながりは、図35に示すような一次元的配列に限られるものではない。図36は、図35とは別のつながり方を有するプラン1402の例を示す図である。図36に示す例では、プラン1(1402)は次候補回答文となる2つの回答文1501,すなわちプラン1402を指定できるよう、2つの次プラン指定情報1502を有している。ある回答文A(1501)を出力した場合の次候補回答文を有するプラン1402として、回答文B(1501)を有するプラン2(1402)、及び回答文C(1501)を有するプラン3(1402)の2つのプラン1402が定まるよう、次プラン指定情報1502が2つ設けられる。なお、回答文B、回答文Cは選択的・択一的であり、一方が出力された場合は他方は出力されず、当該プラン1(1402)は終了する。このように、プラン1402のつながりは一次元的順列の形態に限定されるものではなく、樹形図的な連結、網的な連結であってもかまわない。
なお、各プランがいくつの次候補回答文を有するかは限定されるものではない。また、話の終了となるプラン1402については、次プラン指定情報1502が存在しないこともあり得る。
図37に、ある一連のプラン1402の具体例を示す。この一連のプラン1402〜1402は、危機管理に関する情報をユーザに知らせるための4つの回答文1501〜1501に対応している。4つの回答文1501〜1501は全部で一つのまとまりのある話(説明文章)を構成する。各プラン1402〜1402はそれぞれ「1000−01」「1000−02」「1000−03」「1000−04」というIDデータ1702〜1702を有している。なお、IDデータ中のハイフン以下の番号は、出力の順番を示す情報である。また、各プラン1402〜1402はそれぞれ次プラン指定情報1502〜1502を有している。次プラン指定情報1502の内容は、「1000−0F」というデータであるが、このハイフン以下の番号「0F」は、次に出力する予定のプランは存在せず、当該回答文が一連の話(説明文章)の終わりであることを示す情報である。
この例では、ユーザ発話が「大地震が発生したときの危機管理を教えて」である場合に、プラン会話処理部320がこの一連のプランを実行開始する。すなわち、ユーザ発話「大地震が発生したときの危機管理を教えて」をプラン会話処理部320が受け付けると、プラン会話処理部320はプラン空間1401を検索して、ユーザ発話「大地震が発生したときの危機管理を教えて」に対応する回答文1501を有するプラン1402があるかどうかを調べる。この例では、「大地震が発生したときの危機管理を教えて」に対応するユーザ発話文字列1701が、プラン1402に対応するものとする。
プラン会話処理部320はプラン1402を発見すると、そのプラン1402に含まれる回答文1501を取得し、この回答文1501をユーザ発話に対する回答として出力するとともに、次プラン指定情報1502により次候補回答文を特定する。
つぎに、回答文1501の出力後に入力部100や音声認識部200などを介してユーザ発話を受け付けると、プラン会話処理部320は、プラン1402の実行を行う。すなわち、プラン会話処理部320は、次プラン指定情報1502により指定されたプラン1402の実行、すなわち2番目の回答文1501を出力するか否かを判定する。具体的には、プラン会話処理部320は当該回答文1501に対応づけられたユーザ発話文字列(用例文ともいう)1701、あるいは話題タイトル820(図37において図略)と、受け付けたユーザ発話とを比較し、これらが一致するか否かを判定する。一致する場合には、2番目の回答文1501を出力する。また、2番目の回答文1501を含むプラン1402には、次プラン指定情報1502が記述されているので、次候補回答文が特定される。
同様に、これ以降継続して成されるユーザ発話に応じて、プラン会話処理部320はプラン1402、プラン1402に順に移行して、3番目の回答文1501、4番目の回答文1501の出力を行うことができる。なお、4番目の回答文1501は最終回答文であり、4番目の回答文1501の出力が完了すると、プラン会話処理部320はプラン実行を終了する。
このように、プラン1402〜1402を次々と実行することにより、あらかじめ用意した会話内容を定めた順番通りにユーザに提供することが可能となる。
[1.1.6.3.談話空間会話制御処理部]
図25に戻り、会話制御部300の構成例の説明を続ける。
談話空間会話制御処理部330は、話題特定情報検索部350と、省略文補完部360と、話題検索部370と、回答取得部380とを有している。前記管理部310は、会話制御部300の全体を制御するものである。
「談話履歴」とは、ユーザと回答処理部21間の会話の話題や主題を特定する情報であって、談話履歴は後述する「着目話題特定情報」「着目話題タイトル」「利用者入力文話題特定情報」「回答文話題特定情報」の少なくともいずれか一つを含む情報である。また、談話履歴に含まれる「着目話題特定情報」「着目話題タイトル」「回答文話題特定情報」は直前の会話によって定められたものに限定されず、過去の所定期間の間に着目話題特定情報」「着目話題タイトル」「回答文話題特定情報」となったもの、若しくはそれらの累積的記録であってもよい。
以下、談話空間会話制御処理部330を構成するこれら各部について説明する。
[4.1.6.3.1.話題特定情報検索部]
話題特定情報検索部350は、形態素抽出部420で抽出された第一形態素情報と各話題特定情報とを照合し、各話題特定情報の中から、第一形態素情報を構成する形態素と一致する話題特定情報を検索するものである。具体的に、話題特定情報検索部350は、形態素抽出部420から入力された第一形態素情報が「佐藤」及び「好き」の二つの形態素で構成される場合には、入力された第一形態素情報と話題特定情報群とを照合する。
この照合をした話題特定情報検索部320は、着目話題タイトル820focus(前回までに検索された話題タイトル、他の話題タイトルと区別するため820focusと表記する)に第一形態素情報を構成する形態素(例えば「佐藤」)が含まれているときは、その着目話題タイトル820focusを回答取得部380に出力する。一方、着目話題タイトル820focusに第一形態素情報を構成する形態素が含まれていないときは、話題特定情報検索部350は、第一形態素情報に基づいて利用者入力文話題特定情報を決定し、入力された第一形態素情報及び利用者入力文話題特定情報を省略文補完部360に出力する。なお、「利用者入力文話題特定情報」は、第一形態素情報に含まれる形態素の内、利用者が話題としている内容に該当する形態素に相当する話題特定情報、若しくは第一形態素情報に含まれる形態素の内、利用者が話題としている内容に該当する可能性がある形態素に相当する話題特定情報をいう。
[4.1.6.3.2.省略文補完部]
省略文補完部360は、前記第一形態素情報を、前回までに検索された話題特定情報810(以下、「着目話題特定情報」と呼ぶ)及び前回の回答文に含まれる話題特定情報810(以下、「回答文話題特定情報」と呼ぶ)を利用して、補完することにより複数種類の補完された第一形態素情報を生成する。例えばユーザ発話が「好きだ」という文であった場合、省略文補完部360は、着目話題特定情報「佐藤」を、第一形態素情報「好き」に含めて、補完された第一形態素情報「佐藤、好き」を生成する。
すなわち、第一形態素情報を「W」、着目話題特定情報や回答文話題特定情報の集合を「D」とすると、省略文補完部360は、第一形態素情報「W」に集合「D」の要素を含めて、補完された第一形態素情報を生成する。
これにより、第一形態素情報を用いて構成される文が、省略文であって日本語として明解でない場合などにおいて、省略文補完部360は、集合「D」を用いて、その集合「D」の要素(例えば、"佐藤")を第一形態素情報「W」に含めることができる。この結果、省略文補完部360は、第一形態素情報「好き」を補完された第一形態素情報「佐藤、好き」にすることができる。なお、補完された第一形態素情報「佐藤、好き」は、「佐藤が好きだ」というユーザ発話に対応する。
すなわち、省略文補完部360は、利用者の発話内容が省略文である場合などであっても、集合「D」を用いて省略文を補完することができる。この結果、省略文補完部360は、第一形態素情報から構成される文が省略文であっても、その文が適正な日本語となるようにすることができる。
また、省略文補完部360が、前記集合「D」に基づいて、補完後の第一形態素情報に一致する話題タイトル820を検索する。補完後の第一形態素情報に一致する話題タイトル820を発見した場合は、省略文補完部360はこの話題タイトル820を回答取得部380に出力する。回答取得部380は、省略文補完部360で検索された適切な話題タイトル820に基づいて、利用者の発話内容に最も適した回答文830を出力することができる。
尚、省略文補完部360は、集合「D」の要素を第一形態素情報に含めるだけに限定されるものではない。この省略文補完部360は、着目話題タイトルに基づいて、その話題タイトルを構成する第一特定情報、第二特定情報又は第三特定情報のいずれかに含まれる形態素を、抽出された第一形態素情報に含めても良い。
[4.1.6.3.3.話題検索部]
話題検索部370は、省略文補完部360で話題タイトル810が決まらなかったとき、第一形態素情報と、利用者入力文話題特定情報に対応する各話題タイトル810とを照合し、各話題タイトル810の中から、第一形態素情報に最も適する話題タイトル810を検索するものである。
具体的に、省略文補完部360から検索命令信号が入力された話題検索部370は、入力された検索命令信号に含まれる利用者入力文話題特定情報及び第一形態素情報に基づいて、その利用者入力文話題特定情報に対応付けられた各話題タイトルの中から、その第一形態素情報に最も適した話題タイトル810を検索する。話題検索部370は、その検索した話題タイトル810を検索結果信号として回答取得部380に出力する。
先に掲げた図33は、ある話題特定情報810(=「佐藤」)に対応付けされた話題タイトル820,回答文830の具体例を示す。図33に示すように、例えば、話題検索部370は、入力された第一形態素情報「佐藤、好き」に話題特定情報810(=「佐藤」)が含まれるので、その話題特定情報810(=「佐藤」)を特定し、次に、その話題特定情報810(=「佐藤」)に対応付けられた各話題タイトル(820)1-1,1-2,…と入力された第一形態素情報「佐藤、好き」とを照合する。
話題検索部370は、その照合結果に基づいて、各話題タイトル(820)1-1〜1-2の中から、入力された第一形態素情報「佐藤、好き」と一致する話題タイトル(820)1-1(佐藤;*;好き)を特定する。話題検索部340は、検索した話題タイトル(820)1-1(佐藤;*;好き)を検索結果信号として回答取得部380に出力する。
[4.1.6.3.4.回答取得部]
回答取得部380は、省略文補完部360,或いは話題検索部370で検索された話題タイトル820に基づいて、その話題タイトル820に対応付けられた回答文830を取得する。また、回答取得部380は、話題検索部370で検索された話題タイトル820に基づいて、その話題タイトル820に対応付けられた各回答種類と、入力種類判定部440で判定された発話種類とを照合する。その照合をした回答取得部380は、各回答種類の中から、判定された発話種類と一致する回答種類を検索する。
図33に示す例においては、回答取得部350は、話題検索部370で検索された話題タイトルが話題タイトル1-1(佐藤;*;好き)である場合には、その話題タイトル1-1に対応付けられている回答文1-1(DA,TAなど)の中から、入力種類判定部440で判定された「発話文のタイプ」(例えばDA)と一致する回答種類(DA)を特定する。この回答種類(DA)を特定した回答取得部380は、特定した回答種類(DA)に基づいて、その回答種類(DA)に対応付けられた回答文1-1(「私も佐藤が好きです。」)を取得する。
ここで、上記"DA"、"TA"等のうち、"A"は、肯定形式を意味する。従って、発話種類及び回答種類に"A"が含まれているときは、ある事柄について肯定することを示している。また、発話種類及び回答種類には、"DQ"、"TQ"等の種類を含めることもできる。この"DQ"、"TQ"等のうち"Q"は、ある事柄についての質問を意味する。
回答種類が上記質問形式(Q)からなるときは、この回答種類に対応付けられる回答文は、肯定形式(A)で構成される。この肯定形式(A)で作成された回答文としては、質問事項に対して回答する文等が挙げられる。例えば、発話文が「あなたはスロットマシンを操作したことがありますか?」である場合には、この発話文についての発話種類は、質問形式(Q)となる。この質問形式(Q)に対応付けられる回答文は、例えば「私はスロットマシンを操作したことがあります」(肯定形式(A))が挙げられる。
一方、発話種類が肯定形式(A)からなるときは、この回答種類に対応付けられる回答文は、質問形式(Q)で構成される。この質問形式(Q)で作成された回答文としては、発話内容に対して聞き返す質問文、又は特定の事柄を聞き出す質問文等が挙げられる。例えば、発話文が「私はスロットマシンで遊ぶのが趣味です」である場合には、この発話文についての発話種類は、肯定形式(A)となる。この肯定形式(A)に対応付けられる回答文は、例えば"パチンコで遊ぶのは趣味ではないのですか?"(特定の事柄を聞き出す質問文(Q))が挙げられる。
回答取得部380は、取得した回答文830を回答文信号として管理部310に出力する。回答取得部350から回答文信号が入力された管理部310は、入力された回答文信号を出力部600に出力する。
[4.1.6.4.CA会話処理部]
CA会話処理部340は、ユーザ発話に対して、プラン会話処理部320および談話空間会話制御処理部330のいずれにおいても回答文が決定しない場合に、ユーザ発話の内容に応じて、ユーザとの会話を継続できるような回答文を出力する機能を有する。
以上で回答処理部21の構成例の説明を終了する。
[4.2.会話制御方法]
上記構成を有する回答処理部21は、以下のように動作することにより会話制御方法を実行する。本実施の形態にかかる回答処理部21,より詳しくは会話制御部300の動作について説明する。
図38は、会話制御部300のメイン処理の一例を示すフローチャートである。このメイン処理は、会話制御部300がユーザ発話を受け付けるごとに実行される処理であり、このメイン処理が行われることによりユーザ発話に対する回答文の出力が行われ、会話装置10と会話サーバ20(回答処理部21)間の会話(対話)が成立する。
メイン処理にはいると、会話制御部300、より詳しくはプラン会話処理部320はまずプラン会話制御処理(S1801)を実行する。プラン会話制御処理は、プランを実行する処理である。
図39、図40はプラン会話制御処理の一例を示すフローチャートである。以下に図39、図40を参照しながら、プラン会話制御処理の例について説明する。
プラン会話制御処理を開始すると、プラン会話処理部320はまず、基本制御状態情報チェックを行う(S1901)。基本制御状態情報は、プラン1402の実行の完了の有無が、基本制御状態情報として所定の記憶領域に格納される。
基本制御状態情報は、プランの基本制御状態を記述する役割を有する。
図41は、シナリオと呼ばれるタイプのプランについて生じうる4つの基本制御状態を示す図である。以下、それぞれの状態について説明する。
(1)結束
この基本制御状態は、ユーザ発話が実行中のプラン1402、より詳しくはプラン1402に対応する話題タイトル820や用例文1701に一致する場合である。この場合は、プラン会話処理部320は当該プラン1402を終了し、次プラン指定情報1502にて指定された回答文1501に対応するプラン1402に移行する。
(2)破棄
この基本制御状態は、ユーザ発話内容がプラン1402の終了を要求していると判断される場合、またはユーザの関心が実行中のプラン以外の事項に移ったと判定される場合に、設定される基本制御状態である。基本制御状態情報が破棄を示している場合は、プラン会話処理部320は、破棄の対象となったプラン1402以外にユーザ発話に対応するプラン1402がないかどうかを検索し、存在する場合にはそのプラン1402の実行を開始し、存在しない場合には、プランの実行を終了する。
(3)維持
この基本制御状態は、ユーザ発話が、実行中のプラン1402に対応するに対応する話題タイトル820(図33参照)や用例文1701(図37参照)に該当しない場合であって、かつユーザ発話が基本制御状態「破棄」に該当するものではないと判断される場合に、基本制御状態情報に記述される基本制御状態である。
この基本制御状態である場合には、プラン会話処理部320は、ユーザ発話を受け付けると、まず保留・中止しているプラン1402を再開するか否かを検討し、ユーザ発話がプラン1402再開に適さない場合、例えばユーザ発話がプラン1402に対応する話題タイトル802や用例文1702に対応しない場合は、他のプラン1402の実行を開始したり、或いは後述の談話空間会話制御処理(S1902)などをおこなう。ユーザ発話がプラン1402再開に適している場合は、記憶している次プラン指定情報1502に基づいて、回答文1501の出力を行う。
基本制御状態が「維持」である場合は、プラン会話処理部320は、当該プラン1402に対応する回答文1501以外の回答を出力できるように、他のプラン1402を検索し、あるいは後述の談話空間会話制御処理などをおこなうが、ユーザ発話が再びプラン1402に関するものとなった場合は、そのプラン1402の実行を再開する。
(4)継続
この状態は、ユーザ発話が、実行中のプラン1402に含まれる回答文1501に対応しない場合であって、かつユーザ発話内容が基本制御状態「破棄」に該当するものではないと判断され、かつユーザ発話から解釈されるユーザの意図が明瞭でない場合に、設定される基本制御状態である。
基本制御状態が「継続」である場合は、プラン会話処理部320は、ユーザ発話を受け付けるとまず保留・中止しているプラン1402を再開するか否かを検討し、ユーザ発話がプラン1402再開に適さない場合は、ユーザからさらなる発話を引き出すための回答文を出力できるように、後述のCA会話制御処理などをおこなう。
図39に戻り、プラン会話制御処理の説明を続ける。
基本制御状態情報を参照したプラン会話処理部320は、基本制御状態情報が示す基本制御状態が「結束」であるか否かを判定する(S1902)。基本制御状態が「結束」であると判定した場合(S1902、Yes)は、プラン会話処理部320は、基本制御状態情報が示す実行中のプラン1402において、回答文1501が最終回答文であるかどうかを判定する(S1903)。
最終回答文1501が出力済みであると判定した場合(S1903、Yes)、プラン会話処理部320は、すでにそのプラン1402においてユーザに回答すべき内容をすべて伝え終えているので、新たな別のプラン1402を開始するかいなかを判定するため、プラン空間内にユーザ発話に対応するプラン1402が存在するか検索を行う(S1904)。この検索の結果ユーザ発話に対応するプラン1402が発見できなかった場合(S1905、No)、ユーザに提供すべきプラン1402は存在していないので、プラン会話処理部320はそのままプラン会話制御処理終了する。
一方、この検索の結果、ユーザ発話に対応するプラン1402を発見した場合(S1905、Yes)、プラン会話処理部320は当該プラン1402に移行する(S1906)。これは、ユーザに提供すべきプラン1402が存在しているため、当該プラン1402の実行(プラン1402に含まれる回答文1501の出力)を開始するためである。
次に、プラン会話処理部320は当該プラン1402の回答文1501を出力する(S1908)。出力された回答文1501は、ユーザ発話に対する回答となり、プラン会話処理部320はユーザに伝えたい情報を提供することとなる。
回答文出力処理(S1908)後、プラン会話処理部320はプラン会話制御処理を終了する。
一方、先に出力した回答文1501が最終の回答文1501であるか否かの判定(S1903)において、先に出力した回答文1501が最終の回答文1501でない場合(S1903,No)は、プラン会話処理部320は、先に出力した回答文1501に続く回答文1501、すなわち次プラン指定情報1502により特定されている回答文1501に対応するプラン1402に移行する(S1907)。
この後、プラン会話処理部320は該当するプラン1402に含まれる回答文1501を出力し、ユーザ発話に対する回答を行う(S1908)。出力された回答文1501は、ユーザ発話に対する回答となり、プラン会話処理部320はユーザに伝えたい情報を提供することとなる。回答文出力処理(S1908)後、プラン会話処理部320はプラン会話制御処理を終了する。
さて、S1902の判定処理において、基本制御状態情報が「結束」でない場合(S1902,No)は、プラン会話処理部320は基本制御状態情報が示す基本制御状態が「破棄」であるか否かを判定する(S1909)。基本制御状態が「破棄」であると判定した場合(S1909、Yes)は、継続すべきプラン1402が存在していないため、プラン会話処理部320は、開始すべき新たな別のプラン1402が存在するか判定べく、プラン空間1401内にユーザ発話に対応するプラン1402が存在するか検索を行う(S1904)。この後、先に述べたS1903(Yes)における処理と同様に、S1905からS1908までの処理をプラン会話処理部320は実行する。
一方、基本制御状態情報が示す基本制御状態が「破棄」であるか否かの判定(S1909)において、基本制御状態が「破棄」でないと判定した場合(S1909,No)は、プラン会話処理部320は、基本制御状態情報が示す基本制御状態が「維持」であるか否かの判定(S1910)をさらに行う。
基本制御状態情報が示す基本制御状態が「維持」である場合(S1910、Yes)には、プラン会話処理部320は、保留・停止しているプラン1402についてユーザが再び関心を示したか否かを調べ、関心を示した場合には、一時保留・停止しているプラン1402を再開するように動作する。すなわち、プラン会話処理部320は、保留・停止中のプラン1402を検査(図40;S2001)し、ユーザ発話が保留・停止中の当該プラン1402が対応するか否かを判定する(S2002)。
ユーザ発話が当該プラン1402に対応すると判定された場合(S2002、Yes)は、プラン会話処理部320はそのユーザ発話に対応するプラン1402に移行し(S2003)、その後、そのプラン1402に含まれる回答文1501を出力するように、回答文出力処理(図39;S1908)を実行する。このように動作することにより、プラン会話処理部320は、保留・中断していたプラン1402を、ユーザ発話に応じて、再開することが可能となり、あらかじめ用意していたプラン1402に含まれる内容をすべてユーザに伝達することが可能となる。
一方、先のS2002(図40参照)において、保留・停止中のプラン1402がユーザ発話に対応しないと判定された場合(S2002、No)は、プラン会話処理部320は、開始すべき新たな別のプラン1402が存在するか判定すべく、プラン空間1401内にユーザ発話に対応するプラン1402が存在するか検索を行う(図39;S1904)。この後、先に述べたS1903(Yes)における処理と同様に、S1905からS1909までの処理をプラン会話処理部320は実行する。
さて、S1910の判定において、基本制御状態情報が示す基本制御状態が「維持」でない場合(S1910、No)は、基本制御状態情報が示す基本制御状態が「継続」であることを意味する。この場合には、プラン会話処理部320は、回答文の出力を行うことなく、プラン会話制御処理を終了する。
以上で、プラン会話制御処理の説明を終了する。
図38に戻り、メイン処理の説明を続ける。
プラン会話制御処理(S1801)を終了すると、会話制御部300は談話空間会話制御処理を開始する(S1802)。ただし、プラン会話制御処理(S1801)において回答文出力を行った場合は、会話制御部300は談話空間会話制御処理(S1802)、および後に説明するCA会話制御処理(S1803)のいずれも行わず、基本制御情報更新処理(S1904)を行ってメイン処理を終了する。
図42は、本実施の形態に係る談話空間会話制御処理の一例を示すフローチャートである。
先ず、入力部100が、利用者からの発話内容を取得するステップを行う(ステップS2201)。具体的には、入力部100は、利用者の発話内容を構成する音声を取得する。入力部100は、取得した音声を音声信号として音声認識部200に出力する。なお、入力部100は、利用者からの音声ではなく、利用者から入力された文字列(例えば、テキスト形式で入力された文字データ)を取得してもよい。この場合、入力部100はマイクではなく、キーボードやタッチパネルなどの文字入力装置となる。
次いで、音声認識部200が、入力部100で取得した発話内容に基づいて、発話内容に対応する文字列を特定するステップを行う(ステップS2202)。具体的には、入力部100から音声信号が入力された音声認識部200は、入力された音声信号に基づいて、その音声信号に対応する単語仮説(候補)を特定する。音声認識部200は、特定した単語仮説(候補)に対応付けられた文字列を取得し、取得した文字列を文字列信号として会話制御部300、より詳しくは談話空間会話制御部330に出力する。
そして、文字列特定部410が、音声認識部200で特定された一連の文字列を一文毎に区切るステップを行う(ステップS2203)。具体的には、管理部310から文字列信号(あるいは形態素信号)が入力された文字列特定部410は、その入力された一連の文字列の中に、ある一定以上の時間間隔があるときは、その部分で文字列を区切る。文字列特定部410は、その区切った各文字列を形態素抽出部420及び入力種類判定部440に出力する。なお、文字列特定部410は、入力された文字列がキーボードから入力された文字列である場合には、句読点又はスペース等のある部分で文字列を区切るのが好ましい。
その後、形態素抽出部420が、文字列特定部410で特定された文字列に基づいて、文字列の最小単位を構成する各形態素を第一形態素情報として抽出するステップを行う(ステップS2204)。具体的に、文字列特定部410から文字列が入力された形態素抽出部420は、入力された文字列と、形態素データベース430に予め格納されている形態素群とを照合する。なお、その形態素群は、本実施の形態では、それぞれの品詞分類に属する各形態素について、その形態素の見出し語・読み・品詞・活用形などを記述した形態素辞書として準備されている。
この照合をした形態素抽出部420は、入力された文字列の中から、予め記憶された形態素群に含まれる各形態素と一致する各形態素(m1、m2、…)を抽出する。形態素抽出部420は、抽出した各形態素を第一形態素情報として話題特定情報検索部350に出力する。
次いで、入力種類判定部440が、文字列特定部410で特定された一文を構成する各形態素に基づいて、「発話文のタイプ」を判定するステップを行う(ステップS2205)。具体的には、文字列特定部410から文字列が入力された入力種類判定部440は、入力された文字列に基づいて、その文字列と発話種類データベース450に格納されている各辞書とを照合し、その文字列の中から、各辞書に関係する要素を抽出する。この要素を抽出した入力種類判定部440は、抽出した要素に基づいて、その要素がどの「発話文のタイプ」に属するのかを判定する。入力種類判定部440は、判定した「発話文のタイプ」(発話種類)を回答取得部380に出力する。
そして、話題特定情報検索部350が、形態素抽出部420で抽出された第一形態素情報と着目話題タイトル820focusとを比較するステップを行う(ステップS2206)。
第一形態素情報を構成する形態素と着目話題タイトル820focusとが一致する場合、話題特定情報検索部350は、その話題タイトル820を回答取得部380に出力する。一方、話題特定情報検索部350は、第一形態素情報を構成する形態素と話題タイトル820とが一致しなかった場合には、入力された第一形態素情報及び利用者入力文話題特定情報を検索命令信号として省略文補完部360に出力する。
その後、省略文補完部360が、話題特定情報検索部350から入力された第一形態素情報に基づいて、着目話題特定情報及び回答文話題特定情報を、入力された第一形態素情報に含めるステップを行う(ステップS2207)。具体的には、第一形態素情報を「W」、着目話題特定情報及び回答文話題特定情報の集合を「D」とすると、省略文補完部360は、第一形態素情報「W」に話題特定情報「D」の要素を含めて、補完された第一形態素情報を生成し、この補完された第一形態素情報と集合「D」に関連づけされたすべての話題タイトル820とを照合し、補完された第一形態素情報と一致する話題タイトル820があるか検索する。補完された第一形態素情報と一致する話題タイトル820がある場合は、省略文補完部360は、その話題タイトル820を回答取得部380に出力する。一方、補完された第一形態素情報と一致する話題タイトル820を発見しなかった場合は、省略文補完部360は、第一形態素情報と利用者入力文話題特定情報とを話題検索部370に渡す。
次いで、話題検索部370は、第一形態素情報と、利用者入力文話題特定情報とを照合し、各話題タイトル820の中から、第一形態素情報に適した話題タイトル820を検索するステップを行う(ステップS2208)。具体的には、省略文補完部360から検索命令信号が入力された話題検索部370は、入力された検索命令信号に含まれる利用者入力文話題特定情報及び第一形態素情報に基づいて、その利用者入力文話題特定情報に対応付けられた各話題タイトル820の中から、その第一形態素情報に適した話題タイトル820を検索する。話題検索部370は、その検索の結果得られた話題タイトル820を検索結果信号として回答取得部380に出力する。
次いで、回答取得部380が、話題特定情報検索部350、省略文補完部360,あるいは話題検索部370で検索された話題タイトル820に基づいて、文解析部400により判定された利用者の発話種類と、話題タイトル820に対応付けられた各回答種類とを照合し、回答文830の選択を行う(ステップS2209)。
具体的には、以下のようにして回答文830の選択が行われる。すなわち、話題検索部370から検索結果信号と、入力種類判定部440から「発話文のタイプ」とが入力された回答取得部380は、入力された検索結果信号に対応する「話題タイトル」と、入力された「発話文のタイプ」とに基づいて、その「話題タイトル」に対応付けられている回答種類群の中から、「発話文のタイプ」(DAなど)と一致する回答種類を特定する。
続いて、回答取得部380は、管理部310を介して、ステップS2209において取得した回答文830を出力部600に出力する(ステップS2210)。管理部310から回答文を受け取った出力部600は、入力された回答文830を出力する。
以上で、談話空間会話制御処理の説明を終了し、図38に戻りメイン処理の説明を再開する。
会話制御部300は談話空間会話制御処理を終了すると、CA会話制御処理を実行する(S1803)。ただし、プラン会話制御処理(S1801)および談話空間会話制御処理(S1801)において回答文出力を行った場合は、会話制御部300はCA会話制御処理(S1803)を行わず、基本制御情報更新処理(S1804)を行ってメイン処理を終了する。
CA会話制御処理(S1803)は、ユーザ発話が、「何かを説明している」のか、「何かを確認している」のか、「非難や攻撃をしている」のか、「これら以外」なのかを判定し、ユーザ発話の内容および判定結果に応じた回答文を出力する処理である。このCA会話制御処理を行うことにより、プラン会話制御処理、および談話空間会話制御処理のいずれにおいても、ユーザ発話に適した回答文が出力できなくとも、ユーザとの会話の流れをとぎれさせることなく継続できるような、いわば「つなぎ」の回答文を出力することが可能となる。
つぎに、会話制御部300は基本制御情報更新処理を行う(S1804)。この処理において、会話制御部300,より詳しくは管理部310は、プラン会話処理部320が回答文出力を行った場合は基本制御情報を「結束」に設定し、プラン会話処理部320が回答文出力を停止した場合は基本制御情報を「破棄」に設定し、談話空間会話制御処理部330が回答文出力を行った場合は基本制御情報を「維持」に設定し、CA会話処理部340が回答文出力を行った場合は基本制御情報を「継続」に設定する。
この基本制御情報更新処理で設定された基本制御情報は、前述のプラン会話制御処理(S1801)において参照され、プランの継続や再開に利用される。
以上、メイン処理をユーザ発話を受け付けるごとに実行することにより、回答処理部21は、ユーザ発話に応じて、予め用意したプランを実行できるとともに、プランに含まれない話題についても適宜応答することができる。
自動会話システムの構成例を示すブロック図 会話装置の一構成例を示すブロック図 音声認識部一構成例を示すブロック図 会話サーバの一構成例を示すブロック図 会話シナリオ編集装置の一構成例を示すブロック図 談話の圏に相当する会話シナリオの例を示す状態遷移図 図5の会話シナリオをデータとして表現した例を示す図 射の合成を含む会話シナリオの例を示した状態遷移図 図7の会話シナリオをデータとして表現した例を示す図 NULL機能による強制回答を行う会話シナリオの例を示した状態遷移図 図9の会話シナリオをデータとして表現した例を示す図 引用機能により、ユーザ発話に対して「固執回答」をする会話シナリオの例を示す状態遷移図 図11の会話シナリオをデータとして表現した例を示す図 「合成により構成された単位元」により「閉ループ回答」が構築された会話シナリオの例を示した状態遷移図 図13の会話シナリオをデータとして表現した例を示す図 射の合成に結合法則が成り立つ会話シナリオの例の状態遷移図 図15の会話シナリオをデータとして表現した例を示す図 会話シナリオ編集装置の編集画面例を示す図 会話シナリオ保持部のデータ構成例を示す図 会話シナリオ編集装置による会話シナリオデータ生成のための入力画面例を示す図 図19に続く、会話シナリオ編集装置による会話シナリオデータ生成のための入力画面例を示す図 図20に続く、会話シナリオ編集装置による会話シナリオデータ生成のための入力画面例を示す図 図21に続く、会話シナリオ編集装置による会話シナリオデータ生成のための入力画面例を示す図 図22に続く、会話シナリオ編集装置による会話シナリオデータ生成のための入力画面例を示す図 会話シナリオ編集装置の変形構成例を示す機能ブロック図 回答処理部の機能ブロック図 文字列とこの文字列から抽出される形態素との関係を示す図 「発話文のタイプ」と、その発話文のタイプを表す二文字のアルファベット、及びその発話文のタイプに該当する発話文の例を示す図 文のタイプとそのタイプを判定するための辞書の関係を示す図 会話データベースが記憶するデータのデータ構成の一例を示す概念図 ある話題特定情報と他の話題特定情報との関連付けを示す図 話題タイトル(「第二形態素情報」ともいう)のデータ構成例を示す図 回答文のデータ構成例を説明するための図 ある話題特定情報に対応付けされた話題タイトル,回答文、次プラン指定情報の具体例を示す図 プラン空間を説明するための概念図 プランの例を示す図 別のプランの例を示す図 プラン会話処理の具体例を示す図 会話制御部のメイン処理の一例を示すフローチャート プラン会話制御処理の一例を示すフローチャート 図39に続く、プラン会話制御処理の一例を示すフローチャート 基本制御状態を示す図 談話空間会話制御処理の一例を示すフローチャート
符号の説明
1 … 自動会話装置
10 … 会話装置
20 … 会話サーバ
30 … 会話シナリオ編集装置
40 … 会話シナリオ

Claims (4)

  1. ユーザ発話を音声認識することにより入力文を生成し、この入力文に応じた回答文を会話サーバに要求する会話装置と、前記会話装置から回答文を要求された場合、会話シナリオに基づいて回答文を決定し、この回答文を前記会話装置に送信し、回答文をユーザに出力させる会話サーバとを有する自動会話システムのために、前記会話シナリオを用いる会話シナリオ編集装置であって、
    前記入力文と前記回答文とを有する前記会話シナリオを生成する編集手段と、
    前記編集手段により生成された前記会話シナリオを示すデータを前記会話サーバに送信する会話シナリオ送信手段と、
    前記会話シナリオに基づいて、前記会話装置が音声認識を行う場合に使用する言語モデルを生成する言語モデル生成手段と
    を有し、
    前記回答文には、該回答文のIDデータ、及び、該回答文の次にユーザに出力される可能性のある回答文を特定するための次プラン指定情報が関連づけられており、前記次プラン指定情報は、前記次にユーザに出力される可能性のある回答文のIDデータを示す情報であり、
    前記会話サーバは、1の回答文をユーザに出力した後、さらに、前記会話装置から入力文に応じた回答文を要求された場合、該入力文と、前記1の回答文に関連づけられた次プラン指定情報によって特定される回答文とに基づいて、前記1の回答文とは異なる回答文をユーザに出力し、
    前記編集手段は、所定の回答文が出力された後特定の入力文が入力された場合に出力される回答文として特定の回答文が設定され、前記所定の回答文が出力された後前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文及び前記特定の回答文とは異なる1の回答文が設定され、前記所定の回答文及び前記特定の回答文とは異なる1の回答文が出力された後前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文が設定された会話シナリオを生成し、
    前記所定の回答文は、1個の回答文からなり、前記特定の入力文は、N個(Nは2以上の整数)の入力文からなり、前記特定の回答文は、前記N個の入力文に対応するN個の回答文からなり、前記所定の回答文及び前記特定の回答文とは異なる1の回答文は、前記N個の入力文に対応する第1の回答文〜第Nの回答文のいずれかであり、
    前記編集手段は、
    前記所定の回答文が出力された後前記N個の入力文のいずれもが入力されなかった場合に出力される回答文として前記第1の回答文が設定され、前記第K(Kは、1〜N−1の整数)の回答文が出力された後該第Kの回答文に対応する前記特定の入力文が入力されなかった場合に出力される回答文として前記第(K+1)の回答文が設定され、前記第Nの回答文が出力された後該第Nの回答文に対応する前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文が設定された会話シナリオを生成することを特徴とする会話シナリオ編集装置。
  2. ユーザ発話を音声認識することにより入力文を生成し、この入力文に応じた回答文を会話サーバに要求する会話装置と、
    前記会話装置から回答文を要求された場合、会話シナリオに基づいて回答文を決定し、この回答文を前記会話装置に送信し、回答文をユーザに出力させる会話サーバと、
    前記会話シナリオに基づいて、前記会話装置が音声認識を行う場合に使用する言語モデルを生成する言語モデル生成手段を有する会話シナリオ編集装置と
    を有し、
    前記会話シナリオ編集装置は、さらに、
    前記入力文と前記回答文とを有する前記会話シナリオを生成する編集手段と、
    前記編集手段により生成された前記会話シナリオを示すデータを前記会話サーバに送信する会話シナリオ送信手段とを有し、
    前記回答文には、該回答文のIDデータ、及び、該回答文の次にユーザに出力される可能性のある回答文を特定するための次プラン指定情報が関連づけられており、前記次プラン指定情報は、前記次にユーザに出力される可能性のある回答文のIDデータを示す情報であり、
    前記会話サーバは、1の回答文をユーザに出力した後、さらに、前記会話装置から入力文に応じた回答文を要求された場合、該入力文と、前記1の回答文に関連づけられた次プラン指定情報によって特定される回答文とに基づいて、前記1の回答文とは異なる回答文をユーザに出力し、
    前記編集手段は、所定の回答文が出力された後特定の入力文が入力された場合に出力される回答文として特定の回答文が設定され、前記所定の回答文が出力された後前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文及び前記特定の回答文とは異なる1の回答文が設定され、前記所定の回答文及び前記特定の回答文とは異なる1の回答文が出力された後前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文が設定された会話シナリオを生成し、
    前記所定の回答文は、1個の回答文からなり、前記特定の入力文は、N個(Nは2以上の整数)の入力文からなり、前記特定の回答文は、前記N個の入力文に対応するN個の回答文からなり、前記所定の回答文及び前記特定の回答文とは異なる1の回答文は、前記N個の入力文に対応する第1の回答文〜第Nの回答文のいずれかであり、
    前記編集手段は、
    前記所定の回答文が出力された後前記N個の入力文のいずれもが入力されなかった場合に出力される回答文として前記第1の回答文が設定され、前記第K(Kは、1〜N−1の整数)の回答文が出力された後該第Kの回答文に対応する前記特定の入力文が入力されなかった場合に出力される回答文として前記第(K+1)の回答文が設定され、前記第Nの回答文が出力された後該第Nの回答文に対応する前記特定の入力文が入力されなかった場合に出力される回答文として前記所定の回答文が設定された会話シナリオを生成し、
    前記会話シナリオは、複数のドメインからなり、各ドメインは、それぞれ1の会話テーマに対応した入力文及び回答文を有し、
    前記会話サーバは、入力文に応じた回答文を前記会話装置から要求された場合、該入力文を有するドメインを選択するとともに、該ドメインに含まれる回答文を探索することにより該入力文に応じた回答文を出力し、
    前記所定の回答文が出力された後前記N個の入力文のいずれかが入力された場合、該入力された入力文に対応する前記特定の回答文を出力する一方、前記所定の回答文が出力された後、前記N個の入力文のいずれとも異なる入力文が入力された場合、又は、所定期間が経過した場合、前記第1の回答文を出力し、
    前記第K(Kは、1〜N−1の整数)の回答文が出力された後、該第Kの回答文に対応する前記特定の入力文が入力されなかった場合、又は、所定期間が経過した場合、前記第(K+1)の回答文を出力し、
    前記第Nの回答文が出力された後、該第Nの回答文に対応する前記特定の入力文が入力されなかった場合、又は、所定期間が経過した場合、前記所定の回答文を再度出力することを特徴とする自動会話システム。
  3. 前記会話サーバは、前記会話装置に行わせる動作を記述した動作制御情報を前記会話装置に送信し、前記会話装置は前記動作制御情報に基づいて、回答文の出力とともに動作を実行する、ことを特徴とする請求項に記載の自動会話システム。
  4. 前記会話装置は、前記動作制御情報によって動作を制御される端末装置であることを特徴とする、請求項に記載の自動会話システム。
JP2008212191A 2008-08-20 2008-08-20 自動会話システム、並びに会話シナリオ編集装置 Expired - Fee Related JP5149737B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008212191A JP5149737B2 (ja) 2008-08-20 2008-08-20 自動会話システム、並びに会話シナリオ編集装置
US12/542,311 US8935163B2 (en) 2008-08-20 2009-08-17 Automatic conversation system and conversation scenario editing device
EP09010660.0A EP2157570B1 (en) 2008-08-20 2009-08-19 Automatic conversation system and conversation scenario editing device
CN2009101670565A CN101656799B (zh) 2008-08-20 2009-08-19 自动会话系统以及会话情节编辑装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008212191A JP5149737B2 (ja) 2008-08-20 2008-08-20 自動会話システム、並びに会話シナリオ編集装置

Publications (2)

Publication Number Publication Date
JP2010048980A JP2010048980A (ja) 2010-03-04
JP5149737B2 true JP5149737B2 (ja) 2013-02-20

Family

ID=41319846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008212191A Expired - Fee Related JP5149737B2 (ja) 2008-08-20 2008-08-20 自動会話システム、並びに会話シナリオ編集装置

Country Status (4)

Country Link
US (1) US8935163B2 (ja)
EP (1) EP2157570B1 (ja)
JP (1) JP5149737B2 (ja)
CN (1) CN101656799B (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374859B2 (en) * 2008-08-20 2013-02-12 Universal Entertainment Corporation Automatic answering device, automatic answering system, conversation scenario editing device, conversation server, and automatic answering method
JP6179509B2 (ja) * 2012-05-17 2017-08-16 日本電気株式会社 言語モデル生成装置、音声認識装置、言語モデル生成方法およびプログラム記憶媒体
US10223636B2 (en) * 2012-07-25 2019-03-05 Pullstring, Inc. Artificial intelligence script tool
US8972324B2 (en) 2012-07-25 2015-03-03 Toytalk, Inc. Systems and methods for artificial intelligence script modification
KR101909141B1 (ko) 2012-07-27 2018-10-17 엘지전자 주식회사 전자기기 및 전자기기의 제어방법
CN103177519B (zh) * 2013-02-22 2015-03-25 秦方 具有房门报警和即时声音回应功能的远程监控方法
CN103297503B (zh) * 2013-05-08 2016-08-17 南京邮电大学 基于分层次信息提取服务器的移动终端群智感知系统
US10152972B1 (en) * 2013-05-15 2018-12-11 Allscripts Software, Llc Conversational agent
CN103578464B (zh) * 2013-10-18 2017-01-11 威盛电子股份有限公司 语言模型的建立方法、语音辨识方法及电子装置
JP5996603B2 (ja) * 2013-10-31 2016-09-21 シャープ株式会社 サーバ、発話制御方法、発話装置、発話システムおよびプログラム
CN104834651B (zh) * 2014-02-12 2020-06-05 北京京东尚科信息技术有限公司 一种提供高频问题回答的方法和装置
KR102193559B1 (ko) * 2014-02-18 2020-12-22 삼성전자주식회사 대화형 서버 및 이의 제어 방법
US9437189B2 (en) * 2014-05-29 2016-09-06 Google Inc. Generating language models
JP6390264B2 (ja) 2014-08-21 2018-09-19 トヨタ自動車株式会社 応答生成方法、応答生成装置及び応答生成プログラム
KR20160056548A (ko) 2014-11-12 2016-05-20 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
JP6440483B2 (ja) * 2014-12-17 2018-12-19 シャープ株式会社 通信システム、サーバ装置、ロボット、情報処理方法、およびプログラム
JP6589514B2 (ja) * 2015-09-28 2019-10-16 株式会社デンソー 対話装置及び対話制御方法
US10311862B2 (en) 2015-12-23 2019-06-04 Rovi Guides, Inc. Systems and methods for conversations with devices about media using interruptions and changes of subjects
WO2018066258A1 (ja) * 2016-10-06 2018-04-12 シャープ株式会社 対話装置、対話装置の制御方法、および制御プログラム
RU2711104C2 (ru) 2017-12-27 2020-01-15 Общество С Ограниченной Ответственностью "Яндекс" Способ и компьютерное устройство для определения намерения, связанного с запросом для создания зависящего от намерения ответа
USD877121S1 (en) 2017-12-27 2020-03-03 Yandex Europe Ag Speaker device
RU2707149C2 (ru) 2017-12-27 2019-11-22 Общество С Ограниченной Ответственностью "Яндекс" Устройство и способ модифицирования вывода аудиосигнала устройства
RU2693332C1 (ru) 2017-12-29 2019-07-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и компьютерное устройство для выбора текущего зависящего от контекста ответа для текущего пользовательского запроса
CN110019736B (zh) * 2017-12-29 2021-10-01 北京京东尚科信息技术有限公司 基于语言模型的问答匹配方法、系统、设备及存储介质
JP7060985B2 (ja) * 2018-03-14 2022-04-27 株式会社日立製作所 シナリオ作成支援システム及びシナリオ作成支援方法
EP3576084B1 (de) * 2018-05-29 2020-09-30 Christoph Neumann Effiziente dialoggestaltung
US20190392926A1 (en) * 2018-06-22 2019-12-26 5 Health Inc. Methods and systems for providing and organizing medical information
USD931294S1 (en) 2018-06-22 2021-09-21 5 Health Inc. Display screen or portion thereof with a graphical user interface
JP2020154269A (ja) * 2019-03-22 2020-09-24 株式会社日立ビルシステム 複数人対話システムおよび複数人対話方法
CN111831795B (zh) * 2019-04-11 2023-10-27 北京猎户星空科技有限公司 多轮对话处理方法、装置、电子设备及存储介质
CN110096191B (zh) * 2019-04-24 2021-06-29 北京百度网讯科技有限公司 一种人机对话方法、装置及电子设备
EP3965101A4 (en) * 2019-05-31 2022-06-29 Huawei Technologies Co., Ltd. Speech recognition method, apparatus and device, and computer-readable storage medium
CN110347792B (zh) * 2019-06-25 2022-12-20 腾讯科技(深圳)有限公司 对话生成方法及装置、存储介质、电子设备
CN110377716B (zh) 2019-07-23 2022-07-12 百度在线网络技术(北京)有限公司 对话的交互方法、装置及计算机可读存储介质
USD947152S1 (en) 2019-09-10 2022-03-29 Yandex Europe Ag Speaker device
US11594224B2 (en) 2019-12-04 2023-02-28 Samsung Electronics Co., Ltd. Voice user interface for intervening in conversation of at least one user by adjusting two different thresholds
CN110827821B (zh) * 2019-12-04 2022-04-12 三星电子(中国)研发中心 一种语音交互装置、方法和计算机可读存储介质
JP2021149267A (ja) * 2020-03-17 2021-09-27 東芝テック株式会社 情報処理装置、情報処理システム及びその制御プログラム
CN111611368B (zh) * 2020-05-22 2023-07-04 北京百度网讯科技有限公司 多轮对话中公共场景对话回溯的方法和装置
US11908477B2 (en) * 2020-08-28 2024-02-20 Cisco Technology, Inc. Automatic extraction of conversation highlights
CN112735407B (zh) * 2020-12-24 2023-07-21 北京三快在线科技有限公司 一种对话处理方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003463B1 (en) * 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
US6266642B1 (en) * 1999-01-29 2001-07-24 Sony Corporation Method and portable apparatus for performing spoken language translation
US20030182113A1 (en) * 1999-11-22 2003-09-25 Xuedong Huang Distributed speech recognition for mobile communication devices
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US20020138274A1 (en) * 2001-03-26 2002-09-26 Sharma Sangita R. Server based adaption of acoustic models for client-based speech systems
JP4340024B2 (ja) 2001-06-07 2009-10-07 日本放送協会 統計的言語モデル生成装置および統計的言語モデル生成プログラム
JP3839784B2 (ja) * 2003-04-10 2006-11-01 日本電信電話株式会社 対話シナリオ生成方法、対話シナリオ生成装置、対話シナリオ生成用プログラム
US20050080628A1 (en) * 2003-10-10 2005-04-14 Metaphor Solutions, Inc. System, method, and programming language for developing and running dialogs between a user and a virtual agent
JP2006003413A (ja) * 2004-06-15 2006-01-05 Nippon Telegr & Teleph Corp <Ntt> 音声自動応答方法、この方法を実施する装置、音声自動応答プログラムおよびその記録媒体
JP4634889B2 (ja) * 2005-08-15 2011-02-16 日本電信電話株式会社 音声対話シナリオ作成方法、装置、音声対話シナリオ作成プログラム、記録媒体
JP2007114621A (ja) 2005-10-21 2007-05-10 Aruze Corp 会話制御装置
JP4888996B2 (ja) 2005-10-21 2012-02-29 株式会社ユニバーサルエンターテインメント 会話制御装置
JP4849663B2 (ja) 2005-10-21 2012-01-11 株式会社ユニバーサルエンターテインメント 会話制御装置
JP4846336B2 (ja) * 2005-10-21 2011-12-28 株式会社ユニバーサルエンターテインメント 会話制御装置
JP4849662B2 (ja) * 2005-10-21 2012-01-11 株式会社ユニバーサルエンターテインメント 会話制御装置
JP4018743B1 (ja) 2007-02-28 2007-12-05 ネット株式会社 保護具、制御用基板及び遊技機

Also Published As

Publication number Publication date
EP2157570A1 (en) 2010-02-24
US20100049513A1 (en) 2010-02-25
EP2157570B1 (en) 2017-07-05
CN101656799B (zh) 2013-08-14
US8935163B2 (en) 2015-01-13
CN101656799A (zh) 2010-02-24
JP2010048980A (ja) 2010-03-04

Similar Documents

Publication Publication Date Title
JP5149737B2 (ja) 自動会話システム、並びに会話シナリオ編集装置
JP5897240B2 (ja) 顧客対応システム、並びに会話サーバ
JP4849663B2 (ja) 会話制御装置
JP4849662B2 (ja) 会話制御装置
US10936664B2 (en) Dialogue system and computer program therefor
US20200395008A1 (en) Personality-Based Conversational Agents and Pragmatic Model, and Related Interfaces and Commercial Models
US20210158795A1 (en) Generating audio for a plain text document
JP4888996B2 (ja) 会話制御装置
JP4846336B2 (ja) 会話制御装置
US9154629B2 (en) System and method for generating personalized tag recommendations for tagging audio content
JP2007114621A (ja) 会話制御装置
JP5620349B2 (ja) 対話装置、対話方法および対話プログラム
CN110782880B (zh) 一种韵律生成模型的训练方法及装置
US20120007793A1 (en) System for generating and selecting names
CN113505198B (zh) 关键词驱动的生成式对话回复方法、装置及电子设备
CN112041809A (zh) 将音效自动添加到音频文件中
Tseng et al. Approaching Human Performance in Behavior Estimation in Couples Therapy Using Deep Sentence Embeddings.
JP6810580B2 (ja) 言語モデル学習装置およびそのプログラム
CN112669815B (zh) 歌曲定制生成方法及其相应的装置、设备、介质
Xin et al. Laughter synthesis using pseudo phonetic tokens with a large-scale in-the-wild laughter corpus
Vlasenko et al. Fusion of acoustic and linguistic information using supervised autoencoder for improved emotion recognition
Kepuska et al. Speech corpus generation from DVDs of movies and tv series
Khan et al. Robust Feature Extraction Techniques in Speech Recognition: A Comparative Analysis
JP6743108B2 (ja) パターン認識モデル及びパターン学習装置、その生成方法、それを用いたfaqの抽出方法及びパターン認識装置、並びにプログラム
JP5378717B2 (ja) 会話制御システム、並びに端末装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121130

R150 Certificate of patent or registration of utility model

Ref document number: 5149737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees