JP4380144B2 - Information processing device for spoken dialogue - Google Patents

Information processing device for spoken dialogue Download PDF

Info

Publication number
JP4380144B2
JP4380144B2 JP2002334482A JP2002334482A JP4380144B2 JP 4380144 B2 JP4380144 B2 JP 4380144B2 JP 2002334482 A JP2002334482 A JP 2002334482A JP 2002334482 A JP2002334482 A JP 2002334482A JP 4380144 B2 JP4380144 B2 JP 4380144B2
Authority
JP
Japan
Prior art keywords
user
dialog
information
matching
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002334482A
Other languages
Japanese (ja)
Other versions
JP2004172781A (en
JP2004172781A5 (en
Inventor
信尾 額賀
俊宏 鯨井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002334482A priority Critical patent/JP4380144B2/en
Publication of JP2004172781A publication Critical patent/JP2004172781A/en
Publication of JP2004172781A5 publication Critical patent/JP2004172781A5/ja
Application granted granted Critical
Publication of JP4380144B2 publication Critical patent/JP4380144B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processing system capable of building a bridge between interaction management clients when a prescribed condition is satisfied by allowing an input/output means for controlling the input from and the output to a user, the interaction management clients for managing the interaction with the user and an interaction arbitration means to exchange information between them. <P>SOLUTION: An information processing apparatus consists of: a voice input/output means 2503 for performing voice input and voice output when a user 2501 makes voice interaction; an interaction management client 2506 for recognizing the voice inputted by the user through the voice input/output means 2503 to configure voice to be provided to the user; an interaction arbitration means 2509 for controlling interaction matching over the interaction management client 2506; user data 2510 for storing information with respect to the user utilizing the voice interaction system; a computer network 2512 used as a means to obtain the information with respect to the user from a service provider; a user information management server 2513 for managing user information of the user; and a user terminal 2511 where the user enters its own profile or the like. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、音声サーバを媒介とした電子的なネットワーク上で形成される電子コミュニティでのコミュニケーションシステムに関わり、特に、音声入出力手段を用いて音声対話システムに接続し対話を進めていくことで特定の業務を実行する音声対話システム、電話回線を用いて遠隔地から音声対話サーバに接続し、語学学習を行うような語学学習システムに関する発明である。
【0002】
【従来の技術】
現在、音声認識機能を用いて、学習者が教師システムとインタラクティブに対話を進め、目標とするダイアログやスキットを学習する「対話型語学学習システム」が実現されつつある。一般に、対話型語学学習システムは、(1)インターネットなどのネットワークに接続されておらず単体で動作可能なオフライン型学習システム、(2)ネットワークを介してデータ通信を行い学習を進めるオンライン型学習システム、(3)電話回線網を介して音声通話を行い音声対話によって学習を進める音声対話型学習システムの3種類に分類される。例えば、上記(3)の実現方法としては、インターネットを利用している利用者が、遠隔地にある音声サーバに接続し、語学学習する方法が提案されている(例えば、特許文献1参照。)。このような音声対話型語学学習システムは、音声通話回線ボードを備えるコンピュータと、音声対話を実現するソフトウェアプログラムから構成され、語学学習サービスを提供するサービス提供者が設置・運用するのが一般的である。音声対話型語学学習システムでは、あらかじめ、学習内容や学習手順などの手続きをプログラムとして記述しておけば、自動的に実行できるメリットがある。すなわち、音声合成手段を用いて学習者への情報提示を行い、音声認識手段を用いて学習者の発話を認識することが可能であるため、発話及び認識を逐次実行するような対話制御手順が決められていれば自動実行可能であり、既にこのような対話制御手順を逐次実行するプログラムは、例えばVoiceXML(Voicetensible arkup anguage)インタプリタなどで実現されている。VoiceXMLでは、VoiceXMLスクリプトと呼ばれる標準スクリプトで記述された対話内容が、VoiceXMLインタプリタにより逐次実行され、利用者との対話を可能とする。例えば、以下の対話例1を実現するVoiceXMLスクリプトは、スクリプト例1のように記述される。
対話例1
(1)システム:こちらは、音声自動応答システムです。ご利用になりたい、メニュー番号を発声してください。
(2)利用者:2番をお願いします。
(3)システム:2番ですね? 初級の学習を開始します。よろしいですか?
(4)利用者:はい。

Figure 0004380144
このように、語学学習サービス等の音声対話システムは、これまで開発されている手段で実現可能であり、同様の手法で音声対話型のサービス、例えば株価情報や天気情報などの情報を音声対話で取得するサービスなども実現可能である。
ところで、このような音声対話型語学学習を実施する上での長所は、学習者の発話内容によってシステムの応答を変更することができる点である。すなわち、学習者の回答内容が、システムにとって不十分な回答であれば再発話を促す機能や、複数の選択肢がある場合に、選択した内容に応じてシステムの応答を変更する機能などを付加できる。
【特許文献1】
特開2002−157113号公報
【0003】
【発明が解決しようとする課題】
語学学習に際しては、一般の語学学習教室で見られるように、教師と学習者の対話や学習者同士の対話、すなわち「人間同士の対話」を欠くことができない。更に、学習した内容を実際に運用することで他者からフィードバックを受け、学習進度の確認や欠点を自ら知ることも重要である。例えば、語学学習では、学んだことを実地に体験し状況に対応して応答を変えていく、「ロールプレイ」もしくは「ロールプレイング」と呼ぶ学習が効果的であると言われており、語学学習に応用する場合には特に重要な機能であると考えられる。しかしながら、上記の音声対話型学習システムでは、場面に応じた対話の実行が可能であるが、その反面システムが発する音声は一般に機械音声であり、人間の発声音声には遠く及ばないため、人間同士が行うような自然な対話を実現することは難しい。更に、現在の音声対話システムでは、学習者と教師の1対1の対話に限定されているため、例えば、学習者が他の学習者とロールプレイングを実施したいという欲求がある場合には、ロールプレイングを希望する他の学習者を探し出し、該音声対話システムとは異なる手段を利用して、学習者自らが他の学習者に接触する必要がある。このような学習者間コミュニティはフォーラム等の形態で実現されているが、一般に、学習者が自分の希望する他の学習者を探索する作業は時間や労力がかかり、学習サービスによっては、プライバシーの観点から学習者の特徴を示すプロフィールにアクセスを試みること自体を禁止する場合も想定され、現在の音声対話システムを用いた語学学習サービスでは、学習者同士のロールプレイングの機能を容易に実現することは困難であった。そこで本発明の課題は、音声対話型学習システムにおいて「人間同士の対話」ができるシステム実現することである。以上のように、これまでの音声対話システムを用いて語学学習サービスを実施する場合には多くの課題があり、当然ながら、該課題は語学学習サービスのみに限定されるものではなく、音声対話システムを利用するサービス一般でも同様な課題となる。
【0004】
【課題を解決するための手段】
上記課題を解決する手段として、本発明では、ユーザからの入出力を制御する入出力手段と、ユーザとの対話を管理する対話管理クライアントと、対話管理クライアントと通信線で接続されている対話調停手段が情報を交換することで、所定の条件が満足された場合には、対話管理クライアント間にブリッジをはることのできる情報処理システムを提供する。
【0005】
【発明の実施の形態】
本発明の実施の一形態について、図面に基づいて説明する。
まず、下記に示す対話例2A、対話例2B、及び図1を用いて、本発明に関わるブリッジをはる方法の実施形態に関して説明する。下記対話例では、説明中で引用するために各発話内容に対して”[]”を用いて付番し、対話管理クライアントを「システム」と呼称する。
対話例2A
[1]システム1:こんにちは。日本語学習システムです。
[2]ユーザA:会員番号0123のマイクです。
[3]システム1:本日は、「買い物」のダイアログを学習します。よろしいですか?
[4]ユーザA:はい。
[5]システム1:
[6]ユーザA:
[7]システム1:
[8]ユーザA:
[9]システム1:ただいま、あなたと同クラスの学習者がいます。その学習者と実際に練習しますか?
[10]ユーザ:はい。
[11]システム1:では、接続いたします。少々お待ちください。
[12]システム1:接続できました。終了するときは1を押してください。では、お話ください。
[13]ユーザA:もしもし?
[14]ユーザB:こんにちは。
[15]ユーザA:私の名前はマイクです。
[16]ユーザB:私はケントです。
[17]ユーザA:今日どこへ買い物に行きましたか?
対話例2B
[18]システム2:こんにちは。日本語学習システムです。
[19]ユーザB:会員番号0867のケントです。
[20]システム2:本日は、「買い物」のダイアログを学習します。よろしいですか?
[21]ユーザB:はい。
[22]システム2:
[23]ユーザB:
[24]システム2:
[25]ユーザB:
[26]システム2:ただいま、あなたと同クラスの学習者がいます。その学習者と実際に練習しますか?
[27]ユーザB:はい。
[28]システム2:では、接続いたします。少々お待ちください。
[29]システム2:接続できました。終了するときは1を押してください。では、お話ください。
図1は、本発明に関わる情報システムの内部構成と実行ステップの一例を示した図である。まず、本システムの利用者であるユーザ1(101)が携帯電話もしくは固定電話を用いて音声システムに接続し、利用開始要求を行う(1)。利用開始要求を行う際には、アクセス元を識別する情報を付加する。アクセス元を識別する情報は、上記対話例2Aの[2]の発声のようにユーザが申告する方法や、音声対話システムに接続する際に数字ボタンで指定する方法等が利用できる。続いて、利用開始要求を受けた対話管理クライアント1(104)は、ユーザ情報管理サーバ103に対して、ユーザ情報の要求を行う(2)。ユーザ情報管理サーバ103は、ユーザ情報データ110を参照してユーザを特定し、ユーザに関する情報を対話管理クライアント1(104)に対して返送する(3)。返送するユーザ情報は、例えば、ユーザの名前、学習段階、学習履歴、マッチング対話履歴情報などから構成されている。ユーザ情報が返送された対話管理クライアント1(104)は、対話調停手段106に対して、利用を開始する実行ユーザであるユーザ1の情報を登録する(4)。対話調停手段106では、対話管理クライアント1(104)から登録されたユーザ情報を、単独実行ユーザデータ108に格納し、対話管理クライアント1(104)に対して、実行ユーザの登録完了を通知する(5)。上記の手順で実行ユーザの登録が完了すると、音声対話のセッションを開始する。対話セッションの一例は、上記対話例2Aに記載した[1]から[8]までのような対話である。ここでは、日本語学習の例で実施の形態を説明したが、もちろん日本人向けの外国語学習などの用途でも同様の対話を行うことができるため、必ずしも対話例2A[1]〜[8]のように日本語でなくとも構わず、言語や対話内容を拘束するものではない。
一方、ユーザ1(101)と対話管理クライアント1(104)とが対話を行っていると同時に、別の利用者であるユーザ2(102)が音声対話の利用要求を行う場合も、上記のステップ(1)から(6)までは同様の手順で遂行される。図1では、ユーザ2に関するステップには、”’”記号を付加したステップを記載した。上記の手順により、ユーザ1及びユーザ2が対話システムを利用し、対話セッションを実行している形態が実現できる。
対話調停手段106では、同時刻にシステムを利用している利用者(本実施例では、ユーザ1及びユーザ2)の情報を、単独実行ユーザデータ108に格納して管理している。対話調停手段106では、該単独実行ユーザデータを参照して、ユーザ1及びユーザ2のマッチング対話を提案(オファー)するかどうか判定するする(7)。例えば、ユーザ1及びユーザ2の学習段階が同一である場合や、学習内容が近い場合等にマッチング対話を提案する。例えば、ユーザ1及びユーザ2の学習段階が「初級」でかつ学習内容が「買い物」であれば、マッチング対話を提案できる。本実施例では、ユーザ1及びユーザ2の学習段階及び学習内容が同一である場合にマッチング対話を提案するステップとしたが、もちろん、マッチング対話を行うことにより効果が高いと判断される組み合わせであれば如何様な判定でもよく、上記例に限定されるものではない。
上記のマッチング結果の判定の結果、ユーザ1とユーザ2の直接対話をオファーする条件が整った後(7)、対話管理クライアント1(104)及び対話管理クライアント2(105)に対して、それぞれ対話管理クライアント2及び対話管理クライアント1を利用しているユーザとの直接対話を行うよう、他ユーザのマッチング要求を出す(8)。次に、各対話管理クライアントは、ユーザに対してマッチングのオファーを行う(9)。上記の対話例2A及び2Bにおいては、対話例2A[9]と対話例2B[26]がオファー発話に相当する。ユーザ1及びユーザ2は、それぞれマッチング対話を受諾するかどうかの判断を行う(10)。ユーザ1及びユーザ2が両方ともマッチングを受諾したら対話管理クライアント1及び対話管理クライアント2のコネクションを確立し、ユーザ1とユーザ2の直接対話に移行する(11)。上記対話例2A及び2Bでは、対話例2A[13]〜[17]が該コネクション確立及びコネクション確立後の対話例を示している。最後に、対話管理クライアント104及び105は、対話調停手段106に対して、コネクションが確立した旨の通知を行い(12)、対話調停手段106は該情報を元にユーザ1及びユーザ2を単独実行ユーザデータ108から削除し、コネクション確立ユーザデータ109に登録する。
図2を用いて、本発明に係わるブリッジをはるまでのステップにおいて、ユーザから要求があった場合の実施の形態に関して説明する。図2では、上記図1に関する実施例と構成は同一であるが、ユーザからの要求によりマッチング対話を行う点が異なっている。まず、図1におけるステップ(1)ユーザの利用開始要求から、ステップ(6)の対話セッション開始までのステップは同一である。続いて、ユーザ1(201)は、対話管理クライアント1(204)に対して、マッチング対話の要求を行う(7)。ステップ(7)ユーザ1が対話管理クライアントに対してマッチング対話を行いたい旨を要求する方法は、例えば、マッチング対話を行うためにあらかじめ割り当てられているキーやボタンの押下を検出する方法や、ユーザの「マッチング対話希望」等の発声を音声認識する方法などが利用できる。上記の方法で入力された要求項目を受け、対話管理クライアント1(204)は、対話調停手段206に対してマッチング対話要求の通知を行う(8)。以下、対話調停手段206はユーザ同士のマッチング判定を行うが、以降のステップは図1と同様のステップで実現できる。
図3を用いて、マッチング対話を行っているユーザ1及びユーザ2に対して、対話調停手段が終了の提案を行う実施の形態を示す。図3は、ユーザ1及びユーザ2がマッチング対話を終了する場合の構成図とステップの一例である。まず、対話調停手段306は、コネクション確立ユーザデータ309を検索し、マッチング対話を行っているユーザ組に関する情報を取得し、上記ユーザ組に関する情報データからマッチング対話の終了判定を行う(1)。続いて、マッチング対話の終了提案を、対話管理クライアント1(304)に対して通知する(2)。同時に対話管理クライアント1(304)は対話管理クライアント2(305)に対してマッチング対話終了提案通知を転送する(2’)。続くステップ(3)では、各対話管理クライアントがユーザに対してマッチング対話を終了してほしい旨の通知を行い、ユーザの終了承諾の後(4)、コネクションを切断する(5)。コネクションが切断された後に、対話管理クライアント1(304)は、ユーザ情報管理サーバ303に対して、行われていたマッチング対話履歴の登録を行い(6)、ユーザとの通常セッションを開始する(7)。最後に、通常セッションに復帰した旨を通知された対話調停手段306は、コネクション確立ユーザデータ309からマッチング対話を行っていたユーザデータを削除し(9)、両ユーザの情報を単独実行ユーザデータ308に再登録する(10)。上記のステップで本発明に関わるマッチング対話の終了手段を実現できる。
図4にて、本発明に関わるマッチング対話を終了するステップについて、特にユーザが希望した時点でマッチング対話を終了するステップの一例を説明する。ここでは、ユーザ1がマッチング対話終了を希望する場合を想定する。まず、ユーザ1(401)が対話管理クライアント1(404)に対して会話終了申請を行う(1)。会話終了の申請は、例えば、電話装置の特定の押しボタン(例えば、0番)を押下することで、マッチング対話を終了したい旨をシステムに通知する方法や、対話管理クライアントがマッチング対話を傍受し、マッチング対話者の発言内容に含まれる「マッチング対話終了」というキーワードを認識する方法等を用いるが、本発明においては、ユーザが対話の終了を指定できる方法であれば上記に限定されるものではない。更に、上記では「マッチング対話終了」を音声中から検出する方法を示したが、日本語学習者の学習レベルが初期段階にある場合には、「マッチング対話終了」というキーワードを記憶していない場合が有りえるので、学習者の母国語での「マッチング対話終了」を意味する単語乃至はフレーズでも構わない。この場合、対話管理クライアントは学習者の母国語による「終了」を意味する音声を音声認識する。以上の手順で、マッチング対話の終了を申請した後、対話管理クライアント1(404)は、対話調停手段406に対してユーザからのマッチング終了申請があった旨を通知する(2)。以降、図3における終了手段と同様の手法で通常セッションに復帰する。
図5及び図1を用いて本発明の対話調停手段に関する実施の形態を説明する。図5は、図1の対話調停手段106におけるステップ(7)「マッチング判定」の一実施形態である。対話調停手段は、初期状態として、対話管理クライアントからの情報登録などを受けつける待機状態(S501)にある。次に、任意の対話管理クライアントNから対話セッションを開始しようとしている”実行ユーザ”の登録を受ける(S502)。次に、対話調停手段106は単独実行ユーザ管理データ108に実行ユーザデータを登録する(S503)。続いて、該時刻に本発明に関わる情報処理装置を利用している全てのユーザリストである「単独実行ユーザデータ」を単独実行ユーザデータから取得する(S504)。ステップS504で得られた単独実行ユーザデータが2人以上であれば次のステップS505を実行し、もし単独実行ユーザが2人未満であったならば、対話の調停を行わず待機状態に遷移する(S505)。ステップS505で単独実行ユーザが2人以上であるならば、該単独実行ユーザの任意の組み合わせ、例えばユーザIとユーザJに対してマッチング度M(I,J)を計算する(S506)。該マッチング度は例えば、0から100までの整数値で表現されており、数値が大きければマッチング度が大きく対話調停の効果が高いとされる組み合わせを示す。もちろん、マッチング度は、ユーザの組み合わせの結びつき度合いを評価できる指標であれば該上記実施の形態に限定されるものではない。続いて、ステップS506で計算されたマッチング度M(I,J)について最も値の大きいユーザの組み合わせ(P,Q)を求める(S507)。ここで、P及びQはユーザのインデックスを示すものとする。次に、S507で求められたマッチング度M(P,Q)に対して、あらかじめ定められたマッチング度以上かどうかを判定し、一定のマッチング度以上であれば続くステップS510を実行し、以上でなければ対話の調停を行わず待機状態に遷移する(S509)。上記あらかじめ定められたマッチング度は、例えば50のような数値である。続くステップS510にて、ユーザP及びユーザQを管理する対話クライアントに対して、他ユーザとのマッチング要求を送出し、各対話管理クライアントからの応答の待ち状態に遷移する(S511)。上記ステップS509にて送出される情報は、図1ステップ(8)の他ユーザマッチング要求の一実施形態である。
図6及び図1を用いて、本発明におけるブリッジをはるユーザの組み合わせを、複数生じせしめる手段の実施例に関して説明する。図6は、図1の対話調停手段106における処理ステップを示す図である。対話調停手段106は、まず待機状態に設定されている(S601)。続いて、図5のステップS502、S503、S504と同様の手順により、全単独実行ユーザデータを取得する(S602)。続いて、単独実行ユーザは2人以上か判定し、2人以上であればS604、2人未満であれば待機状態S601に遷移する(S603)。続くステップS604では、図5のステップS506、S507、S508、S509と同様の手順でマッチング度最大のユーザ組(P,Q)を選択して、マッチング対話開始を要求する。次に、ユーザP及びQがマッチング対話を受諾したならば、図1の単独実行ユーザデータ108から、ユーザP及びQを削除し、同時にコネクション確立ユーザデータ109にユーザ組(P,Q)を登録し(図1のステップ(14))、待機状態に遷移する(S606)。上記の手順で、まず単独実行ユーザから2人のユーザを選択しマッチング対話を行わせる調停が可能となる。待機状態に遷移した対話調停手段は、繰り返しステップS602からステップS606を実行し、単独実行ユーザデータに残っているユーザに対してカップリングを行い、マッチング対話を提案する。尚、本実施例では、マッチング度最大のユーザ組が存在し、かつマッチング対話を受諾するという条件で実施したので、図6のステップは、単独実行ユーザが2人未満になるので問題はない。しかし、上記の前提が成立しない場合、例えば、マッチング度最大のユーザ組(P,Q)のどちらかがマッチング対話のオファーを受諾しなければ、続くステップS606で単独実行ユーザからユーザP及びQを削除することができなくなり、ユーザP及びQに対して永遠にマッチング対話のオファーが実行されることになる。従って、マッチング度最大のユーザ組を再び選択しないよう、利用中ユーザデータ107に、マッチング拒否ペアの類のデータを格納しておけば、S604の選択を行う際に、既にマッチングを拒否したユーザ組を排除することができるので、問題はない。
図7及び図1を用いて、本発明におけるブリッジをはるユーザを3人とする場合の対話調停手段の一実施例について説明する。図7は、図1の対話調停手段106における処理ステップを示す図である。対話調停手段は、初期状態として、対話管理クライアントからの情報登録などを受けつける待機状態(S701)にある。続いて、図5のステップS502、S503、S504と同様の手順により、全単独実行ユーザデータを取得する(S702)。続いて、単独実行ユーザは3人以上か判定し、3人以上であればS704、2人未満であれば待機状態S701に遷移する(S703)。次に、2人のユーザの全ての組み合わせに対して、マッチング度M(I,J)を求める(S704)。続いて、ステップS704で得られた2ユーザのマッチング度M(I,J)と、ユーザIを含む全てのマッチング度M(I,X)と、ユーザJを含む全てのマッチング度M(J,X)とから、式M(I,J,X)=M(I,J)+M(I,X)+M(J,X)を計算し、最大のMとなるようなユーザXを求める。ここで、Xは、I及びJではないという条件で探索する。例えば、ユーザKに対して上式M(I,J,X)=M(I,J)+M(I,X)+M(J,X)が最大となったのであれば、ユーザI,J,Kの間のマッチング度M(I,J,K)を該3人の組み合わせのマッチング度とする(S705)。続いて、任意の3人のユーザ組のマッチング度が最も高いM(I,J,K)を選択し(S706)、一定のマッチング度以上であれば、ユーザI,J,Kを管理する対話管理クライアントにマッチング対話を要求し(S708)返答待ち状態に遷移する(S709)。上記の手順で3人の対話調停を行うことができたが、3人以上の対話調停においても同様の手法を用いることができる。3人以上の対話調停においては、ステップS704及びステップS705の処理を再帰的に実行すれば良い。
図8及び図9を用いて、本発明に関わる対話調停手段でのマッチング度判定の実施例を語学学習サービスに応用する例に関して説明する。図9は、マッチング度を計算するステップを示す図である。まず、マッチング度を判定すべき2人のユーザA及びユーザBの登録情報を取得する(S901)。ユーザ情報は、例えば図1のユーザ情報管理サーバから取得する。ここでは、図8の801がユーザAの登録情報を示し、図8の806がユーザBの登録情報を示している。ユーザに関する情報は、名前802、学習コース803、学習内容804、マッチング対話希望情報805の属性情報から構成される。ステップS901にて取得された登録情報を参照し、ユーザA及びBが両者ともマッチング対話を希望しているかを参照する(S902)。両ユーザがマッチング対話を希望していればステップS902を実行し、いずれかのユーザが「希望しない」と設定していればマッチング度を0として処理を終了する(S904)。ステップS902で両者ともマッチング対話を希望していると判定されたならば、まず、両ユーザの学習コースの一致度を計算する(S903)。ここでは、図8の803及び808を参照し、両者とも「英語初級」という学習コースで同一であるので、M1=100を設定する(S903)。ここで一致度を100と設定したのはあくまでも一実施例であって、一致度を実現できる評価値であれば、該値に限定するものではない。続くステップS904では、両ユーザの学習内容の類似度M2を計算する。図8の804及び809を参照し、両者のいずれの学習内容も「買い物」が含まれているので、M2=100を設定する。以上のステップから求められた類似をM1,M2を用いて、ユーザA及びBのマッチング度Mを求める(S906)。ここでは、M=100と求められる。上記の手順で、語学学習サービスの2利用者のマッチング度判定を行う実施の形態を示した。上記実施例では、図8に示す属性から構成されているユーザ登録情報を利用したが、もちろん該属性に限定するものではない。すなわち、上記実施例以外の属性を利用する場合には、ステップS903と同様の手段で属性値から類似度Mを算出する手段を、ステップS905とステップS906の間に挿入し、S906の計算式を変更すればよい。
図10を用いて、ユーザが学習を終了した後に、ユーザの端末を利用してユーザ情報にアクセスする手段を開示する。図10は、サービス提供者が公開するユーザ情報の一例である。ユーザ情報1001は、インターネット上のWEBサービスや公開掲示板などを利用して公開されている。ユーザは、ユーザ情報中のマッチング対話の履歴を確認し、次回のサービス利用時に前回以前にマッチング対話を行ったユーザと次回以降も対話を行うかどうかを選択できる。すなわち、ユーザ情報1001においては、前回のマッチング対話ユーザがユーザBであることを示しており(1002)、マッチング対話の時刻も示されている(1003)。従って、ユーザは該情報からマッチング対話の内容を想起し、次回もマッチング対話を行うかどうかを判断できる。図10では、ユーザは「次回も対話を行う(1004)」を選択したので、図1のステップ(7)における対話調停手段において、ユーザAとユーザBのマッチング度を高く設定することで、マッチング対話の継続利用が可能となる。尚、該実施例では、マッチング対話を行ったユーザを「ユーザB」と匿名で表記したが、プライバシーの観点から匿名乃至は実名を選択可能としても良い。
上記の実施の形態では、ユーザの学習コース及び学習内容の情報を利用して対話調停を行う手段を開示した。ここでは、本発明に関わる「利用者のマッチング対話利用履歴に応じて対話調停を行う方法」の実施形態に関して、図11を用いて説明する。図3のステップ(6)で示すように、ユーザ1とユーザ2とのマッチング対話が終了すると、対話管理クライアントは、ユーザ情報管理サーバに対して、ユーザ1とユーザ2がマッチング対話を行った情報を送出する。例えば、図6に記載する類の情報、すなわち、ユーザ情報1101、マッチング対話を行った相手方のユーザ1102、学習時刻1103から構成する。例えば、上記対話例2A及び2Bでは、それぞれ、以下のようなデータが送出される。
データ1:(ユーザA、ユーザB、2002年8月20日15:30〜15:38)
データ2:(ユーザB、ユーザA、2002年8月20日15:30〜15:38)
上記の履歴データがユーザ情報管理サーバに送出されると、ユーザ情報管理サーバは受理した履歴データをユーザ情報データに記録する。対話調停手段では、図1のステップ(7)マッチング判定時に、ユーザ情報管理サーバから取得するユーザA及びユーザBのユーザ情報を検索し、再度ユーザAが音声システムを利用した場合には、ユーザBに対して優先的にマッチングを行うように調停を行う。図12及び図3を用いて、本発明に関わるサービス利用者への課金の実施形態に関して説明する。図12は、図3ステップ(6)のマッチング対話履歴登録の際にユーザ情報管理サーバ303にて行うステップを示したものである。まず、図3ユーザ情報管理サーバ303では、学習システムの利用時間をユーザ情報1201の学習システム利用時間エリア1202に加算する(S1210)。続いて、マッチング対話の利用回数をユーザ情報1201のマッチング対話利用回数エリア1203に加算する(S1211)。続いて、学習システム利用時間からポイント数Pを計算する(S1212)。例えば、10分の利用であれば10ポイントのようにする。ステップS1212にて計算されたポイント数Pを、ユーザ情報1201内にある課金情報エリア1204に加算する。続いて、ステップS1214では、学習システムでのマッチング対話の回数をマッチング対話利用回数エリア1203から取得する。取得した利用回数を参照し、マッチング対話の回数がN回以上であればステップS1216を実行し、N回未満であれば処理を終了する。ここでNの数はサービスに応じてあらかじめ決められている数である。続いて、ステップS1216では、マッチング対話を利用した回数Nからポイント数Qを計算する。例えば、5回の利用であれば、0.5ポイントのようにする。ステップS1216で計算されたポイント数Qを課金情報エリア1204から減算する(S1217)。減算のステップは、マイナスの値を加算するステップに置き換えても良い。以上の手順で、本発明に関わる課金情報の管理手段を提供する。
図13及び図14を用いて、本発明に関わる対話調停手段でのマッチング度判定の実施例をテレマティクスサービスに応用する例に関して説明する。図14は、マッチング度を計算するステップを示す図である。まず、マッチング度を判定すべき2人のユーザA及びBの登録情報を取得する(S1401)。ここでは、図13の1301がユーザAの登録情報を示し、図13の1308がユーザBの登録情報を示している。ユーザAに関する情報は、名前1302、自宅1303、所持している車種1304、興味1305、マッチング対話希望情報1306、目的地登録情報1307の属性情報から構成される。ステップS1401にて取得された登録情報を参照し、ユーザA及びBが両者ともマッチング対話を希望しているかを参照する(S1402)。両ユーザがマッチング対話を希望していればステップS1403を実行し、いずれかのユーザが「希望しない」と設定していればマッチング度を0として処理を終了する(S1404)。ステップS1402で両者ともマッチング対話を希望していると判定されたならば、まず、両ユーザの車種の一致度を計算する(S1403)。ここでは、図13の1304及び1311を参照し、両者とも「セイサク」という車種で同一であるので、M1=100を設定する(S1403)。ここで一致度を100と設定したのはあくまでも一実施例であって、一致度を表す評価値であれば、該値に限定するものではない。続くステップS1405では、両ユーザの興味の類似度M2を計算する。図13の1305及び1312を参照し、両者のいずれの興味にも「ショッピング」が含まれているが、1312のユーザには「旅行」の興味が含まれているので完全に興味が同じではないので、M2=80を設定する。続くステップS1406では、両ユーザの目的地の近さM3を計算する。ここで図13の1307及び1314より、ユーザAは「富士五湖」、ユーザBは「富士山」と登録されており、両者はあらかじめ設定されている地図情報における同一メッシュに含まれるので、M3=100とする。目的地の近さに関しては、目的地が含まれているメッシュのマンハッタン距離(メッシュ数)を計算し、該メッシュ数に10を掛けた値を100から減じることで計算できる。もちろん、目的地の近さの判定方法は該手段に限定するものではなく、地図上の実際の距離をスケール変換したもの等を利用できる。以上のステップから求められた類似をM1,M2,M3を用いて、ユーザA及びBのマッチング度Mを求める(S1407)。ここでは、M=94と求められる。ここでマッチング度MがM=94であり、ユーザA及びユーザBは目的地が近いと判定されたので、目的地周辺の観光情報やショッピング情報交換のガイダンスなどを提示し、ユーザ対話を誘導することが可能である。上記の手順で、テレマティクスサービスの2利用者のマッチング度判定を行う実施の形態を示した。上記実施例では、図13に示す属性から構成されているユーザ登録情報を利用したが、もちろん該属性に限定するものではない。すなわち、上記実施例以外の属性を利用する場合には、ステップS1403と同様の手段で属性値から類似度Mを算出する手段を、ステップS1406とステップS1407の間に挿入し、ステップS1407の計算式を変更すればよい。
図15、図16、図17、図18及び図19を用いて、本発明に関わる対話調停手段でのマッチング度判定の実施例を結婚情報サービスに応用する例に関して説明する。図16は、マッチング度を計算するステップを示す図である。まず、マッチング度を判定すべき2人のユーザF及びMの登録情報を取得する(S1601)。ここでは、図15の1501がユーザFの登録情報を示し、図15の1508がユーザMの登録情報を示している。ユーザに関する情報は、名前1502、住所1503、生年月日1504、血液型1505、趣味1506、マッチング対話希望情報1507の属性情報から構成される。ステップS1601にて取得された登録情報を参照し、ユーザF及びMが両者ともマッチング対話を希望しているかを参照する(S1602)。両ユーザがマッチング対話を希望していればステップS1603を実行し、いずれかのユーザが「希望しない」と設定していればマッチング度を0として処理を終了する(S1604)。ステップS1602で両者ともマッチング対話を希望していると判定されたならば、まず、両ユーザの星座の相性度M1を検索する(S1603)。図17は星座間の相性度を定義する表である。図17から男性の星座「乙女座」(1702)及び女性の星座「天秤座」(1703)から、相性度はM1=85(1703)と求めることができる。ここで、相性度表を用いるのはあくまでも一実施例であって、相性度を表現するものであれば該値に限定するものではない。続くステップS1605では、両ユーザの血液型の相性度M2を検索する。本ステップもS1603と同様に、図18の1802及び1803から、相性度をM2=58(1803)と求めることができる。最後にステップS1606にて、両ユーザの趣味の近さM3を計算する。ここでは、図19のような表を用いて、1901及び1902から相性度を求めM=10(1903)とする。以上のステップから求められた類似度M1,M2,M3を用いて、ユーザA及びBのマッチング度Mを求める(S1607)。ここでは、M=43.3と求められる。ここで、マッチング度MがM=43.3であり、ユーザAとユーザBの相性が比較的近いと判断されたので、趣味に対するガイダンスなどを提示し、ユーザ対話を誘導することが可能である。上記の手順で、結婚情報サービスを利用する2人のユーザのマッチング度判定を行う実施の形態を示した。上記実施例では、図15に示す属性から構成されているユーザ登録情報を利用したが、もちろん該属性に限定するものではない。すなわち、上記実施例以外の属性を利用する場合には、ステップS1603と同様の手段で属性値から類似度Mを算出する手段を、ステップS1606とステップS1607の間に挿入し、ステップS1607の計算式を変更すればよい。
図20及び図21を用いて本発明に関わるブリッジをはる手段の実施の一形態を説明する。図20は、ユーザ1及びユーザ2が音声入力手段を用いて、各々に対応する対話管理クライアント1及び対話管理クライアント2と対話を行っている図を示すものである。ユーザ1は、音声入出力手段2009の音声チャネル1(2011)に接続され、上り音声チャネル2013及び下り音声チャネル2014を利用している。音声チャネル1(2011)は、スイッチング手段1(2003)を介して対話管理手段1(2001)に接続され対話が実行されている。ここで、対話管理手段は対話の各ステップを実行する手段であり、本発明で度々記述されている対話管理クライアントが、該対話管理手段の一実施形態である。スイッチング手段1(2003)及び音声入出力手段1(2011)は上り線(2006)と下り線(2007)で接続されている。スイッチング手段2005は、一般にソフトウェアとして実現されるため、対話管理手段内(2001乃至は2002)で実施される方法、音声入出力手段内(2009)で実施される方法があるが、スイッチング手段2005が実現できれば構成は上記の限りではない。このように、音声入出力手段への音声の入出力は上り線と下り線の全二重通信によって実現されることが多く、公知の技術で実現できる。同様に、ユーザ2は音声入出力手段3(2012)及びスイッチング手段(2004)を介して、対話管理手段2(2002)と対話を行う。本実施例では、音声入出力手段は1及び3を利用したが、ユーザ毎に分離可能な音声入出力手段が割り当てられていればいずれのチャネルを利用しても構わない。上記の形態において、ユーザ1及びユーザ2が対話管理手段1及び2と対話を行っている形態を示した。該形態は、図21の2101に示すスイッチ管理テーブルによって管理できる。すなわち、現在利用中のスイッチIDに対して、接続されている音声入出力手段、対話管理手段の入出力線の接続番号を、図21の2101に記述している方式で管理する。例えば、スイッチID=1のスイッチング手段は、音声入出力手段からの入力信号線(IN)は音声入出力手段1に接続されているので、INの項目に「1」と記載する。同様に、音声入出力手段への出力信号線(OUT)は音声入出力手段1に接続されているので、OUTの項目に「1」と記載する。また、対話管理手段についても同様に、対話管理手段からの入力信号線(IN)は、対話管理手段1に接続されているので、INの項目に「1」と記載する。同様に、OUTの項目に「1」と記載する。上記の手順で、対話が行われている時点での対話管理手段と音声入出力手段の接続関係を、図21のスイッチ管理テーブルで管理できる。さて次に、ユーザ1及びユーザ2の直接対話を行うためのブリッジをはる手順に関して説明する。ここでは、図1におけるステップ(11)のコネクション確立に関する実施の形態を説明する。図1ステップ(11)は、対話管理クライアント1(104)及び対話管理クライアント2(105)は、ユーザからのマッチング受諾の通知を受け、ブリッジをはるステップである。図1の104及び105は、図20では2001及び2002に相当するので、以下図20の記号のみを用いて説明する。まず、対話管理手段1(2001)は、スイッチ管理テーブル2101を参照して、ブリッジをはる相手方である対話管理手段2をIN・OUT線に接続しているスイッチIDを取得する。すなわち、図21の2101では、スイッチID=2を取得する。次に、スイッチID=2を取得した対話管理手段1(2001)は、スイッチング手段に対して、対話管理手段1自身が接続しているスイッチID=1と、上記手順で取得したスイッチID=2の音声入出力手段側の信号線OUTを入れ替えるよう通知する。すなわち、スイッチID=1の音声入出力手段OUTは「1」、スイッチID=2の音声入出力手段OUTは「3」であるから、この「1」と「3」を入れ替える。尚、上記例では、対話管理手段1がスイッチIDを取得したが、対話管理手段2がスイッチIDを取得し同様の手順により信号線を入れ替えても良い。但し、対話管理手段1及び対話管理手段2が同時に入れ替えると競合が起こるので、スイッチIDの取得及び切り替えの手順は、優先度の高い対話管理手段が行う必要があり、例えば、対話管理手段IDの若い方が優先度が高いとするなどの制約が必要である。上記ステップで、図20スイッチング手段2053及び2054と、音声入出力手段2061及び2062は、信号線2056、2057、2058、2059の接続形態とすることができる。上記の手順で、音声入出力手段1(2061)と接続しているユーザ1と音声入出力手段2(2062)に接続しているユーザ2の全二重通信路、すなわち、ユーザ1からユーザ2への接続は、ユーザ1→2061→2056→2053→2057→2062→ユーザ2となり、ユーザ2からユーザ1への接続は、ユーザ2→2062→2058→2054→2059→2061→ユーザ1の通信路が確立され、直接対話が可能となる。続いて、対話管理手段1(2051)及び対話管理手段2(2052)の各々がユーザ1及びユーザ2の通話を傍受するため、対話管理手段1はスイッチング手段2(2054)と、対話管理手段2はスイッチング手段1(2053)との接続を確立し、図21スイッチ管理テーブル2102に記載するように各々のスイッチは両方の対話管理手段に接続されている状態となる。上記の手順で、ユーザ1及びユーザ2のコネクションを確立することができた。
図22及び図3を用いて本発明に関わる対話調停手段において、マッチング対話を行っているユーザに対してマッチング対話を終了するように要請する一実施例を説明する。図22は、図3の対話調停手段306におけるステップ(1)マッチング対話終了判定を実現するステップの一例である。対話調停手段306は、初期状態である待機状態(S2201)から、タイマー処理により終了判定処理を起動する(S2202)。タイマーは、例えば1分毎に起動するように設定しておけばよい。次に、現在マッチング対話を行っているコネクション確立ユーザ情報を、図30コネクション確立ユーザデータ309から取得する(S2203)。ステップS2203で取得した確立ユーザ組数が1以上であれば、続くステップS2205を実行し、1未満(すなわち0)であれば待機状態に遷移する。ステップS2205では、ステップS2203で取得した全てのコネクション確立ユーザ情報から、マッチング対話の経過時間Tを抽出する。次に、Tが最も大きいユーザ組(I,J)を選択し(S2206)、一定時間以上経過しているかどうか判定し、経過していればステップS2208を実行し、経過していなければ待機状態S2201に遷移する。ここでは、経過時間Tとシステム固定の経過時間を比較したが、マッチング対話を行ってユーザ組に異なるシステム利用可能時間を与えてもよく、その場合には、コネクション確立ユーザ情報に、経過時間Tとシステム利用可能時間Taを記載して利用すれば良い。ステップS2208では、ステップS2207にて選択されたユーザ組(I,J)を管理する対話管理クライアント(図3−304)に対話終了を要請する。対話終了の要請を受けた対話管理クライアント1(304)は、対話管理クライアント2に通知し各ユーザに対してマッチング対話の終了の要請を行う。その後、ユーザのどちらが承諾すればマッチング対話を終了し、コネクションを切断する。上記実施例では、マッチング対話の終了に際して各ユーザに通知し承諾を得る手続きをとったが、もちろん、承諾を得ずにコネクションを切断しても良く、その場合はマッチング対話の終了要請の手続きは不要である。以上の手順により、マッチング対話を終了させる手段を実現する。
図23を利用して、本発明に関わる対話管理クライアント生成の実施の一形態を示す。まず、音声対話システムが起動すると対話管理クライアント生成手段2304が生成され、ユーザ2301からの利用開始メッセージの待ち状態に移行する(1)。次に、音声入出力手段2302に対して利用者から通話があると(2)、音声入出力手段2302は対話管理クライアント生成手段2304に対して通話開始メッセージを送出する(3)。対話管理クライアント生成手段2304は音声入出力手段2302から送出される利用開始メッセージを受理すると、利用者との対話を行う対話管理クライアント2303を生成する(4)。生成された対話管理クライアント2303は、音声入出力手段2302に対して、例えば、図20を用いて説明した実施の形態を用いて通信路を確立し、ユーザとの対話を開始する(5)。
図24を利用して、本発明に関わる対話管理クライアント生成の実施の一形態を示す。まず、音声対話システムが起動されると、対話管理クライアント生成手段2404が対話管理クライアント2403を生成する(1)。生成された対話管理クライアント2403は、音声入出力手段2402から送出される利用開始メッセージの待ち状態に移行する(2)。次に、ユーザ2401から音声入出力手段2402に対して電話回線等を通じて利用の要求があると(3)、音声入出力手段2402は対話管理クライアント2403に対して利用開始メッセージを送出する(4)。利用開始メッセージを受理した対話管理クライアント2403は、音声入出力手段2402に対して、例えば、図20を用いて説明した実施の形態を用いて通信路を確立し、ユーザとの通話を開始する(5)。
以上、対話管理クライアントとユーザの通信路確立に関して2種類の実施の形態を示したが、対話管理クライアントとユーザの通信路が確立されれば良く、上記実施の形態のみに限定するものではない。
図25は、本発明に関わる情報処理装置のシステム構成例である。図25に示すように、情報処理装置は、ユーザ2501が音声対話を行う際の音声の入力及び出力を司るための音声入出力手段2503と、音声入出力手段2503を通じて、ユーザが入力する音声を認識し、ユーザへ提示すべき音声を構成する対話管理クライアント2506と、対話管理クライアント2506に対して、対話マッチングの制御を行う対話調停手段2509と、音声対話システムを利用中のユーザに関する情報を格納する利用中ユーザデータ2510と、ユーザに関する情報をサービス提供者から得る手段として利用するコンピュータネットワーク2512と、ユーザのユーザ情報を管理するユーザ情報管理サーバ2513と、ユーザが自らのプロファイル等を入力するためのユーザ端末2511から構成される。音声入出力手段2503は、一般にユーザと電話回線網2502で接続されており、ユーザが発声する音声をデジタル化し(A/D変換)、音声デジタルデータをアナログデータに変換する(D/A変換)装置を利用するが、例えば、コンピュータに接続されているマイク及びスピーカでも良い。また、音声入出力手段2503は必ずしも電話回線で接続されていることに限定しない。例えば、IP(nternet rotocol)で実現されるインターネット網上で、デジタル化された音声データを送受信する方法を利用してもよい。対話管理クライアント2506は、ユーザが発する音声データを認識しユーザの発するところの音声内容を理解する手段と、現在の対話の状況に関する発話内容を音声データとして構成し出力する手段を有する。なお、一般に対話管理クライアントは複数起動できるようにプログラミングされており、複数のユーザが同時にシステムを利用できる構成とする。ここで、本発明に関わる情報処理装置は、複数のユーザが利用可能な音声入出力手段及び対話管理クライアントを備えている。一般に、音声入出力手段の数は音声対話装置に接続可能とする電話回線数である。図25の構成では、3回線の音声入出力手段を備え、3人までのユーザが同時利用可能である。
図26は、本発明に関わる情報処理装置のシステム構成例である。図26における情報処理装置は、ユーザが利用する電話端末装置2601、電話網2610、ポータルサーバ2603から構成されている。ポータルサーバ2603は、音声入出力手段2604、対話管理クライアント2605、ユーザ情報管理サーバ2607、対話管理クライアント生成手段2608、対話調停手段2609を備えている。図27及び図28は、本発明に係わる情報処理装置のシステム構成例である。特に、カーナビゲーション端末とポータルサーバが情報の授受を行う形態に関わるものである。図27カーナビゲーション端末2703は、音声の入力手段であるマイク2701と出力手段であるスピーカ2702が音声入出力手段2704に接続され、カーナビゲーション端末上で動作する対話管理クライアント2705とを備えている。この形態では、対話管理クライアントにより実行する対話スクリプトを、通信網2709を経由してダウンロードする。ダウンロードは、図28の2808の太線で示すデータ通信路を利用する。ポータルサーバ2710は、ユーザ情報管理サーバ2711と対話管理クライアント生成手段2712と対話調停手段2713とを備える。一般に、通信網においては音声信号を交換する系とデータ類を交換する系は異なる。図28における通信網に接続されている細線(2807、2809、2812)は電話回線であり、太線(2808、2810、2813)はデータ回線を示している。本実施の形態を利用する情報処理システムでは、ユーザ情報や対話スクリプトの交換はデータ通信線を用い、ユーザ間のマッチング対話は音声通信線を利用する。すなわち、図28のシステムを用いた場合の図1におけるコネクション確立のステップ(11)は以下のようになる。まず、マッチング受諾を受けた各対話管理クライアント2803及び2806は、対話調停手段2814に対してコネクション確立の要請を行う。対話調停手段2814はユーザ情報管理サーバからユーザの電話番号を抽出し、対話調停手段からカーナビゲーション端末2801及び2804に通話をかける。続いて、図20と同様の方法を用いてユーザ間の通信路の上り下り回線のスイッチングを行う。以上の手順で、ユーザ間の直接対話を実現する。上記実施例はユーザ間の対話を、音声回線を用いて実現したが、もちろん音声データをパケットデータに変換してデータ通信回線を利用する技術なども同様に利用可能であり、上記実施例の方法には限定しない。
図29は、本発明に係わる情報処理装置のシステム構成例である。特に、パーソナルコンピュータ上におけるe−Learningや語学学習の実施に関わるものである。図29のユーザ端末1は、音声入出力手段2906としてマイク2901及びスピーカ2902、画像入出力手段2907としてカメラ2903及びディスプレイ2904、テキスト・位置入力手段2908としてキーボード・マウス2905等を備えている。該形態での対話管理クライアント2909は、ユーザと複数の入出力手段を利用して対話を行う。この場合、対話管理クライアントは、音声や画像情報の入力や出力をステップ実行する手段と、各入出力チャネルの同期情報を管理する同期管理手段により構成すれば良い。上記の手段で構成された複数のユーザ端末を、コンピュータネットワーク2912を経由して、学習提供サーバ2913に接続し電子的なネットワークを構築する。学習提供サーバ2913は、上記実施例図27と同様に、ユーザ情報管理サーバ2914、対話管理クライアント2915、対話調停手段2916から構成する。上記実施例では、通信網乃至はコンピュータネットワーク上を流通するのは音声データが前提であったが、本実施例の構成を用いれば、音声及び画像情報の送受信によりユーザ同士のマッチング対話が可能である。すなわち、音声及び画像情報を利用する場合には、図20のスイッチング手段に関して音声情報用スイッチ及び画像情報用スイッチを構成すれば良い。
図30は、本発明に関わる情報処理装置のシステム構成例である。特に、パーソナルコンピュータ上におけるe−Learningにおいて、教師が端末を利用して学習に介在する場合に関わるものである。図30の3001から3016で示される構成要素は図29と同一である。図30では、教師用端末1(3017)及び教師用端末2(3018)は学習提供サーバ3013と接続され、学習者との対話が可能となっている。例えば、教師用端末1(3017)の教師がユーザ端末1(3010)のユーザと、教師用端末2(3018)の教師がユーザ端末2(3011)のユーザと学習を進めているものとする。この際、教師用端末1(3018)を利用している教師から、学習者間のマッチング対話を行うよう要請があった場合には、図2の実施の形態で示した音声認識乃至キーボタンの押下を検出する方法等を用いるステップを利用して、学習者間のマッチング対話を判定する手段を構成すればよい。該形態のe−Learningシステムでは、概して学習進度を採点する必要が生じるが、該学習者を担当していた教師が、各々の教師用端末を用いて学習者間のマッチング対話を傍受することにより、学習状況を採点しキーボード入力などの手段を用いて、例えば、ユーザ情報管理サーバ3014に登録されているユーザ情報(図12・1201)において、学習者の学習進度管理状況のデータ格納エリアを設置し、該データを更新する手段を構成すればよく、該データの更新手段はWeb等を利用した一般的な方法で構成可能である。
【0006】
【発明の効果】
本発明を利用することにより、従来不可能であったコンピュータを利用した学習における人間同士の直接対話を実現することができ、ロールプレイングなどを通じて学習効果の高い語学学習サービスを提供することが可能となる。また、テレマティクスサービスに応用した場合、サービスに加入している運転者同士が直接情報交換できる仕組みを提供できるため、魅力的なサービスを実現することが可能となる。
【図面の簡単な説明】
【図1】本発明のブリッジをはる手段の一実施手段を示した図である。
【図2】本発明のブリッジをはる手段の一実施手段を示した図である。
【図3】本発明の確立されているコネクションを切断する手段の一実施例を示した図である。
【図4】本発明の確立されているコネクションを切断する手段の一実施例を示した図である。
【図5】本発明の対話マッチング(調停)を行う一実施ステップを示した図である。
【図6】本発明の対話マッチング(調停)を行う一実施ステップを示した図である。
【図7】本発明の対話マッチング(調停)を3人の利用者間で行う一実施ステップを示した図である。
【図8】本発明を利用する語学学習サービスにおける利用者登録情報の一例を示す図である。
【図9】本発明を利用する語学学習サービスにおけるマッチング度判定の一実施例を示した図である。
【図10】本発明を利用する語学学習サービスにおいて、利用者が行うマッチング対話履歴変更を説明する図である。
【図11】本発明を利用するユーザ情報管理サーバにて、利用者のマッチング対話履歴を格納するデータを示すデータ構造図である。
【図12】本発明を利用する語学学習サービスにおいて、学習者のシステム利用料金を課金及び割り引く方法の一実施例を示す図である。
【図13】本発明を利用するテレマティクスサービスにおける利用者登録情報の一例を示す図である。
【図14】本発明を利用するテレマティクスサービスにおけるマッチング度判定の一実施例を示した図である。
【図15】本発明を利用する結婚情報サービスにおける利用者登録情報の一例を示す図である。
【図16】本発明を利用する結婚情報サービスにおけるマッチング度判定の一実施例を示した図である。
【図17】本発明を利用する結婚情報サービスにおけるマッチング度判定に用いられる利用者の星座の相性度の一例を示す図である。
【図18】本発明を利用する結婚情報サービスにおけるマッチング度判定に用いられる利用者の血液型の相性度の一例を示す図である。
【図19】本発明を利用する結婚情報サービスにおけるマッチング度判定に用いられる利用者の趣味の相性度の一例を示す図である。
【図20】本発明を利用する情報処理装置におけるブリッジをはる一実施例に関する機構図である。
【図21】本発明を利用する情報処理装置におけるブリッジをはる手段において、接続先を管理するスイッチ管理テーブルの一例を示す図である。
【図22】本発明を利用するマッチング対話を終了する手段の一実施例を示す図である。
【図23】本発明を利用する音声対話システムにおける対話管理クライアント生成の一実施例を示す図である。
【図24】本発明を利用する音声対話システムにおける対話管理クライアント生成の一実施例を示す図である。
【図25】本発明を利用する情報処理システムの一例を示す構成図である。
【図26】本発明を利用する情報処理システムの一例を示す構成図である。
【図27】本発明を利用する情報処理システムの一例を示す構成図である。
【図28】本発明を利用する情報処理システムの一例を示す構成図である。
【図29】本発明を利用する情報処理システムの一例を示す構成図である。
【図30】本発明を利用する情報処理システムの一例を示す構成図である。
【符号の説明】
101 ユーザ1
102 ユーザ2
103 ユーザ情報管理サーバ
104 対話管理クライアント1
105 対話管理クライアント2
106 対話調停手段
107 利用中ユーザデータ
108 単独実行ユーザデータ
109 コネクション確立ユーザデータ
110 ユーザ情報データ
201 ユーザ1
202 ユーザ2
203 ユーザ情報管理サーバ
204 対話管理クライアント1
205 対話管理クライアント2
206 対話調停手段
207 利用中ユーザデータ
208 単独実行ユーザデータ
209 コネクション確立ユーザデータ
301 ユーザ1
302 ユーザ2
303 ユーザ情報管理サーバ
304 対話管理クライアント1
305 対話管理クライアント2
306 対話調停手段
307 利用中ユーザデータ
308 単独実行ユーザデータ
309 コネクション確立ユーザデータ
401 ユーザ1
402 ユーザ2
403 ユーザ情報管理サーバ
404 対話管理クライアント1
405 対話管理クライアント2
406 対話調停手段
407 利用中ユーザデータ
408 単独実行ユーザデータ
409 コネクション確立ユーザデータ
S501 待機状態ステップ
S502 登録受付ステップ
S503 データ登録ステップ
S504 データ取得ステップ
S505 人数判定ステップ
S506 マッチング度計算ステップ
S507 選択ステップ
S508 マッチング度判定ステップ
S509 対話要求ステップ
S510 返答待ちステップ
S601 待機状態ステップ
S602 データ取得ステップ
S603 人数判定ステップ
S604 対話要求ステップ
S605 対話受諾ステップ
S606 データ削除ステップ
S701 待機状態ステップ
S702 データ取得ステップ
S703 人数判定ステップ
S704 マッチング度計算ステップ
S705 マッチング度計算ステップ
S706 選択ステップ
S707 マッチング度判定ステップ
S708 対話要求ステップ
801 ユーザ情報
802 名前情報
803 学習コース情報
804 学習内容情報
805 マッチング対話希望情報
806 ユーザ情報
807 名前情報
808 学習コース情報
809 学習内容情報
810 マッチング対話希望情報
S901 ユーザ情報取得ステップ
S902 希望判定ステップ
S903 学習コース一致度計算ステップ
S904 マッチング度設定ステップ
S905 学習内容一致度計算ステップ
S906 マッチング度計算ステップ
1001 ユーザ履歴情報画面
1002 マッチング対話ユーザ履歴情報
1003 マッチング対話時刻履歴情報
1004 対話希望指定
1005 対話不希望指定
1101 ユーザ情報
1102 マッチング対話利用者情報
1103 マッチング対話実施時刻情報
1201 ユーザ情報
1202 学習システム利用時間エリア
1203 マッチング対話利用回数エリア
1204 課金情報エリア
S1210 利用時間加算ステップ
S1211 利用回数加算ステップ
S1212 ポイント数計算ステップ
S1213 加算ステップ
S1214 情報取得ステップ
S1215 比較ステップ
S1216 ポイント数計算ステップ
S1217 割引ステップ
1301 ユーザ情報
1302 名前情報
1303 自宅情報
1304 車種情報
1305 興味情報
1306 マッチング対話希望情報
1307 目的地情報
1308 ユーザ情報
1309 名前情報
1310 自宅情報
1311 車種情報
1312 興味情報
1313 マッチング対話希望情報
1314 目的地情報
S1401 ユーザ情報取得ステップ
S1402 希望判定ステップ
S1403 車種一致度計算ステップ
S1404 マッチング度設定ステップ
S1405 興味類似度計算ステップ
S1406 目的地類似度計算ステップ
S1407 マッチング度計算ステップ
1501 ユーザ情報
1502 名前情報
1503 自宅情報
1504 生年月日情報
1505 血液型情報
1506 趣味情報
1507 マッチング対話希望情報
1508 ユーザ情報
1509 名前情報
1510 自宅情報
1511 生年月日情報
1512 血液型情報
1513 趣味情報
1514 マッチング対話希望情報
S1601 ユーザ情報取得ステップ
S1602 希望判定ステップ
S1603 星座相性度計算ステップ
S1604 マッチング度設定ステップ
S1605 血液型相性度計算ステップ
S1606 趣味類似度計算ステップ
S1607 マッチング度計算ステップ
1701 星座
1702 星座
1703 相性度
1801 血液型
1802 血液型
1803 相性度
1901 趣味カテゴリ
1902 趣味カテゴリ
1903 相性度
2001 対話管理手段1
2002 対話管理手段1
2003 スイッチング手段1
2004 スイッチング手段2
2005 スイッチング手段
2006 コネクション上り線
2007 コネクション下り線
2008 コネクション下り線
2009 音声入出力手段
2010 コネクション上り線
2011 音声入出力手段1
2012 音声入出力手段3
2013 音声上り回線
2014 音声下り回線
2015 音声上り回線
2016 音声下り回線
2051 対話管理手段1
2052 対話管理手段1
2053 スイッチング手段1
2054 スイッチング手段2
2055 スイッチング手段
2056 コネクション上り線
2057 コネクション下り線
2058 コネクション上り線
2059 コネクション上り線
2060 音声入出力手段
2061 音声入出力手段1
2062 音声入出力手段3
2101 スイッチ管理テーブル
2102 スイッチ管理テーブル
S2201 待機状態ステップ
S2202 処理起動ステップ
S2203 情報取得ステップ
S2204 組数確認ステップ
S2205 経過時間抽出ステップ
S2206 選択ステップ
S2207 経過時間判定ステップ
S2208 要請ステップ
S2209 返答待ちステップ
2301 ユーザ
2302 音声入出力手段
2303 対話管理クライアント
2304 対話管理クライアント生成手段
2401 ユーザ
2402 音声入出力手段
2403 対話管理クライアント
2404 対話管理クライアント生成手段
2501 ユーザ1
2502 通信網
2503 音声入出力手段
2504 音声入出力手段
2505 音声入出力手段
2506 対話管理クライアント1
2507 対話管理クライアント2
2508 対話管理クライアント3
2509 対話管理クライアント1
2510 実行利用者データ
2511 ユーザ端末
2512 コンピュータネットワーク
2513 ユーザ情報管理サーバ
2514 ユーザ情報データ
2601 電話端末装置
2602 電話端末装置
2603 ポータルサーバ
2604 音声入出力手段
2605 対話管理クライアント1
2606 対話管理クライアント2
2607 ユーザ情報管理サーバ
2608 対話管理クライアント生成手段
2609 対話調停手段
2610 電話網
2701 マイク
2702 スピーカ
2703 カーナビゲーション端末1
2704 音声入出力手段
2705 対話管理クライアント1
2706 カーナビゲーション端末2
2707 音声入出力手段
2708 対話管理クライアント2
2709 通信網
2710 ポータルサーバ
2711 ユーザ情報管理サーバ
2712 対話管理クライアント生成手段
2713 対話調停手段
2801 カーナビゲーション端末1
2802 音声入出力手段
2803 対話管理クライアント1
2804 カーナビゲーション端末2
2805 音声入出力手段
2806 対話管理クライアント2
2807 電話回線
2808 パケット回線
2809 電話回線
2810 パケット回線
2811 通信網
2812 電話回線
2813 パケット回線
2814 対話調停手段
2901 マイク
2902 スピーカ
2903 カメラ
2904 ディスプレイ
2905 キーボード・マウス
2906 音声入出力手段
2907 画像入出力手段
2908 テキスト・位置入力手段
2909 対話管理クライアント1
2910 ユーザ端末1
2911 ユーザ端末2
2912 コンピュータネットワーク
2913 学習提供サーバ
2914 ユーザ情報管理サーバ
2915 対話管理クライアント生成手段
2916 対話調停手段
3001 マイク
3002 スピーカ
3003 カメラ
3004 ディスプレイ
3005 キーボード・マウス
3006 音声入出力手段
3007 画像入出力手段
3008 テキスト・位置入力手段
3009 対話管理クライアント1
3010 ユーザ端末1
3011 ユーザ端末2
3012 コンピュータネットワーク
3013 学習提供サーバ
3014 ユーザ情報管理サーバ
3015 対話管理クライアント生成手段
3016 対話調停手段
3017 教師用端末1
3018 教師用端末2。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication system in an electronic community formed on an electronic network mediated by a voice server, and in particular, by connecting to a voice dialogue system using voice input / output means to advance a dialogue. The invention relates to a speech learning system that performs a specific task, and a language learning system that connects to a speech dialogue server from a remote location using a telephone line to perform language learning.
[0002]
[Prior art]
Currently, using a speech recognition function, an “interactive language learning system” in which a learner interactively interacts with a teacher system and learns a target dialog or skit is being realized. In general, an interactive language learning system includes (1) an offline learning system that is not connected to a network such as the Internet and can operate alone, and (2) an online learning system that facilitates learning through data communication via the network. , (3) There are three types of voice interactive learning systems in which a voice call is made via a telephone line network and learning is performed by voice dialogue. For example, as a method for realizing the above (3), a method in which a user who uses the Internet connects to a remote voice server and learns a language is proposed (see, for example, Patent Document 1). . Such a spoken dialogue type language learning system is composed of a computer having a voice call line board and a software program for realizing a voice dialogue, and is generally installed and operated by a service provider providing a language learning service. is there. The spoken language learning system has the merit that it can be automatically executed if procedures such as learning contents and learning procedures are described in advance as a program. That is, since it is possible to present information to the learner using the speech synthesizer and to recognize the learner's utterance using the speech recognizer, there is an interactive control procedure that sequentially executes utterance and recognition. If it is determined, the program can be automatically executed, and a program that sequentially executes such a dialog control procedure is, for example, VoiceXML ( Voice e X tensible M arcup L (anguage) interpreter. In VoiceXML, the conversation content described by a standard script called VoiceXML script is sequentially executed by the VoiceXML interpreter, thereby enabling interaction with the user. For example, a VoiceXML script that realizes the following dialogue example 1 is described as in script example 1.
Dialogue example 1
(1) System: This is an automatic voice response system. Say the menu number you want to use.
(2) User: Please give me number 2.
(3) System: No. 2? Beginner learning begins. Is it OK?
(4) User: Yes.
Figure 0004380144
In this way, a spoken dialogue system such as a language learning service can be realized by means that have been developed so far, and a voice dialogue type service, for example, information such as stock price information and weather information can be obtained by voice dialogue using the same method. Acquiring services are also possible.
By the way, an advantage in carrying out such speech interactive language learning is that the response of the system can be changed according to the utterance content of the learner. In other words, if the learner's response content is insufficient for the system, a function that prompts re-speech, or a function that changes the system response according to the selected content when there are multiple options, can be added. .
[Patent Document 1]
JP 2002-157113 A
[0003]
[Problems to be solved by the invention]
In language learning, as seen in general language learning classrooms, teacher-learner dialogue and learner dialogue, that is, “human dialogue” is indispensable. Furthermore, it is important to receive feedback from others by actually using the learned content, and to check the learning progress and know the faults themselves. For example, in language learning, it is said that learning called "role play" or "role playing", where students learn what they have learned and change their responses according to the situation, is effective. It is considered to be a particularly important function when applied to the above. However, in the above-mentioned spoken dialogue type learning system, it is possible to execute dialogues according to the scene, but on the other hand, the voices produced by the system are generally machine voices and are not far from human voices. It is difficult to realize a natural dialogue like that. Furthermore, since the current voice dialogue system is limited to a one-to-one dialogue between a learner and a teacher, for example, when a learner desires to perform role playing with another learner, a role is played. It is necessary to search for other learners who want to play and to make contact with other learners by using means different from the spoken dialogue system. Such inter-learner communities are realized in the form of forums, etc., but in general, it takes time and effort for a learner to search for other learners he / she desires. In some cases, it may be prohibited to attempt to access a profile that shows the characteristics of learners from a viewpoint, and in the language learning service using the current spoken dialogue system, the role playing function between learners can be easily realized. Was difficult. Therefore, an object of the present invention is to realize a system capable of “dialogue between humans” in a speech interactive learning system. As described above, there are many problems when implementing a language learning service using a conventional voice dialogue system. Of course, the problem is not limited to a language learning service. The same problem arises for services that generally use.
[0004]
[Means for Solving the Problems]
As means for solving the above problems, in the present invention, input / output means for controlling input / output from a user, a dialog management client for managing dialog with the user, and dialog mediation connected to the dialog management client via a communication line An information processing system capable of bridging between dialog management clients when a predetermined condition is satisfied by exchanging information by means.
[0005]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described with reference to the drawings.
First, an embodiment of a method for building a bridge according to the present invention will be described with reference to an interactive example 2A, an interactive example 2B, and FIG. In the following dialogue example, each utterance content is numbered using “[]” for citation in the description, and the dialogue management client is called “system”.
Dialogue example 2A
[1] System 1: Hello. Japanese learning system.
[2] User A: A microphone with a membership number 0123.
[3] System 1: Today we will learn the “shopping” dialog. Is it OK?
[4] User A: Yes.
[5] System 1:
[6] User A:
[7] System 1:
[8] User A:
[9] System 1: There is a learner in the same class as you. Do you really practice with the learner?
[10] User: Yes.
[11] System 1: Connect. Please wait a moment.
[12] System 1: Connected. Press 1 to exit. Please tell me.
[13] User A: What if?
[14] User B: Hello.
[15] User A: My name is microphone.
[16] User B: I am Kent.
[17] User A: Where did you go shopping today?
Dialogue example 2B
[18] System 2: Hello. Japanese learning system.
[19] User B: Kent with membership number 0867.
[20] System 2: Today we will learn the “shopping” dialog. Is it OK?
[21] User B: Yes.
[22] System 2:
[23] User B:
[24] System 2:
[25] User B:
[26] System 2: There is a learner in the same class as you. Do you really practice with the learner?
[27] User B: Yes.
[28] In System 2: Connect. Please wait a moment.
[29] System 2: Connected. Press 1 to exit. Please tell me.
FIG. 1 is a diagram showing an example of the internal configuration and execution steps of an information system according to the present invention. First, a user 1 (101) who is a user of the present system connects to the voice system using a mobile phone or a fixed telephone and makes a use start request (1). When making a use start request, information for identifying the access source is added. As the information for identifying the access source, a method in which the user declares it like the utterance [2] in the above dialogue example 2A, a method in which the number button is used when connecting to the voice dialogue system, or the like can be used. Subsequently, the dialog management client 1 (104) that has received the use start request requests the user information management server 103 for user information (2). The user information management server 103 identifies the user with reference to the user information data 110, and returns information about the user to the dialog management client 1 (104) (3). The user information to be returned includes, for example, the user name, learning stage, learning history, matching dialog history information, and the like. The dialog management client 1 (104) to which the user information has been returned registers information of the user 1 who is the execution user who starts using the dialog mediation means 106 (4). The dialog mediation means 106 stores the user information registered from the dialog management client 1 (104) in the single execution user data 108, and notifies the dialog management client 1 (104) of the completion of registration of the execution user ( 5). When the execution user registration is completed by the above procedure, a voice dialogue session is started. An example of the dialog session is a dialog such as [1] to [8] described in the dialog example 2A. Here, although the embodiment has been described with an example of Japanese language learning, of course, since the same dialogue can be performed in applications such as foreign language learning for Japanese people, the dialogue examples 2A [1] to [8] are not necessarily limited. It doesn't have to be in Japanese, and it doesn't constrain language or dialogue content.
On the other hand, when the user 1 (101) and the dialogue management client 1 (104) are conducting a dialogue, and the user 2 (102) as another user makes a voice dialogue use request, the above-described steps (1) to (6) are performed in the same procedure. In FIG. 1, a step in which a “′” symbol is added to the step relating to the user 2 is described. According to the above procedure, it is possible to realize a form in which the user 1 and the user 2 use the dialog system and execute the dialog session.
The dialog mediation means 106 manages the information of users (user 1 and user 2 in this embodiment) who are using the system at the same time by storing them in the single execution user data 108. The dialogue mediation means 106 determines whether or not to propose (offer) a matching dialogue between the user 1 and the user 2 with reference to the single execution user data (7). For example, a matching dialogue is proposed when the learning stages of the user 1 and the user 2 are the same or when the learning contents are close. For example, if the learning stages of the user 1 and the user 2 are “beginner” and the learning content is “shopping”, a matching dialogue can be proposed. In the present embodiment, the step of proposing the matching dialogue when the learning stages and the learning contents of the user 1 and the user 2 are the same is, of course, any combination that is judged to be highly effective by performing the matching dialogue. Any determination may be made, and the determination is not limited to the above example.
As a result of the determination of the matching result, after the condition for offering direct dialogue between the user 1 and the user 2 is established (7), the dialogue management client 1 (104) and the dialogue management client 2 (105) are each dialogued. A matching request from another user is issued so as to have a direct dialogue with the user using the management client 2 and the dialogue management client 1 (8). Next, each dialogue management client makes a matching offer to the user (9). In the dialogue examples 2A and 2B, the dialogue example 2A [9] and the dialogue example 2B [26] correspond to offer utterances. Each of the user 1 and the user 2 determines whether or not to accept the matching dialogue (10). When both the user 1 and the user 2 accept the matching, the connection between the dialog management client 1 and the dialog management client 2 is established, and a transition is made to a direct dialog between the user 1 and the user 2 (11). In the dialog examples 2A and 2B, the dialog examples 2A [13] to [17] indicate the dialog examples after the connection establishment and the connection establishment. Finally, the dialog management clients 104 and 105 notify the dialog mediation means 106 that the connection has been established (12), and the dialog mediation means 106 executes user 1 and user 2 independently based on the information. It is deleted from the user data 108 and registered in the connection establishment user data 109.
With reference to FIG. 2, an embodiment in the case where there is a request from the user in the steps up to the construction of the bridge according to the present invention will be described. In FIG. 2, the configuration is the same as that of the embodiment shown in FIG. 1 except that a matching dialogue is performed according to a request from the user. First, the steps from step (1) user use start request to step (6) start of the interactive session in FIG. 1 are the same. Subsequently, the user 1 (201) makes a matching dialog request to the dialog management client 1 (204) (7). Step (7) The method of requesting that the user 1 wants to perform a matching dialogue to the dialogue management client is, for example, a method of detecting pressing of a key or a button assigned in advance for performing the matching dialogue, For example, a method for recognizing a speech such as “matching dialogue request” can be used. In response to the request item input by the above method, the dialog management client 1 (204) notifies the dialog mediation means 206 of a matching dialog request (8). Hereinafter, the dialog mediation unit 206 determines matching between users, but the subsequent steps can be realized by the same steps as in FIG.
With reference to FIG. 3, an embodiment in which the dialog mediation means proposes termination to the user 1 and the user 2 who are performing the matching dialog will be described. FIG. 3 is an example of a configuration diagram and steps when the user 1 and the user 2 end the matching dialogue. First, the dialog mediation unit 306 searches the connection establishment user data 309, acquires information on the user group that is performing the matching dialog, and determines whether the matching dialog is ended from the information data on the user group (1). Next, the matching management end proposal is notified to the dialog management client 1 (304) (2). At the same time, the dialog management client 1 (304) transfers a matching dialog end proposal notification to the dialog management client 2 (305) (2 ′). In the following step (3), each dialog management client notifies the user that the matching dialog is desired to be terminated, and after the user's approval of termination (4), the connection is disconnected (5). After the connection is disconnected, the dialog management client 1 (304) registers the matching dialog history that has been performed in the user information management server 303 (6), and starts a normal session with the user (7). ). Finally, the dialog mediation unit 306 notified of the return to the normal session deletes the user data that was performing the matching dialog from the connection establishment user data 309 (9), and the information of both users is independently executed user data 308. (10). The above-described steps can realize the matching dialogue termination means according to the present invention.
FIG. 4 illustrates an example of the step of ending the matching dialogue according to the present invention, in particular, the step of ending the matching dialogue when the user desires. Here, it is assumed that the user 1 wishes to end the matching dialogue. First, the user 1 (401) makes a conversation end application to the dialog management client 1 (404) (1). The application for the conversation end is, for example, a method of notifying the system that the matching dialogue is to be terminated by pressing a specific push button (for example, No. 0) of the telephone device, or the dialogue management client intercepts the matching dialogue. The method of recognizing the keyword “matching dialog end” included in the content of the remarks of the matching dialog person is used. However, in the present invention, the method is not limited to the above as long as the user can specify the end of the dialog. Absent. Furthermore, although the method of detecting “matching dialog end” from the voice is shown above, when the learning level of the Japanese learner is in the initial stage, the keyword “matching dialog end” is not stored. Therefore, it may be a word or a phrase meaning “end of matching dialogue” in the learner's native language. In this case, the dialogue management client recognizes a voice meaning “end” in the learner's native language. After applying for the end of the matching dialog in the above procedure, the dialog management client 1 (404) notifies the dialog mediation means 406 that there has been a matching end request from the user (2). Thereafter, the normal session is restored by the same method as the termination means in FIG.
An embodiment relating to the dialog mediation means of the present invention will be described with reference to FIGS. FIG. 5 is an embodiment of step (7) “matching determination” in the dialog mediation means 106 of FIG. The dialog mediation means is in a standby state (S501) for accepting information registration from the dialog management client as an initial state. Next, registration of an “execution user” who is going to start a dialogue session is received from an arbitrary dialogue management client N (S502). Next, the dialog mediation means 106 registers the execution user data in the single execution user management data 108 (S503). Subsequently, “single execution user data”, which is all user lists using the information processing apparatus according to the present invention at the time, is acquired from the single execution user data (S504). If the number of single execution user data obtained in step S504 is two or more, the next step S505 is executed. If there are less than two single execution users, the transition to the standby state is performed without performing mediation of dialogue. (S505). If there are two or more single execution users in step S505, the degree of matching M (I, J) is calculated for any combination of the single execution users, for example, user I and user J (S506). The matching degree is expressed by an integer value from 0 to 100, for example, and indicates a combination in which the matching degree is large and the dialog mediation effect is high if the numerical value is large. Of course, the matching degree is not limited to the above embodiment as long as it is an index that can evaluate the degree of combination of user combinations. Subsequently, a combination (P, Q) of users having the largest value for the matching degree M (I, J) calculated in step S506 is obtained (S507). Here, P and Q represent user indexes. Next, it is determined whether or not the matching degree M (P, Q) obtained in S507 is equal to or higher than a predetermined matching degree. If the matching degree is equal to or higher than a predetermined matching degree, the following step S510 is executed. If there is not, the transition to the standby state is made without performing the mediation of the dialogue (S509). The predetermined matching degree is a numerical value such as 50, for example. In the subsequent step S510, a matching request with another user is sent to the dialog client managing the user P and the user Q, and a transition is made to a waiting state for a response from each dialog management client (S511). The information sent in step S509 is an embodiment of another user matching request in step (8) of FIG.
With reference to FIG. 6 and FIG. 1, an embodiment of means for generating a plurality of combinations of users who bridge the present invention will be described. FIG. 6 is a diagram showing processing steps in the dialog mediation means 106 of FIG. The dialog mediation means 106 is first set to a standby state (S601). Subsequently, all single execution user data is acquired by the same procedure as in steps S502, S503, and S504 in FIG. 5 (S602). Subsequently, it is determined whether there are two or more single execution users. If there are two or more, the process proceeds to S604, and if it is less than two, the process proceeds to the standby state S601 (S603). In subsequent step S604, a user group (P, Q) having the maximum matching degree is selected in the same procedure as in steps S506, S507, S508, and S509 in FIG. 5, and a matching dialogue start is requested. Next, if the users P and Q accept the matching dialogue, the users P and Q are deleted from the single execution user data 108 in FIG. 1 and the user set (P, Q) is registered in the connection establishment user data 109 at the same time. Then (step (14) in FIG. 1), the state transits to the standby state (S606). According to the above procedure, it is possible to perform arbitration in which two users are first selected from the single execution users and a matching dialogue is performed. The dialog mediation means that has transitioned to the standby state repeatedly executes steps S602 to S606, performs coupling to the users remaining in the single execution user data, and proposes a matching dialog. In the present embodiment, since the user group having the maximum matching degree exists and the matching dialogue is accepted, the steps in FIG. 6 are not problematic because there are less than two independent execution users. However, if the above assumption is not satisfied, for example, if either of the user groups (P, Q) having the highest matching degree does not accept the offer of the matching dialog, the user P and Q are assigned from the single execution user in the subsequent step S606. It will not be possible to delete, and a matching dialogue offer will be executed forever for users P and Q. Accordingly, if data of a type of matching rejection pair is stored in the in-use user data 107 so as not to select the user group having the highest matching degree, the user group that has already rejected the matching when selecting in S604. Can be eliminated, so there is no problem.
7 and 1, an embodiment of dialogue mediation means in the case where the number of users who bridge the present invention is three will be described. FIG. 7 is a diagram showing processing steps in the dialog mediation means 106 of FIG. The dialog mediation means is in a standby state (S701) for accepting information registration from the dialog management client as an initial state. Subsequently, all single execution user data is acquired by the same procedure as in steps S502, S503, and S504 in FIG. 5 (S702). Subsequently, it is determined whether there are three or more single execution users. If there are three or more, the process proceeds to S704, and if it is less than two, the process proceeds to the standby state S701 (S703). Next, the matching degree M (I, J) is obtained for all combinations of the two users (S704). Subsequently, the matching degrees M (I, J) of the two users obtained in step S704, all matching degrees M (I, X) including the user I, and all matching degrees M (J, J including the user J). X) is calculated from the equation M (I, J, X) = M (I, J) + M (I, X) + M (J, X), and the user X having the maximum M is obtained. Here, the search is performed under the condition that X is not I or J. For example, if the above formula M (I, J, X) = M (I, J) + M (I, X) + M (J, X) is the maximum for the user K, the user I, J, The matching degree M (I, J, K) between K is set as the matching degree of the combination of the three persons (S705). Subsequently, M (I, J, K) having the highest matching degree among any three user groups is selected (S706). If the matching degree is equal to or higher than a certain matching degree, the dialogue for managing the users I, J, K is performed. A matching dialogue is requested from the management client (S708), and a transition is made to a response wait state (S709). Although the dialogue mediation of three people can be performed by the above procedure, the same method can be used also in the dialogue mediation of three or more people. In dialog mediation of three or more people, the processes in steps S704 and S705 may be executed recursively.
With reference to FIG. 8 and FIG. 9, an example in which an example of matching level determination by the dialog mediation means according to the present invention is applied to a language learning service will be described. FIG. 9 is a diagram illustrating steps for calculating the matching degree. First, registration information of two users A and B whose matching degrees should be determined is acquired (S901). The user information is acquired from, for example, the user information management server in FIG. Here, reference numeral 801 in FIG. 8 indicates registration information of the user A, and reference numeral 806 in FIG. 8 indicates registration information of the user B. Information about the user is composed of attribute information of a name 802, a learning course 803, learning contents 804, and matching dialog request information 805. With reference to the registration information acquired in step S901, it is referred to whether both of users A and B desire a matching dialogue (S902). If both users desire a matching dialogue, step S902 is executed, and if any user sets “not desired”, the matching degree is set to 0 and the process is terminated (S904). If it is determined in step S902 that both parties desire a matching dialogue, first, the degree of coincidence between the learning courses of both users is calculated (S903). Here, referring to 803 and 808 in FIG. 8, since both are the same in the learning course “English beginner”, M1 = 100 is set (S903). Here, the coincidence degree set to 100 is merely an example, and the evaluation value is not limited to this value as long as the evaluation value can realize the coincidence degree. In a succeeding step S904, a similarity M2 of learning contents of both users is calculated. Referring to 804 and 809 in FIG. 8, since both of the learning contents include “shopping”, M2 = 100 is set. The degree of matching M between users A and B is obtained using the similarities obtained from the above steps using M1 and M2 (S906). Here, M = 100 is obtained. In the above procedure, the embodiment for determining the degree of matching between two users of the language learning service has been described. In the above embodiment, the user registration information including the attributes shown in FIG. 8 is used. However, the present invention is not limited to these attributes. That is, when using an attribute other than the above embodiment, a means for calculating the similarity M from the attribute value by means similar to that in step S903 is inserted between step S905 and step S906, and the calculation formula of S906 is calculated. Change it.
The means for accessing user information using the user's terminal after the user finishes learning will be disclosed with reference to FIG. FIG. 10 is an example of user information disclosed by the service provider. User information 1001 is disclosed using a web service on the Internet, a public bulletin board, or the like. The user can check the history of the matching dialogue in the user information and can select whether or not to continue the dialogue with the user who has conducted the matching dialogue before the previous time when using the next service. That is, the user information 1001 indicates that the previous matching dialogue user is the user B (1002), and the matching dialogue time is also indicated (1003). Therefore, the user can recall the contents of the matching dialogue from the information and determine whether or not to perform the matching dialogue next time. In FIG. 10, since the user has selected “Continue next time (1004)”, matching is performed by setting a high matching degree between user A and user B in the dialog mediation means in step (7) of FIG. The dialogue can be used continuously. In this embodiment, the user who has performed the matching dialogue is described anonymously as “user B”, but anonymous or real name may be selectable from the viewpoint of privacy.
In the above-described embodiment, means for performing mediation using a user's learning course and learning content information is disclosed. Here, an embodiment of “a method of performing mediation according to a user's matching dialogue usage history” according to the present invention will be described with reference to FIG. As shown in step (6) of FIG. 3, when the matching dialogue between the user 1 and the user 2 is completed, the dialogue management client transmits information on the matching dialogue between the user 1 and the user 2 to the user information management server. Is sent out. For example, the information includes the information shown in FIG. 6, that is, user information 1101, a user 1102 who has performed a matching dialogue, and a learning time 1103. For example, in the interactive examples 2A and 2B, the following data is transmitted, respectively.
Data 1: (User A, User B, August 20, 2002, 15: 30-15: 38)
Data 2: (User B, User A, August 20, 2002, 15: 30-15: 38)
When the history data is sent to the user information management server, the user information management server records the received history data in the user information data. The dialog mediation means searches user information of user A and user B acquired from the user information management server at the time of step (7) matching in FIG. 1, and when user A uses the voice system again, user B Arbitration is performed so that matching is performed with priority. With reference to FIG. 12 and FIG. 3, an embodiment of charging a service user according to the present invention will be described. FIG. 12 shows the steps performed by the user information management server 303 at the time of matching dialog history registration in step (6) of FIG. First, the user information management server 303 in FIG. 3 adds the learning system usage time to the learning system usage time area 1202 of the user information 1201 (S1210). Subsequently, the number of times of use of the matching dialog is added to the matching dialog use count area 1203 of the user information 1201 (S1211). Subsequently, the number of points P is calculated from the learning system usage time (S1212). For example, if it is used for 10 minutes, 10 points are used. The number of points P calculated in step S1212 is added to the billing information area 1204 in the user information 1201. In step S1214, the number of matching dialogs in the learning system is acquired from the matching dialog usage count area 1203. With reference to the obtained number of uses, if the number of matching dialogues is N or more, step S1216 is executed, and if it is less than N, the process is terminated. Here, the number N is a number determined in advance according to the service. Subsequently, in step S1216, the point number Q is calculated from the number N of times when the matching dialogue is used. For example, if it is used 5 times, it will be 0.5 points. The number of points Q calculated in step S1216 is subtracted from the billing information area 1204 (S1217). The subtraction step may be replaced with a step of adding a negative value. With the above procedure, a billing information management means according to the present invention is provided.
With reference to FIG. 13 and FIG. 14, an example in which the matching degree determination example in the dialog mediation means according to the present invention is applied to a telematics service will be described. FIG. 14 is a diagram illustrating steps for calculating a matching degree. First, registration information of two users A and B whose matching degrees should be determined is acquired (S1401). Here, 1301 in FIG. 13 indicates registration information of the user A, and 1308 in FIG. 13 indicates registration information of the user B. The information related to the user A includes attribute information of a name 1302, a home 1303, a possessed vehicle type 1304, an interest 1305, matching dialogue request information 1306, and destination registration information 1307. With reference to the registration information acquired in step S1401, it is referred whether the users A and B both desire a matching dialogue (S1402). If both users desire a matching dialogue, step S1403 is executed, and if any user sets “not desired”, the matching degree is set to 0 and the process is terminated (S1404). If it is determined in step S1402 that both parties desire a matching dialogue, first, the degree of coincidence between the vehicle types of both users is calculated (S1403). Here, referring to 1304 and 1311 in FIG. 13, since both are the same for the vehicle type “SEISAK”, M1 = 100 is set (S1403). Here, the coincidence degree set to 100 is only an example, and the evaluation value is not limited to this value as long as it is an evaluation value representing the coincidence degree. In a succeeding step S1405, the similarity M2 between the interests of both users is calculated. Referring to 1305 and 1312 in FIG. 13, both of the interests include “shopping”, but the user of 1312 includes the interest of “travel”, so the interests are not completely the same. Therefore, M2 = 80 is set. In the subsequent step S1406, the proximity M3 of the destinations of both users is calculated. Here, from 1307 and 1314 in FIG. 13, user A is registered as “Fuji Five Lakes” and user B is registered as “Mt. Fuji”, and both are included in the same mesh in the preset map information. 100. The proximity of the destination can be calculated by calculating the Manhattan distance (number of meshes) of the mesh including the destination and subtracting from 100 the value obtained by multiplying the number of meshes by 10. Of course, the method of determining the proximity of the destination is not limited to this means, and a scale converted from the actual distance on the map can be used. The degree of matching M between the users A and B is obtained using the similarities obtained from the above steps using M1, M2, and M3 (S1407). Here, M = 94 is obtained. Here, the matching degree M is M = 94, and it is determined that the user A and the user B are close to the destination. Therefore, tourist information around the destination, shopping information exchange guidance, and the like are presented to guide the user interaction. It is possible. In the above procedure, the embodiment for determining the matching degree of two users of the telematics service has been described. In the above embodiment, the user registration information composed of the attributes shown in FIG. 13 is used, but the present invention is not limited to these attributes. That is, when using an attribute other than the above embodiment, a means for calculating the similarity M from the attribute value by means similar to that in step S1403 is inserted between step S1406 and step S1407, and the calculation formula of step S1407 is used. Can be changed.
With reference to FIGS. 15, 16, 17, 18, and 19, an example of applying the matching degree determination by the dialog mediation means according to the present invention to a marriage information service will be described. FIG. 16 is a diagram illustrating steps for calculating a matching degree. First, registration information of two users F and M whose matching degrees should be determined is acquired (S1601). Here, 1501 in FIG. 15 indicates registration information of the user F, and 1508 in FIG. 15 indicates registration information of the user M. Information about the user includes attribute information of name 1502, address 1503, date of birth 1504, blood type 1505, hobby 1506, and matching dialog request information 1507. The registration information acquired in step S1601 is referred to, and it is referred whether the users F and M both want a matching dialogue (S1602). If both users desire a matching dialogue, step S1603 is executed, and if any user sets “not desired”, the matching degree is set to 0 and the process is terminated (S1604). If it is determined in step S1602 that both desire a matching dialogue, first, the compatibility level M1 of the constellations of both users is searched (S1603). FIG. 17 is a table that defines the degree of compatibility between constellations. From FIG. 17, from the male constellation “Virgo” (1702) and the female constellation “Libra” (1703), the compatibility can be determined as M1 = 85 (1703). Here, the use of the compatibility degree table is merely an example, and the value is not limited to the value as long as the degree of compatibility is expressed. In subsequent step S1605, the blood type compatibility M2 of both users is searched. In this step, similarly to S1603, the degree of compatibility can be obtained as M2 = 58 (1803) from 1802 and 1803 in FIG. Finally, in step S1606, the closeness M3 of the hobbies of both users is calculated. Here, using a table such as FIG. 19, the degree of compatibility is obtained from 1901 and 1902 and M = 10 (1903). Using the similarities M1, M2, and M3 obtained from the above steps, the matching degree M of the users A and B is obtained (S1607). Here, M = 43.3 is obtained. Here, since the matching degree M is M = 43.3 and it is determined that the compatibility of the user A and the user B is relatively close, it is possible to present guidance for hobbies and the like to induce user interaction. . The embodiment in which the matching degree determination of two users who use the marriage information service is performed according to the above procedure has been described. In the above embodiment, the user registration information composed of the attributes shown in FIG. 15 is used, but the present invention is not limited to these attributes. That is, when using an attribute other than the above embodiment, a means for calculating the similarity M from the attribute value by means similar to that in step S1603 is inserted between step S1606 and step S1607, and the calculation formula of step S1607 is used. Can be changed.
An embodiment of a means for setting a bridge according to the present invention will be described with reference to FIGS. FIG. 20 shows a diagram in which the user 1 and the user 2 are interacting with the dialog management client 1 and the dialog management client 2 corresponding to each using the voice input means. The user 1 is connected to the audio channel 1 (2011) of the audio input / output unit 2009 and uses the uplink audio channel 2013 and the downlink audio channel 2014. The voice channel 1 (2011) is connected to the dialog management means 1 (2001) via the switching means 1 (2003), and a dialog is executed. Here, the dialog management means is means for executing each step of the dialog, and the dialog management client described frequently in the present invention is an embodiment of the dialog management means. The switching means 1 (2003) and the voice input / output means 1 (2011) are connected by an upstream line (2006) and a downstream line (2007). Since the switching unit 2005 is generally realized as software, there are a method implemented in the dialogue management unit (2001 or 2002) and a method implemented in the voice input / output unit (2009). If it can be realized, the configuration is not limited to the above. As described above, input / output of audio to / from the audio input / output means is often realized by full-duplex communication of uplink and downlink, and can be realized by a known technique. Similarly, the user 2 has a dialog with the dialog management unit 2 (2002) through the voice input / output unit 3 (2012) and the switching unit (2004). In this embodiment, 1 and 3 are used as the voice input / output means, but any channel may be used as long as the voice input / output means that can be separated for each user is assigned. In the above mode, the mode in which the user 1 and the user 2 are interacting with the dialog management means 1 and 2 is shown. This form can be managed by a switch management table 2101 in FIG. In other words, the connection numbers of the input / output lines of the connected voice input / output means and dialog management means are managed by the method described in 2101 in FIG. For example, in the switching means with the switch ID = 1, since the input signal line (IN) from the voice input / output means is connected to the voice input / output means 1, “1” is written in the item of IN. Similarly, since the output signal line (OUT) to the voice input / output means is connected to the voice input / output means 1, “1” is written in the OUT item. Similarly for the dialogue management means, the input signal line (IN) from the dialogue management means is connected to the dialogue management means 1, and therefore, “1” is written in the item of IN. Similarly, “1” is described in the item of OUT. With the above procedure, the connection relationship between the dialogue management means and the voice input / output means at the time when the dialogue is performed can be managed by the switch management table of FIG. Next, a procedure for establishing a bridge for direct dialogue between the user 1 and the user 2 will be described. Here, an embodiment relating to connection establishment in step (11) in FIG. 1 will be described. Step (11) in FIG. 1 is a step in which the dialog management client 1 (104) and the dialog management client 2 (105) receive a notification of acceptance of matching from the user and establish a bridge. Since 104 and 105 in FIG. 1 correspond to 2001 and 2002 in FIG. 20, only the symbols in FIG. 20 will be described below. First, the dialogue management unit 1 (2001) refers to the switch management table 2101 and acquires the switch ID that connects the dialogue management unit 2 that is the counterpart to be bridged to the IN / OUT line. That is, in 2101 of FIG. 21, switch ID = 2 is acquired. Next, the dialog management unit 1 (2001) that has acquired the switch ID = 2 switches the switch ID = 1 connected to the dialog management unit 1 itself to the switching unit, and the switch ID = 2 acquired in the above procedure. Is notified to replace the signal line OUT on the voice input / output means side. That is, since the voice input / output means OUT with switch ID = 1 is “1” and the voice input / output means OUT with switch ID = 2 is “3”, “1” and “3” are interchanged. In the above example, the dialog management unit 1 acquires the switch ID. However, the dialog management unit 2 may acquire the switch ID, and the signal line may be replaced by a similar procedure. However, since conflicts occur when the dialogue management means 1 and the dialogue management means 2 are switched at the same time, the switch ID acquisition and switching procedures must be performed by the dialogue management means with a high priority. Constraints such as younger being given higher priority are necessary. In the above steps, the switching means 2053 and 2054 and the voice input / output means 2061 and 2062 in FIG. 20 can be connected to the signal lines 2056, 2057, 2058, and 2059. In the above procedure, the full-duplex communication path between the user 1 connected to the voice input / output means 1 (2061) and the user 2 connected to the voice input / output means 2 (2062), that is, the user 1 to the user 2 The connection to user 1 → 2061 → 2056 → 2053 → 2057 → 2062 → user 2 is established, and the connection from user 2 to user 1 is the communication path of user 2 → 2062 → 2058 → 2054 → 2059 → 2061 → user 1 Is established and direct dialogue is possible. Subsequently, since each of the dialog management means 1 (2051) and the dialog management means 2 (2052) intercepts the calls of the user 1 and the user 2, the dialog management means 1 includes the switching means 2 (2054) and the dialog management means 2 Establishes a connection with the switching means 1 (2053), and each switch is connected to both dialog management means as described in the switch management table 2102 in FIG. According to the above procedure, the connection between the user 1 and the user 2 could be established.
An embodiment for requesting a user who is performing a matching dialog to end the matching dialog in the dialog mediation means according to the present invention will be described with reference to FIGS. 22 and 3. FIG. 22 shows an example of the step (1) of realizing the matching dialog end determination in the dialog mediation means 306 of FIG. The dialog mediation unit 306 starts the end determination process by the timer process from the standby state (S2201) which is the initial state (S2202). For example, the timer may be set to start every minute. Next, connection establishment user information that is currently performing a matching dialogue is acquired from the connection establishment user data 309 in FIG. 30 (S2203). If the number of established user groups acquired in step S2203 is 1 or more, the following step S2205 is executed, and if it is less than 1 (that is, 0), a transition is made to a standby state. In step S2205, the elapsed time T of the matching dialog is extracted from all the connection establishment user information acquired in step S2203. Next, the user group (I, J) with the largest T is selected (S2206), and it is determined whether or not a certain time has elapsed. If it has elapsed, step S2208 is executed. The process proceeds to S2201. Here, the elapsed time T is compared with the system-fixed elapsed time. However, a matching dialogue may be performed to give a different system available time to the user group. In this case, the elapsed time T is included in the connection establishment user information. And the system available time Ta may be described and used. In step S2208, the dialog management client (FIG. 3-304) that manages the user set (I, J) selected in step S2207 is requested to end the dialog. Upon receiving the dialog end request, the dialog management client 1 (304) notifies the dialog management client 2 and requests each user to end the matching dialog. After that, if either of the users accepts, the matching dialog is terminated and the connection is disconnected. In the above embodiment, the procedure for notifying each user and obtaining consent at the end of the matching dialogue is taken, but of course, the connection may be disconnected without obtaining consent, in which case the procedure for requesting termination of the matching dialogue is It is unnecessary. By the above procedure, means for terminating the matching dialogue is realized.
FIG. 23 is used to show an embodiment of dialog management client generation according to the present invention. First, when the voice interaction system is activated, the interaction management client generating means 2304 is generated, and a transition is made to a waiting state for a use start message from the user 2301 (1). Next, when there is a call from the user to the voice input / output unit 2302 (2), the voice input / output unit 2302 sends a call start message to the dialog management client generation unit 2304 (3). Upon receiving the use start message sent from the voice input / output unit 2302, the dialog management client generation unit 2304 generates a dialog management client 2303 for performing a dialog with the user (4). The generated dialogue management client 2303 establishes a communication path with the voice input / output means 2302 using, for example, the embodiment described with reference to FIG. 20, and starts a dialogue with the user (5).
FIG. 24 is used to show an embodiment of dialog management client generation according to the present invention. First, when the voice dialog system is activated, the dialog management client generation unit 2404 generates a dialog management client 2403 (1). The generated dialogue management client 2403 shifts to a waiting state for a use start message sent from the voice input / output means 2402 (2). Next, when there is a use request from the user 2401 to the voice input / output means 2402 through a telephone line or the like (3), the voice input / output means 2402 sends a use start message to the dialog management client 2403 (4). . Upon receiving the use start message, the dialog management client 2403 establishes a communication path to the voice input / output unit 2402 using, for example, the embodiment described with reference to FIG. 20, and starts a call with the user ( 5).
As described above, two types of embodiments have been shown regarding the establishment of the communication path between the dialog management client and the user. However, the communication path between the dialog management client and the user may be established, and the present invention is not limited to the above embodiment.
FIG. 25 is a system configuration example of an information processing apparatus according to the present invention. As shown in FIG. 25, the information processing apparatus receives voice input by the user through the voice input / output unit 2503 and the voice input / output unit 2503 for managing voice input and output when the user 2501 performs voice dialogue. The dialogue management client 2506 that constitutes the voice to be recognized and presented to the user, dialogue mediation means 2509 that controls dialogue matching for the dialogue management client 2506, and information about the user who is using the voice dialogue system are stored. In-use user data 2510, a computer network 2512 that is used as a means for obtaining information about the user from the service provider, a user information management server 2513 that manages the user information of the user, and for the user to input their profile and the like. User terminal 2511. The voice input / output means 2503 is generally connected to the user via the telephone line network 2502, digitizes the voice uttered by the user (A / D conversion), and converts the voice digital data into analog data (D / A conversion). For example, a microphone and a speaker connected to a computer may be used. Further, the voice input / output means 2503 is not necessarily limited to being connected by a telephone line. For example, IP ( I internet P A method of transmitting and receiving digitized audio data on an Internet network realized by (rotorcol) may be used. The dialogue management client 2506 has means for recognizing voice data emitted by the user and understanding the voice content that the user utters, and means for configuring and outputting the utterance content relating to the current dialogue status as voice data. In general, a plurality of dialogue management clients are programmed so that a plurality of users can be activated, and the system can be used simultaneously by a plurality of users. Here, the information processing apparatus according to the present invention includes voice input / output means and a dialogue management client that can be used by a plurality of users. In general, the number of voice input / output means is the number of telephone lines that can be connected to the voice interactive apparatus. The configuration of FIG. 25 includes three lines of voice input / output means and can be used simultaneously by up to three users.
FIG. 26 is a system configuration example of an information processing apparatus according to the present invention. The information processing apparatus in FIG. 26 includes a telephone terminal apparatus 2601, a telephone network 2610, and a portal server 2603 that are used by the user. The portal server 2603 includes voice input / output means 2604, a dialog management client 2605, a user information management server 2607, a dialog management client generation means 2608, and a dialog mediation means 2609. 27 and 28 are system configuration examples of the information processing apparatus according to the present invention. In particular, it relates to a form in which a car navigation terminal and a portal server exchange information. The car navigation terminal 2703 includes a dialogue management client 2705 that operates on the car navigation terminal, with a microphone 2701 that is an audio input unit and a speaker 2702 that is an output unit connected to the audio input / output unit 2704. In this form, a dialogue script executed by the dialogue management client is downloaded via the communication network 2709. The download uses a data communication path indicated by a thick line 2808 in FIG. The portal server 2710 includes a user information management server 2711, dialog management client generation means 2712, and dialog mediation means 2713. In general, in a communication network, a system for exchanging voice signals and a system for exchanging data are different. In FIG. 28, thin lines (2807, 2809, 2812) connected to the communication network are telephone lines, and thick lines (2808, 2810, 2813) indicate data lines. In the information processing system using this embodiment, user information and dialogue scripts are exchanged using data communication lines, and matching dialogues between users use voice communication lines. That is, the connection establishment step (11) in FIG. 1 when the system of FIG. 28 is used is as follows. First, each of the dialog management clients 2803 and 2806 that have received the matching acceptance requests the dialog mediation means 2814 to establish a connection. The dialog mediation unit 2814 extracts the user's telephone number from the user information management server, and makes a call to the car navigation terminals 2801 and 2804 from the dialog mediation unit. Subsequently, switching of the uplink and downlink of the communication path between users is performed using the same method as in FIG. With the above procedure, direct dialogue between users is realized. In the above embodiment, the dialogue between users is realized by using a voice line. Of course, a technique for converting voice data into packet data and using a data communication line can also be used. It is not limited to.
FIG. 29 shows a system configuration example of the information processing apparatus according to the present invention. In particular, it relates to the implementation of e-learning and language learning on a personal computer. 29 includes a microphone 2901 and a speaker 2902 as voice input / output means 2906, a camera 2903 and a display 2904 as image input / output means 2907, a keyboard / mouse 2905 as text / position input means 2908, and the like. The dialog management client 2909 in this form performs a dialog with the user using a plurality of input / output means. In this case, the dialogue management client may be configured by means for stepping and inputting voice and image information, and synchronization management means for managing synchronization information of each input / output channel. A plurality of user terminals configured by the above means are connected to the learning providing server 2913 via the computer network 2912 to construct an electronic network. The learning providing server 2913 includes a user information management server 2914, a dialog management client 2915, and a dialog mediation means 2916, as in the above-described embodiment FIG. In the above embodiment, audio data is assumed to be distributed on the communication network or computer network. However, if the configuration of this embodiment is used, a matching dialogue between users can be performed by transmitting and receiving audio and image information. is there. That is, when audio and image information is used, the audio information switch and the image information switch may be configured with respect to the switching means of FIG.
FIG. 30 is a system configuration example of an information processing apparatus according to the present invention. Particularly, in e-learning on a personal computer, it relates to a case where a teacher intervenes in learning using a terminal. The components shown by 3001 to 3016 in FIG. 30 are the same as those in FIG. In FIG. 30, the teacher terminal 1 (3017) and the teacher terminal 2 (3018) are connected to the learning providing server 3013 and can interact with the learner. For example, it is assumed that the teacher of the teacher terminal 1 (3017) is learning with the user of the user terminal 1 (3010) and the teacher of the teacher terminal 2 (3018) is learning with the user of the user terminal 2 (3011). At this time, if a teacher using the teacher terminal 1 (3018) requests to perform a matching dialogue between learners, the voice recognition or key button shown in the embodiment of FIG. A means for determining a matching dialogue between learners may be configured by using a step using a method of detecting a press or the like. In the e-learning system of this form, it is generally necessary to score the learning progress, but the teacher who was in charge of the learner intercepts the matching dialogue between learners using each teacher terminal For example, in the user information registered in the user information management server 3014 (FIG. 12, 1201), a data storage area for the learning progress management status of the learner is set up by scoring the learning status and using means such as keyboard input. The data updating means may be configured, and the data updating means can be configured by a general method using the Web or the like.
[0006]
【The invention's effect】
By utilizing the present invention, it is possible to realize a direct dialogue between humans in learning using a computer, which was impossible in the past, and to provide a language learning service with a high learning effect through role playing and the like. Become. In addition, when applied to a telematics service, it is possible to provide a mechanism that allows drivers who have subscribed to the service to exchange information directly, so that an attractive service can be realized.
[Brief description of the drawings]
FIG. 1 is a diagram showing one implementation means of a means for bridging a bridge according to the present invention.
FIG. 2 is a view showing one implementation means of the means for bridging the bridge according to the present invention.
FIG. 3 is a diagram showing an embodiment of means for disconnecting an established connection according to the present invention.
FIG. 4 is a diagram showing an embodiment of a means for disconnecting an established connection according to the present invention.
FIG. 5 is a diagram showing one implementation step of performing dialog matching (arbitration) according to the present invention.
FIG. 6 is a diagram illustrating one implementation step of performing dialog matching (arbitration) according to the present invention.
FIG. 7 is a diagram illustrating one implementation step of performing dialogue matching (arbitration) according to the present invention among three users.
FIG. 8 is a diagram showing an example of user registration information in a language learning service using the present invention.
FIG. 9 is a diagram showing an example of matching degree determination in a language learning service using the present invention.
FIG. 10 is a diagram illustrating a matching dialog history change performed by a user in a language learning service using the present invention.
FIG. 11 is a data structure diagram showing data for storing a user's matching dialog history in the user information management server using the present invention.
FIG. 12 is a diagram showing an embodiment of a method for charging and discounting a learner's system usage fee in a language learning service using the present invention;
FIG. 13 is a diagram showing an example of user registration information in a telematics service using the present invention.
FIG. 14 is a diagram showing an example of matching degree determination in a telematics service using the present invention.
FIG. 15 is a diagram showing an example of user registration information in a marriage information service using the present invention.
FIG. 16 is a diagram showing an example of matching degree determination in a marriage information service using the present invention.
FIG. 17 is a diagram showing an example of compatibility of a user's constellation used for matching level determination in a marriage information service using the present invention.
FIG. 18 is a diagram showing an example of the compatibility of the blood type of a user used for matching level determination in the marriage information service using the present invention.
FIG. 19 is a diagram illustrating an example of a degree of affinity of a user's hobby used for matching level determination in a marriage information service using the present invention.
FIG. 20 is a mechanism diagram relating to an embodiment of building a bridge in an information processing apparatus using the present invention.
FIG. 21 is a diagram showing an example of a switch management table for managing connection destinations in a means for bridging in an information processing apparatus using the present invention.
FIG. 22 is a diagram showing an embodiment of means for terminating a matching dialogue using the present invention.
FIG. 23 is a diagram showing an embodiment of dialog management client generation in a voice dialog system using the present invention.
FIG. 24 is a diagram showing an embodiment of dialog management client generation in a voice dialog system using the present invention.
FIG. 25 is a block diagram showing an example of an information processing system using the present invention.
FIG. 26 is a block diagram showing an example of an information processing system using the present invention.
FIG. 27 is a block diagram showing an example of an information processing system using the present invention.
FIG. 28 is a block diagram showing an example of an information processing system using the present invention.
FIG. 29 is a block diagram showing an example of an information processing system using the present invention.
FIG. 30 is a block diagram showing an example of an information processing system using the present invention.
[Explanation of symbols]
101 User 1
102 User 2
103 User information management server
104 Dialog management client 1
105 Dialog management client 2
106 Dialog mediation means
107 User data in use
108 Single execution user data
109 Connection establishment user data
110 User information data
201 User 1
202 User 2
203 User information management server
204 Dialog management client 1
205 Dialog management client 2
206 Dialogue mediation means
207 User data in use
208 Single execution user data
209 Connection establishment user data
301 User 1
302 User 2
303 User information management server
304 Dialog management client 1
305 Dialog management client 2
306 Dialog mediation means
307 User data in use
308 Single execution user data
309 Connection establishment user data
401 User 1
402 User 2
403 User information management server
404 Dialog management client 1
405 Dialogue management client 2
406 Dialog mediation means
407 User data in use
408 Single execution user data
409 Connection establishment user data
S501 Standby state step
S502 Registration acceptance step
S503 Data registration step
S504 Data acquisition step
S505 Number of people determination step
S506 Matching degree calculation step
S507 Selection step
S508 Matching degree determination step
S509 Dialog request step
S510 Response waiting step
S601 Standby state step
S602 Data acquisition step
S603 Number determination step
S604 Dialog request step
S605 Dialogue acceptance step
S606 Data deletion step
S701 Standby state step
S702 Data acquisition step
S703 Number determination step
S704 Matching degree calculation step
S705 Matching degree calculation step
S706 Selection step
S707 Matching degree determination step
S708 Dialog request step
801 User information
802 Name information
803 Course information
804 Learning content information
805 Matching dialog request information
806 User information
807 Name information
808 Study course information
809 Learning content information
810 Matching dialogue request information
S901 User information acquisition step
S902 Hope determination step
S903 Learning course coincidence calculation step
S904 Matching degree setting step
S905 Learning content coincidence calculation step
S906 Matching degree calculation step
1001 User history information screen
1002 Matching dialog user history information
1003 Matching dialog time history information
1004 Dialogue request designation
1005 Dialogue undesired designation
1101 User information
1102 Matching dialog user information
1103 Matching dialogue implementation time information
1201 User information
1202 Learning system usage time area
1203 Matching dialog usage area
1204 Accounting information area
S1210 Usage time addition step
S1211 Usage count addition step
S1212 Point number calculation step
S1213 addition step
S1214 Information acquisition step
S1215 Comparison step
S1216 Point number calculation step
S1217 Discount step
1301 User information
1302 Name information
1303 Home information
1304 Car information
1305 Interest information
1306 Matching dialog request information
1307 Destination information
1308 User information
1309 Name information
1310 Home information
1311 Model information
1312 Interest information
1313 Matching dialog request information
1314 Destination information
S1401 User information acquisition step
S1402 Desire determination step
S1403 Vehicle model coincidence calculation step
S1404 Matching degree setting step
S1405 Interest similarity calculation step
S1406 Destination similarity calculation step
S1407 Matching degree calculation step
1501 User information
1502 Name information
1503 Home information
1504 Date of birth information
1505 Blood type information
1506 Hobby Information
1507 Matching dialog request information
1508 User information
1509 Name information
1510 Home information
1511 Date of birth information
1512 Blood type information
1513 Hobby information
1514 Matching dialogue request information
S1601 User information acquisition step
S1602 hope determination step
S1603 Constellation compatibility degree calculation step
S1604 Matching degree setting step
S1605 blood type compatibility degree calculation step
S1606 Hobby similarity calculation step
S1607 Matching degree calculation step
1701 Constellation
1702 Constellation
1703 compatibility
1801 Blood type
1802 Blood type
1803 degree of compatibility
1901 Hobby Category
1902 Hobby Category
1903 degree of compatibility
2001 Dialog management means 1
2002 Dialog management means 1
2003 Switching means 1
2004 switching means 2
2005 switching means
2006 Connection uplink
2007 Connection Downline
2008 Connection Downline
2009 Voice input / output means
2010 Connection Up Line
2011 voice input / output means 1
2012 Voice input / output means 3
2013 voice uplink
2014 voice downlink
2015 voice uplink
2016 voice downlink
2051 Dialog management means 1
2052 Dialogue management means 1
2053 switching means 1
2054 switching means 2
2055 switching means
2056 connection uplink
2057 Connection Downline
2058 Connection uplink
2059 Connection uplink
2060 Voice input / output means
2061 Voice input / output means 1
2062 Voice input / output means 3
2101 Switch management table
2102 Switch management table
S2201 Standby state step
S2202 processing start step
S2203 Information acquisition step
S2204 Number of sets confirmation step
S2205 Elapsed time extraction step
S2206 Selection step
S2207 Elapsed time determination step
S2208 Request Step
S2209 Response waiting step
2301 users
2302 Voice input / output means
2303 Dialogue management client
2304 Dialog management client generation means
2401 users
2402 Voice input / output means
2403 Dialog management client
2404 Dialog management client generation means
2501 User 1
2502 Communication network
2503 Voice input / output means
2504 Voice input / output means
2505 Voice input / output means
2506 Dialog management client 1
2507 Dialogue management client 2
2508 Dialog management client 3
2509 Dialogue management client 1
2510 Execution user data
2511 User terminal
2512 Computer Network
2513 User information management server
2514 User information data
2601 Telephone terminal device
2602 Telephone terminal device
2603 Portal server
2604 Voice input / output means
2605 Dialog management client 1
2606 Dialogue management client 2
2607 User information management server
2608 Dialog management client generation means
2609 Dialog mediation means
2610 telephone network
2701 microphone
2702 Speaker
2703 Car navigation terminal 1
2704 Voice input / output means
2705 Dialogue management client 1
2706 Car navigation terminal 2
2707 Voice input / output means
2708 Dialog management client 2
2709 communication network
2710 Portal Server
2711 User information management server
2712 Dialog management client generation means
2713 Dialogue mediation means
2801 Car navigation terminal 1
2802 Voice input / output means
2803 Dialogue management client 1
2804 Car navigation terminal 2
2805 Voice input / output means
2806 Dialog management client 2
2807 Telephone line
2808 packet line
2809 Telephone line
2810 packet line
2811 communication network
2812 telephone line
2813 packet line
2814 Dialogue mediation means
2901 Microphone
2902 Speaker
2903 camera
2904 display
2905 Keyboard / Mouse
2906 Voice input / output means
2907 Image input / output means
2908 Text / position input means
2909 Dialog management client 1
2910 User terminal 1
2911 User terminal 2
2912 Computer Network
2913 Learning server
2914 User information management server
2915 Dialog management client generation means
2916 Dialogue Mediation Means
3001 Microphone
3002 Speaker
3003 Camera
3004 display
3005 Keyboard and mouse
3006 Voice input / output means
3007 Image input / output means
3008 Text / position input means
3009 Dialogue management client 1
3010 User terminal 1
3011 User terminal 2
3012 computer network
3013 Learning server
3014 User information management server
3015 Dialog management client generation means
3016 Dialogue mediation means
3017 Teacher terminal 1
3018 Teacher terminal 2.

Claims (1)

第1および第2の電話機を有する第1および第2のユーザからの要求入力に基づき、通信ネットワークを介して通信アクセスを受け付ける音声対話用情報処理装置であって、An information processing apparatus for voice interaction that accepts communication access via a communication network based on request inputs from first and second users having first and second telephones,
前記第1のユーザの前記第1の電話機の利用による通信回線を介した利用開始要求を、アクセス元である前記第1のユーザを識別する情報を付加された形で、第1の対話管理クライアントは受け付けるように構成され、A first dialog management client in which a request for starting use of the first user via the communication line by using the first telephone is added with information for identifying the first user who is an access source Is configured to accept,
前記利用開始要求を受け付けた前記第1の対話管理クライアントはユーザ情報管理サーバに対して、第1のユーザのユーザ情報の提供要求を行うように構成され、The first dialog management client that has received the use start request is configured to make a user information provision request for the first user to the user information management server,
前記ユーザ情報管理サーバはユーザの名前、学習段階、学習履歴およびマッチング対話履歴情報を有する第1の記憶手段中の第1のユーザのユーザ情報データを参照して前記第1のユーザを特定するように構成され、The user information management server identifies the first user by referring to the user information data of the first user in the first storage means having the user name, learning stage, learning history and matching dialog history information. Composed of
前記第1のユーザのユーザ情報が返送された前記第1の対話管理クライアントは対話調停手段に対して、利用を開始する実行ユーザである前記第1のユーザのユーザ情報を登録するように構成され、The first dialog management client to which the user information of the first user is returned is configured to register the user information of the first user who is an executing user who starts using the dialog mediation unit. ,
前記対話調停手段は前記第1の対話管理クライアントから登録された前記第1のユーザのユーザ情報を第2の記憶手段の単独実行ユーザデータの領域に記憶すると共に、前記第1の対話管理クライアントに対し実行ユーザの登録完了を通知するように構成され、The dialog mediation means stores the user information of the first user registered from the first dialog management client in the single execution user data area of the second storage means, and stores it in the first dialog management client. Configured to notify the execution user registration completion,
前記第1のユーザの前記実行ユーザとしての登録が完了した後、前記第1のユーザと前記第1の対話管理クライアントとの音声対話のセッションを開始するように前記第1の対話管理クライアントは構成され、The first dialog management client is configured to start a voice dialog session between the first user and the first dialog management client after registration of the first user as the executing user is completed. And
前記第2のユーザの前記第2の電話機の利用による通信回線を介した利用開始要求を、アクセス元である前記第2のユーザを識別する情報を付加された形で、第2の対話管理クライアントは受け付けるように構成され、A second dialog management client in which a request to start using the second telephone of the second user via the communication line is added with information identifying the second user as an access source Is configured to accept,
前記利用開始要求を受け付けた前記第2の対話管理クライアントはユーザ情報管理サーバに対して、第2のユーザのユーザ情報の提供要求を行うように構成され、The second dialog management client that has received the use start request is configured to make a user information provision request for the second user to the user information management server,
前記ユーザ情報管理サーバはユーザの名前、学習段階、学習履歴およびマッチング対話履歴情報を有する第1の記憶手段中の第2のユーザのユーザ情報データを参照して前記第2のユーザを特定するように構成され、The user information management server identifies the second user by referring to the user information data of the second user in the first storage means having the user name, learning stage, learning history and matching dialog history information. Composed of
前記第2のユーザのユーザ情報が返送された前記第2の対話管理クライアントは対話調停手段に対して、利用を開始する実行ユーザである前記第2のユーザのユーザ情報を登録するように構成され、The second dialog management client to which the user information of the second user is returned is configured to register the user information of the second user who is an executing user who starts using the dialog mediation means. ,
前記対話調停手段は前記第2の対話管理クライアントから登録された前記第2のユーザのユーザ情報を前記第2の記憶手段の単独実行ユーザデータの領域に記憶すると共に、前記第2の対話管理クライアントに対し実行ユーザの登録完了を通知するように構成され、The dialog mediation means stores the user information of the second user registered from the second dialog management client in the area of single execution user data of the second storage means, and the second dialog management client. Is configured to notify the execution user registration completion to
前記第2のユーザの前記実行ユーザとしての登録が完了した後、前記第2のユーザと前記第2の対話管理クライアントとの音声対話のセッションを開始するように前記第2の対話管理クライアントは構成され、The second dialog management client is configured to start a voice dialog session between the second user and the second dialog management client after the registration of the second user as the executing user is completed. And
前記対話調停手段は、同時刻にシステムを利用している前記第1および第2のユーザの前記各ユーザ情報を前記第2の記憶手段に格納して管理するように構成され、The dialog mediation means is configured to store and manage the user information of the first and second users using the system at the same time in the second storage means,
前記対話調停手段は、前記単独実行ユーザデータを参照して、前記第1のユーザと前記第2のユーザの学習段階が同一である場合には、マッチング対話の提案を前記第1および第2の対話管理クライアントを介して前記第1および第2のユーザに対して行うように構成され、When the learning stage of the first user and the second user is the same with reference to the single execution user data, the dialog mediation means sends a matching dialog proposal to the first and second users. Configured to perform to the first and second users via a dialogue management client;
前記第1および第2のユーザからのマッチング対話受諾を受けた場合には、前記第1および第2の対話管理クライアントは前記第1および第2の対話管理クライアント間のコネクションを確立し、前記第1および第2のユーザ間の直接対話に移行するように構成され、When receiving the matching dialog acceptance from the first and second users, the first and second dialog management clients establish a connection between the first and second dialog management clients, and Configured to transition to a direct interaction between the first and second users;
前記第1および第2の対話管理クライアントは前記対話調停手段に対してコネクションが確立した旨の通知を行うように構成され、The first and second dialog management clients are configured to notify the dialog mediation means that a connection has been established;
前記対話調停手段は前記第1および第2のユーザを前記単独実行ユーザデータの中から削除し、前記第2の記憶手段中のコネクション確立ユーザデータの領域に各々の前記ユーザ情報を記憶するように構成されていることを特徴とする音声対話用情報処理装置。The dialog mediation means deletes the first and second users from the single execution user data, and stores each of the user information in a connection establishment user data area in the second storage means. An information processing apparatus for voice conversation characterized by being configured.
JP2002334482A 2002-11-19 2002-11-19 Information processing device for spoken dialogue Expired - Fee Related JP4380144B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002334482A JP4380144B2 (en) 2002-11-19 2002-11-19 Information processing device for spoken dialogue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002334482A JP4380144B2 (en) 2002-11-19 2002-11-19 Information processing device for spoken dialogue

Publications (3)

Publication Number Publication Date
JP2004172781A JP2004172781A (en) 2004-06-17
JP2004172781A5 JP2004172781A5 (en) 2005-11-10
JP4380144B2 true JP4380144B2 (en) 2009-12-09

Family

ID=32698848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002334482A Expired - Fee Related JP4380144B2 (en) 2002-11-19 2002-11-19 Information processing device for spoken dialogue

Country Status (1)

Country Link
JP (1) JP4380144B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572134A (en) * 2010-12-30 2012-07-11 上海博泰悦臻电子设备制造有限公司 Work order processing method, work order building system and work order processing system
CN103802761A (en) * 2012-11-06 2014-05-21 罗伯特·博世有限公司 Method for activating a voice interaction with a passenger of a motor vehicle and voice interaction system for a vehicle
CN104766178A (en) * 2015-04-23 2015-07-08 中电科安(北京)系统集成有限公司 Emergency plan management system based on man-machine voice interaction
CN105425648A (en) * 2016-01-11 2016-03-23 北京光年无限科技有限公司 Portable robot and data processing method and system thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6528536B2 (en) * 2015-05-18 2019-06-12 株式会社リコー INFORMATION PROCESSING APPARATUS, PROGRAM, AND INFORMATION PROCESSING SYSTEM
CN115454372A (en) * 2017-04-05 2022-12-09 北京嘀嘀无限科技发展有限公司 Voice information broadcasting management method and device
CN109582762A (en) * 2018-09-26 2019-04-05 阿里巴巴集团控股有限公司 Data processing method and server
CN111816189B (en) * 2020-07-03 2023-12-26 斑马网络技术有限公司 Multi-voice-zone voice interaction method for vehicle and electronic equipment
JP7082650B2 (en) * 2020-09-14 2022-06-08 株式会社シンミドウ Sales role-playing training support system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572134A (en) * 2010-12-30 2012-07-11 上海博泰悦臻电子设备制造有限公司 Work order processing method, work order building system and work order processing system
CN102572134B (en) * 2010-12-30 2015-10-07 上海博泰悦臻电子设备制造有限公司 Worksheet method, work order set up system and worksheet system
CN103802761A (en) * 2012-11-06 2014-05-21 罗伯特·博世有限公司 Method for activating a voice interaction with a passenger of a motor vehicle and voice interaction system for a vehicle
CN104766178A (en) * 2015-04-23 2015-07-08 中电科安(北京)系统集成有限公司 Emergency plan management system based on man-machine voice interaction
CN105425648A (en) * 2016-01-11 2016-03-23 北京光年无限科技有限公司 Portable robot and data processing method and system thereof

Also Published As

Publication number Publication date
JP2004172781A (en) 2004-06-17

Similar Documents

Publication Publication Date Title
US11024286B2 (en) Spoken dialog system, spoken dialog device, user terminal, and spoken dialog method, retrieving past dialog for new participant
US20120330643A1 (en) System and method for translation
WO2016194740A1 (en) Speech recognition device, speech recognition system, terminal used in said speech recognition system, and method for generating speaker identification model
WO2006085565A1 (en) Information communication terminal, information communication system, information communication method, information communication program, and recording medium on which program is recorded
CN105190607A (en) User training by intelligent digital assistant
CN101405732A (en) A search tool providing optional use of human search guides
WO2012055315A1 (en) System and method for providing and managing interactive services
KR20180123150A (en) Information processing system, reception server, information processing method and program
JP2004246610A (en) Information provision/exchange service system
TW201034004A (en) Systems and methods for interactively accessing hosted services using voice communications
JP3748379B2 (en) Remark support method and apparatus
US11398224B2 (en) Communication system and method for providing advice to improve a speaking style
US20050124322A1 (en) System for communication information from a server via a mobile communication device
JP4380144B2 (en) Information processing device for spoken dialogue
JP2021180427A (en) Group communication system, group communication program and group communication method
JP4250938B2 (en) Communication support method and communication server
WO2019088638A1 (en) Method, computer device and computer readable recording medium for providing natural language conversation by timely providing substantial reply
JP2005011089A (en) Interactive device
CN112905859A (en) Service method, device, system, equipment and storage medium
TWI723988B (en) Information processing system, receiving server, information processing method and program
CN118098224A (en) Screen sharing control method, device, equipment, medium and program product
WO2017006413A1 (en) Language learning support system, language learning support method, and program
KR20180046505A (en) WebRTC SERVICE METHOD AND SYSTEM FOR PROVIDING VIDEO/AUDIO CHATTING SERVICE
JP7462595B2 (en) Human resource development support system, collaboration support system, method, and computer program
JP2020053715A (en) Information processing system, information processing method, and information processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050928

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees