JP6822467B2 - 情報処理システム、情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理システム、情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
JP6822467B2
JP6822467B2 JP2018506778A JP2018506778A JP6822467B2 JP 6822467 B2 JP6822467 B2 JP 6822467B2 JP 2018506778 A JP2018506778 A JP 2018506778A JP 2018506778 A JP2018506778 A JP 2018506778A JP 6822467 B2 JP6822467 B2 JP 6822467B2
Authority
JP
Japan
Prior art keywords
user
agent
information
attributes
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018506778A
Other languages
English (en)
Other versions
JPWO2017163515A1 (ja
Inventor
宮島 靖
靖 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017163515A1 publication Critical patent/JPWO2017163515A1/ja
Application granted granted Critical
Publication of JP6822467B2 publication Critical patent/JP6822467B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50Business processes related to the communications industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Operations Research (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理システム、情報処理装置、情報処理方法、および記録媒体に関する。
近年、通信技術の発達により、ネットワークを介したメッセージのやり取りが頻繁に行われている。ユーザは、スマートフォンや携帯電話端末、タブレット端末等の情報処理端末を用いて、他端末から送信されたメッセージを確認したり、メッセージを送信したりすることができる。
また、情報処理端末において、ユーザのメッセージに対して自動で応答を行うエージェントシステムが提案されている。このようなシステムに関し、例えば下記特許文献1では、閲覧者の端末に閲覧者個人のエージェントが駐在し、これが日々閲覧者と会話することで、閲覧者の好みの情報選択能力を獲得していくシステムが記載されている。
また、下記特許文献2では、ユーザとアシスタント(キャラクターのアニメーションによるユーザインタフェース)との過去の会話やその他やり取りの履歴や履歴に基づく性格・感情や学習データ等に基づいて、アシスタントのイメージ生成や行動パターンの生成が行われる対話型操作支援システムが記載されている。
また、下記特許文献3では、オンラインデートサーチのようなオンラインサーチ結果の初期印象属性を選択および表示するシステムが記載されている。また、デートサービス(恋人紹介所)において個人が求める好みを有する潜在的候補がサーチされるシステムが記載されている。
また、下記特許文献4では、男性会員と女性会員の写真データを格納し、各会員が異性会員の写真データを閲覧し、異性写真に対する脳波に基づいて理想像を紹介するマッチングシステムが記載されている。
特開2001−76002号公報 特開2002−41276号公報 特表2010−510577号公報 特表2013−539128号公報
ここで、従来のエージェントシステムでは、人間の代わりをするエージェントがユーザの会話相手になったり、ユーザのスケジュール管理や情報の整理の手伝いをする等、エンターテイメントまたはエンターテイメント性を持った実用ツールとして提案されてきた。また、エージェントを複数から選ぶことができたり、会話内容に応じてエージェントを学習、成長させることが可能であった。
しかしながら、従来のエージェントシステムは、人間を模倣した機械による自動応答に過ぎず、エージェントとコミュニケーションを行っても実在の人間と繋がることはなかった。
そこで、本開示では、エージェントとの対話をシームレスに実世界の人物とのコミュニケーションに繋げることが可能な情報処理システム、情報処理装置、情報処理方法、および記録媒体を提案する。
本開示によれば、それぞれ異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶される記憶部と、ユーザからのメッセージをクライアント端末から受信すると共に、応答メッセージを当該クライアント端末に返信する通信部と、ユーザからの指示に応じて、前記複数のエージェントから特定のエージェントを選択し、前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性を更新したものをユーザ用エージェントの属性として記録し、前記ユーザ用エージェントの属性と、実在する複数の相手ユーザの属性とを比較することにより、当該ユーザ用エージェントの属性に最も類似する相手ユーザを特定し、所定のタイミングで前記ユーザに前記相手ユーザの存在を通知するように制御する制御部と、を備える、情報処理システムを提案する。
本開示によれば、それぞれが異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶されるサーバ装置に対して、ユーザからのメッセージを送信すると共に、そのメッセージに対する応答メッセージを受信する通信部と、ユーザによる指示に応じて、前記複数のエージェントから特定のエージェントを選択し、前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性が更新されたユーザ用エージェントの属性に最も類似する実在する相手ユーザが存在することを示す通知を、前記サーバ装置から前記通信部を介して所定のタイミングで受信するように制御する、制御部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、それぞれ異なる属性を有し、ユーザと対話可能な複数のエージェントの情報を記憶部に記憶することと、ユーザからのメッセージをクライアント端末から受信すると共に、応答メッセージを当該クライアント端末に通信部により返信することと、ユーザからの指示に応じて、前記複数のエージェントから特定のエージェントを選択し、前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性を更新したものをユーザ用エージェントの属性として記録し、前記ユーザ用エージェントの属性と、実在する複数の相手ユーザの属性とを比較することにより、当該ユーザ用エージェントの属性に最も類似する相手ユーザを特定し、所定のタイミングで前記ユーザに前記相手ユーザの存在を通知するように制御することと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、それぞれが異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶されるサーバ装置に対して、ユーザからのメッセージを送信すると共に、そのメッセージに対する応答メッセージを受信する通信部と、ユーザによる指示に応じて、前記複数のエージェントから特定のエージェントを選択し、前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性が更新されたユーザ用エージェントの属性に最も類似する実在する相手ユーザが存在することを示す通知を、前記サーバ装置から前記通信部を介して所定のタイミングで受信するように制御する、制御部と、として機能させるためのプログラムを提案する。
以上説明したように本開示によれば、エージェントとの対話をシームレスに実世界の人物とのコミュニケーションに繋げることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による通信制御システムの概要について説明する図である。 本実施形態による通信制御システムの全体構成を示す図である。 本実施形態による音声エージェントサーバの構成の一例を示すブロック図である。 本実施形態による対話処理部の構成例を示す図である。 本実施形態による会話DBの生成処理を示すフローチャートである。 本実施形態による音素DBの生成処理を示すフローチャートである。 本実施形態による対話制御処理を示すフローチャートである。 本実施形態による会話DBのデータ構成例について説明する図である。 本実施形態による会話DBの更新処理を示すフローチャートである 本実施形態による個人化レイヤーから共通レイヤーへの会話データ移行処理を示すフローチャートである。 本実施形態による基本対話用会話DBへの会話データの移行について説明する図である。 本実施形態による基本対話用DBへの会話データ移行処理を示すフローチャートである。 本実施形態による広告DBに登録されている広告情報の一例を示す図である。 本実施形態による広告内容の挿入処理を示すフローチャートである。 本実施形態による通信制御システムのシステム構成例を示す図である。 本実施形態による対話処理部の構成例を示す図である。 本実施形態によるマッチング部の構成例を示す図である。 本実施形態によるクライアント端末の構成の一例を示すブロック図である。 本実施形態による探索フェーズの動作処理を示すフローチャートである。 本実施形態による固定フェーズの動作処理を示すフローチャートである。 本実施形態による紹介フェーズの動作処理を示すフローチャートである。 本実施形態による支援フェーズの動作処理を示すフローチャートである。 本実施例による準備フェーズの動作処理を示すフローチャートである。 本実施例による基本情報の具体例を示す図である。 本実施例による基本条件情報の具体例を示す図である。 本実施例によるユーザの嗜好情報例を示す図である。 本実施例によるエージェントの基本情報例を示す図である。 本実施例によるエージェントの基本条件情報例を示す図である。 本実施例によるエージェントの嗜好情報例を示す図である。 本実施例によるエージェント選択画面例を示す図である。 本実施例による探索フェーズの動作処理を示すフローチャートである。 本実施例による探索フェーズの動作処理を示すフローチャートである。 本実施例によるユーザ行動履歴を利用したエージェントの発話例を説明する図である。 本実施例によるユーザの生体情報を利用したエージェントの発話例を説明する図である。 本実施例によるSNS情報を利用したエージェントの発話例を説明する図である。 本実施例によるエージェント対話処理のフローチャートである。 本実施例によるエージェント対話処理のフローチャートである。 本実施例によるエージェント学習の動作処理を示すフローチャートである。 本実施例によるネガポジ判定および言葉使い判定について説明するための図である。 本実施例によるマッチングの動作処理を示すフローチャートである。 本実施例によるエージェントの基本条件情報を用いた検索について説明する図である。 本実施例による嗜好情報の類似度算出について説明する図である。 本実施例による固定フェーズの動作処理を示すフローチャートである。 本実施例によるエージェントの嗜好が変化した場合における対話例を示す図である。 本実施例による紹介承認可否の通知画面の一例を示す図である。 本実施例による紹介フェーズの動作処理を示すフローチャートである。 本実施例によるユーザへの紹介通知の一例を示す図である。 本実施例による紹介相手の詳細情報表示画面の一例を示す図である。 本実施例による支援フェーズの動作処理を示すフローチャートである。 本実施例による出会いプラン選択画面の一例を示す図である。 本実施例による出会いプラン通知画面の一例を示す図である。 本実施例によるエージェントによる最後のお祝いメッセージ画面の一例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による通信制御システムの概要
2.構成
2−1.システム構成
2−2.サーバの構成
3.システム動作処理
3−1.会話データ登録処理
3−2.音素DB生成処理
3−3.対話制御処理
3−4.会話DB更新処理
3−5.広告挿入処理
4.対話制御処理
4−1.構成
4−2.動作処理
4−3.実施例
(4−3−1.準備フェーズ)
(4−3−2.探索フェーズ)
(4−3−3.固定フェーズ)
(4−3−4.紹介フェーズ)
(4−3−5.支援フェーズ)
5.まとめ
<<1.本開示の一実施形態による通信制御システムの概要>>
本開示の一実施形態による通信制御システム(エージェントシステム)は、エージェントとの対話をシームレスに実世界の人物とのコミュニケーションに繋げることを可能とする。以下、図1を参照して本実施形態による通信制御システムの概要について説明する。
図1は、本開示の一実施形態による通信制御システムの概要について説明する図である。ユーザは、人格を持つエージェントとの対話を日常的に行い、状況に応じて実世界やインターネット上のコンテンツ等の推薦、ニュースや天気予報等の情報提供、ゲームの提供、道案内等々の様々なエージェントサービスを享受する。エージェントとの対話は、例えば表示部106を介して行われ、表示部106にエージェントの画像や会話が表示され得る。また、図示しないスピーカからエージェント音声が再生される。ユーザの発話は、図示しないマイクロホンにより収音され、エージェントシステム側で言語解析される。
また、本実施形態では、エージェントとして、それぞれ異なる人格を持った複数のエージェントキャラクターが用意され、ユーザは任意のエージェントキャラクターを選択、購入して、当該エージェントキャラクターによるエージェントサービスを利用する。
(背景)
ここで、従来のエージェントシステムでは、人間の代わりをするエージェントがユーザの会話相手になったり、ユーザのスケジュール管理や情報の整理の手伝いをする等、エンターテイメントまたはエンターテイメント性を持った実用ツールとして提案されてきた。また、エージェントを複数から選ぶことができたり、会話内容に応じてエージェントを学習、成長させることが可能であった。
しかしながら、従来のエージェントシステムは、人間を模倣した機械による自動応答に過ぎず、エージェントとコミュニケーションを行っても実在の人間と繋がることはなかった。
そこで、本開示では、ユーザとエージェントの対話に応じて、当該エージェントと同様の性格や嗜好を持つ実在の人物をマッチングし、シームレスに実在人物とのコミュニケーションや出会いに繋げる実世界指向のエージェントシステムを提案する。仮想的な人物(エージェント)だけでなく、実在の人物と繋がることで人間本来の充実した生活や心の満足感をユーザに与えることができる。
また、本実施形態による通信制御システムは、音声により応答を行う音声エージェントに限定されず、スマートフォン等のクライアント端末においてテキストベースで応答を行うテキスト対応エージェントであってもよい。
また、本実施形態による通信制御システムは、スマートフォンやタブレット端末、PC等の情報処理装置に搭載されてもよいし、ホームシステム、車載システム、クライアント端末とサーバから成るクライアントサーバシステムに組み込まれてもよい。また、本実施形態による通信制御システムは、ロボットのような擬人化されたデバイスに搭載されていてもよい。ロボットの場合、音声対話に加えて、表情の制御やアクションの制御も行われ得る。
<<2.構成>>
<2−1.システム構成>
続いて、上述した本実施形態による通信制御システムの全体構成について図2を参照して説明する。図2は、本実施形態による通信制御システムの全体構成を示す図である。
図2に示すように、本実施形態による通信制御システムは、クライアント端末1およびエージェントサーバ2を含む。
エージェントサーバ2は、ネットワーク3を介してクライアント端末1と接続し、データの送受信を行う。具体的には、エージェントサーバ2は、クライアント端末1で収音され、送信された発話音声に対する応答音声を生成し、クライアント端末1に送信する。エージェントサーバ2は、1以上のエージェントに対応する音素DB(データベース)を有し、特定のエージェントの音声で応答音声を生成することが可能である。ここで、エージェントとは、漫画、アニメ、ゲーム、ドラマ、映画等のキャラクターや、芸能人、著名人、歴史上の人物等であってもよいし、また、個人に特定せず、例えば世代別の平均的な人物であってもよい。また、エージェントは、動物や擬人化されたキャラクターであってもよい。また、エージェントは、ユーザ本人の性格を反映した人物や、ユーザの友人、家族、知人等の性格を反映した人物であってもよい。
また、エージェントサーバ2は、各エージェントの性格を反映した応答内容を生成することが可能である。エージェントサーバ2は、エージェントを介して、ユーザのスケジュール管理、メッセージの送受信、情報提供等、様々なサービスをユーザとの対話を通じて提供し得る。
なおクライアント端末1は、図2に示すようなスマートフォンに限定されず、例えば携帯電話端末、タブレット端末、PC(パーソナルコンピュータ)、ゲーム機、ウェアラブル端末(スマートアイグラス、スマートバンド、スマートウォッチ、スマートネック等)等であってもよい。また、クライアント端末1は、ロボットであってもよい。
以上、本実施形態による通信制御システムの概要について説明した。続いて、本実施形態による通信制御システムのエージェントサーバ2の構成について図3を参照して具体的に説明する。
<2−2.サーバの構成>
図3は、本実施形態によるエージェントサーバ2の構成の一例を示すブロック図である。図3に示すように、エージェントサーバ2は、音声エージェントI/F(インタフェース)20、対話処理部30、音素記憶部40、会話DB生成部50、音素DB生成部60、広告挿入処理部70、広告DB72、およびフィードバック取得処理部80を有する。
音声エージェントI/F20は、音声データの入出力部、音声認識部、および音声生成部として機能する。入出力部としては、ネットワーク3を介してクライアント端末1と送受信を行う通信部が想定される。音声エージェントI/F20は、クライアント端末1からユーザの発話音声を受信し、音声認識によりテキスト化することが可能である。また、音声エージェントI/F20は、対話処理部30から出力されたエージェントの回答文データ(テキスト)を、当該エージェントに対応する音素データを用いて音声化し、生成したエージェントの応答音声をクライアント端末1に送信する。
対話処理部30は、演算処理装置および制御装置として機能し、各種プログラムに従ってエージェントサーバ2内の動作全般を制御する。対話処理部30は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による対話処理部30は、基本対話処理部31、キャラクターA対話処理部32、人物B対話処理部33、人物C対話処理部34として機能する。
キャラクターA対話処理部32、人物B対話処理部33、人物C対話処理部34は、エージェント毎に特化された対話を実現する。ここでは、エージェントの一例として「キャラクターA」「人物B」「人物C」を挙げているが、本実施形態は当然これに限定されず、さらに多数のエージェントに特化した対話を実現する各対話処理部を有していてもよい。基本対話処理部31は、エージェント毎に特化されていない、汎用の対話を実現する。
ここで、基本対話処理部31、キャラクターA対話処理部32、人物B対話処理部33、および人物C対話処理部34に共通する基本構成について図4を参照して説明する。
図4は、本実施形態による対話処理部300の構成例を示す図である。図4に示すように、対話処理部300は、質問文検索部310、回答文生成部320、音素データ取得部340、および会話DB330を有する。会話DB330は、質問文データと回答文データが組になった会話データが保存されている。エージェントに特化した対話処理部では、かかる会話DB330にエージェントに特化した会話データが保存され、汎用の対話処理部では、かかる会話DB330にエージェントに特化しない汎用の会話データ(すなわち、基本会話データ)が保存されている。
質問文検索部310は、音声エージェントI/F20から出力された、ユーザの質問音声(発話音声の一例)を認識してテキスト化した質問文と一致する質問文データを会話DB330から検索する。回答文生成部320は、質問文検索部310により検索した質問文データに対応付けて保存されている回答文データを会話DB330から抽出し、回答文データを生成する。音素データ取得部340は、回答文生成部320により生成された回答文を音声化するための音素データを、対応するエージェントの音素記憶部40から取得する。例えば、キャラクターA対話処理部32の場合、キャラクターA音素DB42から、回答文データをキャラクターAの音声で再生するための音素データを取得する。そして、対話処理部300は、生成した回答文データおよび取得した音素データを音声エージェントI/F20に出力する。
音素記憶部40は、エージェント毎の音声を生成するための音素データベースを格納する。音素記憶部40は、ROM(Read Only Memory)およびRAM(Random Access Memory)により実現され得る。図3に示す例では、基本音素DB41、キャラクターA音素DB42、人物B音素DB43、人物C音素DB44を格納する。各音素DBには、音素データとして、例えば音素片とその制御情報である韻律モデルが記憶されている。
会話DB生成部50は、対話処理部300の会話DB330を生成する機能を有する。例えば会話DB生成部50は、想定される質問文データを収集し、各質問に対応する回答文データを収集した後に、質問文データと回答文データとを組にして保存する。そして、会話DB生成部50は、所定数の会話データ(質問文データと回答文データとの組、例えば100組)が集まったら、エージェントの会話データセットとして会話DB330に登録する。
音素DB生成部60は、音素記憶部40に格納されている音素DBを生成する機能を有する。例えば音素DB生成部60は、所定のテキストを読み上げた音声情報を解析して、音素片とその制御情報である韻律モデルに分解し、所定数以上の音声情報が収集できたら音素データとして音素DBに登録する処理を行う。
広告挿入処理部70は、エージェントの対話に広告情報を挿入する機能を有する。挿入する広告情報は、広告DB72から抽出し得る。広告DB72には、企業等の提供側(ベンダー、サプライヤー)から依頼された広告情報(例えばテキスト、画像、音声等の広告内容、広告主、広告期間、広告対象者等の情報)が登録されている。
フィードバック取得処理部80は、エージェントの対話に、フィードバックを取得するための質問を挿入し、ユーザからフィードバックを得るための機能を有する。
以上、本実施形態によるエージェントサーバ2の構成について具体的に説明した。なお、本実施形態によるエージェントサーバ2の構成は、図3に示す例に限定されない。例えば、エージェントサーバ2が有する各構成は、各々ネットワーク上の他サーバで構成されていてもよい。
続いて、本実施形態による通信制御システムの基本的な動作処理について図5〜図14を参照して説明する。
<<3.システム動作処理>>
<3−1.会話データ登録処理>
図5は、本実施形態による会話DB330の生成処理を示すフローチャートである。図5に示すように、まず、会話DB生成部50は、想定される質問文を保存する(ステップS103)。
次に、会話DB生成部50は、質問文に対応する(対の)回答文を保存する(ステップS106)。
次いで、会話DB生成部50は、質問文と回答文のペア(会話データとも称す)が所定数集まったか否かを判断する(ステップS109)。
そして、質問文と回答文のペアが所定数集まった場合(ステップS109/Yes)、会話DB生成部50は、質問文および回答文の多数のペアから成るデータセットを会話DB330に登録する(ステップS112)。質問文および回答文のペアの一例としては、例えば下記のようなものが想定される。
質問文および回答文のペア例
ペア1
質問文:おはよう。
回答文:今日の調子はどうですか?
ペア2
質問文:今日の天気は?
回答文:今日の天気は○○です。
このようなペアが、会話データとして会話DB330に登録され得る。
<3−2.音素DB生成処理>
図6は、本実施形態による音素DBの生成処理を示すフローチャートである。図6に示すように、まず、音素DB生成部60は、例文の表示を行う(ステップS113)。例文の表示は、例えば図示しない情報処理端末のディスプレイに、音素データ生成のために必要な例文を表示する。
次に、音素DB生成部60は、例文を読み上げた音声を録音し(ステップS116)、録音音声を分析する(ステップS119)。例えば、エージェントの音声を担当する人物により読み上げられた音声情報が情報処理端末のマイクロホンにより収集され、音素DB生成部60がこれを受信し、記憶し、さらに音声分析を行う。
次いで、音素DB生成部60は、音声情報に基づいて、韻律モデルを生成する(ステップS122)。韻律モデルとは、音声の韻律的特徴(例えば音の高低、音の強弱、発話速度等)を示す韻律パラメータを抽出するものであって、個人毎に異なる。
次に、音素DB生成部60は、音声情報に基づいて、音素片(音素データ)を生成する(ステップS125)。
次いで、音素DB生成部60は、韻律モデルおよび音素片を保存する(ステップS128)。
続いて、音素DB生成部60は、韻律モデルおよび音素片が所定数集まったか否かを判断する(ステップS131)。
そして、韻律モデルおよび音素片が所定数集まった場合(ステップS131/Yes)、音素DB生成部60は、韻律モデルおよび音素片を、所定のエージェント用の音素データベースとして音素記憶部40に登録する(ステップS134)。
<3−3.対話制御処理>
図7は、本実施形態による対話制御処理を示すフローチャートである。図7に示すように、まず、音声エージェントI/F20は、ユーザの質問音声およびエージェントIDを取得したか否かを確認する(ステップS143)。エージェントIDは、キャラクターA、人物B、人物Cといった特定のエージェントを示す識別情報である。ユーザは、エージェント毎の音素データを購入することができ、例えば購入処理時に購入したエージェントのIDがクライアント端末1に保存される。
次に、ユーザの質問音声およびエージェントIDを取得すると(ステップS146/Yes)、音声エージェントI/F20は、質問音声を音声認識し、テキスト化する(ステップS149)。音声エージェントI/F20は、テキスト化した質問文を、エージェントIDで指定された特定エージェントの対話処理部に出力する。例えば「エージェントID:キャラクターA」の場合、音声エージェントI/F20は、テキスト化した質問文をキャラクターA対話処理部32に出力する。
次いで、対話処理部30は、エージェントIDで指定された特定エージェントの会話DBから、テキスト化した質問文と一致する質問文を検索する(ステップS152)。
次に、一致する質問があった場合(ステップS155/Yes)、キャラクターA対話処理部32は、質問に対応する(対になって保存されている)回答文データを特定エージェントの会話DBから取得する(ステップS158)。
一方、一致する質問がなかった場合(ステップS155/No)、基本対話処理部31の会話DBから、テキスト化した質問文と一致する質問文が検索される(ステップS161)。
一致する質問文があった場合(ステップS164/Yes)、基本対話処理部31は、質問に対応する(対になって保存されている)回答文データを基本対話処理部31の会話DBから取得する(ステップS167)。
一方、一致する質問文がなかった場合(ステップS164/No)、基本対話処理部31は、一致する質問文が無い場合の回答文データ(例えば、「質問が解りません」といった回答文)を取得する(ステップS170)。
次いで、キャラクターA対話処理部32により、エージェントIDで指定された特定エージェントの音素DB(ここでは、キャラクターA音素DB42)を参照し、回答文データの音声を生成するためのキャラクターAの音素データが取得される(ステップS173)。
次に、取得された音素データと回答文データが音声エージェントI/F20に出力される(ステップS176)。
そして、音声エージェントI/F20は、回答文データ(テキスト)を音素データを用いて音声化(音声合成)し、クライアント端末1に送信する(ステップS179)。クライアント端末1では、キャラクターAの音声で回答文が再生される。
<3−4.会話DB更新処理>
次に、各対話処理部300の会話DB330の更新処理について説明する。本実施形態では、ユーザとの会話によって会話DB330を成長させることが可能である。
まず、会話DB330のデータ構成例について図8を参照して補足説明を行う。図8は、本実施形態による会話DB330のデータ構成例について説明する図である。図8に示すように、各会話DB330は、個人化レイヤー331と共通レイヤー332という2つのレイヤーを有する。例えばキャラクターA用会話DB330Aの場合、共通レイヤー332Aには、キャラクターAの性格や特徴が反映された会話データが保持される。一方、個人化レイヤー331Aには、ユーザとの会話により当該ユーザ向けにカスタマイズされた会話データが保持される。すなわち、キャラクターA音素DB42およびキャラクターA対話処理部32がセットでユーザに提供(販売)されるところ、あるユーザXと、ユーザYは、最初は同じキャラクターAと対話を行う(共通レイヤー332Aに保持されている会話データが使用される)が、対話を続けるにつれて、各ユーザ向けにカスタマイズされた会話データが、ユーザ毎の個人化レイヤー331Aに蓄積される。これにより、ユーザX、ユーザYそれぞれの好みに応じたキャラクターAとの対話を提供できるようになる。
またエージェント「人物B」が、キャラクターAのような特定の性格を有さない平均的な世代別の人物の場合も、会話データがユーザ向けにカスタマイズされ得る。すなわち、例えば「人物B」が『20代の人物』の場合、共通レイヤー332Bには20代の平均的な会話データが保持され、ユーザとの対話を続けることでカスタマイズされた会話データがユーザ毎の個人化レイヤー331Bに保持される。また、ユーザは、人物Bの音声として「男性」、「女性」、「高い声」、「低い声」といった好きな音素データを人物B音素DB43から選択し、購入することも可能である。
このような会話DB330のカスタマイズを行う際の具体的な処理について、図9を参照して説明する。図9は、本実施形態による会話DB330の更新処理を示すフローチャートである。
図9に示すように、まず、音声エージェントI/F20は、クライアント端末1からユーザの質問音声を取得(受信)し、これを音声認識によりテキスト化する(ステップS183)。テキスト化されたデータ(質問文データ)は、エージェントIDにより指定されている特定エージェントの対話処理部(ここでは、例えばキャラクターA対話処理部32)に出力される。
次に、キャラクターA対話処理部32は、質問文データが所定のコマンドであるか否かを判断する(ステップS186)。
次いで、所定のコマンドである場合(ステップS186/Yes)、キャラクターA対話処理部32は、ユーザ指定の回答文データを、会話DB330Aの個人化レイヤー331Aに質問文データと対で登録する(ステップS189)。所定のコマンドとは、例えば「NG」、「設定」といった言葉であってもよい。例えば以下のような会話の流れにより、キャラクターAの会話DBをカスタマイズすることができる。
ユーザ:「おはよう」
キャラクターA:「おはよう」
ユーザ:「NG。元気で頑張ってと答えて」
キャラクターA:「元気で頑張って」
上記の会話の流れでは、『NG』が所定のコマンドであって、キャラクターA対話処理部32は、ユーザから『NG』と発せられた後、ユーザ指定の回答文データ『元気で頑張って』を、質問文データ『おはよう』と対にして会話DB330Aの個人化レイヤー331Aに登録する。
一方、所定のコマンドでない場合(ステップS186/No)、キャラクターA対話処理部32は、質問文データと対になって保持されている回答文データをキャラクターA用会話DB330Aから検索する。問文データと対になって保持されている回答文データがキャラクターA用会話DB330Aに保持されていない場合、すなわち、ユーザの質問が回答文の無い質問であった場合(ステップS192/Yes)、キャラクターA対話処理部32は、ユーザ指定の回答文データを、質問文と対にして個人化レイヤー331Aに登録する(ステップS195)。例えば以下のような会話の流れにより、キャラクターAの会話DBをカスタマイズすることができる。
ユーザ:「元気?」
キャラクターA:「質問がわかりません」(該当する回答が無い場合の回答データ例)
ユーザ:「『元気?』と聞いたら、『今日も元気だよ』と答えて」
キャラクターA:「今日も元気だよ」
上記会話の流れでは、『元気?』と対になって保持される回答文データが無いため、該当する回答が無い場合の回答データ例である『質問がわかりません』がキャラクターA対話処理部32により取得され、対応するキャラクターAの音素データと共に音声エージェントI/F20に出力され、クライアント端末1で再生される。次いで、ユーザ指定の回答文『今日も元気だよ』が入力されると、キャラクターA対話処理部32は、質問文データ『元気?』と対にして個人化レイヤー331Aに登録する。
なお、回答文の有る質問であった場合(ステップS192/No)、キャラクターA対話処理部32は、当該回答文データを取得し、対応するキャラクターAの音素データと共に音声エージェントI/F20に出力し、クライアント端末1で回答文がキャラクターAの音声で再生される(ステップS198)。
次いで、個人化レイヤーから共通レイヤーへの会話データ移行について、図10を参照して説明する。図10は、本実施形態による個人化レイヤーから共通レイヤーへの会話データ移行処理を示すフローチャートである。ここでは、一例としてキャラクターA対話処理部32の個人化レイヤー331Aから共通レイヤー332Aへの会話データ移行処理について説明する。
図10に示すように、まず、キャラクターA対話処理部32は、ユーザ毎の個人化レイヤー331Aを定期的にサーチし(ステップS203)、実質的に同じ内容の会話ペア(質問文データと回答文データのペア)を抽出する(ステップS206)。実質的に同じ内容の会話ペアとは、例えば質問文「元気?」と回答文「今日も元気だよ!」のペアと、質問文「元気ですか?」と回答文「今日も元気だよ!」のペアは、質問文が丁寧語か否かの違いのみであって、実質的に同じ内容の会話ペアと判断され得る。
次に、キャラクターA対話処理部32は、ユーザ毎の個人化レイヤー331Aから会話ペアが所定数以上抽出された場合(ステップS209/Yes)、当該会話ペアを(ユーザ毎の)共通レイヤー332Aに登録する(ステップS212)。
このように、ユーザ毎の個人化レイヤー331において実質的に内容が同じ会話ペアを共通レイヤー332に移行することで、共通レイヤー332を成長(会話ペアを拡充)させることが可能となる。
また、本実施形態では、特定エージェントの会話DB(具体的には共通レイヤー)から基本対話用の会話DBへ会話データを移行して基本対話用の会話DBを成長させることも可能である。図11は、本実施形態による基本対話用会話DB330Fへの会話データの移行について説明する図である。例えば、ユーザXおよびユーザYが各々エージェント「キャラクターA」を選択(購入)し、ユーザZがエージェント「人物B」を選択(購入)している場合、図11に示すように、ユーザXのキャラクターA用会話DB330A−X、ユーザYのキャラクターA用会話DB330A−Y、およびユーザZの人物B用会話DB330B−Zが対話処理部30に存在し得る。この場合、各個人化レイヤー331A−X、331A−Y、331B−Zには、各ユーザX、ユーザY、ユーザZとの対話に応じて独自の(カスタマイズされた)会話ペアが登録されていく(図9参照)。次いで、同じエージェントの個人化レイヤー331A−X、331A−Yにおいて実質同じ会話ペアが所定数あると、ユーザ毎の共通レイヤー332A−X、332A−Yに各々登録される(図10参照)。
そして、対話処理部30は、複数のエージェント(異なるエージェントを含んでもよい)の共通レイヤー332A−X、332A−Y、332B−Zから実質同じ会話ペアが所定数以上抽出された場合、上位の基本対話用会話DB330Fに会話ペアを移行する。基本対話用会話DB330Fは、基本対話処理部31が有する会話DBである。これにより、基本対話用会話DB330Fを成長(会話ペアを拡充)させることが可能となる。かかるデータ移行処理について、図12を参照して具体的に説明する。図12は、本実施形態による基本対話用DB330Fへの会話データ移行処理を示すフローチャートである。
図12に示すように、まず、対話処理部30は、定期的に会話DB330の複数の共通レイヤー332をサーチし(ステップS223)、実質同じ会話ペアを抽出する(ステップS226)。
次に、対話処理部30は、複数の共通レイヤー332から実質同じ会話ペアが所定数以上抽出された場合(ステップS229/Yes)、当該会話ペアを基本対話用会話DB330Fに登録する(ステップS232)。
このように、複数のエージェントにおける会話DB330の共通レイヤー332において実質的に内容が同じ会話ペアを、基本対話用会話DB330Fに移行することで、基本対話用会話DB330Fを成長(会話ペアを拡充)させることが可能となる。
<3−5.広告挿入処理>
続いて、広告挿入処理部70による広告情報の挿入処理について図13〜図14を参照して説明する。本実施形態では、広告挿入処理部70により、エージェントの発言に広告DB72に格納されている広告情報の挿入を行うことが可能である。広告DB72には、予め広告情報が登録され得る。図13は、本実施形態による広告DB72に登録されている広告情報の一例を示す図である。
図13に示すように、広告情報621は、例えばエージェントID、質問文、広告内容、条件、および確率を含む。エージェントIDは広告内容を発言するエージェントを指定し、質問文は広告内容を挿入するトリガとなるユーザの質問文を指定し、広告内容はエージェントの対話に挿入する広告文章である。また、条件は、広告内容を挿入する条件であって、確率は広告内容を挿入する確率を示す。例えば図13の1段目に示す例では、エージェント「キャラクターA」との対話において、30歳以下のユーザからの質問文に「チョコレート」という単語が含まれている場合に、「BB社の新しく発売されたチョコはミルクがたくさん入っていて美味しいよ」といった広告内容が回答文に挿入される。また、トリガとなる質問文が発せられた際に毎回広告内容を挿入するとユーザが煩わしく思ってしまうこともあるため、本実施形態では、広告を挿入する確率を設定するようにしてもよい。かかる確率は広告料に応じて決定されてもよい。例えば広告料が高いほど確率が高く設定される。
このような広告内容の挿入処理について図14を参照して具体的に説明する。図14は、本実施形態による広告内容の挿入処理を示すフローチャートである。
図14に示すように、まず、広告挿入処理部70は、ユーザとエージェントとの対話(具体的には、対話処理部30による対話処理)を監視する(ステップS243)。
次に、広告挿入処理部70は、ユーザとエージェントとの対話に、広告DB72に登録されている質問文と同一の内容の質問文が登場したか否かを判断する(ステップS246)。
次いで、同一の内容の質問文が登場した場合(ステップS246/Yes)、広告挿入処理部70は、該当する質問文と対応付けられている広告挿入の条件および確率を確認する(ステップS249)。
続いて、広告挿入処理部70は、条件および確率に基づいて、現在、広告が出せる状態であるか否かを判断する(ステップS252)。
次に、広告が出せる状態である場合(ステップS252/Yes)、広告挿入処理部70は、対話処理部30による対話処理を一時停止させ(ステップS255)、広告内容を対話に挿入する(ステップS258)。具体的には、例えばユーザの質問文に対するエージェントの回答文に、広告内容を挿入させる。
そして、広告内容を含む対話(会話文データ)が対話処理部30から音声エージェントI/F20に出力され、音声エージェントI/F20からクライアント端末1に送信され、エージェントの音声で再生される(ステップS261)。具体的には、例えば以下のような会話により、キャラクターAの発言としてユーザに広告内容を提示することができる。
ユーザ:「おはよう」
キャラクターA:「おはよう!今日の調子はどうですか?」
ユーザ:「元気だよ。何か美味しい物食べたいな」
キャラクターA:「CC店の焼肉が美味しいらしいよ」
上記会話では、まず、ユーザの質問文「おはよう」に対して、キャラクターAの会話DBから検索された対応する回答文「おはよう!今日の調子はどうですか?」が音声出力される。次いで、ユーザの質問文「元気だよ。何か美味しい物食べたいな」に、広告挿入のトリガとなる質問文「何か美味しい物食べたいな」が含まれているため(図13の2段目参照)、広告挿入処理部70は広告挿入処理を行い、キャラクターAの音声で広告内容「CC店の焼肉が美味しいらしいよ」といった回答文が出力される。
以上、本実施形態による通信制御システムの基本的な動作処理として、会話データ登録処理、音素DB生成処理、対話制御処理、会話DB更新処理、および広告挿入処理について説明した。
なお、本実施形態による対話制御処理は、上述した例に限定されない。本実施形態による対話処理部30は、エージェントとの対話をシームレスに実世界の人物とのコミュニケーションに繋げることも可能である。以下、図15〜図48を参照して具体的に説明する。
<<4.対話制御処理>>
<4−1.構成>
(4−1−1.システム構成)
図15は、本実施形態による通信制御システムのシステム構成例を示す図である。本実施形態では、一例として、ユーザとエージェントとの対話に応じて、結婚相談所の会員情報を用いて、婚活会員とのマッチングを行う場合について説明する。
図15に示すように、本実施形態による通信制御システムは、クライアント端末1、エージェントサーバ2、管理サーバ4を含む。管理サーバ4は、結婚相談所の会員情報(婚活会員情報41)を管理する機能を有し、エージェントサーバ2からの要求に応じて会員情報の提供を行う。
(4−1−2.対話処理部30aの構成)
次に、本実施形態によるエージェントサーバ2に含まれる対話処理部30aの構成例について図16を参照して説明する。本実施形態による対話処理部30aは、エージェントとの対話をシームレスに実世界の人物とのコミュニケーションに繋げる実世界実働型のエージェントシステムを実現する。
図16は、本実施形態による対話処理部30aの構成例を示す図である。図16に示すように、対話処理部30aは、基本対話処理部31、キャラクターA対話処理部32、人物B対話処理部33、人物C対話処理部34、マッチング部35、および通信部36を有する。
基本対話処理部31、キャラクターA対話処理部32、人物B対話処理部33、および人物C対話処理部34は、図3を参照して上述した通りである。キャラクターA、人物B、人物Cは、いずれもエージェントキャラクターの一例である。
通信部36は、ネットワークを介して外部装置とデータの送受信を行い得る。例えば通信部36は、管理サーバ4から婚活会員情報を受信したり、マッチングした相手に承諾通知を送信したりする。
マッチング部35は、ユーザとエージェントの対話に応じて、当該エージェントと同様の性格や嗜好を持つ実在の人物をマッチングする機能を有する。マッチング部35の詳細な構成については、図17を参照して次に説明する。
(4−1−3.マッチング部35の構成)
図17は、本実施形態によるマッチング部35の構成例を示す図である。図17に示すように、マッチング部35は、ユーザ用エージェント対話処理部350、ユーザ/エージェント情報管理部351、ユーザ情報DB352、エージェント情報DB360、エージェント学習部353、ユーザ用エージェントDB354、紹介ユーザ選出部355、親密度算出部356、紹介処理部357、シナリオ管理部358、およびシナリオDB359を有する。
ユーザ/エージェント情報管理部351は、ユーザ情報DB352に対するユーザ情報、またはエージェント情報DB360に対するエージェント情報の登録、変更、更新、削除等を行う機能を有する。ユーザ情報は、例えばクライアント端末1でユーザにより入力され、エージェントサーバ2へ送信される。若しくは、ユーザ情報は、管理サーバ4の婚活会員情報41から抽出される。ユーザ情報は、ユーザID、年齢、職業、家族構成、家族同居、年収、居住地、血液型等の基本情報を含む。各項目は、最終的な紹介相手(マッチング相手)への公開可否に関する公開属性を有する。また、ユーザ情報は、好みの相手を特定する基本条件情報を含む。基本条件情報は、年齢、職業、家族構成、家族同居、年収、居住地、血液型といった、結婚相談所でマッチング相手を探す際の項目に成り得るような情報におけるユーザの希望条件を示すものである。各項目には優先度が設定でき、優先度の高い項目を重視して当該属性を持ったエージェントを最初に選択することも可能となる。また、ユーザ情報は、ユーザの嗜好情報を含む。嗜好情報は、例えば項目毎に-1.0(嫌い)〜1.0(好き)の範囲で数値が設定されていてもよいし、「大好き、好き、どちらでもない、嫌い、大嫌い」等のアンケート形式で入力された情報が登録されていてもよい。また、ユーザの嗜好情報は、予めユーザが入力してもよいし、ユーザとエージェントとの対話に応じて、嗜好情報が生成されたり編集されたりしてもよい。例えばエージェントとの対話の中で「僕はラーメンには目がなくて」というユーザの発言があった場合、自動的に「ラーメン」の項目を生成し、「1.0」を設定してもよい。
エージェントに関しても同様の情報がエージェント情報DB360に格納される。エージェントの基本情報、基本条件情報、および嗜好情報は、デフォルト値が設定される。
なおユーザやエージェントの基本情報等の具体例は、図24〜図27に示す。
エージェント学習部353は、ユーザ用エージェント対話処理部350におけるユーザ用エージェントの人格(属性)を、ユーザとの対話を学習することでユーザ好みに変化させる機能を有する。ユーザ用エージェント対話処理部350の初期値は、例えば予め用意した複数のエージェントキャラクターからユーザが選択したエージェントであって、対話を行っていくうちに徐々にエージェント学習部353によりユーザ好みのエージェントに変化する。ユーザ用エージェントDB354には、エージェント学習部353によりユーザ好みに変化したユーザ用エージェントの属性(例えば基本情報、基本条件情報、および嗜好情報の各項目)が格納され、適宜更新される。また、ユーザ用エージェントの属性には、エージェントの外観(顔のタイプ、髪型、服装のタイプ等)も含まれ得る。
ユーザ用エージェント対話処理部350は、エージェント学習部353により適宜変化するユーザ用エージェントによるユーザとの自動対話を実現する機能を有する。具体的には、ユーザ用エージェント対話処理部350は、クライアント端末1から送信された発話音声またはテキストを解析し、対応する応答文を出力する。
紹介ユーザ選出部355は、ユーザ好みに変化したエージェント(ユーザ用エージェント)の属性と同様の属性を持つ実在の人物を検索し、紹介ユーザとしてユーザにマッチングする機能を有する。ユーザ好みに変化したエージェントの属性は、ユーザ用エージェントDB354を参照して把握される。具体的には、紹介ユーザ選出部355は、婚活会員情報41から、ユーザ好みに変化したエージェントの属性と同様の属性を持つ実在の人物を検索し、紹介ユーザとして抽出する。また、紹介ユーザ選出部355により抽出された紹介ユーザの属性にユーザ用エージェントをより近付けるよう、エージェント学習部353に当該紹介ユーザの属性を出力してもよい。
親密度算出部356は、紹介ユーザの属性を反映させたユーザ用エージェントとユーザとの親密度を算出する。例えば親密度算出部356は、当該ユーザ用エージェントとユーザとの対話内容に応じて親密度を算出する。
紹介処理部357は、親密度算出部356により算出された親密度が閾値を超えた場合、紹介ユーザ(実在人物)をユーザに紹介するための各種処理を行う。例えば紹介処理部357は、紹介ユーザに対して紹介可否を問う承認通知を送信したり、両者のクライアント端末1に紹介画面を表示したりする。
シナリオ管理部358は、シナリオDB359に登録されているシナリオに従って、ユーザと紹介ユーザの出会いを支援する各種処理を行う。例えばシナリオ管理部358は、シナリオDB359からユーザが任意に選択したシナリオに従って、日時と場所を両者に通知し、プラン内容を所定の業者へ通知するよう制御する。
以上、本実施形態によるマッチング部35の構成について説明した。
(4−1−4.クライアント端末1の構成)
続いて、本実施形態によるクライアント端末1の構成について図18を参照して説明する。図18は、本実施形態によるクライアント端末1の構成の一例を示すブロック図である。
図18に示すように、クライアント端末1は、制御部100、通信部101、操作入力部102、センサ103、カメラ104、マイク(マイクロホンの略称)105、表示部106、スピーカ107、および記憶部108を有する。
(制御部100)
制御部100は、例えばクライアント端末1が有するCPU(Central Processing Unit)のようなプロセッサによって実現される。本実施形態による制御部100は、例えば通信部101を介してエージェントサーバ2から送信されたエージェントの応答音声をスピーカ107から再生するよう制御したり、エージェントの画像を表示部106に表示するよう制御したりする。
また、制御部100は、操作入力部102から入力されたユーザによる選択情報(例えばエージェントの選択等)を、通信部101を介してエージェントサーバ2へ送信する。
また、制御部100は、エージェントサーバ2の制御に従って、ユーザが選択したエージェントによる自動対話等のエージェントサービスを提供するよう制御する。
(通信部101)
通信部101は、例えば、ネットワーク3に接続するための通信デバイスなどで構成された通信インターフェースである。通信部101は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi-Fi、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信部101は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信部101は、例えばインターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信部101に接続されるネットワーク3は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
(操作入力部102)
操作入力部102は、ユーザ操作の入力を受け付け、制御部100に出力する機能を有する。操作入力部102は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、またはレバーなどにより実現される。
(センサ103)
センサ103は、ユーザまたは周辺状況を検知する機能を有する。例えばセンサ103は、生体センサ(脈拍計、心拍計、発汗センサ、体温センサ、血圧センサ、脳波計等)、環境センサ(温度センサ、照度センサ、圧力計等)、加速度センサ、ジャイロセンサ、方位センサ、振動センサ、または位置測位センサなどにより実現される。
(カメラ104)
カメラ104は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
(マイク105)
マイク105は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部100に出力する。
(表示部106)
表示部106は、文字、図、画像、映像等を表示する機能を有する。表示部106は、例えば液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置等により実現される。
(スピーカ107)
スピーカ107は、音声信号を再生する機能を有する。
(記憶部108)
記憶部108は、制御部100が各機能を実行するためのプログラムやパラメータを格納する。例えば記憶部108は、ユーザID、氏名、年齢、性別、職業、家族構成、家族同居、年収、居住地、嗜好情報等のユーザ情報を記憶していてもよい。
続いて、本実施形態による動作処理について図19〜図27を参照して具体的に説明する。
<4−2.動作処理>
本実施形態による動作処理は、探索、固定、紹介、支援の大きく4つのフェーズから成る。
・探索フェーズ
図19は、本実施形態による探索フェーズの動作処理を示すフローチャートである。図19に示すように、まず、ユーザにより一人のエージェントが選択されると(ステップS270)、ユーザ用エージェント対話処理部350は、選択されたエージェントによるユーザとの対話を開始する(ステップS273)。
次に、エージェント学習部353は、ユーザ用エージェント対話処理部350によるエージェントとユーザの対話を学習し、エージェントの嗜好や性格の属性をユーザの好みに近付くよう変更する(ステップS276)。
次いで、紹介ユーザ選出部355は、ユーザの好みに寄せたエージェントと各実在人物(紹介対象となる相手)の属性とをマッチングし、紹介ユーザの選出を行う(ステップS279)。このように、探索フェーズでは、エージェントの属性を変化させ、ユーザに知られることなく裏でエージェントと実在の人物とのマッチングが行われる。
同一人物が選出された回数が所定回数を超えるまで上記処理が繰り返される(ステップS282)。
そして、同一人物が選出された回数が所定回数を超えた場合(ステップS282/Yes)、図20で説明する固定フェーズの処理が開始される。なお、ここでは同一人物の選出回数を基準としたが、本実施形態はこれに限定されず、一定期間同一人物が選出され続けた場合を固定フェーズを開始する基準としてもよい。
・固定フェーズ
図20は、本実施形態による固定フェーズの動作処理を示すフローチャートである。固定フェーズでは、マッチングした人物(選出した紹介人物、以下「実在人物」とも称す)を固定し、本当に当該人物とユーザの相性(ここでは「親密度」により判断される)が良いかを確認するためのフェーズである。したがって、ここでは、実在人物の属性が変化した場合には対応するエージェントの属性が実在の人物に合わせて変化される。
具体的には、図20に示すように、まず、ユーザ用エージェント対話処理部350は、実在人物をマッチングしたユーザ用エージェントとユーザの対話を継続する(ステップS303)。
次に、エージェント学習部353は、ユーザ情報DB352に保存される実在人物の情報を継続的に確認し、マッチングした実在人物の属性が変化した場合はこれをユーザ用エージェントの属性に反映する(ステップS306)。具体的には、ユーザ用エージェントDB354に格納されるエージェントの属性が実在人物の属性に近付くよう更新される。
次いで、親密度算出部356は、エージェントとユーザの親密度を算出する(ステップS309)。上述したように、固定フェーズでは、エージェントの属性をマッチングした実在人物に寄せていくため、対話を進めるうちに、ユーザとエージェントの性格や嗜好がずれていく可能性がある。したがって、実在人物に似たエージェントとユーザとの親密度を算出し、マッチングした実在人物が本当にユーザに適切か否かを判断する。親密度の算出は、例えばエージェントの属性項目とユーザの属性項目の一致度合いや、ユーザとの会話量、会話時のユーザの笑顔量等に基づいて算出され得る。また、親密度は、ユーザの対話における言葉遣いや単語のポジティブ/ネガティブ等から算出されてもよい。
続いて、親密度が所定の閾値を超えた場合(ステップS312/Yes)、紹介処理部357は、紹介承認可否を当該マッチングした実在人物へ通知する(ステップS315)。
そして、実在人物により紹介承認が認められた場合(ステップS318/Yes)、図21で説明する紹介フェーズの処理が開始される。
一方、実在人物により紹介承認が認められなかった(紹介を拒否された)場合(ステップS318/No)、図19に示す探索フェーズに戻る。なお探索フェーズのステップS279のマッチング処理では、既に紹介承認を拒否した人物を除外する。
・紹介フェーズ
図21は、本実施形態による紹介フェーズの動作処理を示すフローチャートである。紹介フェーズでは、ユーザ側に紹介できる実在の人物がいることが初めて通知される。
図21に示すように、まず、紹介処理部357は、ユーザに紹介可能な実在人物がいることをユーザに通知する(ステップS323)。
次に、紹介処理部357は、ユーザのクライアント端末1の表示部106に、紹介する実在人物のプロフィールを(相手が公開している範囲で)表示し(ステップS326)、さらに、かかる実在人物(以下、「紹介相手」とも称す)に実際に会いたいか会いたくないかを選択する「会いたい/会いたくないボタン」を表示する(ステップS329)。これにより、ユーザは紹介相手のプロフィールを確認することができる。
次いで、エージェントを通したユーザと実在人物の音声またはテキストによる対話が続けられる(ステップS332)。ここでは、エージェントを通した会話であるため、例えばエージェントの音声で紹介相手の発話が再生されたり、エージェントの顔画像が表示された状態でチャットが行われる。ユーザは、エージェントを通した紹介相手との対話を続けた上で、実際に紹介相手に会いたいか会いたくないかを判断し、「会いたい/会いたくないボタン」をタップする。かかるボタンは、相手側の画面にも表示され得る。
次に、ユーザと紹介相手の双方が双方が会う意思を表明した(「会いたいボタン」を選択した)場合(ステップS335/Yes)、図22に示す支援フェーズが開始される。
一方、片方が会う意思が無いことを表明した(「会いたくないボタン」を選択した)場合(ステップS338/Yes)、当該実在人物とのマッチングは解除され、図19に示す探索フェーズに戻る。この際、ユーザはエージェントを再選択するか否かを選択できる(ステップS341)。本実施形態では、複数のエージェントが用意され、各エージェントはそれぞれ異なる人格、すなわち初期値の属性が異なるため、違うタイプのエージェントから改めて始めたい場合、ユーザはエージェントを再選択する。一方、エージェントを再選択しない場合、ユーザとの対話に応じて、現在のエージェントの属性が再度ユーザ好みの属性に変化していく。また、探索フェーズでは、一度マッチングして解消された人物とは一定期間マッチングしないようにする。
・支援フェーズ
図22は、本実施形態による支援フェーズの動作処理を示すフローチャートである。紹介フェーズにおいて実在人物との繋がりは達成しているため、支援フェーズは必ずしも実行する必要はないが、ユーザの要求に応じて実施され得る。ここでは、二人が出会う時のシチュエーションや演出を「シナリオ」という形で選択することが可能である。
図22に示すように、まず、シナリオDB359に格納されている複数の出会いプラン(シナリオ)からユーザにより出会いプランが選択される(ステップS353)。なおシナリオ管理部358が、これまでのユーザと紹介相手との対話内容から自動的に出会いプランを推薦してもよい。出会いプランには、場所(レストラン、公園、遊園地、水族館等)、内容(サプライズ演出、プレゼント付き、優待、割引)、日時(平日/休日、朝/昼/夕)、費用等が含まれる。具体的には、例えば出会いプランには「落ち着いたレストランで彼女にサプライズプレゼントが…」といった内容が設定されている。出会いプランは、内容によってはユーザ側でしか閲覧できない。
次いで、シナリオ管理部358は、発動した出会いプランに従って、ユーザと実在人物に出会いの日時および場所を通知する(ステップS356)。
次に、シナリオ管理部358は、互いの予定が合ってOKされたか否かを確認する(ステップS359)。なお出会いプランを選択する際に予定が空いている日時をユーザに指定させるようにしてもよい。
次いで、双方OKした場合(ステップS359/Yes)、当該出会いプランを実行する演出業者に通知する(ステップS362)。演出業者は、例えばレストランや遊園地などの施設でもよい。出会いプランにより二人に利用してもらえるため、施設側としては広告になるというメリットがある。
そして、二人が当日出会ったことが確認されると(ステップS365/Yes)、業者による演出が実行される(ステップS368)。例えば、紹介相手のための特別メニューが用意されていたり、景色の良い場所では最高の眺めの席が用意されている等である。また、演出内容によっては周囲に演者が配置され、次のデートに繋がるような観光地の話題や、結婚がどれだけ素晴らしいかといった話をユーザ達に聞こえるように話してもよい。
<4−3.実施例>
続いて、本実施形態について実施例を用いて詳細に説明する。ここでは、結婚相談所(管理サーバ4)と連携した例について説明する。本実施例では、システムを利用しているユーザを仮に成人男性のユーザとし、結婚相談所の会員情報に基づいて紹介相手の女性をマッチングする。また、本実施例では、上述した4つのフェーズの前に、準備を行うための準備フェーズについて説明する。
(4−3−1.準備フェーズ)
ユーザは、本システムを利用する準備としてプロフィール(ユーザ情報)を入力する。以下、図23を参照して具体的に説明する。
図23に示すように、まず、ユーザは、クライアント端末1からユーザ基本情報を入力する(ステップS393)。クライアント端末1で入力された情報は、エージェントサーバ2へ送信され、ユーザ/エージェント情報管理部351によりユーザ情報DB352に格納される。図24Aに、ユーザ基本情報の一例を示す。図24Aに示すように、例えばユーザ基本情報は、年齢、職業、家族構成、家族同居、年収、居住地、血液型の情報を含む。また、ユーザ基本情報の各項目は、他の人物に閲覧されてもよいかどうかの公開属性を持つ。
次に、ユーザは、クライアント端末1からユーザ基本条件情報を入力する(ステップS396)。ユーザ基本条件情報は、理想の紹介相手の属性に関する情報である。図24Bに、ユーザ基本条件情報の一例を示す。図24Bに示すように、例えばユーザ基本条件情報は、年齢、職業、家族構成、家族同居、年収、居住地、血液型の情報を含む。また、ユーザは、各項目に優先度を設定することが可能であって、優先度の高い項目を重視して最初のエージェントを選択することが可能となる。なおユーザ基本条件情報の項目は図24Bに示す例に限定されず、例えば容姿、性格、話し方、声のトーン等の項目を含むことも可能である。
次いで、ユーザは、クライアント端末1からユーザ嗜好情報を入力する(ステップS399)。ユーザ嗜好情報は、ユーザの嗜好に関する情報である。図25に、ユーザ嗜好情報の一例を示す。ユーザ嗜好情報は、例えば各項目を-1.0(嫌い)〜1.0(好き)の範囲で設定される。また、数値入力に限定されず、ユーザ嗜好情報の入力の際に「大好き、好き、どちらでもない、嫌い、大嫌い」等を項目毎にアンケート形式で入力できるようにしてもよい。
続いて、ユーザ/エージェント情報管理部351は、ユーザの性格診断を行う(ステップS402)。ユーザの性格診断は、例えばアンケート形式でユーザに提示した設問の答えに基づいて何パターンかの性格に分類したり、性格の要素となる複数の軸について軸ごとの点数を算出してレーダーチャートや折れ線グラフで診断する方法が挙げられる。エゴグラムテストとして知られる性格診断の場合には、例えば「断ることが苦手ですか?」や「時間を守ることに厳しいですか?」などの質問をユーザに与えることで、最終的に5軸の要素(CP(Controlling Parent)、NP(Nurturing Parent)、A(Adult ego state)、FC(Free Child)、AC(adapted child)と称される)毎に得点を集計し、最終的にエゴグラムという折れ線グラフで性格診断結果を表現することができる。ユーザに提示する際は折れ線グラフやレーダーチャートを用いて表現するが、ユーザ情報DB352内では各要素の得点をユーザ性格情報として保存し、各ユーザの要素の得点を比較することで、性格の類似度やユーザ好みの性格かどうかが判断され得る。
次に、ユーザ/エージェント情報管理部351は、ユーザの理想人物の性格診断を行う(ステップS405)。ユーザの理想人物の性格は、例えばユーザがエゴグラムテストを理想の相手になりきって入力することで設定することが可能である。ユーザの理想人物の性格診断結果も同様に、各要素の得点が理想性格情報としてユーザ情報DB352に格納される。
以上説明した基本情報、基本条件情報、嗜好情報、性格情報、理想性格情報は、エージェントも同様に有し、エージェント情報DB360に格納される。エージェントの基本情報の一例を図26Aに示し、基本条件情報の一例を図26Bに示し、嗜好情報の一例を図27に示す。基本情報、基本条件情報、嗜好情報、性格情報、および理想性格情報は、エージェントの性格を定義するための初期値として設定され得る。
以上、準備フェーズについて具体的に説明した。準備フェーズで用意した基本情報、基本条件情報、嗜好情報、性格情報、および理想性格情報は、管理サーバ4で管理される結婚相談所側の実在の人物(婚活会員)においても同様の値が婚活会員情報41に格納されている。
(4−3−2.探索フェーズ)
続いて、探索フェーズの実施例について図28〜図38を参照して具体的に説明する。
基本情報等の入力を行う準備フェーズが終了すると、次にエージェントを選択する画面に誘導される。図28は、本実施例によるエージェント選択画面の一例を示す図である。図示された画面200には、エージェントの画像(手書きの絵、CG、写真等)、エージェントの基本プロフィール、エージェントの性格や嗜好が表示される。エージェントの性格は、図28に示すように性格チャートで表示されてもよいし、上述したエゴグラムによる折れ線グラフで表示されてもよい。また、エージェントの選択候補は、ユーザの嗜好を反映して生成したものであってもよい。また、エージェントの選択候補は、エージェント情報DB360にプロフィール設定されているエージェントのうち、ユーザの嗜好とマッチングして選出したものや、ユーザの嗜好とは無関係に例えば人気順や評価順などの指標に基づいて選出したものであってもよい。
以下、図29A、図29Bを参照して具体的な動作処理について説明する。
図29A、図29Bは、本実施例による探索フェーズの動作処理を示すフローチャートである。図29Aに示すように、まず、ユーザによりエージェントの選択が行われる(ステップS413〜ステップS437)。エージェントの選択方法は例えば3つ用意する。ユーザは好きな選択方法でエージェントを選択することが可能である。
第1の選択方法では(ステップS413/Yes)、エージェント情報DB360に登録されている複数の女性エージェントの画像が表示され、ユーザは容姿的に好みの女性エージェントを選択する(ステップS416)。
次いで、エージェント学習部353は、準備フェーズで入力されたユーザの理想の基本条件と理想の性格をユーザ情報DB352から抽出し、選択された女性エージェントにそのままセット(ユーザ用エージェントDB354に登録)する(ステップS419、ステップS422)。
第2の選択方法では(ステップS425/Yes)、エージェント学習部353は、準備フェーズで入力されたユーザの基本条件情報、および理想の性格情報に基づいて、エージェント情報DB360から近い属性を持つ女性エージェントを検索し(ステップS428、ステップS431)、検索結果をユーザに提示してエージェント選択を受け付ける(ステップS434)。エージェント検索の際、さらにユーザの嗜好情報を考慮し、ユーザと似た嗜好情報を持つ女性エージェントを検索するようにしてもよい。また、基本条件情報の各項目のうち、優先度の高い項目を優先して最も多くの属性が一致する女性エージェントに候補に絞ってもよい。
第3の選択方法では(ステップS425/No)、エージェントの容姿やプロフィールを確認しながら、全てのエージェントからユーザが任意に選択する(ステップS437)。
次いで、図29Bに示すように、ユーザ用エージェント対話処理部350は、ユーザの行動履歴や、生体情報を取得する(ステップS440、ステップS443)。ユーザの行動履歴とは、活動した場所の履歴、活動内容履歴、購買履歴、SNSの投稿履歴等であって、クライアント端末1や所定のサーバから取得される。ユーザの行動は、位置情報、インターネット履歴、加速度センサデータやジャイロセンサデータ等に基づく行動認識等により詳細に把握され得る。また、ユーザの生体情報はクライアント端末1からリアルタイムに取得され、現在のユーザの状態(緊張している、眠そうにしている、笑っている等)が把握される。
次に、ユーザ用エージェント対話処理部350は、エージェントによるユーザとの対話処理を行う(ステップS446)。この際、ユーザ用エージェント対話処理部350は、取得したユーザ行動履歴や生体情報を参考にした応答文を生成し、エージェントの発話として出力してもよい。図30〜図32に、ユーザ行動履歴や生体情報を利用したエージェントによる対話の一例を示す。ここでは、表示部106のチャット画面を介してエージェントとユーザの対話が行われている。
図30は、本実施例によるユーザ行動履歴を利用したエージェントの発話例を説明する図である。図示された画面202には、ユーザMとエージェント「サキ」の対話がチャット形式で表示されている。画面202の下方には、テキスト入力欄と送信ボタンが表示され、ユーザがテキスト入力欄にメッセージを入力し、送信ボタンをタップすることで入力されたメッセージがエージェントサーバ2に発話テキストとして送信される。
ユーザ用エージェント対話処理部350は、エージェント「サキ」の応答を、例えば予め設定された質問文と応答文のデータセットに基づいて生成する。具体的には、例えば「○○に釘付けになりました」「○○に夢中で」「○○に目が無いんですよ」といった質問文に対しては『○○がお好きなんですか?』と応答する。また、ユーザ用エージェント対話処理部350は、例えばユーザMが今日Y駅で降りたという行動履歴を参照して、図30に示すように、『Mさんが今日降りたY駅の周りには、ラーメン屋さんが多いですよね!』という発話を出力することも可能である。これにより、ユーザMは、エージェントに対して親近感が湧いたり、自分だけのパートナーという意識が芽生えることが期待できる。
図31は、本実施例によるユーザの生体情報を利用したエージェントの発話例を説明する図である。生体情報は、ユーザが装着するウェアラブルデバイスに設けられた生体センサや、ユーザの顔画像を撮像するカメラから得られ、クライアント端末1からリアルタイムにエージェントサーバ2へ送信される。ユーザ用エージェント対話処理部350は、生体情報に基づいてユーザの状態(心理状態、感情)を推測し、推測結果を反映した発話をエージェントの発言として生成する。例えばユーザMの心拍数が通常より速くなっていた場合、図31の画面203に表示されているように、『あれ?なんかいつもと違うような?』『なんかこちらもドキドキしてきました』といった、相手の心理状態に同調する発話が出力される。これにより、ユーザMは、エージェントとの心理的な距離が近くなり、より親しく感じることが期待できる。
図32は、本実施例によるSNS情報を利用したエージェントの発話例を説明する図である。ユーザ用エージェント対話処理部350は、ユーザの嗜好情報に合致する話題をSNSやWebサイトから検索し、エージェントの発話に利用する。例えば図32の画面204に表示されているように、『私はよく分からないけど、さっきAAチームのドラフトの話題でSNSが盛り上がってたみたいですよ』といった発話が出力される。このようにユーザMの嗜好に合った話題を提供することで話が盛り上がり、ユーザMはエージェントとの会話をより楽しいと感じることが期待できる。
以上説明したユーザ用エージェント対話処理部350による対話処理の詳細を、図33A、図33Bに示す。
図33A、図33Bは、本実施例によるエージェント対話処理のフローチャートである。図33Aに示すように、まず、ユーザ用エージェント対話処理部350は、前回のユーザとの会話から一定時間経過していた場合(ステップS473/Yes)、挨拶を行う(ステップS476)。
次に、紹介ユーザが選出されない状態が所定期間続いている場合(ステップS479/Yes)、ユーザ用エージェント対話処理部350は、ユーザに対する性格改善(若しくは理想の改善)メッセージを生成し、発話する(ステップS482)。紹介ユーザの選出については、追って詳述する。
次いで、ユーザからの新規入力(発話)があった場合(ステップS485/Yes)、エージェントサーバ2は、発話音声に対して音声認識を行い(ステップS488)、発話テキストに対してテキスト解析を行う(ステップS491)。
次に、エージェントサーバ2のユーザ用エージェント対話処理部350は、ユーザの属性(基本情報、基本条件情報、および嗜好情報の各項目)に応じた発話候補を生成する(ステップS494)。
次いで、ユーザの行動履歴が利用できる場合(ステップS497/Yes)、ユーザ用エージェント対話処理部350は、行動履歴に応じて発話候補を改変する(ステップS498)。
また、ユーザの生体情報が利用できる場合(ステップS500/Yes)、ユーザ用エージェント対話処理部350は、生体情報に応じて発話候補を改変する(ステップS503)。なお、ユーザ用エージェント対話処理部350は、行動履歴と生体情報の両方を用いて発話候補を改変してもよい。
次いで、発話候補がある場合(ステップS506/Yes)、ユーザ用エージェント対話処理部350は、エージェントの発言として当該発話候補を出力する(ステップS509)。なお発話候補が無かった場合(ステップS506/No)、エージェントの発言は行われない。
以上説明したエージェント対話は、ユーザからの新規入力(発話)があった場合の返答について説明したが、本実施例による対話はこれに限定されず、エージェント側から発言を行ってもよい。
具体的には、上記ステップS485において、ユーザからの新規入力(発話)が無い場合(ステップS485/No)、図33Bに示すように、ユーザ用エージェント対話処理部350は、ユーザの行動履歴にトピックがあるか否かを判断する(ステップS512)。例えば、ユーザ用エージェント対話処理部350は、観光スポットに出掛けた、いつもと違う駅で降りた、高価な買い物をした等の注目すべき行動があったか否かを行動履歴から判断する。
次に、トピックがあった場合(ステップS512/Yes)、ユーザ用エージェント対話処理部350は、行動履歴を用いて発話候補を生成する(ステップS515)。
次いで、ユーザの生体情報にトピックがあるか否かを判断する(ステップS518)。例えば、ユーザ用エージェント対話処理部350は、笑顔、楽しい、眠い、疲れている、興奮している、怒っている、といった普段と異なる注目すべき状態や感情を生体情報に基づいて判断する。
次に、トピックがあった場合(ステップS518/Yes)、ユーザ用エージェント対話処理部350は、生体情報を用いて発話候補を生成する(ステップS521)。
次いで、直近のSNSやWebサイト等からユーザが好む話題を検索し、ユーザが好む話題が有った場合(ステップS524/Yes)、ユーザ用エージェント対話処理部350は、当該SNS等の話題を用いて発話候補を生成する(ステップS527)。
なお、図33Bでは、行動履歴、生体情報、およびSNS情報等のうちいずれか一つを利用して発話候補を生成するフローを示したが、本実施例はこれに限定されず、行動履歴、生体情報、およびSNS情報等のうちいずれか1以上の情報を組み合わせて発話候補を生成することも可能である。
次に、図29Bに戻り、エージェント学習部353は、エージェントとユーザの対話に応じて、エージェントの学習を適宜行う(ステップS449)。具体的には、エージェント学習部353は、エージェントの属性がユーザ好みになるよう更新する。以下、図34〜図35を参照して具体的に説明する。
図34は、本実施例によるエージェント学習の動作処理を示すフローチャートである。図34に示すように、まず、エージェント学習部353は、ユーザの入力文(発話テキスト)をテキスト解析する(ステップS530)。
次いで、エージェント学習部353は、目的語(嗜好対象となる事象)に対してのユーザのポジティブ/ネガティブ判定を行う(ステップS533)。
次に、エージェント学習部353は、上記目的語がエージェントの嗜好情報に含まれている項目であるか否かを確認し(ステップS536)、含まれていない場合はエージェントの嗜好情報に当該目的語の項目を追加する(ステップS539)。
次いで、エージェント学習部353は、エージェントの嗜好情報の対応する項目の嗜好度(嗜好の数値)を調整する(ステップS541)。すなわち、エージェント学習部353は、対話内容に基づいて、ある事象に対するユーザのポジティブ/ネガティブを判別し、判別結果をエージェントの嗜好情報に反映させることで、エージェントの嗜好をユーザの嗜好に近付けることができる。なお、エージェントの嗜好情報のみならず、エージェントの基本情報や基本条件情報にも、ユーザの好みを反映させてもよい。
この際、エージェント学習部353は、エージェントの嗜好や性格が急激に変化すると不自然になるため、数値の更新は一定の範囲内の加減に留めるようにしてもよい。例えば、図35に示すように、ユーザが「今日テレビでラーメンランキングに釘付けになってしまいまして、とんこつラーメンを食べたくなってしまいました。太るっすかね?あっさり系の醤油ラーメンは興味なかったのですが。」と入力した場合、テキスト解析により、目的語(嗜好対象単語)として「テレビ」「ラーメンランキング」「とんこつラーメン」「醤油ラーメン」が抽出される。エージェント学習部353は、当該目的語に対するユーザの心証を示す各対応語に応じて、図35の右上の表に示すように、各目的語に対するポジティブ/ネガティブ判定を行う。図35に示す例では、ユーザが「ラーメン」にポジティブな感情を持っていることが判明するため、エージェントの嗜好情報に「ラーメン」を加え、嗜好度(嗜好の数値)を高くしてユーザの嗜好に寄せていく。この際、嗜好の強さを表す言葉(「とても」、「少し」など)に応じて加算する点数を変えてもよいし、1回の発言で例えば0.1ずつ変化するようにしていってもよい。また、エージェント学習部353は、1.0が最大、-1.0が最小になるよう嗜好度を正規化して設定してもよい。
次に、エージェント学習部353は、ユーザの言葉使いカテゴリの判定を行う(ステップS544)。ここでは、ユーザの言葉使いに合わせてエージェントの言葉使いも変化させることで、ユーザと雰囲気が合うエージェントにすることができる。言葉使いカテゴリは、例えば丁寧、ぶっきらぼう(無愛想)、優しい、乱暴、早口、ゆっくり等に分けられる。
次いで、エージェント学習部353は、エージェントの言葉使いカテゴリパラメータを調整する(ステップS547)。エージェントの言葉使いカテゴリパラメータは、ユーザ用エージェントDB354に格納され得る。言葉使いのカテゴリ判定は、一定期間におけるユーザの対話から収集した言葉使いカテゴリのうち一番多いカテゴリをユーザを代表する言葉使いカテゴリとしてもよい。例えば図35に示す例では、図35の右下に示すように、「丁寧」のカテゴリが3回、「ぶっきらぼう」のカテゴリが1回抽出されているので、、ユーザを代表する言葉使いカテゴは「丁寧」と判定してもよい。または、エージェント学習部353は、ユーザの対話から抽出される各言葉使いカテゴリの出現確率を判定結果としてもよい。そして、エージェント学習部353は、ユーザを代表する言葉使いカテゴリ、または各言葉使いカテゴリの出現確率を、エージェントの言葉使いカテゴリパラメータに反映させる。
次に、エージェント学習部353は、上述した嗜好情報や言葉使いパラメータの変更がエージェントの性格に影響するか否かを確認し(ステップS550)、影響する場合はエージェントの性格情報のパラメータを調整する(ステップS553)。嗜好や言葉使いには性格が表れるため、変更された嗜好や言葉使いに応じた性格パラメータに調整される。
以上説明したように、エージェントはユーザと対話を行っているうちに徐々にユーザ好みのエージェントに成長する。
続いて、図29Bに戻り、紹介ユーザ選出部355は、次に説明するマッチングの更新間隔が閾値を超えたか否かを判断する(ステップS452)。マッチングの更新間隔は、例えば1日、1週間等、適宜設定される。
次に、紹介ユーザ選出部355は、実在人物とエージェントとのマッチングを行う(ステップS455)。本実施例では、エージェントとユーザの対話が進む裏で、定期的に実在の人物とエージェントとのマッチングが行われる。具体的には、例えば紹介ユーザ選出部355は、婚活会員情報41を参照してエージェントと似ている実在人物を検索する。上述したように、ユーザ用エージェントはユーザ好みに変化しているため、当該エージェントと似ている実在人物をマッチングすることで、ユーザと相性のよい相手をより効果的に検索することができる。以下、図36〜図38を参照して具体的に説明する。
図36は、本実施例によるマッチングの動作処理を示すフローチャートである。図36に示すように、まず、紹介ユーザ選出部355は、エージェントの基本条件情報と全て一致する人物を婚活会員情報から検索する(ステップS563)。図37は、エージェントの基本条件情報を用いた検索について説明する図である。図37に示すように、基本条件の項目が条件を満たしているか否かに基づいて婚活会員情報がスクリーニングされる。例えば紹介ユーザ選出部355は、基本条件情報を管理サーバ4に送り、婚活会員情報41から条件を満たす1以上の会員IDを取得する。
次いで、検索された候補数(婚活会員の数)が閾値(一定数)を超えているか否かを判断する(ステップS566)。これにより、例えば最低でも10人など、マッチング相手を選ぶ候補人数を確保することができる。
次に、候補数が閾値を超えていない場合(ステップS566/No)、紹介ユーザ選出部355は、基本条件情報の優先度「高・中」の項目を満たす候補を検索する(ステップS569)。
次いで、候補数がまだ閾値を超えていない場合(ステップS572/No)、紹介ユーザ選出部355は、さらに基本条件情報の優先度「高」の項目を満たす候補を検索する(ステップS575)。
次に、候補数が閾値を超えている場合(ステップS578/Yes)、紹介ユーザ選出部355は、エージェントと各候補の性格診断結果の相関を求める(ステップS581)。ここでは、準備フェーズで説明した性格診断を各婚活会員も事前に行っているものとする。例えば紹介ユーザ選出部355は、エージェントと各候補のエゴグラムの各値における差分の自乗値を合算し、相互相関を求める。
次いで、紹介ユーザ選出部355は、相関値が所定の閾値より低い候補を除外する(ステップS584)。
次に、紹介ユーザ選出部355は、残った候補とエージェントの嗜好の類似度を算出し(ステップS587)、類似度の最も高い候補(人物P)を選出する(ステップS590)。嗜好の類似度の算出は、嗜好情報を用いて行われる。
具体的には、紹介ユーザ選出部355は、例えばエージェントとある候補の嗜好情報の各項目のうち一致する項目の数値を並べたn次元のベクトルをそれぞれ生成し、エージェントのn次元ベクトルと候補者のn次元ベクトルのcosθ内積を求める。数値が1.0であれば類似度は完全一致、0.0であれば完全不一致となる。
ただし、nが所定の閾値より小さい場合は当該候補者について類似度算出は行わずに候補から除外する。少ない項目で一致しても信頼性が低いためである。
例えば図38に示す例では、エージェントの嗜好情報と、候補者である婚活会員の嗜好情報のうち、「AAチーム」「FF食堂」「D町」「寿司」「EEファッション」といった5つの項目が一致する。従って、紹介ユーザ選出部355は、これら5つの項目の数値を並べた5次元ベクトルをそれぞれ生成する。
一方、候補数が閾値を超えていない場合(ステップS578/No)、候補が少ないため、マッチングを解除し、図29Bに示すステップS440に戻る。
以上、本実施形態によるエージェントと実在人物のマッチング(紹介ユーザ(人物P)の選出)について説明した。
次いで、図29Bに戻り、紹介ユーザ選出部355は、選出した人物Pが前回選出した人物と同じか否かを確認する(ステップS461)。上述したように、実在人物のマッチングは、エージェントとユーザの対話が行われる一方で定期的に(例えば1日1回等)行われ得る。
次に、選出した人物Pが前回選出した人物と同じ場合(ステップS461/Yes)、紹介ユーザ選出部355は、同一人物カウントCsをインクリメントする(ステップS464)。
一方、選出した人物Pが前回選出した人物と異なる場合(ステップS461/No)、紹介ユーザ選出部355は、同一人物カウントCsをリセットする(ステップS470)。
次いで、紹介ユーザ選出部355は、同一人物カウントCsが閾値を超えるまで実在人物とのマッチングを定期的に行う(ステップS467)。同一人物カウントCsが閾値を超えた場合(ステップS467/Yes)、図39に示す固定フェーズが開始される。
(4−3−3.固定フェーズ)
次に、固定フェーズの実施例について図39〜図41を参照して具体的に説明する。固定フェーズでは、ユーザとエージェントが探索フェーズの際と同様に対話を続けながら一方でエージェントの嗜好や性格の属性が探索フェーズでマッチングされた実在人物に徐々に近付けられ、ユーザが気付かないうちに実在人物との相性(親密度)が判断される。
図39は、本実施例による固定フェーズの動作処理を示す図である。図39に示すように、まず、承認待ちフラグがFalseにセットされる(ステップS603)。
次に、親密度算出部356は、親密度を0にセットする(ステップS606)。
次いで、ユーザ用エージェント対話処理部350により、上記ステップS440〜S446と同様に、ユーザの行動履歴や生体情報を利用したユーザとの対話処理が引き続き行われる(ステップS609〜ステップS615)。
次に、エージェント学習部353は、選出した人物Pの嗜好や基本情報、性格情報の属性に変化が起きたか否かを確認し(ステップS618)、変化が起きた場合には、エージェントの嗜好情報や基本情報、性格情報等の属性に反映させる(ステップS621)。この際、変化した値をそのままコピーしてもよいが、エージェントの嗜好が急激に変化するとユーザが不自然さを感じる場合もあるため、一度に変化させる量を限定してもよい。一定の時間をかけてエージェントの嗜好を人物Pの嗜好に一致させる。
ここで、図40に、エージェントの嗜好が変化した場合における対話例を示す。図40に示すエージェント「サキ」は、ユーザMと対話していた探索フェーズの時点ではそれ程AAチームのことが好きではない属性であったとする(探索フェーズではユーザの嗜好に徐々にエージェントを合わせていくため時間が経てばAAチームファンになっていたはずではある)。しかしながら、それ以外の嗜好や性格がマッチして実在人物が選出され、固定フェーズに移行した場合、今度はエージェント「サキ」の嗜好は当該実在人物の嗜好に近付いて行く。そして、当該実在人物が偶然にもAAチームファンだった場合、エージェント「サキ」の嗜好がAAチーム好きに調整され、例えば図40の画面206に示すように、『私もAAチームが好きになってきちゃった。昨日の試合すごかったね!』というような、AAチームの話題に対して以前よりもポジティブな発言が出力される。
次いで、承認待ちフラグがtrueになっていない場合(ステップS624/No)、親密度算出部356は、ユーザとエージェントとの親密度を算出する(ステップS636)。親密度の算出方法は、基本条件情報や嗜好情報等を用いて紹介ユーザ選出部355で行ったエージェントと実在人物とのマッチング方法と同様であってもよい。すなわち、基本条件情報や嗜好情報等の項目の一致度合いを親密度として算出する。また、さらにユーザとエージェントの会話量や会話時の笑顔量に基づく数値を親密度に加算してもよい。
次に、親密度が閾値を超えた場合(ステップS639/Yes)、紹介処理部357は、選出した人物P(エージェントにマッチングした婚活会員)に紹介承認可否を通知し(ステップS642)、承認待ちフラグをtrueにして承認待ち状態とする(ステップS645)。ここで、図41に、紹介承認可否の通知画面の一例を示す。図示された例では、画面207に、ユーザMのプロフィールが(公開している範囲で)表示され、さらに承認ボタン207aと却下ボタン207bが表示される。紹介承認可否通知を受けた人物Pは、ユーザMのプロフィールを確認し、自分を相手に紹介することを承認する場合は承認ボタン207aをタップし、承認しない場合は却下ボタン207bをタップする。
次いで、承認応答があるまでユーザM側は承認待ち状態となり(ステップS648)、エージェントとの対話やエージェントの学習が継続される(ステップS609〜S624)。
次に、人物Pから一定期間応答がなくタイムアウトした場合(ステップS627/Yes)、紹介処理部357は、承認待ちフラグをfalseにして(ステップS630)、また、親密度算出部356は親密度を0にする(ステップS633)。この場合、人物Pとのマッチングは解除され、探索フェーズに戻る。
また、人物Pからの承認が認められなかった場合(ステップS651/No)も、親密度を0にリセットされ(ステップS633)、人物Pとのマッチングが解除され、探索フェーズに戻る。
一方、人物Pからの承認が認められた場合(ステップS651/Yes)、図42に示す紹介フェーズが開始される。
(4−3−4.紹介フェーズ)
次に、本実施例の紹介フェーズについて図42〜図44を参照して説明する。紹介フェーズでは、実在の人物が承認を行ったことをトリガとして、ユーザ側に紹介できる人物がいる旨が通知される。ユーザはこの時点から実在の人物の存在を知り、プロフィールを見ることができるようになる。なおユーザ側に提示される実在人物のプロフィールは、基本情報の公開属性が「はい」になっているものだけである。
図42は、本実施例による紹介フェーズの動作処理を示すフローチャートである。図42に示すように、まず、紹介ユーザ選出部355は、紹介可能な人物が居ることをユーザに通知する(ステップS663)。図43に、紹介通知の一例を示す。図示された例では、画面208に、エージェント「サキ」とユーザMのチャットが表示されている。エージェント「サキ」に紐付けられた人物Pから紹介承認が許可された場合、紹介ユーザ選出部355は、『突然ですが運営からユーザさんにお知らせです!サキさんに似た女性が見つかりました。画面下のハートボタンから連絡をとってみませんか?』といったメッセージを割り込ませる。メッセージは割込みお知らせのため、エージェント「サキ」との対話はそのまま継続される。ユーザMが画面208に表示されたハートボタン208aをタップすると、紹介相手の詳細情報が表示される(ステップS666)。図44に、紹介相手の詳細情報表示画面の一例を示す。図示された例では、画面209に、紹介相手(人物P)のプロフィールと、会ってみたいボタン209a、および、やめておくボタン209bが表示される(ステップS669)。
次いで、エージェントを通してユーザと人物Pとの対話がチャットや音声によって行われる(ステップS672)。ここでの対話は、エージェントを通した対話であって、ユーザはまだ相手の声を直接聞くことなく、相手の発話がエージェントの音声で出力、若しくはエージェントの発言として表示される。ユーザは相手のプロフィールを紹介フェーズで初めて知ることとなるが、固定フェーズまでの処理で十分にユーザと相手のマッチングが行われているため、ユーザ側からすると、表示される人物Pのプロフィール情報はこれまで接してきたエージェントの嗜好と同様であり、また、性格も似ていることが期待され、好印象のまま人物Pとの会話に移行できる。また、人物P(女性)側から見ても、自分の分身となるエージェントによる会話が既に上手くいっている男性が紹介されているため、ユーザを気に入る確率が高い。このように、本実施例では、出会いの成功確率が高まる紹介を行うことが可能となる。
次に、ユーザと人物Pのうちどちらかが「やめておく」ボタンを押した場合(ステップS675/Yes)、人物Pとのマッチングは解消される。ユーザがエージェントを選び直す場合(ステップS678/Yes)、エージェント学習部353は、エージェントを消去し(ステップS681)、探索フェーズのエージェント選択(ステップS413〜S437)から再度開始する。
若しくは、ユーザがエージェントを選び直さない場合(ステップS678/No)、現在のエージェントのまま(人物Pとのマッチングは解消された状態)、探索フェーズの対話ループ(ステップS440〜S446)に戻り、再度マッチングが行われる(この際、マッチングを解消した人物Pは一定期間除外されるようにしてもよい)。
一方、双方が「会ってみたい」ボタンを押した場合(ステップS684/Yes)、ユーザが支援を希望している場合は(ステップS685)、図45に示す支援フェーズが開始される。支援が不要の場合(ステップS685/Yes)、エージェント学習部353は、エージェントの消去処理(クライアント端末1で起動するエージェントプログラムの消去処理)を行う(ステップS688)。この際、ユーザ用エージェント対話処理部350は、最後に図48を参照して後述するような挨拶を行ってエージェントがユーザの元から去っていくような対話制御を行ってもよい。また、支援フェーズが不要な場合、ユーザはエージェントを介した人物Pとの対話の中で、会う日時や場所を決めたり、連絡先の交換等を行う。
(4−3−5.支援フェーズ)
次に、支援フェーズの実施例について図45〜図48を参照して説明する。支援フェーズでは、シナリオDB359に登録されている出会いを支援するシナリオリストからユーザが任意でシナリオ(以下、「出会いプラン」とも称す)を選択し、シナリオに従った出会い演出が関係業者によって実施される。シナリオは有料制にしてもよい。
図45は、本実施例による支援フェーズの動作処理を示すフローチャートである。図45に示すように、まず、ユーザは、シナリオ管理部358により提示された複数の出会いプランから任意のプランを選択する(ステップS693)。ここで、図46に、出会いプラン選択画面の一例を示す。図示された例では、画面210に、出会いプランのタイトル、内容、および費用といった詳細情報と、選択ボタン210a、戻るボタン210bが表示されている。出会いプランは、例えば「素敵なイタリアンレストランで彼女に嬉しいサプライズが起こる」等のタイトルで、サプライズ内容として特別メニューの用意や特別席の用意、プレゼントの用意等の内容が記載されている。出会いプランに登場するレストランや施設は、例えば広告としてタイアップしており、無料の出会いプランであっても特定のレストランや施設にユーザを誘導することで集客効果が期待できる。また、有料の出会いプランを用意してスポンサーとは無関係の場所にユーザを誘導してもよい。
ユーザが出会いプランを選択すると、ユーザと人物Pに出会いプランの日時と場所が通知される(ステップS696)。ここで、図47に、出会いプラン通知画面の一例を示す。図47左側には、人物Pのクライアント端末1の表示部106Aに表示される画面211を示す。画面211には、「ここを予約してみました。お会いできるのを楽しみにしています!」といったユーザMのメッセージと、出会いプランの詳細情報と、承諾ボタン211aおよび断るボタン211bが表示される。人物Pは、日時場所とプランの内容を確認し、問題無ければ承諾ボタン211aをタップし、このお誘いを断る場合は断るボタン211bをタップする。
また、図47右側には、ユーザMのクライアント端末1の表示部106Bに表示される画面212を示す。画面212には、人物Pを誘った旨と、出会いプランの詳細情報と、OKボタン212aおよびやり直すボタン212bが表示される。ユーザMは、日時場所とプラン内容を確認し、問題無ければOKボタン212aをタップし、日時やプランを変更する場合はやり直すボタン212bをタップする。
次いで、双方が出会いプランを承諾すると、シナリオ管理部358は、出会いプランを関係業者(レストランや施設等)に通知する(ステップS699)。
次に、指定日時まで待ち(ステップS702)、シナリオ管理部358は、指定日時が来ると二人が指定の日時場所で出会ったかどうかを確認する(ステップS705)。二人が実際に出会ったか否かは、GPS等により検知された二人の位置情報から自動的に判断してもよいし、ユーザMから手動で出会ったことが通知されてもよい。
次いで、二人が指定の日時場所で出会った場合(ステップS705/Yes)、シナリオ管理部358は、二人が出会ったことを関係業者に通知する(ステップS708)。なおレストランであれば、予約の二人が到着したことは明示的に把握可能である。そして、関係業者は、出会いプランの内容を二人に提供する。
次に、シナリオ管理部358は、関係業者からの完了通知を待ち(ステップS711)、完了通知を受け取ると、二人が付き合うことになったか否かをエージェントからユーザMに尋ねる(ステップS714)。尋ねるタイミングは、一定期間経過してからであってもよい。
次いで、付き合うことになった場合(ステップS714/Yes)、ユーザ用エージェント対話処理部350は、祝福のメッセージを伝えてエージェントが去って行くよう対話制御する(ステップS717)。ここで、図48に、エージェントによる最後のお祝いメッセージ画面の一例を示す。図示された例では、画面213に、エージェント「サキ」からユーザMに対して「彼女とは付き合うことになったの?」と尋ねるメッセージと、「付き合う」ボタン213a、および「ダメだった」ボタン213bが表示される。ユーザMは、人物Pと付き合うことになった場合、「付き合う」ボタン213aをタップする。すると、図48右側に示すように、画面214に、エージェント「サキ」から「そう…それはおめでとう!私も嬉しいわ。だって私は彼女の分身だもの。私の役目は今日で終わりね。せっかくここまで来たのだから、幸せになってね。私はここでお別れ。さようなら。」といった最後のお祝いメッセージが表示される。
そして、エージェント学習部353は、エージェントの消去処理(クライアント端末1で起動するエージェントアプリケーションの消去処理)を行う(ステップS720)。
一方、指定日時に二人が出会えなかった場合(ステップS705/No)、ユーザ用エージェント対話処理部350は、残念であった旨のメッセージをエージェントからユーザMへ提示する(ステップS723)。
また、付き合うことにならなかった場合(ステップS714/No)、ユーザ用エージェント対話処理部350は、慰めや励ましのメッセージをエージェントからユーザMへ提示する(ステップS726)。
そして、ユーザがエージェントを選び直す場合(ステップS729/Yes)、エージェント学習部353は、エージェントを消去し、探索フェーズのエージェント選択(ステップS413〜S437)から再度開始する。
若しくは、ユーザがエージェントを選び直さない場合(ステップS729/No)、現在のエージェントのまま(人物Pとのマッチングは解消された状態)、探索フェーズの対話ループ(ステップS440〜S446)に戻り、再度マッチングが行われる(この際、マッチングを解消した人物Pは一定期間除外されるようにしてもよい)。
<<5.まとめ>>
上述したように、本開示の実施形態による通信制御システムでは、エージェントとの対話をシームレスに実世界の人物とのコミュニケーションに繋げることが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したクライアント端末1、またはエージェントサーバ2に内蔵されるCPU、ROM、およびRAM等のハードウェアに、クライアント端末1、またはエージェントサーバ2の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した実施形態では、インターネット上のエージェントサーバ2で各種機能が実現される構成を示したが、本実施形態はこれに限定されず、エージェントサーバ2の構成のうち少なくとも一部が、ユーザのクライアント端末1(スマートフォンやウェアラブル端末等)にあってもよい。また、エージェントサーバ2の構成全てがクライアント端末1に設けられ、クライアント端末1で全ての処理を行えるようにしてもよい。
また、上述した実施例では、男性ユーザを想定して女性の婚活会員を紹介する場合について説明したが、当然に、女性ユーザを想定して男性の婚活会員を紹介する場合にも応用可能である。
また、結婚相談所の婚活会員情報を用いた男女のマッチングに限定されず、例えばSNSに登録された情報を用いてSNS内での友達マッチング(異性、同性問わず)に応用することも可能である。若しくは、就活情報を用いて人事と就活生とのマッチングに応用することも可能である。
このように、本実施形態は、様々な場面における人物マッチングに広く適用される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
それぞれ異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶される記憶部と、
ユーザからのメッセージをクライアント端末から受信すると共に、応答メッセージを当該クライアント端末に返信する通信部と、
ユーザからの指示に応じて、前記複数のエージェントから特定のエージェントを選択し;
前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性を更新したものをユーザ用エージェントの属性として記録し;
前記ユーザ用エージェントの属性と、実在する複数の相手ユーザの属性とを比較することにより、当該ユーザ用エージェントの属性に最も類似する相手ユーザを特定し;
所定のタイミングで前記ユーザに前記相手ユーザの存在を通知するように制御する制御部と、
を備える、情報処理システム。
(2)
前記制御部は、
前記特定のエージェントの属性を前記ユーザの属性に近付けるよう更新したものを当該ユーザ用エージェントの属性として記録し;
一定期間毎に前記ユーザ用エージェントの属性に最も類似する相手ユーザを選出し、同一人物が所定回数選出された場合に相手ユーザとして特定する、前記(1)に記載の情報処理システム。
(3)
前記制御部は、前記ユーザ用エージェントの属性に最も類似する相手ユーザの属性に応じて、前記ユーザ用エージェントの属性を更新する、前記(1)または(2)に記載の情報処理システム。
(4)
前記ユーザ用エージェントの属性に最も類似する相手ユーザが一定期間同一であるとき、当該相手ユーザの属性に応じて、前記ユーザ用エージェントの属性を更新する、前記(2)〜(3)のいずれか1項に記載の情報処理システム。
(5)
前記実在する複数の相手ユーザの属性は、外部装置から取得される、前記(4)に記載の情報処理システム。
(6)
前記制御部は、前記ユーザと、前記ユーザ用エージェントとの親密度が閾値を超えると、前記ユーザに前記相手ユーザの存在を通知する、前記(4)または(5)に記載の情報処理システム。
(7)
前記制御部は、さらに、前記相手ユーザに前記ユーザの存在を通知する、前記(6)に記載の情報処理システム。
(8)
前記制御部は、前記ユーザと前記相手ユーザの双方から会いたい旨の要求信号を受信すると、出会いのシナリオを前記ユーザに提供可能となる、前記(7)に記載の情報処理システム。
(9)
前記制御部は、前記ユーザから、前記相手ユーザと交際を始める旨の通知を受け取ると、前記ユーザにお祝いのメッセージを送信すると共に、前記クライアント端末におけるエージェントアプリケーションが消去されるように制御する、前記(8)に記載の情報処理システム。
(10)
前記属性は、プロフィール情報、嗜好情報、性格情報、理想のプロフィール条件情報、および理想の性格情報の少なくともいずれかである、前記(1)〜(9)のいずれか1項に記載の情報処理システム。
(11)
それぞれが異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶されるサーバ装置に対して、ユーザからのメッセージを送信すると共に、そのメッセージに対する応答メッセージを受信する通信部と、
ユーザによる指示に応じて、前記複数のエージェントから特定のエージェントを選択し;
前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性が更新されたユーザ用エージェントの属性に最も類似する実在する相手ユーザが存在することを示す通知を、前記サーバ装置から前記通信部を介して所定のタイミングで受信するように制御する、制御部と、
を備える、情報処理装置。
(12)
前記制御部は、前記サーバ装置から、前記ユーザと前記ユーザ用エージェントとの親密度が閾値を超えると判断されたタイミングで前記相手ユーザの存在の通知を受信する、前記(11)に記載の情報処理装置。
(13)
前記制御部は、前記サーバ装置により、前記相手ユーザとの出会いのシナリオを受信する、前記(12)に記載の情報処理装置。
(14)
前記制御部は、
前記ユーザの指示に応じて、前記相手ユーザと交際を始める旨の通知を前記サーバ装置に送信し;
当該交際を始める旨の通知に応じて、サーバ装置から、お祝いのメッセージおよび情報処理装置に実装されるエージェントアプリケーションの消去を指示する制御信号を受信し、当該制御信号に応じて前記エージェントアプリケーションを消去するように制御する、前記(13)に記載の情報処理装置。
(15)
前記属性は、プロフィール情報、嗜好情報、性格情報、理想のプロフィール条件情報、および理想の性格情報の少なくともいずれかである、前記(11)〜(14)のいずれか1項に記載の情報処理装置。
(16)
プロセッサが、
それぞれ異なる属性を有し、ユーザと対話可能な複数のエージェントの情報を記憶部に記憶することと、
ユーザからのメッセージをクライアント端末から受信すると共に、応答メッセージを当該クライアント端末に通信部により返信することと、
ユーザからの指示に応じて、前記複数のエージェントから特定のエージェントを選択し;
前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性を更新したものをユーザ用エージェントの属性として記録し;
前記ユーザ用エージェントの属性と、実在する複数の相手ユーザの属性とを比較することにより、当該ユーザ用エージェントの属性に最も類似する相手ユーザを特定し;
所定のタイミングで前記ユーザに前記相手ユーザの存在を通知するように制御することと、
を含む、情報処理方法。
(17)
コンピュータを、
それぞれが異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶されるサーバ装置に対して、ユーザからのメッセージを送信すると共に、そのメッセージに対する応答メッセージを受信する通信部と、
ユーザによる指示に応じて、前記複数のエージェントから特定のエージェントを選択し;
前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性が更新されたユーザ用エージェントの属性に最も類似する実在する相手ユーザが存在することを示す通知を、前記サーバ装置から前記通信部を介して所定のタイミングで受信するように制御する、制御部と、
として機能させるためのプログラム。
1 クライアント端末
2 エージェントサーバ
30 対話処理部
300 対話処理部
310 質問文検索部
320 回答文生成部
330 会話DB
340 音素データ取得部
30a 対話処理部
31 基本対話処理部
32 キャラクターA対話処理部
33 人物B対話処理部
34 人物C対話処理部
35 マッチング部
350 ユーザ用エージェント対話処理部
351 ユーザ/エージェント情報管理部351
352 ユーザ情報DB
353 エージェント学習部
354 ユーザ用エージェントDB
355 紹介ユーザ選出部
356 親密度算出部
357 紹介処理部
358 シナリオ管理部
359 シナリオDB
360 エージェント情報DB
36 通信部
40 音素記憶部
41 基本用音素DB
42 キャラクターA音素DB
43 人物B音素DB
44 人物C音素DB
50 会話DB生成部
60 音素DB生成部
70 広告挿入処理部
72 広告DB
80 フィードバック取得処理部
3 ネットワーク
10 エージェント

Claims (17)

  1. それぞれ異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶される記憶部と、
    ユーザからのメッセージをクライアント端末から受信すると共に、応答メッセージを当該クライアント端末に返信する通信部と、
    ユーザからの指示に応じて、前記複数のエージェントから特定のエージェントを選択し;
    前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性を更新したものをユーザ用エージェントの属性として記録し;
    前記ユーザ用エージェントの属性と、実在する複数の相手ユーザの属性とを比較することにより、当該ユーザ用エージェントの属性に最も類似する相手ユーザを特定し;
    所定のタイミングで前記ユーザに前記相手ユーザの存在を通知するように制御する制御部と、
    を備える、情報処理システム。
  2. 前記制御部は、
    前記特定のエージェントの属性を前記ユーザの属性に近付けるよう更新したものを当該ユーザ用エージェントの属性として記録し;
    一定期間毎に前記ユーザ用エージェントの属性に最も類似する相手ユーザを選出し、同一人物が所定回数選出された場合に相手ユーザとして特定する、請求項1に記載の情報処理システム。
  3. 前記制御部は、前記ユーザ用エージェントの属性に最も類似する相手ユーザの属性に応じて、前記ユーザ用エージェントの属性を更新する、請求項1または2に記載の情報処理システム。
  4. 前記ユーザ用エージェントの属性に最も類似する相手ユーザが一定期間同一であるとき、当該相手ユーザの属性に応じて、前記ユーザ用エージェントの属性を更新する、請求項2又は3に記載の情報処理システム。
  5. 前記実在する複数の相手ユーザの属性は、外部装置から取得される、請求項4に記載の情報処理システム。
  6. 前記制御部は、前記ユーザと、前記ユーザ用エージェントとの親密度が閾値を超えると、前記ユーザに前記相手ユーザの存在を通知する、請求項4または5に記載の情報処理システム。
  7. 前記制御部は、さらに、前記相手ユーザに前記ユーザの存在を通知する、請求項6に記載の情報処理システム。
  8. 前記制御部は、前記ユーザと前記相手ユーザの双方から会いたい旨の要求信号を受信すると、出会いのシナリオを前記ユーザに提供可能となる、請求項7に記載の情報処理システム。
  9. 前記制御部は、前記ユーザから、前記相手ユーザと交際を始める旨の通知を受け取ると、前記ユーザにお祝いのメッセージを送信すると共に、前記クライアント端末におけるエージェントアプリケーションが消去されるように制御する、請求項8に記載の情報処理システム。
  10. 前記属性は、プロフィール情報、嗜好情報、性格情報、理想のプロフィール条件情報、および理想の性格情報の少なくともいずれかである、請求項1〜9のいずれか1項に記載の情報処理システム。
  11. それぞれが異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶されるサーバ装置に対して、ユーザからのメッセージを送信すると共に、そのメッセージに対する応答メッセージを受信する通信部と、
    ユーザによる指示に応じて、前記複数のエージェントから特定のエージェントを選択し;
    前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性が更新されたユーザ用エージェントの属性に最も類似する実在する相手ユーザが存在することを示す通知を、前記サーバ装置から前記通信部を介して所定のタイミングで受信するように制御する、制御部と、
    を備える、情報処理装置。
  12. 前記制御部は、前記サーバ装置から、前記ユーザと前記ユーザ用エージェントとの親密度が閾値を超えると判断されたタイミングで前記相手ユーザの存在の通知を受信する、請求項11に記載の情報処理装置。
  13. 前記制御部は、前記サーバ装置により、前記相手ユーザとの出会いのシナリオを受信する、請求項12に記載の情報処理装置。
  14. 前記制御部は、
    前記ユーザの指示に応じて、前記相手ユーザと交際を始める旨の通知を前記サーバ装置に送信し;
    当該交際を始める旨の通知に応じて、サーバ装置から、お祝いのメッセージおよび情報処理装置に実装されるエージェントアプリケーションの消去を指示する制御信号を受信し、当該制御信号に応じて前記エージェントアプリケーションを消去するように制御する、請求項13に記載の情報処理装置。
  15. 前記属性は、プロフィール情報、嗜好情報、性格情報、理想のプロフィール条件情報、および理想の性格情報の少なくともいずれかである、請求項11〜14のいずれか1項に記載の情報処理装置。
  16. プロセッサが、
    それぞれ異なる属性を有し、ユーザと対話可能な複数のエージェントの情報を記憶部に記憶することと、
    ユーザからのメッセージをクライアント端末から受信すると共に、応答メッセージを当該クライアント端末に通信部により返信することと、
    ユーザからの指示に応じて、前記複数のエージェントから特定のエージェントを選択し;
    前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性を更新したものをユーザ用エージェントの属性として記録し;
    前記ユーザ用エージェントの属性と、実在する複数の相手ユーザの属性とを比較することにより、当該ユーザ用エージェントの属性に最も類似する相手ユーザを特定し;
    所定のタイミングで前記ユーザに前記相手ユーザの存在を通知するように制御することと、
    を含む、情報処理方法。
  17. コンピュータを、
    それぞれが異なる属性を有し、ユーザと対話可能な複数のエージェントの情報が記憶されるサーバ装置に対して、ユーザからのメッセージを送信すると共に、そのメッセージに対する応答メッセージを受信する通信部と、
    ユーザによる指示に応じて、前記複数のエージェントから特定のエージェントを選択し;
    前記特定のエージェントと前記ユーザとの対話に応じて、当該特定のエージェントの属性が更新されたユーザ用エージェントの属性に最も類似する実在する相手ユーザが存在することを示す通知を、前記サーバ装置から前記通信部を介して所定のタイミングで受信するように制御する、制御部と、
    として機能させるためのプログラム。
JP2018506778A 2016-03-24 2016-12-21 情報処理システム、情報処理装置、情報処理方法、および記録媒体 Active JP6822467B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016059331 2016-03-24
JP2016059331 2016-03-24
PCT/JP2016/088253 WO2017163515A1 (ja) 2016-03-24 2016-12-21 情報処理システム、情報処理装置、情報処理方法、および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020210753A Division JP7070652B2 (ja) 2016-03-24 2020-12-18 情報処理システム、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017163515A1 JPWO2017163515A1 (ja) 2019-01-31
JP6822467B2 true JP6822467B2 (ja) 2021-01-27

Family

ID=59899901

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018506778A Active JP6822467B2 (ja) 2016-03-24 2016-12-21 情報処理システム、情報処理装置、情報処理方法、および記録媒体
JP2020210753A Active JP7070652B2 (ja) 2016-03-24 2020-12-18 情報処理システム、情報処理方法、およびプログラム
JP2022073241A Active JP7396396B2 (ja) 2016-03-24 2022-04-27 情報処理装置、情報処理方法、およびプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020210753A Active JP7070652B2 (ja) 2016-03-24 2020-12-18 情報処理システム、情報処理方法、およびプログラム
JP2022073241A Active JP7396396B2 (ja) 2016-03-24 2022-04-27 情報処理装置、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US11610092B2 (ja)
EP (1) EP3435323A4 (ja)
JP (3) JP6822467B2 (ja)
KR (1) KR20180123037A (ja)
CN (1) CN108885768A (ja)
WO (1) WO2017163515A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886823B2 (en) * 2018-02-01 2024-01-30 International Business Machines Corporation Dynamically constructing and configuring a conversational agent learning model
WO2020022294A1 (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体
JP2020119412A (ja) * 2019-01-28 2020-08-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020213468A1 (ja) * 2019-04-16 2020-10-22 ソニー株式会社 情報処理システム、情報処理方法、及びプログラム
JP6845588B2 (ja) * 2019-08-28 2021-03-17 Bhi株式会社 統合された予約支援システム
JPWO2021049594A1 (ja) * 2019-09-13 2021-03-18
US11294979B2 (en) * 2020-01-17 2022-04-05 Match Group, Llc System and method for matching users based on selections made by third parties
US20230093165A1 (en) * 2020-03-23 2023-03-23 Sony Group Corporation Information processing apparatus, information processing method, and program
CN115335898A (zh) * 2020-03-30 2022-11-11 索尼集团公司 信息处理设备、交互式机器人、控制方法
WO2024165932A1 (en) 2023-02-07 2024-08-15 Ricoh Company, Ltd. Conversation system, conversation control method, and storage medium

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076002A (ja) 1999-09-01 2001-03-23 Kazuhiro Shiina 情報ニーズ推定機能を備えた情報提供システム
JP3611509B2 (ja) * 1999-11-02 2005-01-19 株式会社国際電気通信基礎技術研究所 知識共有促進システム
JP2002041276A (ja) 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
JP2002049778A (ja) * 2000-08-03 2002-02-15 Akuaparu:Kk メール相手紹介装置、メール相手紹介システム、メール相手紹介方法、及び記憶媒体
JP2002149882A (ja) * 2000-11-14 2002-05-24 Tokai Kiyouhan Kk 顧客どうしの出会いの場の設定方法及び設定システム
WO2007059241A2 (en) * 2005-11-15 2007-05-24 Enpresence, Inc. Proximity-a ware virtual agents for use with wireless mobile devices
US7958117B2 (en) 2006-11-17 2011-06-07 Yahoo! Inc. Initial impression analysis tool for an online dating service
JP2011195430A (ja) * 2010-03-18 2011-10-06 Tokuyama Corp 低収縮性セメント組成物
KR101070844B1 (ko) 2010-10-01 2011-10-06 주식회사 바로연결혼정보 이상형을 연결시켜주기 위한 감성 매칭시스템 및 매칭방법
US8732102B2 (en) * 2011-02-17 2014-05-20 Disney Enterprises, Inc. System and method for using atomic agents to implement modifications
JP2013054494A (ja) 2011-09-02 2013-03-21 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体、及び情報処理システム
US9349131B2 (en) * 2012-02-02 2016-05-24 Kodak Alaris Inc. Interactive digital advertising system
US10534623B2 (en) * 2013-12-16 2020-01-14 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9924033B2 (en) * 2014-10-23 2018-03-20 Teletech Holdings, Inc. Method for collecting data using a user interaction event-driven data collection system
JP6797481B2 (ja) * 2017-03-01 2020-12-09 株式会社ディスコ 半導体インゴットの検査方法、検査装置及びレーザー加工装置

Also Published As

Publication number Publication date
JP2021073549A (ja) 2021-05-13
JP7070652B2 (ja) 2022-05-18
EP3435323A1 (en) 2019-01-30
US11610092B2 (en) 2023-03-21
WO2017163515A1 (ja) 2017-09-28
CN108885768A (zh) 2018-11-23
EP3435323A4 (en) 2019-04-10
US20190050708A1 (en) 2019-02-14
JPWO2017163515A1 (ja) 2019-01-31
KR20180123037A (ko) 2018-11-14
JP7396396B2 (ja) 2023-12-12
JP2022093479A (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
JP7070652B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US11327556B2 (en) Information processing system, client terminal, information processing method, and recording medium
US12050574B2 (en) Artificial intelligence platform with improved conversational ability and personality development
US20220284896A1 (en) Electronic personal interactive device
US11922934B2 (en) Generating response in conversation
US8984065B2 (en) Systems and methods for online matching using non-self-identified data
JP7099589B2 (ja) サーバ、通信制御方法、およびプログラム
JP7070638B2 (ja) 情報処理システムおよび情報処理方法
JP6860010B2 (ja) 情報処理システム、情報処理方法、および情報処理プログラム
CN110214301B (zh) 信息处理设备、信息处理方法和程序
CN114449297A (zh) 一种多媒体信息的处理方法、计算设备及存储介质
WO2024214793A1 (ja) 行動制御システム、制御システム、及び情報処理システム
Hansen et al. What’s your face on What’s your face on

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R151 Written notification of patent or utility model registration

Ref document number: 6822467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151