JP6120927B2 - 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム - Google Patents

対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム Download PDF

Info

Publication number
JP6120927B2
JP6120927B2 JP2015187055A JP2015187055A JP6120927B2 JP 6120927 B2 JP6120927 B2 JP 6120927B2 JP 2015187055 A JP2015187055 A JP 2015187055A JP 2015187055 A JP2015187055 A JP 2015187055A JP 6120927 B2 JP6120927 B2 JP 6120927B2
Authority
JP
Japan
Prior art keywords
episode
user
dialogue
unit
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015187055A
Other languages
English (en)
Other versions
JP2017062602A (ja
Inventor
礼 徳永
礼 徳永
上田 徹
徹 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2015187055A priority Critical patent/JP6120927B2/ja
Priority to US15/761,010 priority patent/US10657960B2/en
Priority to PCT/JP2016/071572 priority patent/WO2017051601A1/ja
Priority to CN201680055744.0A priority patent/CN108140030A/zh
Publication of JP2017062602A publication Critical patent/JP2017062602A/ja
Application granted granted Critical
Publication of JP6120927B2 publication Critical patent/JP6120927B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は機器を用いて対話を実現する技術に関し、より特定的には、発話者に固有な情報と一般的な情報とを用いて対話を実現する技術に関する。
対話するロボットや家電が商品化されている(例えば、非特許文献1参照)。対話には疲労を回復する効果があることが分かってきている(例えば、非特許文献2参照)。非特許文献2は、ロボット家電との対話を行うことにより、ストレスを低減する効果があり、特に高齢者に効果が高いことを示している。
ところで、高齢者を中心に認知症患者が増えている。この認知症に対して、回想法とよばれる手法が存在する(例えば、非特許文献3〜5参照)。回想法はアメリカの精神科医、ロバート・バトラー氏によって提唱された心理療法である。過去の懐かしい思い出を語り合ったり、誰かに話したりすることで脳が刺激され、精神状態を安定させる効果が期待できる。長く続けることで認知機能が改善することも明らかになり、日本でも認知症患者のリハビリテーションに利用されるようになってきている。要するに、この手法は、主として人との会話により過去を想起させ、それにより精神状態を改善させるものである。高齢者の認知障害への治療法に利用されることが多いが、うつ病の治療にも利用されることもある。
認知症の改善を支援する技術に関し、特開2011−223369号公報(特許文献1)は、「認知症患者の笑顔を検出し、それに応じて適切な会話を提供できる認知症患者用会話システム」を開示している([要約]参照)。特許文献1に開示された技術によると、認知症患者に対する対話装置において、会話データ群に応じて笑顔を検出した回数をカウントすることで、患者が興味を持つ会話を選択的に提供可能なシステムが実現される。
特開2004−109323号公報(特許文献2)は、「ユーザとの対話状況に応じて発話内容を臨機応変に変えることができ、知的で自然な音声対話を実現する音声対話装置」を開示している([要約]参照)。
特開2011−223369号公報 特開2004−109323号公報
http://www.sharp.co.jp/cocorobo/products/rxv200-feature.html 「エンタテインメントコンピューティングシンポジウム(EC2015)」2015 年 9 月 「ロボット家電との音声会話がユーザに与える効果」 https://ja.wikipedia.org/wiki/%E5%9B%9E%E6%83%B3%E6%B3%95 http://www.izumo-hp.com/coop/recollection.html http://www.ninchisho-forum.com/iryou/knowledge/071001_08.html
病気や疲労に対してのみならず、自分の経験に根差す話題の会話をすると親しみを感じることは日常体験することであり、このような機能を実現すると、より親しみ深い対話ができるシステムが実現可能となる。たとえば、「小学校の頃A小学校の前にはB公園があるよね。B公園でよく遊んだね」といった対話が出てくると、親しみが湧く。
非特許文献3〜5は、回想法とは、人が人に対して行う治療手法であることが前提とされており、機械が介在することは想定されていない。
特許文献1に開示された技術は、会話を行っているときの患者の笑顔を検出することで、患者が興味を持つ会話を選び、治療効果を高めるものである。ここでは、会話一般について評価を行うだけで、新たな学習という観点はない。
特許文献2に開示された技術は、対話シナリオにないものをシナリオと語彙の両方記憶するもので、次回から記憶したシナリオについて対話を行うことが可能になる。しかし、ここではそのシステムで学習したもののみを次回発話の対象とするものであり、それ以外の要素の学習を行うものではない。
上記のように個人の情報とグローバルな情報を組み合わせて対話を作るシステムはまだない。したがって、個人に固有な情報と特定の個人に固有でない情報(グローバルな情報)とを組み合わせて対話を生成する技術が必要とされている。
本開示は、上述のような問題点を解決するためになされたものであって、ある局面における目的は、個人に固有な情報と個人に固有でない情報とに基づいて対話を実現するための対話システムを提供することである。
他の局面における目的は、個人に固有な情報と個人に固有でない情報とに基づいて対話を実現するようにコンピュータを制御するための方法を提供することである。
他の局面における目的は、個人に固有な情報と個人に固有でない情報とに基づいて対話を実現するための端末を提供することである。
さらに他の局面における目的は、個人に固有な情報と個人に固有でない情報とに基づいて対話を実現するようにコンピュータを制御するためのプログラムを提供することである。
一実施の形態に従うと、対話システムが提供される。この対話システムは、エピソードを記憶するためのエピソード記憶部と、ユーザの情報を記憶するための個人情報記憶部と、対話システムと対話しているユーザを同定するための個人同定部と、当該ユーザとの対話から、当該対話に関連する一つ以上の事象を抽出し、抽出された一つ以上の事象に関連するエピソードをエピソード記憶部から抽出するための抽出部と、抽出されたエピソードと、同定されたユーザの個人情報とに基づいて、同定されたユーザに応じた対話内容を生成するための生成部と、生成された対話内容を出力するための出力部とを備える。
ある局面によると、そのユーザに合わせた対話が実現できるので、疲労回復、うつ症状の改善、または親しみの向上等の効果を実現できる。
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
対話型の家電システムが使用される局面を表わす図である。 対話システム20が備える構成を表すブロック図である。 グローバルエピソード記憶部224におけるデータの格納の一態様を概念的に表す図である。 グローバルエピソード記憶部224におけるデータの格納の一態様を概念的に表す図である。 ローカルエピソード記憶部223におけるデータの格納の一態様を概念的に表す図である。 個人情報記憶部225におけるデータの格納の一態様を概念的に表す図である。 対話システム20が実行する処理の一部を表わすフローチャートである。 対話の解析結果とグローバルエピソード記憶部224に保存されているデータの一部を表わす図である。 各グローバルエピソードの各スコアを表わす図である。 別の局面に従う対話システムが実行する処理の一部を表わすフローチャートである。 他の局面に従う対話システムによって生成されるデータ構造を概念的に表す図である。 他の局面に従う対話システムによって生成される各エピソードごとのスコアを表す図である。 システム発話およびユーザ発話から事象が抽出される態様を概念的に表す図である。 端末とサーバとが実行する処理の流れを表すシーケンスチャートである。 対話システムがローカルエピソードに関してイベントを学習するために実行する処理の一部を表すフローチャートである。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
[家電システムの使用態様]
図1を参照して、本実施の形態に係る技術思想について説明する。図1は、対話型の家電システムが使用される局面を表わす図である。ある局面において、家電システムは、家電機器の一態様である掃除ロボット111,121として実現される。
本人の家110において、掃除ロボット111は、ルータ112を介して、冷蔵庫113と照明114とテレビ115とエアコン116とにそれぞれ通信可能に接続される。冷蔵庫113と照明114とテレビ115とエアコン116とは、それぞれネットワーク機能を備えており、掃除ロボット111から送られる信号に基づいて固有の動作を実行する。当該固有の動作は、例えば冷蔵庫113の中身を表示する処理、照明114の明るさを調節する処理、テレビ115のチャンネルまたは音量を調節する処理、エアコン116の温度の調節などを含み得る。
家110は、インターネット30に接続されている。インターネット30には、さらに他人の家120と、医療機関サーバ130と、自治体サーバ140と、事業者サーバ150と、スマートフォン160,170と、自動車180とがそれぞれ通信可能に接続されている。
他人の家120は、例えば家110の住人の親戚の家である。家120には、掃除ロボット121が存在する。掃除ロボット121は、ルータ122を介して、冷蔵庫123と照明124とテレビ125とエアコン126とにそれぞれ通信可能に接続されている。冷蔵庫123と照明124とテレビ125とエアコン126は、それぞれ冷蔵庫113と照明114とテレビ115とエアコン116と同様の機能を有する。したがって、それらの詳細な説明は繰り返さない。
医療機関サーバ130は、例えば、本人、その家族または親戚が通院する病院その他医療機関によって使用される。自治体サーバ140は、本人、その家族または親戚が居住する自治体によって使用される。事業者サーバ150は、掃除ロボット111,211にそれぞれ情報を送信するための情報提供事業者によって運営され使用される。医療機関サーバ130と自治体サーバ140と事業者サーバ150は、それぞれ、例えば周知の構成を有するコンピュータ装置によって実現される。
スマートフォン160,170は、情報処理通信端末として、本人の家族あるいは本人に医療サービスを提供する事象者のメンバーによって使用される。なお、情報処理通信端末はスマートフォンに限られず、タブレット端末、PDA(Personal Digital Assistant)その他の端末が家族あるいは事業者のメンバーによって使用されてもよい。スマートフォン160,170の構成は当業者が容易に理解できるものである。したがって、当該構成の説明は繰り返さない。
自動車180は、ネットワーク通信機能を備えており、掃除ロボット111,121その他の通信機能を有する機器によって制御され得る。
[対話システムの構成]
図2を参照して、本実施の形態に係る対話システム20の構成について説明する。図2は、対話システム20が備える構成を表すブロック図である。ある局面において、対話システム20は、サーバ210と、家電機器250とを備える。
一実施の形態において、サーバ210は、通信部211と、機器制御信号送信部212と、機器制御部213と、機器状態・制御指示受信部214と、全体制御部215と、音声認識部216と、対話制御部217と、音声合成部218と、個人同定部219と、機器状態発話生成部220と、情報発話生成部221と、外部情報取得部222と、ローカルエピソード記憶部223と、グローバルエピソード記憶部224と、個人情報記憶部225と、事象抽出部226と、エピソード評価・学習部227とを備える。
ある局面において、サーバ210は、例えば周知の構成を有するコンピュータによって実現される。サーバ210において、通信部211は、例えば家電機器250と通信するためのインターフェイスを含む。機器制御信号送信部212は、家電機器250を制御するための信号を生成し、その信号を通信部211を介して家電機器250に送信する。
機器制御部213は、予め設定された条件が成立した場合に、あるいは、命令を受信した場合に、家電機器250を制御するように構成されている。当該条件は、例えば、対話から抽出された事象が家電機器250の動作に固有な事象である場合等である。当該命令は、サーバ210と通信可能な他の情報通信端末(例えば、掃除ロボット111,121、スマートフォン160等)によって送信され得る。
機器状態・制御指示受信部214は、外部サービスから家電機器250を制御するための指示を受信する。例えば、機器状態・制御指示受信部214は、掃除ロボット111に発話させるための音声信号を受信する。他の局面において、機器状態・制御指示受信部214は、家電機器250によって送信された機器の状態を示す信号を受信する。
全体制御部215は、サーバ210の動作を制御する。別の局面において、全体制御部215は、サーバ210に与えられる信号に基づいて、家電機器250その他サーバと通信可能な家電機器の動作を制御する。
音声認識部216は、家電機器250から受信した音声信号を解析し、解析結果に基づいて、意味内容を認識する。当該音声信号は、例えば、掃除ロボット111や自動車180に対するユーザやドライバの会話を示す信号を含む。
対話制御部217は、家電機器250に対して行なわれる発話と発話者との対話を制御する。より具体的には、対話制御部217は、音声認識部216による認識の結果に基づいて、次に家電機器250が出力するべき発話の内容を、予め準備されたデータベースから選択し、選択した発話を実現するためのデータ(音声信号、発話の識別番号等)を家電機器250に送信する。選択は、たとえば音声認識部216による認識結果を構文解析、意味解析を行い、予め準備されたデータベースにある意味とマッチングを行い、対応する意味に対する応答文を選択する。簡易の処理としては、認識結果とデータベースの平仮名文字列をマッチングし、編集距離が少ない文字列を選択し、その文字列に対応する複数の応答から、確率的に応答文を選択しても構わない。別の局面において、家電機器250が出力するべき発話の内容は、対話システム20との対話によって蓄積された対話の履歴から選択されてもよい。
音声合成部218は、家電機器250に発話させるための音声を対話制御部217から送られる信号に基づいて生成する。生成された信号は、通信部211を介して家電機器250に送られる。
個人同定部219は、家電機器250から受信した信号に基づいて、あるいは外部サービスから与えられるデータに基づいて、家電機器250のユーザがサーバ210において予め登録されたユーザであるか否かを判断する。判断の結果は、対話制御部217に送られる。対話制御部217は、その判断の結果に基づいて、家電機器250を介したユーザとの対話を制御する。
機器状態発話生成部220は、家電機器250の状態に応じて家電機器250に発話させるための内容を生成する。当該状態は、家電機器250に与えられる命令に基づいて特定される。
情報発話生成部221は、外部サービスから送られるデータに基づいて家電機器250に発話させるための内容を生成する。例えば、情報発話生成部221は、家電機器250のユーザの体調を問う発話、ユーザの体感温度を問う発話、ユーザの行動を問う発話(たとえば、テレビを見たか否か)等を含む。
外部情報取得部222は、情報を提供する外部サービスから情報を取得する。取得される情報は、例えば、過去のニュースである。ニュースは、例えば、スポーツ、芸能、社会一般、ビジネス、政治などのジャンルごとに取得され得る。取得されるニュースは、サーバ210の内部の記憶装置または外部の記憶装置のいずれであってもよい。
ローカルエピソード記憶部223は、ローカルエピソードを記憶している。本実施の形態において、ローカルエピソードとは、ユーザ、ユーザの家族、または友人等しか記憶しない、ユーザに身近な情報である。ローカルエピソードの一例は、例えば、「Aさんは、B小学校に1990年〜1995年まで通っていた」というようなものである。本実施の形態において、ローカルエピソード記憶部223は、例えば、対話システム20とユーザとの対話の中で出てきた事象を記憶していく。別の局面において、外部情報取得部222が、サーバ210が接続されているネットワーク上の他の情報機器にアクセスして、当該情報機器が有するスケジュール、メモ帳、メールなどに出てくる情報に基づいて、ローカルエピソードを取得し、取得したローカルエピソードをローカルエピソード記憶部223に格納する。本実施の形態において、ローカルエピソード記憶部223は、例えば、フラッシュメモリ、ハードディスクその他の不揮発性のデータ記録装置として実現される。他の局面において、ローカルエピソード記憶部223は、サーバ210に接続された外部のデータ記録装置として実現され得る。
グローバルエピソード記憶部224は、グローバルエピソードを記憶する。本実施の形態において、グローバルエピソードとは、一般にインターネット等で幅広く記憶される事象をいう。当該事象がユーザに記憶されているかどうかは問わない。本実施の形態において、グローバルエピソード記憶部224は、例えば、フラッシュメモリ、ハードディスクその他の不揮発性のデータ記録装置として実現される。他の局面において、グローバルエピソード記憶部224は、サーバ210に接続された外部のデータ記録装置として実現され得る。
ある局面において、グローバルエピソードを記憶するためには、あらかじめグローバル事象データベースを構築しておき、特定の事象に対してそれに対応する事象をデータベースから取得することで実現可能である。グローバル事象データベースは、サーバ210がネットワークを介してアクセスできる。
例えば、「東京オリンピック」という項目に対して以下のような知識が蓄えられ得る。
(項目1)東京オリンピック(1964) 1964年10月10日開会式、10月24日閉会式
(事象1)マラソンはアベべが金メダル。柔道重量級は猪熊功が金メダル
(事象2)日本は16個の金メダルを獲得
(事象3)東京オリンピックに合わせて東海道新幹線が開業
(事象4)10月10日はその後体育の日として祝日に制定。
(項目2)東京オリンピック(2020) 2020年7月24日〜8月9日開催
(事象1)トルコ・イスタンブール、スペイン・マドリードとの投票の末決定。
(事象2)フリーアナウンサーの滝川クリステルさんが、東京招致プレゼンテーションの中で説明した「おもてなし」という言葉が脚光を浴びた。
他の手法としては、たとえばウィキペディアなどインターネット上にある知識を検索することで、上記のような情報を動的に生成してもよい。
なお、この事象に関して出力されるものは、事象に付随した事実をベースにした文章(例「1964年の東京オリンピックでは、アベべがマラソンで金メダルを取ったんだよね」)であるが、さらにこれに付随して、東京オリンピックマーチ(音楽)や、オリンピック開会式映像が記憶されていて、出力されてもよい。
個人情報記憶部225は、対話システム20を利用するユーザの個人情報を格納する。当該個人情報の一例は、氏名、住所その他の当該ユーザを特定するための情報である。本実施の形態において、個人情報は、上記で例示されたものに限られず、例えば、当該ユーザの趣味、嗜好等の情報も含み得る。
事象抽出部226は、当該ユーザとの対話から、当該対話に関連する一つ以上の事象を抽出し、上記抽出された一つ以上の事象に関連するエピソードを、ローカルエピソード記憶部223またはグローバルエピソード記憶部224から抽出する。
エピソード評価・学習部227は、予め規定された評価基準に基づいてエピソードを評価し、評価値を算出する。評価されるエピソードは、たとえば、事象抽出部226によって抽出されたエピソードである。エピソード評価・学習部227は、評価値を当該エピソードに関連付ける。関連付けられる評価値は、ローカルエピソード記憶部223またはグローバルエピソード記憶部224に格納される。さらに、エピソード評価・学習部227は、過去の対話出力に含まれる事象を当該エピソードに関連付けることにより、サーバ210に保存されているエピソードを学習する。
サーバ210によって実現される各機能は、一つ以上のプロセッサと、各構成を実現するための命令と、通信インターフェイスとによって実現される。ある局面において、各機能は、プログラムモジュールのようなソフトウェアとプロセッサとの組み合わせにより実現され得る。別の局面において、各機能の一部または全部は、当該機能を実現するための回路素子のようなハードウェアによって実現され得る。
[家電機器の構成]
図2を再び参照して、家電機器250は、通信部251と、全体制御部252と、制御指示受信部253と、状態取得部254と、個人情報取得部255と、機器制御部256と、音声取得制御部257と、発話制御部258と、状態表示部259と、機器情報記憶部260と、音声入力部261と、音声出力部262とを備える。
通信部251は、サーバ210の通信部211と通信可能に構成されている。全体制御部252は、家電機器250の動作を制御する。制御指示受信部253は、家電機器250のユーザによる操作の入力を受け付ける。別の局面において、制御指示受信部253は、サーバ210から送られた制御信号を受信する。
状態取得部254は、家電機器250の動作の状態を取得する。ここで状態とは、機器の内部動作状況(例えば、洗濯機がすすぎをしていること、テレビが「xxx」の番組を受信していること等)に加え、温度センサ等機器が取得できる状態を指す。取得された情報は、全体制御部252によって通信部251からサーバ210に送信され得る。
個人情報取得部255は、家電機器250に対する操作あるいは入力に基づいて、家電機器250のユーザの個人情報を取得する。個人情報は、ユーザの声紋、顔画像、指紋その他の当該ユーザに固有の生体情報と、ユーザの名前その他の文字情報とを含み得る。ある局面において、個人情報取得部255は、ユーザの声紋を取得するために、マイクと音声認識処理プログラムとによって実現され得る。別の局面において、個人情報取得部255は、カメラと顔認識プログラムとによって実現され得る。さらに別の局面において、個人情報取得部255は、指紋センサによって実現され得る。
機器制御部256は、サーバ210から送られる信号に基づいて作動する全体制御部252の制御に従って、家電機器250の動作を制御する。他の局面において、機器制御部256は、家電機器250のユーザによる操作あるいは発話の内容に応答して、当該操作あるいは内容ごとに予め規定された動作を実行する。
音声取得制御部257は、家電機器250に対するユーザの発話を取得し、その発話を音声処理して音声信号を取得する。音声取得制御部257は、取得した信号を全体制御部252に送信する。全体制御部252は、通信部251を介して、家電機器250に対して行なわれた発話の内容をサーバ210に送信し得る。
発話制御部258は、通信部251によって受信された信号に基づいて、サーバ210の命令に応答して発話を実行する。他の局面において、発話制御部258は、予め準備された対話シナリオに従って、掃除ロボット111その他の家電機器250による最初の問いかけを実現してもよい。
状態表示部259は、全体制御部252の命令に基づいて家電機器250の動作を示す表示を実行する。当該表示は、例えばLED(Light Emitting Diode)による表示、あるいは液晶モニタにおける表示などを含み得る。表示の内容は、家電機器250が通常の家電機能を実現していることを示す表示、ユーザと対話していることを示す表示、家電機器250がユーザへの対話を開始して、動作モードがストレスや疲労の状態を診断するモードであることを示す表示等を含み得る。
機器情報記憶部260は、家電機器250の情報を保持する。当該情報は、例えば、家電機器250の名称、製造番号その他の識別情報、登録されたユーザの識別情報、運転開始年月日等を含み得る。
音声入力部261は、家電機器250に対する音声の入力を受け付ける。入力された音声に応じた電気信号は、音声取得制御部257に入力される。音声入力部261は、例えば、内蔵マイク、音声入力端子として実現される。
音声出力部262は、発話制御部258から送られる信号に基づいて、音声を出力する。音声出力部262は、例えば、スピーカ、音声出力端子等として実現される。
[データ構造]
図3および図4を参照して、対話システム20のデータ構造について説明する。図3および図4は、グローバルエピソード記憶部224におけるデータの格納の一態様を概念的に表す図である。
図3に示されるように、グローバルエピソード記憶部224は、項目310〜350を保持している。より具体的には、項目310は、グローバルエピソードのIDである。項目320は、グローバルエピソードの名前である。項目330は、当該グローバルエピソードが発生した年月日を表す。項目340は、グローバルエピソードの内容を含む。本実施の形態において、項目320で特定されるグローバルエピソードについて、複数の内容が項目340に含まれてもよい。グローバルエピソードのデータ形式は、音声、音楽、映像、およびテキストのいずれであってもよい。
項目350は、項目310のIDで特定されるレコードが更新された年月日を含む。
図4に示されるように、グローバルエピソード記憶部224は、さらに、項目410〜450を含む。項目410は、ユーザ名である。項目420は、グローバルエピソードのIDである。項目430は、当該グローバルエピソードが対話に使用されるためにサーバ210から出力された回数である。項目440は、評価値である。評価値は、予め定められた基準に基づいて、各グローバルエピソードごとに算出される。項目450は、最後に出力された日時である。
図4に示されるデータは、個人情報記憶部225に保持されているユーザ情報を用いて生成される。なお、ユーザ毎のグローバルエピソードの出力回数を保持する態様は、図4に例示される態様に限られない。例えば、各データは、関係データベースとして別個の記憶領域に保持されており、必要に応じてデータが抽出される態様が使用されてもよい。
図5は、ローカルエピソード記憶部223におけるデータの格納の一態様を概念的に表す図である。ローカルエピソード記憶部223は、項目510〜580を含む。
項目510は、ローカルエピソードのIDを示す。項目520は、当該ローカルエピソードが関連付けられるユーザを表す。項目530は、当該ローカルエピソードがサーバ210に入力された日時を表す。項目540は、当該ローカルエピソードが実際に生じた時を表す。項目550は、当該ローカルエピソードの具体的な内容を表す。項目560は、当該ローカルエピソードが出力された回数を表す。項目570は、当該ローカルエピソードの評価値を表す。項目580は、当該ローカルエピソードが直近に出力された日時を表す。
図6は、個人情報記憶部225におけるデータの格納の一態様を概念的に表す図である。個人情報記憶部225は、項目610〜670を含む。
項目610は、ユーザの名前を表す。項目620は、当該ユーザの性別を表す。項目630は、当該ユーザの年齢を表す。項目640は、当該ユーザの居所を表す。項目650は、当該ユーザの嗜好のうち一つ目の嗜好を表す。項目660は、当該ユーザの嗜好のうち二つ目の嗜好を表す。項目660は、当該ユーザの嗜好のうち三つ目の嗜好を表す。さらに他の嗜好が当該ユーザに関連付けられてもよい。
[制御構造]
図7を参照して、本実施の形態に係る対話システム20の制御構造について説明する。図7は、対話システム20が実行する処理の一部を表わすフローチャートである。
ステップS710にて、対話システム20は、ユーザと対話する。例えば、サーバ210は、家電機器250のユーザと対話する。ユーザが家電機器250に対して発話すると、家電機器250は、通信部251を介して、発話を表わす信号をサーバ210の通信部211に送信する。サーバ210において、音声認識部216は、その信号に基づいて音声認識処理を実行する。
ステップS720にて、サーバ210は、そのユーザを識別する。より具体的には、個人同定部219は、音声認識処理の結果と個人情報記憶部225に保存されている情報とに基づいて、発話を行なったユーザを特定する。当該発話から得られる情報が個人情報記憶部225に保存されている場合には、個人同定部219は、当該ユーザが対話システム20に登録されていると判断する。他方、その情報が個人情報記憶部225に保存されていない場合には、個人同定部219は、当該ユーザが対話システム20に登録されていないと判断する。
ステップS721にて、サーバ210は、特定されたユーザについての個人情報を個人情報記憶部225から取得する。例えば、対話制御部217は、個人情報記憶部225から、当該ユーザの年齢、性別、経歴、嗜好その他の情報を読み出す。
ステップS730にて、サーバ210は、ユーザとの対話を解析する。例えば、対話制御部217は、音声認識部216の出力に基づいて、対話の内容を取得し、固有名詞、日時その他のデータであって、対話の内容を事象として特徴付け得るデータを取得する。対話制御部217によって取得されるデータは、事象抽出部226によって使用される。
ステップS731にて、サーバ210は、解析した対話から事象を抽出する。例えば、事象抽出部226は、対話制御部217から出力されるデータ(例えば、固有名詞、日時その他のデータ)を用いて事象を抽出する。
ステップS732にて、サーバ210は、ステップS730における対話解析の結果に基づいて、一般対話辞書733を用いて、一般的な対話のパターンを検索する。一般対話辞書733はサーバ210の不揮発領域に予め保存されている。
ステップS740にて、サーバ210は、取得された個人情報と、抽出された事象とに基づいて、エピソードを検索する。例えば、エピソード評価・学習部227は、対話制御部217によって取得された個人情報と、事象抽出部226によって抽出された事象とを用いて、グローバルエピソード記憶部224から、当該個人情報および事象に関連するグローバルエピソードを検索する。なお、検索結果が得られない場合には、事象抽出部226は、一般対話辞書733からエピソードを検索し得る。
ステップS750にて、サーバ210は、検索結果を評価する。例えば、エピソード評価・学習部227は、検索によって得られた1つ以上のグローバルエピソードの各々について、予め定められた評価基準に従って、当該グローバルエピソードの評価値を算出する。
ステップS760にて、サーバ210は、対話データを生成する。例えば、対話制御部217は、音声認識部216による音声認識の結果を用いて得られたグローバルエピソードと、一般的な対話のために予め準備された対話テンプレートとを用いて、ユーザの発話に応答するための対話データを生成する。
ステップS770にて、サーバ210は、対話を出力する。より具体的には、対話制御部217は、通信部211を介して、ステップ760で生成された対話データを家電機器250に送信する。家電機器250が通信部251を介してその対話データを受信すると、発話制御部258は、音声出力部262を介して、当該対話データに基づく音声を出力する。このとき、状態表示部259は、出力される音声に対するユーザ評価の入力を促す画面を表示し得る。あるいは、音声取得制御部257は、音声入力部261からの音声信号の入力を受け付け可能な状態となる。
ステップS780にて、サーバ210は、出力された音声に対するユーザ評価の入力を受け付ける。例えば、家電機器250のユーザが、状態表示部259に表示された画面において、出力された音声の内容に評価を与えるタッチ操作を行なうと、その評価を表わす信号は、通信部251からサーバ210に送られる。当該評価は、例えば、5段階評価、あるいは、SNSにおいて用いられているように評価を示すメッセージのアイコンが押下されたか否かに基づいて行われる。
別の局面において、対話システム20は、対話内容の評価を音声で受け付けてもよい。評価のためのフレーズの一例および評価値は、例えば、以下のとおりである。
(フレーズ) (評価値)
すごい 10
いいね 10
わかった 7
うん 5
はいはい 5
だめだよ 0.1
未登録 1
応答なし 1
各フレーズに対応づけられる評価値は、対話システムの管理者によって変更され得る。
ステップS790にて、サーバ210は、グローバルエピソード記憶部224において、ステップS780にて入力されたユーザ評価を当該グローバルエピソードに関連付けることにより、当該グローバルエピソードの関連情報を更新する。
なお、ステップS750における検索結果の評価は、ステップS760以降に行なわれてもよい。
図8を参照して、対話システム20による出力について説明する。図8は、対話の解析結果とグローバルエピソード記憶部224に保存されているデータの一部を表わす図である。対話システム20は、事象抽出部226による抽出の結果に基づいて、テーブル800とテーブル820とをメモリのワーク領域に生成する。以下の例では、対話システム20のユーザ(一徹、60歳)が「今日テレビに歌手の山田A子が出ていた」と発話した場合における対話システム20の検索結果について説明する。
テーブル800は、項目810,811を含む。項目810は、抽出された事象を表わす。項目811は、当該事象のスコアを表わす。本実施の形態において、スコアは、その対象物(抽出された事象)がどの程度の特長を持つかを示す指標である。ここではスコアの数字が高いほど、当該対象物が特長を示す単語であることを意味する。特長を計算する手法はいろいろあるが、代表的にはTF‐TDFという方式が用いられる。この方式では、予め単語ごとに数値を割り振ることが可能である。サーバ210は、単語辞書とスコアとをペアにして記憶しておくことが望ましい。さらに、時期の事象は、例えば、その日は4、その週は3、その月は2、その季節は1というように、予め設定された値が当該事象に割り振られる。事象のスコアは、設定に応じて変更可能である。
図8に示される例では、ある局面において、対話システム20は、ユーザからの発話に応答して4つの事象(事象(1)〜事象(4))を抽出している。
テーブル820は、項目830〜834を含む。項目830は、グローバルエピソードの識別番号を表わす。項目831は、当該グローバルエピソードに含まれる事象を表わす。項目832は、当該事象に関連付けられる日時情報を表わす。当該日時情報は、例えば、当該事象が最初に生じた日、当該事象が意味を有する日、当該事象が関係する期間等を含み得る。項目833は、当該事象に関連付けられる1つ以上の具体的なエピソードを表わす。項目834は、当該グローバルエピソードのデータレコードが最後に更新された日時を表わす。
図9を参照して、グローバルエピソードの評価について説明する。図9は、各グローバルエピソードの各スコアを表わす図である。各グローバルエピソードの各々について、事象スコア、年代スコアおよび直近時期ペナルティに基づいて、出力判定スコアが算出される。直近時期ペナルティは、当該エピソードの優先度を下げるために使用される。
事象スコアは、図8の項目811で示される値に対応する。年代スコアは、例えば、以下のような基準で導出される。
Y=ユーザ年齢−(現在の年−対象中心年代)
[対象年代ありの場合]
Y<0のときS=0、Y=0のときS=1、5<YのときS=2、12<Y<23のときS=3(重複適用の場合には、右側にある式が優先される)
[対象年代なし]
S=1 (例えば、時の記念日(6月10日))。
また、直近時期ペナルティ(P)は、そのユーザにその事象を前回話してからの期間(T(日))との関係に基づき、例えば、以下のように規定される。
最初に事象が発話される場合(初期値)、P=0、T≦90の場合、P=−2、T≦30の場合、P=−4、T≦14の場合、P=−6、T≦7の場合、P=−8。
この関係は、ユーザが直近に聞いた発話を再度聞いても懐かしさの程度は、他の発話よりも小さくなり得る点を考慮して規定される。
なお、本実施の形態において、一般辞書は、対話用の知識ベースを含む。一般辞書の構成は当業者が容易に理解できるので、詳細な説明は繰り返さない。一般辞書のスコアは、ある局面において、常に0と設定してもよい。一般辞書の検索結果についても、1つ以上の検索結果が選定されて、直近時期ペナルティが設定されてもよい。なお、グローバルエピソード記憶部224の検索の結果、対応する検索結果がない場合には、一般辞書から生成した対話文が使われる。
[評価]
次に、対話システム20の発話の評価について説明する。ユーザの発話に応答して対話システム20が発話した後に、ユーザがさらに発話する場合がある。この発話に基づいて、サーバ210は、対話システム20とユーザとの発話を評価する。
例えば、対話システム20が「山田A子は、1974年に映画「東京のダンサー」に出演したんだよね。なつかしいね。」と発話する。この発話に応答して、ユーザが「なつかしいね」と応答する。
対話システム20のサーバ210は、ユーザの応答(なつかしいね)を認識すると、予め定められた評価基準に基づいて、その応答を評価する。たとえば、サーバ210は、ユーザの応答(なつかしいね)に対してポジティブ評価を与える。
なお、ユーザの発話(音声)やテキスト(文字)を評価する方法は各種存在する。たとえば、サーバ210は、単語単位に、プラス(ポジティブ)、マイナス(ネガティブ)を予め辞書として保有し、文章全体を単語の評価値の合計として評価し得る。あるいは、サーバ210は、発話やテキスト全体にポジティブまたはネガティブの評価値を付与し、学習で評価関数を学習してもよい。
サーバ210は、評価の結果に基づいて、エピソード評価・学習部227として、グローバルエピソード記憶部224の内容を更新する。
具体的には、グローバルエピソード記憶部224の「評価指標」に加点(ポジティブ)、減点(ネガティブ)することを想定する。上記の出力判定スコアでは、この評価指標の数値は考慮されていないが、エピソード評価・学習部227は、評価指標を「掛ける」あるいは「足す」などで最終的な出力判定スコアを算出することにより、ユーザのフィードバックを受けて、ユーザの好みの対話出力が選択されやすくすることが可能となる。
なお、ローカルエピソード記憶部223における学習も同様である。エピソード評価・学習部227は、ユーザから入力された発話に基づき、あるいは外部情報取得部222によって取得された情報に基づき、新たなエピソードをローカルエピソード記憶部223またはグローバルエピソード記憶部224に保存してもよい。
例えば、ユーザが「小学校はABC小学校だったんだよ」と発話すると、対話システム20は、「ABC小学校に通っていたんだね」と応答する。ユーザが応答内容を認める回答(例えば、「そうだよ」とか「うん」等)を対話システム20に返すと、サーバ210は、エピソード評価・学習部227として、ローカルエピソード「ABC小学校に通っていた」をローカルエピソード記憶部223に記憶する。
次に、図10を参照して、別の局面について説明する。別の局面に従う対話システムは、グローバルエピソードに加えてローカルエピソードも検索の対象とする点で、対話システム20と異なる。
図10は、別の局面に従う対話システムが実行する処理の一部を表わすフローチャートである。別の局面に従う対話システムは、ステップS740の代わりに、ステップS1040を実行する点で、対話システム20の制御構造と異なる。なお、当該別の局面に従う対話システムは、たとえば、図2に示される対話システム20の構成と同様の構成を有する。そこで、適宜、対話システム20の構成を援用して、別の局面に従う対話システムを説明する。
ステップS1040にて、別の局面に従う対話システムを構成するサーバ210は、取得された個人情報と、抽出された事象とに基づいて、エピソードを検索する。例えば、エピソード評価・学習部227は、対話制御部217によって取得された個人情報と、事象抽出部226によって抽出された事象とを用いて、グローバルエピソード記憶部224およびローカルエピソード記憶部223から、当該個人情報および事象に関連するグローバルエピソードおよびローカルエピソードをそれぞれ検索する。なお、グローバルエピソードおよびローカルエピソードのいずれの検索結果も得られない場合には、事象抽出部226は、一般対話辞書733からエピソードを検索し得る。
ステップS1050にて、サーバ210は、検索結果を評価する。例えば、エピソード評価・学習部227は、検索によって得られた1つ以上のグローバルエピソードおよびローカルエピソードの各々について、予め定められた評価基準に従って、当該グローバルエピソードおよびローカルエピソードの評価値をそれぞれ算出する。
図11および図12を参照して、当該局面に従う対話システムの出力について説明する。図11は、他の局面に従う対話システムによって生成されるデータ構造を概念的に表す図である。当該対話システムは、テーブル1100を生成する。テーブル1100は、項目1110〜1180を含む。項目1110は、ローカルエピソードを識別するIDを示す。項目1120は、ユーザを表す。項目1130は、エピソードが入力された日時を示す。項目1140は、当該エピソードが該当する時期を表す。項目1150は、エピソードの内容を表す。項目1160は、当該エピソードが出力(対話に使用)された回数を表す。項目1170は、評価指標を表す。項目1180は、最後に出力された日時を表す。
図12は、他の局面に従う対話システムによって生成される各エピソードごとのスコアを表す図である。当該対話システムは、テーブル1200を生成する。テーブル1200は、グローバルエピソードおよびローカルエピソードの各々についてのレコード1210〜1250を含む。例えば、レコード1210〜1230は、グローバルエピソードについての各スコアを含む。レコード1240,1250は、ローカルエピソードについての各スコアを含む。なお、グローバルエピソードおよびローカルエピソードの各々のスコアのデータ構造は、図12に示される態様に限られない。
図13を参照して、事象の抽出例について説明する。図13は、システム発話およびユーザ発話から事象が抽出される態様を概念的に表す図である。
システム発話ベース1310の場合、まず、対話システムが「今日テレビに歌手の山田A子出るよ」と発話する。その発話に応答して、ユーザは「それは楽しみだね」と発話する。対話システムは、ユーザによる発話が肯定的であると判断し、対話システム自らが発話した内容から事象を抽出する。抽出される事象1330は、今日(2015年6月10日)、テレビ、歌手、および山田A子を含む。
一方、ユーザ発話ベース1320の場合、ユーザが対話システムに対して「今日テレビに歌手の山田A子出てた」と発話する。対話システムは、ユーザによる発話を認識すると、その発話から、事象として、今日(2015年6月10日)、テレビ、歌手、および山田A子をそれぞれ抽出する。抽出される事象は、システム発話ベース1310の場合に抽出される事象と同じである。
図14を参照して、対話システムを構成する端末とサーバとの同期について説明する。図14は、端末とサーバとが実行する処理の流れを表すシーケンスチャートである。端末は、一例として、音声認識機能と通信機能とを備えるエアコン1400である。エアコンとサーバ210とは通信可能に接続されている。
ある局面において、ステップS1410にて、ユーザ(一徹)がエアコン1400に対して、電源スイッチをONにする。ステップS1420にて、エアコン1400は、サーバ210に対して、エアコンの機器IDを送信する。S1422にて、エアコン1400とサーバ210とは、認証処理を実行する。サーバ210は、対話システムを構成する端末としてエアコン1400が登録されていると判断すると、エアコン1400に対して認証が成功した旨を通知する。エアコン1400は、その通知を受信すると、初期情報をサーバ210に送信する。初期情報は、例えば、室外温度(摂氏35度)、および室内温度(摂氏32度)を含む。さらに、サーバ210とエアコン1400とは、音声対話のセッションを始動する。
S1430にて、ユーザは、エアコン1400に対して、例えば「今日は暑いね。」と発話する。
ステップS1432にて、エアコン1400は、その発話を認識すると、同様に「今日は暑いね」との内容を含む信号を、サーバ210に送信する。信号は、音声信号、テキスト情報のいずれであってもよい。
S1440にて、サーバ210は、発話を含む信号をエアコン1400から受信したことに応答して、個人同定を行ない、エピソードを検索し、評価を行ない、対話を生成し、ユーザの発話に対応する動作の提案を生成する。例えば、家電機器250がエアコンの場合は、動作の提案は、スイッチのオンまたはオフ、設定温度を上げることまたは下げること、風量の設定等を含む。家電機器250がお掃除ロボットの場合は、「掃除する?」等の問いかけを含む。
S1450にて、サーバ210は、ユーザの発話に対して応答するための信号を、エアコン1400に送信する。当該信号は、例えば、「そうだね、2年前の6月も暑かったよね。部屋の中が32度だからエアコンつけるね。」と発話するための音声信号またはテキスト情報を含む。
S1452にて、エアコン1400は、その信号をサーバ210から受信すると、スピーカ(図示しない)から、「そうだね、2年前の6月も暑かったよね。部屋の中が32度だからエアコンつけるね。」と発話する。
S1460にて、ユーザが「有り難う」と発話する。ステップS1462にて、エアコン1400は、その発話を認識すると、その発話を含む信号をサーバ210に送信する。サーバ210は、その信号を受信すると、音声認識処理と意味解析処理を実行し、エアコン1400の動作の制御に関し、ユーザの発話が肯定的であると判断する。
S1470にて、サーバ210は、その判断の結果に基づいて、冷房をONにし、設定温度を予め定められた温度(例えば、摂氏26度)にする旨の制御信号をエアコン1400に送信する。
図15を参照して、対話システムにおけるイベントの学習について説明する。図15は、対話システムがローカルエピソードに関してイベントを学習するために実行する処理の一部を表すフローチャートである。
ステップS1510にて、対話システムは、対話の入力を受け付ける。例えば、ユーザ(理恵)が「明日の運動会楽しみ。」と発話すると、その発話を受け付けた家電機器250は、その発話を含む信号をサーバ210に送信する。サーバ210は、その発話について音声認識処理する。
ステップS1520にて、サーバ210は、対話解析処理を実行する。例えば、サーバ210は、単語として、「明日」、「運動会」および「楽しみ」を抽出する。
ステップS1530にて、サーバ210は、対話解析処理の結果に基づいて、イベントを抽出できたか否かを判断する。例えば、サーバ210は、抽出された各単語が予め準備された出来事に関するものであるか否かに基づいて、イベントを抽出できたか否かを判断する。サーバ210はイベントを抽出できたと判断すると(ステップS1530にてYES)、制御をステップS1540に切り換える。そうでない場合には(ステップS1540にてNO)、サーバ210は、処理を終了する。
ステップS1540にて、サーバ210は、抽出されたイベントの内容を解析する。具体的には、サーバ210は、当該イベントの名称、時期、場所等を取得する。
ステップS1550にて、サーバ210は、イベントの内容が適切であるか否かを判断する。
ステップS1560にて、サーバ210は、重複があるか否かを判断する。
ステップS1570にて、サーバ210は、イベントがOKであるか否かを確認する。
ステップS1580にて、サーバ210は、イベントを登録する。
(まとめ)
本開示に係る技術思想は、ある局面において、対話システムとして、周知の構成を有する汎用コンピュータにより実現される。このコンピュータは、メモリと、プロセッサと、出力インターフェイスとを備える。メモリは、エピソード記憶モジュールとしてエピソードを格納している。メモリは、さらに、個人情報記憶モジュールとして、ユーザの情報を記憶している。プロセッサは、上記対話システムと対話しているユーザを同定する。プロセッサは、当該ユーザとの対話から、当該対話に関連する一つ以上の事象を抽出し、上記抽出された一つ以上の事象に関連するエピソードを上記エピソード記憶部から抽出する。プロセッサは、生成モジュールとして、上記抽出されたエピソードと、上記同定されたユーザの個人情報とに基づいて、上記同定されたユーザに応じた対話内容を生成する。出力インターフェイスは、上記生成された対話内容を出力する。
別の局面において、メモリは、グローバルな事象と、ローカルな事象とを記憶している。プロセッサは、上記抽出された一つ以上の事象に関連するグローバルなエピソードとローカルなエピソードとを抽出する。プロセッサは、エピソード評価モジュールとして、上記抽出されたグローバルなエピソードおよびローカルなエピソードの評価を行なう。プロセッサは、上記評価の結果に基づいて、上記グローバルなエピソードおよびローカルなエピソードの少なくともいずれかのエピソードと、上記同定されたユーザの個人情報とに基づいて、上記ユーザに応じた対話内容を生成する。
別の局面において、プロセッサは、評価取得モジュールとして、出力される対話内容に対するユーザの評価の入力を受け付ける。メモリは、上記評価に基づいて、上記エピソードの学習として、当該エピソードを保存するように構成されている。
好ましくは、上記エピソードは、音声、音楽、映像およびテキストの少なくともいずれかを含む。
別の局面において、対話システムは、通信機能を備える端末を含む。プロセッサは、上記端末の種類にさらに基づいて、上記ユーザに応じた対話内容を生成するように構成されている。端末の種類とは、例えば、家電機器の種類に相当する。家電機器は、例えば、お掃除ロボット、エアコン、照明、調理器、テレビ、冷蔵庫その他の機器を含み得る。
別の局面において、上記端末は、命令に応じた動作を行なう機器を含む。当該機器は、例えば、上述の家電機器を含む。プロセッサは、上記機器の動作を制御する命令を有する対話内容を生成する。当該命令は、動作命令、停止命令、設定温度アップ、設定温度ダウン、照明のオンまたはオフ、照明を明るくすること又は暗くすること、調理器のオンまたはオフ、テレビのオンまたはオフを含む。
別の局面において、上記のいずれかの対話システムに接続可能な端末が実現される。当該端末は、上記端末を識別する端末情報を格納するためのメモリと、上記端末情報を上記対話システムに送信するための送信回路と、上記対話システムから出力される対話内容に応じて動作を制御するためのプロセッサとを備える。当該端末は、例えば、お掃除ロボット、エアコン、照明、調理器、テレビ、冷蔵庫その他の家電機器を含む。
別の局面において、コンピュータが対話を制御する方法が提供される。この方法は、コンピュータのプロセッサによって実現される。より具体的には、この方法は、不揮発記憶装置からエピソードを読み出して準備するステップと、不揮発記憶装置からユーザの情報を読み出してワーク領域にロードするステップと、上記対話システムと対話しているユーザを同定するステップと、当該ユーザとの対話から、当該対話に関連する一つ以上の事象を抽出し、上記抽出された一つ以上の事象に関連するエピソードを抽出するステップと、上記抽出されたエピソードと、上記同定されたユーザの個人情報とに基づいて、上記同定されたユーザに応じた対話内容を生成するステップと、上記生成された対話内容を出力するステップとを備える。
さらに別の局面において、コンピュータに対話を制御させるためのプログラムが提供される。このプログラムは、上記コンピュータに、エピソードを準備するステップと、ユーザの情報を準備するステップと、上記対話システムと対話しているユーザを同定するステップと、当該ユーザとの対話から、当該対話に関連する一つ以上の事象を抽出し、上記抽出された一つ以上の事象に関連するエピソードを抽出するステップと、上記抽出されたエピソードと、上記同定されたユーザの個人情報とに基づいて、上記同定されたユーザに応じた対話内容を生成するステップと、上記生成された対話内容を出力するステップとを実行させる。
以上のようにして、本実施の形態によれば、ユーザに合わせた対話が実現でき、疲労回復、うつ症状の改善または親しみの向上等の効果が実現できる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
20 対話システム、30 インターネット、110,120 家、111,121 掃除ロボット、112,122 ルータ、113,123 冷蔵庫、114,124 照明、115,125 テレビ、116,126,1400 エアコン、130 医療機関サーバ、140 自治体サーバ、150 事業者サーバ、160,170 スマートフォン、180 自動車、210 サーバ、211,251 通信部、212 機器制御信号送信部、213,256 機器制御部、214,253 制御指示受信部、215,252 全体制御部、216 音声認識部、217 対話制御部、218 音声合成部、219 個人同定部、220 機器状態発話生成部、221 情報発話生成部、222 外部情報取得部、223 ローカルエピソード記憶部、224 グローバルエピソード記憶部、225 個人情報記憶部、226 事象抽出部、227 学習部、250 家電機器、254 状態取得部、255 個人情報取得部、257 音声取得制御部、258 発話制御部、259 状態表示部、260 機器情報記憶部、261 音声入力部、262 音声出力部、733 一般対話辞書、800,820,1100,1200 テーブル、1210,1230,1240,1250 レコード、1310 システム発話ベース、1320 ユーザ発話ベース。

Claims (9)

  1. 対話システムであって、
    ユーザに関連するローカルエピソードを含むエピソードを記憶するためのエピソード記憶部と、
    ユーザの情報を記憶するための個人情報記憶部と、
    前記対話システムと対話しているユーザを同定するための個人同定部と、
    当該ユーザとの対話から、当該対話に関連する一つ以上の事象を抽出し、前記同定されたユーザに関連するローカルエピソードの中から、前記抽出された一つ以上の事象に関連するエピソードを抽出するための抽出部と、
    前記抽出されたエピソードと、前記同定されたユーザの個人情報とに基づいて、前記同定されたユーザに応じた対話内容を生成するための生成部と、
    前記生成された対話内容を出力するための出力部とを備える、対話システム。
  2. 前記エピソード記憶部は、グローバルエピソードをさらに記憶するように構成され、
    前記抽出部は、前記抽出された一つ以上の事象に関連する前記グローバルエピソードをさらに抽出する、請求項1に記載の対話システム。
  3. 前記対話システムは、前記抽出されたグローバルエピソードおよびローカルエピソードの評価を行なうためのエピソード評価部をさらに備え、
    前記生成部は、前記評価の結果に基づいて、前記グローバルエピソードおよびローカルエピソードの少なくともいずれかのエピソードと、前記同定されたユーザの個人情報とに基づいて、前記ユーザに応じた対話内容を生成する、請求項2に記載の対話システム。
  4. 前記出力部により出力される対話内容に対するユーザの評価の入力を受け付けるための評価取得部をさらに備え、
    前記エピソード記憶部は、前記評価に基づいて、前記エピソードの学習を行なうように構成されている、請求項1〜3のいずれかに記載の対話システム。
  5. 前記エピソードは、音声、音楽、映像およびテキストの少なくともいずれかを含む、請
    求項1〜4のいずれかに記載の対話システム。
  6. 前記出力部は、通信機能を備える端末を含み、
    前記生成部は、前記端末の種類にさらに基づいて、前記ユーザに応じた対話内容を生成するように構成されている、請求項1〜5のいずれかに記載の対話システム。
  7. 前記端末は、命令に応じた動作を行なう機器を含み、
    前記生成部は、前記機器の動作を制御する命令を有する対話内容を生成する、請求項6に記載の対話システム。
  8. コンピュータが対話を制御する方法であって、
    ユーザに関連するローカルエピソードを含むエピソードを準備するステップと、
    ユーザの情報を準備するステップと、
    対話システムと対話しているユーザを同定するステップと、
    当該ユーザとの対話から、当該対話に関連する一つ以上の事象を抽出し、前記同定されたユーザに関連するローカルエピソードの中から、前記抽出された一つ以上の事象に関連するエピソードを抽出するステップと、
    前記抽出されたエピソードと、前記同定されたユーザの個人情報とに基づいて、前記同定されたユーザに応じた対話内容を生成するステップと、
    前記生成された対話内容を出力するステップとを備える、方法。
  9. コンピュータに対話を制御させるためのプログラムであって、
    前記プログラムは、前記コンピュータに、
    ユーザに関連するローカルエピソードを含むエピソードを準備するステップと、
    ユーザの情報を準備するステップと、
    対話システムと対話しているユーザを同定するステップと、
    当該ユーザとの対話から、当該対話に関連する一つ以上の事象を抽出し、前記同定されたユーザに関連するローカルエピソードの中から、前記抽出された一つ以上の事象に関連するエピソードを抽出するステップと、
    前記抽出されたエピソードと、前記同定されたユーザの個人情報とに基づいて、前記同定されたユーザに応じた対話内容を生成するステップと、
    前記生成された対話内容を出力するステップとを実行させる、プログラム。
JP2015187055A 2015-09-24 2015-09-24 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム Expired - Fee Related JP6120927B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015187055A JP6120927B2 (ja) 2015-09-24 2015-09-24 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム
US15/761,010 US10657960B2 (en) 2015-09-24 2016-07-22 Interactive system, terminal, method of controlling dialog, and program for causing computer to function as interactive system
PCT/JP2016/071572 WO2017051601A1 (ja) 2015-09-24 2016-07-22 対話システム、端末、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム
CN201680055744.0A CN108140030A (zh) 2015-09-24 2016-07-22 对话系统、终端、控制对话的方法及使计算机发挥对话系统功能的程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015187055A JP6120927B2 (ja) 2015-09-24 2015-09-24 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム

Publications (2)

Publication Number Publication Date
JP2017062602A JP2017062602A (ja) 2017-03-30
JP6120927B2 true JP6120927B2 (ja) 2017-04-26

Family

ID=58385997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015187055A Expired - Fee Related JP6120927B2 (ja) 2015-09-24 2015-09-24 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム

Country Status (4)

Country Link
US (1) US10657960B2 (ja)
JP (1) JP6120927B2 (ja)
CN (1) CN108140030A (ja)
WO (1) WO2017051601A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166839A (ja) * 2019-03-29 2020-10-08 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 関連付け関心点に基づく文推奨方法及び装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037545B2 (en) * 2018-03-19 2021-06-15 Facet Labs, Llc Interactive personal assistive devices and systems with artificial intelligence, and related methods
EP3770821A4 (en) 2018-03-20 2021-05-12 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHODS, AND ROBOTIC DEVICE
JP7010544B2 (ja) * 2018-03-22 2022-01-26 Necソリューションイノベータ株式会社 対話支援装置、対話支援方法、およびプログラム
JP7057229B2 (ja) * 2018-06-14 2022-04-19 ヤフー株式会社 評価装置、評価方法および評価プログラム
CN108818531A (zh) * 2018-06-25 2018-11-16 珠海格力智能装备有限公司 机器人的控制方法和装置
CN109147800A (zh) 2018-08-30 2019-01-04 百度在线网络技术(北京)有限公司 应答方法和装置
JP7107248B2 (ja) * 2019-02-26 2022-07-27 トヨタ自動車株式会社 対話システム、対話方法及びプログラム
CN113407686B (zh) * 2021-06-03 2022-11-15 北京得间科技有限公司 对话小说的交互展示方法、计算设备及计算机存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001125900A (ja) * 1999-10-29 2001-05-11 Yazaki Corp 対話システム及び対話方法、双方向対話システム及び双方向対話方法並びに記録媒体
JP2002108909A (ja) * 2000-09-28 2002-04-12 Casio Comput Co Ltd 情報提供管理装置およびそのプログラム記録媒体
JP2003141117A (ja) * 2001-11-05 2003-05-16 Casio Comput Co Ltd 対話装置、及びプログラム、情報提供装置、及びプログラム
JP2003330920A (ja) * 2002-05-13 2003-11-21 Canon Inc データ蓄積型会話装置
JP3945356B2 (ja) 2002-09-17 2007-07-18 株式会社デンソー 音声対話装置及びプログラム
US7640164B2 (en) 2002-07-04 2009-12-29 Denso Corporation System for performing interactive dialog
JP4629560B2 (ja) 2004-12-01 2011-02-09 本田技研工業株式会社 対話型情報システム
CN101075435B (zh) * 2007-04-19 2011-05-18 深圳先进技术研究院 一种智能聊天系统及其实现方法
KR100905744B1 (ko) * 2007-12-04 2009-07-01 엔에이치엔(주) 사용자 제작 문답 데이터에 기반한 회화 사전 서비스 제공방법 및 시스템
JP2009244815A (ja) * 2008-03-31 2009-10-22 Kenwood Corp 対話システム
JP5215098B2 (ja) * 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、プログラム及び情報記憶媒体
JP2010092358A (ja) * 2008-10-09 2010-04-22 Nippon Telegr & Teleph Corp <Ntt> エピソード記憶想起支援システム、エピソード記憶想起支援方法およびプログラム
JP2011223369A (ja) * 2010-04-12 2011-11-04 Kim Hyon-Su 認知症患者用会話システム
JP5618193B2 (ja) * 2010-08-25 2014-11-05 株式会社ニコン 情報記録再生システム
US9286643B2 (en) * 2011-03-01 2016-03-15 Applaud, Llc Personalized memory compilation for members of a group and collaborative method to build a memory compilation
JP2012213093A (ja) * 2011-03-31 2012-11-01 Sony Corp 情報処理装置、情報処理方法及びプログラム
EP2713881B1 (en) * 2011-06-01 2020-10-07 Koninklijke Philips N.V. Method and system for assisting patients
US9679568B1 (en) * 2012-06-01 2017-06-13 Google Inc. Training a dialog system using user feedback
US9043204B2 (en) * 2012-09-12 2015-05-26 International Business Machines Corporation Thought recollection and speech assistance device
JP6138709B2 (ja) * 2014-02-10 2017-05-31 日本電信電話株式会社 ライフログ連携対話システム、ライフログ連携対話方法及びプログラム
JP6125445B2 (ja) * 2014-02-10 2017-05-10 日本電信電話株式会社 ライフログ記録システム及びそのプログラム
US20160136384A1 (en) * 2014-11-18 2016-05-19 Treasure Vox Llc System, method and kit for reminiscence therapy for people with dementia
US9704103B2 (en) * 2014-12-16 2017-07-11 The Affinity Project, Inc. Digital companions for human users
US10185544B1 (en) * 2015-12-28 2019-01-22 Amazon Technologies, Inc. Naming devices via voice commands

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166839A (ja) * 2019-03-29 2020-10-08 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 関連付け関心点に基づく文推奨方法及び装置
JP7008096B2 (ja) 2019-03-29 2022-01-25 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 関連付け関心点に基づく文推奨方法及び装置
US11593434B2 (en) 2019-03-29 2023-02-28 Baidu Online Network Technology (Beijing) Co., Ltd. Sentence recommendation method and apparatus based on associated points of interest

Also Published As

Publication number Publication date
CN108140030A (zh) 2018-06-08
JP2017062602A (ja) 2017-03-30
US10657960B2 (en) 2020-05-19
WO2017051601A1 (ja) 2017-03-30
US20180277110A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
JP6120927B2 (ja) 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム
US11200243B2 (en) Approximate template matching for natural language queries
US10672390B2 (en) Systems and methods for improving speech recognition performance by generating combined interpretations
US11495229B1 (en) Ambient device state content display
CN108063969B (zh) 显示设备、控制显示设备的方法、服务器以及控制服务器的方法
JP6668245B2 (ja) 文脈情報に基づいて検索結果を生成するための方法、システム、および媒体
CN111433845A (zh) 在会话的上下文中推荐内容的方法和系统
US20140006022A1 (en) Display apparatus, method for controlling display apparatus, and interactive system
US11494434B2 (en) Systems and methods for managing voice queries using pronunciation information
KR20140089862A (ko) 디스플레이 장치 및 그의 제어 방법
JP6122792B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
KR20140089876A (ko) 대화형 인터페이스 장치 및 그의 제어 방법
JP2010224715A (ja) 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
JP2014241498A (ja) 番組推薦装置
WO2019155717A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2019045978A (ja) 対話制御装置、学習装置、対話制御方法、学習方法、制御プログラム、および、記録媒体
US11587571B2 (en) Electronic apparatus and control method thereof
JP7491309B2 (ja) 情報処理装置
WO2019244455A1 (ja) 情報処理装置及び情報処理方法
US20210295836A1 (en) Information processing apparatus, information processing method, and program
US20190035420A1 (en) Information processing device, information processing method, and program
CN113301352B (zh) 在视频播放期间进行自动聊天
JP5330005B2 (ja) デジタルフォトフレーム、情報処理システム及び制御方法
US11854535B1 (en) Personalization for speech processing applications
US12033633B1 (en) Ambient device state content display

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R150 Certificate of patent or registration of utility model

Ref document number: 6120927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees