JP6749164B2 - サービス提供システム、及びプログラム - Google Patents

サービス提供システム、及びプログラム Download PDF

Info

Publication number
JP6749164B2
JP6749164B2 JP2016136757A JP2016136757A JP6749164B2 JP 6749164 B2 JP6749164 B2 JP 6749164B2 JP 2016136757 A JP2016136757 A JP 2016136757A JP 2016136757 A JP2016136757 A JP 2016136757A JP 6749164 B2 JP6749164 B2 JP 6749164B2
Authority
JP
Japan
Prior art keywords
information
service
label
storage unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016136757A
Other languages
English (en)
Other versions
JP2018010343A (ja
Inventor
康平 小島
康平 小島
雅人 河村
雅人 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2016136757A priority Critical patent/JP6749164B2/ja
Publication of JP2018010343A publication Critical patent/JP2018010343A/ja
Application granted granted Critical
Publication of JP6749164B2 publication Critical patent/JP6749164B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、サービス提供システム、及びプログラムに関する。
近年、コンテキスト・アウェア・コンピューティングと呼ばれ、ユーザの振る舞いや環境の状態に合わせてその場に適したサービスやコンテンツを能動的に提供する技術が知られている(例えば、特許文献1を参照)。このような技術を利用したサービス提供システムでは、ユーザの周辺に設置されたセンサが検出した情報からユーザの行動を分析してユーザの分散環境行動データベースに蓄積する。そして、このような技術を利用したサービス提供システムでは、例えば、ロボットがユーザと対話を行った際のユーザの発話内容と、分散環境行動データベースに蓄積された情報とに基づいて、ユーザの状況を解析し、ユーザの求めるサービスを特定及び提供することが可能である。
特許第4370410号公報
しかしながら、従来の対話システムでは、検出するコンテキストを予め設定しておく手法が一般的である。そのため、従来のサービス提供システムでは、大量のコンテキストを予め登録しておく必要があり、新たにコンテキストを追加する場合は、開発者が個々にコンテキストの検出方法を追加する必要があった。ここで、コンテキストとは、ユーザの状況、又は環境の状況を示す情報である。
本発明は、上記問題を解決すべくなされたもので、その目的は、検出可能なコンテキストを自動的に登録することができるサービス提供システム、及びプログラムを提供することにある。
上記問題を解決するために、本発明の一態様は、センサが検出した時系列に沿ったセンサ情報を分節化し、各分節の状態量を示すセグメント情報を生成する分節化処理部と、ユーザと対話する対話装置によって取得された前記ユーザの状況であるコンテキストを示すラベル情報と、前記セグメント情報とを対応付けた組情報をコンテキスト記憶部に記憶させるラベル付与部と、前記コンテキスト記憶部が記憶する前記組情報に基づいて、前記セグメント情報から前記ラベル情報を予測する予測モデルを構築する予測モデル構築部と、前記ラベル情報と、提供するサービスを示すサービス情報とを対応付けて記憶する対応関係記憶部と、前記センサが検出したセンサ情報から前記分節化処理部によって生成された前記セグメント情報と、前記予測モデルとに基づいて、前記ラベル情報を予測する予測処理部と、前記予測処理部によって予測された前記ラベル情報に対応するサービス情報を前記対応関係記憶部から取得し、取得したサービス情報に対応するサービスを推奨するサービス推奨部とを備えることを特徴とするサービス提供システムである。
また、本発明の一態様は、上記のサービス提供システムにおいて、前記分節化処理部が生成した前記セグメント情報を階層クラスタリングにより分類するセグメント分類部を備え、前記ラベル付与部は、前記セグメント分類部によって分類された前記セグメント情報と、前記ラベル情報とを対応付けて前記コンテキスト記憶部に記憶させることを特徴とする。
また、本発明の一態様は、上記のサービス提供システムにおいて、前記センサ情報に基づいて予測された前記ラベル情報の時系列な履歴であるコンテキスト履歴情報と、実行された前記サービスの履歴であるサービス履歴情報とに基づいて、予測された前記ラベル情報に同期して実行された前記サービスが存在する場合に、当該サービスを示す前記サービス情報と、当該ラベル情報とを対応付けて前記対応関係記憶部に記憶させるサービス登録部を備えることを特徴とする。
また、本発明の一態様は、上記のサービス提供システムにおいて、前記サービス登録部は、予め登録された前記サービスに関するマスタ情報であって、少なくとも前記ラベル情報と前記サービス情報とを対応付けた情報を複数含むマスタ情報と、前記コンテキスト記憶部に記憶されている前記ラベル情報とに基づいて、前記コンテキスト記憶部に記憶されている前記ラベル情報が、前記マスタ情報に含まれる前記ラベル情報と一致する場合に、当該ラベル情報と、前記マスタ情報に含まれ、当該ラベル情報に対応する前記サービス情報とを対応付けて、前記対応関係記憶部に記憶させることを特徴とする。
また、本発明の一態様は、上記のサービス提供システムにおいて、前記予測処理部によって予測された前記ラベル情報に関する質問を、前記対話装置に出力させて取得された前記ユーザの発話内容に基づいて、前記コンテキスト記憶部が記憶している前記組情報の妥当性を判定し、当該組情報が妥当でないと判定した場合に、妥当でないと判定した当該組情報に関連する前記組情報を前記コンテキスト記憶部から削除させるコンテキスト確認部を備えることを特徴とする。
また、本発明の一態様は、上記のサービス提供システムにおいて、前記対応関係記憶部が記憶する前記ラベル情報と前記サービス情報とを対応付けた対応関係情報を、自システムとは異なる他システムが生成した前記対応関係情報を含む対応関係マスタ記憶部に記憶させるとともに、前記対応関係マスタ記憶部から前記他システムが生成した前記対応関係情報を取得して、取得した前記他システムが生成した前記対応関係情報を前記対応関係記憶部に記憶させる共有処理部を備えることを特徴とする。
また、本発明の一態様は、上記のサービス提供システムにおいて、前記予測モデル構築部は、所定の条件を満たす場合に、前記予測モデルを再構築することを特徴とする。
また、本発明の一態様は、ユーザの状況であるコンテキストを示すラベル情報と、提供するサービスを示すサービス情報とを対応付けて記憶する対応関係記憶部を備えるコンピュータに、センサが検出した時系列に沿ったセンサ情報を分節化し、各分節の状態量を示すセグメント情報を生成する分節化処理ステップと、ユーザと対話する対話装置によって取得された前記ユーザの状況であるコンテキストを示すラベル情報と、前記セグメント情報とを対応付けてコンテキスト記憶部に記憶させるラベル付与ステップと、前記コンテキスト記憶部が記憶する前記ラベル情報と、前記セグメント情報とに基づいて、前記セグメント情報から前記ラベル情報を予測する予測モデルを構築する予測モデル構築ステップと、前記センサが検出したセンサ情報から前記分節化処理ステップによって生成された前記セグメント情報と、前記予測モデルとに基づいて、前記ラベル情報を予測する予測処理ステップと、前記予測処理ステップによって予測された前記ラベル情報に対応するサービス情報を前記対応関係記憶部から取得し、取得したサービス情報に対応するサービスを推奨するサービス推奨ステップとを実行させるためのプログラムである。
本発明によれば、検出可能なコンテキストを自動的に登録することができる。
本実施形態によるサービス提供システムの一例を示す機能ブロック図である。 本実施形態における対話履歴記憶部のデータ例を示す図である。 本実施形態におけるラベルマスタ記憶部のデータ例を示す図である。 本実施形態における対応関係マスタ記憶部のデータ例を示す図である。 本実施形態におけるセンサ履歴記憶部のデータ例を示す図である。 本実施形態におけるコンテキストマスタ記憶部のデータ例を示す図である。 本実施形態におけるサービスマスタ記憶部のデータ例を示す図である。 本実施形態におけるサービス実行履歴記憶部のデータ例を示す図である。 本実施形態におけるコンテキスト発生履歴記憶部のデータ例を示す図である。 本実施形態における対応関係記憶部のデータ例を示す図である。 本実施形態におけるセンサ情報の一例を示す図である。 本実施形態におけるセンサ情報の分節化の一例を示す図である。 本実施形態におけるセグメント情報の階層クラスタリングの一例を示す図である。 本実施形態における対話ロボットの動作の一例を示すフローチャートである。 本実施形態におけるコンテキストの登録処理、及び予測モデルの構築処理の一例を示すフローチャートである。 本実施形態におけるサービス推奨処理の一例を示すフローチャートである。 本実施形態におけるサービス登録処理の一例を示すフローチャートである。 本実施形態における情報共有処理の一例を示すフローチャートである。
以下、本発明の一実施形態によるサービス提供システムについて、図面を参照して説明する。
図1は、本実施形態によるサービス提供システム1の一例を示す機能ブロック図である。
図1に示すように、サービス提供システム1は、対話ロボット10と、情報共有サーバ20と、コンテキスト認識システム30とを備えている。サービス提供システム1は、コンテキスト・アウェア・コンピューティングを用いたシステムであり、後述するセンサ31が計測したセンサ情報と、対話ロボット10によるユーザU1との対話内容とに応じて、ユーザの状況を推定(予測)し、ユーザの状況に応じたサービスを提供(推奨)する。
なお、本実施形態では、説明の便宜上、サービス提供システム1が、1つの対話ロボット10と、1つのコンテキスト認識システム30とを備える一例について説明するが、複数の対話ロボット10、又は複数のコンテキスト認識システム30を備えていてもよい。また、本実施形態において、コンテキストとは、例えば、ユーザの状況のことである。
対話ロボット10(対話装置の一例)は、ユーザU1と対話する音声対話システムである。対話ロボット10は、スピーカ11と、マイク12と、撮像部13と、ロボット記憶部14と、ロボット制御部15とを備えている。
スピーカ11は、ユーザU1と対話を行うために、ユーザU1への発話内容に対応する音声を出力する。
マイク12は、ユーザU1が発した音声を収音し、音声信号に変換する。
撮像部13は、例えば、CCD(Charge Coupled Device)イメージセンサを有するカメラであり、対話ロボット10の周囲を撮像する。
ロボット記憶部14は、対話ロボット10の各種処理に利用する情報を記憶する。ロボット記憶部14は、辞書記憶部141と、音響モデル記憶部142と、対話履歴記憶部143とを備えている。
辞書記憶部141は、ユーザU1と対話ロボット10との対話処理の音声認識処理及び音声合成処理に用いられる辞書情報を記憶する。
音響モデル記憶部142は、ユーザU1と対話ロボット10との対話処理の音声認識処理及び音声合成処理に用いられる音響モデル情報を記憶する。
対話履歴記憶部143は、ユーザU1と対話ロボット10と間で行われた対話の履歴を記憶する。対話履歴記憶部143は、例えば、図2に示すように、「時刻」と、「ユーザ属性情報」と、「対話内容」とを対応付けて対話履歴情報として記憶する。
図2は、本実施形態における対話履歴記憶部143のデータ例を示す図である。
図2において、「時刻」は対話が行われた時刻(タイムスタンプ)を示し、「ユーザ属性情報」は、上述した撮像部13が撮像したユーザU1の画像認識により得られたユーザU1の属性情報(例えば、性別、年齢など)を示している。また、「対話内容」は、「ロボット発話内容」と、「ユーザ発話内容」とを含んでいる。ここで、「ロボット発話内容」は、スピーカ11を介してユーザU1に発した発話内容を示し、「ユーザ発話内容」は、マイク12を介して収音した音声信号に基づくユーザU1が発した発話内容を示している。
図2に示す例では、対話履歴記憶部143は、「時刻」が“10:00”(10時00分)に、「ユーザ属性情報」が“男性、老人”であるユーザU1と対話したことを示している。また、この時の「対話内容」は、「ロボット発話内容」が“今なにしているの?”という質問であり、「ユーザ発話内容」が“体操している”であることを示している。
なお、図2に示す例では、対話履歴情報に「ロボット発話内容」と、「ユーザ発話内容」との両方が含まれる例を説明したが、対話履歴情報には、「ロボット発話内容」と、「ユーザ発話内容」とのいずれか一方のみが含まれてもよい。
図1の説明に戻り、ロボット制御部15は、例えば、CPU(Central Processing Unit)などを含むプロセッサであり、対話ロボット10を統括的に制御する。ロボット制御部15は、対話制御部151と、音声合成部152と、音声認識部153と、画像認識部154とを備えている。
対話制御部151は、ユーザU1と対話ロボット10との対話を制御する。対話制御部151は、例えば、画像認識部154によって対話ロボット10の近傍にユーザU1が存在すると認識された場合に、一定期間ごとに、例えば、“今何しているの?”などの発話内容をユーザU1に話しかける(問いかける)制御を行い、当該話しかけ(問いかけ)に対するユーザU1からの返答(ユーザU1の発話内容)を取得する。すなわち、対話制御部151は、例えば、発話内容を後述する音声合成部152により音声合成させた音声をスピーカ11から出力させる。そして、対話制御部151は、マイク12が収音した音声信号から後述する音声認識部153を介してユーザU1の発話内容を抽出して取得する。対話制御部151は、上述した図2の示すように、「時刻」と、「ユーザ属性情報」と、「対話内容」とを対応付けて、対話履歴情報として対話履歴記憶部143に記憶させる。なお、対話制御部151は、「ユーザ属性情報」を画像認識部154から取得する。
また、対話制御部151は、コンテキスト認識システム30からの対話依頼に応じて、上述したユーザU1に話しかけてユーザU1の返答を取得する対話処理を実行する。また、この場合、対話制御部151は、対話履歴情報を対話履歴記憶部143に記憶させるとともに、ユーザU1の返答(ユーザU1の発話内容)及びユーザU1の属性情報(「ユーザ属性情報」)をコンテキスト認識システム30に送信する。
音声合成部152は、辞書記憶部141が記憶する辞書情報と、音響モデル記憶部142が記憶する音響モデル情報とに基づいて、ユーザU1への発話内容に対応する音声信号を合成して、当該音声信号をスピーカ11に出力させる。
音声認識部153は、辞書記憶部141が記憶する辞書情報と、音響モデル記憶部142が記憶する音響モデル情報とに基づいて、マイク12が収音したユーザU1からの返答の音声信号からユーザU1の発話内容を抽出して、当該発話内容を対話制御部151に出力する。
画像認識部154は、撮像部13が撮像した画像データを取得して、既存の画像認識技術を用いて、取得した画像データに人物が含まれるか否かを判定する人感センサとして機能する。また、画像認識部154は、取得した画像データに人物が含まれている場合に、当該人物をユーザU1として、画像認識により、ユーザU1の属性情報(例えば、性別、年齢など)を抽出して、抽出したユーザU1の属性情報を対話制御部151に出力する。
情報共有サーバ20は、コンテキストのラベルIDの管理、及びコンテキスト認識システム30のそれぞれが学習して生成したコンテキストとサービスとの対応関係を示す対応関係情報を、他のシステム(他のコンテキスト認識システム30)と共有するためのサーバ装置である。情報共有サーバ20は、例えば、コンテキスト認識システム30とネットワークを介して接続されていてもよい。また、情報共有サーバ20は、サーバ記憶部21と、サーバ制御部22とを備えている。
サーバ記憶部21は、情報共有サーバ20の各種処理に利用する情報を記憶する。サーバ記憶部21は、ラベルマスタ記憶部211と、対応関係マスタ記憶部212とを備えている。
ラベルマスタ記憶部211は、サービス提供システム1において払い出された(登録及び付与された)コンテキストのラベルID(ラベル情報)に関する情報を記憶する。ラベルマスタ記憶部211は、例えば、図3に示すように、「ラベルID」と、「ラベル名」と、「親ラベルID」とを対応付けて記憶する。
図3は、本実施形態におけるラベルマスタ記憶部211のデータ例を示す図である。
図3において、「ラベルID」は、コンテキストのラベルを識別するラベル識別情報(ラベル情報)を示し、「ラベル名」は、ラベルの名称(コンテキストの名称)を示している。また、「親ラベルID」は、当該ラベルIDに対応するコンテキストに関連したラベルIDであり、当該コンテキストの上位の概念に相当するコンテキスト(親ラベル又は親コンテキスト)のラベルIDを示している。
図3に示す例では、例えば、「ラベルID」が“L0001”のコンテキストは、「ラベル名」が“運動”であり、「親ラベルID」がないことを示している。また、「ラベルID」が“L0002”のコンテキストは、「ラベル名」が“野球”であり、「親ラベルID」が“L0001”であることを示している。この場合、“L0001”は、「ラベル名」が“野球”であり、“運動”が“野球”の親ラベル(上位の概念のラベル)であることを示している。
再び図1に戻り、対応関係マスタ記憶部212は、コンテキスト認識システム30が学習して生成した対応関係情報を他のシステムと共有するために記憶する。対応関係マスタ記憶部212は、ラベル情報とサービス情報とを対応付けた対応関係情報を記憶する。対応関係マスタ記憶部212は、例えば、図4に示すように、「ラベルID」と、「親ラベルID」と、「サービスID」とを対応づけて対応関係情報として記憶する。
図4は、本実施形態における対応関係マスタ記憶部212のデータ例を示す図である。
図4において、上述した図3と同様に、「ラベルID」は、ラベル情報を示し、「親ラベルID」は、親ラベルのラベルID(ラベル情報)を示している。また、「サービスID」は、サービスを識別する識別情報(サービス情報)を示している。なお、「サービスID」は、複数のサービスIDを含む配列データであってもよい。
図4に示す例では、例えば、「ラベルID」が“L0001”のコンテキストには、「親ラベルID」がなく、対応する「サービスID」が、“SV001、SV002”であることを示している。また、例えば、「ラベルID」が“L0002”のコンテキストには、「親ラベルID」が“L0001”であり、対応する「サービスID」が、“SV001、SV003、・・・”であることを示している。
再び図1に戻り、サーバ制御部22は、例えば、CPUなどを含むプロセッサであり、情報共有サーバ20を統括的に制御する。サーバ制御部22は、例えば、コンテキスト認識システム30からの読み出し要求に応じて、ラベルマスタ記憶部211及び対応関係マスタ記憶部212に記憶されている情報を読み出し、コンテキスト認識システム30に送信する制御を行う。また、サーバ制御部22は、例えば、コンテキスト認識システム30からの書き込み要求に応じて、ラベルマスタ記憶部211及び対応関係マスタ記憶部212に情報を記憶させる制御を行う。
コンテキスト認識システム30は、センサ31が計測したセンサ情報と、対話ロボット10によるユーザU1との対話内容とに応じて、ユーザの状況(コンテキスト)を推定(予測)し、ユーザの状況(コンテキスト)に応じたサービスを提供(推奨)する。コンテキスト認識システム30は、センサ31と、センサ受信部32と、記憶部40と、制御部50とを備えている。
センサ31は、ユーザの状況を検出するために、コンテキスト認識システム30の周囲(ユーザU1の周囲)の状態及びユーザU1の行動を示す各種計測値(各種センサ情報)の計測を行う。センサ31は、例えば、ユーザU1の様々な行動や周囲の状態を常時計測し、計測した計測値をセンサ受信部32に出力する。すなわち、センサ31は、センサ情報を常時検出する。なお、コンテキスト認識システム30は、例えば、複数のセンサ31を備えていてもよい。
センサ受信部32は、センサ31が計測した計測値を受信して、受信した計測値(センサ情報)と、センサ31の識別情報(センサID)と、計測した時刻(タイムスタンプ)とを対応付けて、センサ履歴情報として、センサ履歴記憶部41に記憶させる。なお、センサ履歴記憶部41が記憶するセンサ履歴情報の詳細については、後述する。
記憶部40は、コンテキスト認識システム30の各種処理に利用する情報を記憶する。記憶部40は、センサ履歴記憶部41と、コンテキストマスタ記憶部42と、サービスマスタ記憶部43と、サービス実行履歴記憶部44と、コンテキスト発生履歴記憶部45と、予測モデル記憶部46と、対応関係記憶部47とを備えている。
センサ履歴記憶部41は、センサ31が検出したセンサ情報の履歴であるセンサ履歴情報を記憶する。センサ履歴記憶部41は、例えば、図5に示すように、「時刻」と、「センサID」と、「計測値」とを対応づけて、センサ履歴情報として記憶する。
図5は、本実施形態におけるセンサ履歴記憶部41のデータ例を示す図である。
図5において、「時刻」は、センサ31が計測(検出)した時刻(タイムスタンプ)を示し、「センサID」は、センサ31を識別する識別情報を示している。また、「計測値」は、当該センサ31が計測した計測値(センサ情報)を示している。
図5に示す例では、「時刻」が“10:00”(10時00分)に、「センサID」が“SN001”のセンサ31が、「計測値」として“XXX”を計測したことを示している。
再び図1に戻り、コンテキストマスタ記憶部42(コンテキスト記憶部の一例)は、ユーザと対話する対話ロボット10によって取得されたユーザの発話内容に基づいて検出(予測)されたコンテキストを示すラベル情報と、セグメント情報とを対応付けた組情報を記憶する。ここで、セグメント情報とは、センサ31が時系列に沿って検出したセンサ情報を分節化し、各分節の状態量を示す値である。また、セグメントとは、例えば、センサ31によって検出されたユーザU1の状況の1つの状態を示している。セグメント情報の詳細については、後述する。コンテキストマスタ記憶部42は、例えば、図6に示すように、「セグメント名」と、「セグメント情報」と、「ラベルID」と、「ラベル名」とを対応付けて記憶する。
図6は、本実施形態におけるコンテキストマスタ記憶部42のデータ例を示す図である。
図6において、「セグメント名」は、セグメントを識別する識別情報を示し、「セグメント情報」は、各セグメントの状態量(特徴量)を示す値を示している。また、「ラベルID」及び「ラベル名」は、上述した図3と同様である。
図6に示す例では、例えば、「セグメント名」が“S”である「セグメント情報」が“XXXX”であることを示している。また、このセグメントの「ラベルID」は、“L0002,L0001”であり、「ラベル名」が“野球、運動”であることを示している。なお、「ラベルID」及び「ラベル名」には、親ラベルのラベルID及びラベル名が付加されており、“L0001”及び“運動”が親ラベルに相当する。
再び図1に戻り、サービスマスタ記憶部43は、予め登録された提供可能なサービスに関するマスタ情報を記憶する。サービスマスタ記憶部43は、例えば、少なくともラベル情報とサービス情報とを対応付けた情報を複数含むマスタ情報を記憶する。具体的に、サービスマスタ記憶部43は、図7に示すように、「サービスID」と、「サービス名」と、「実行内容」と、「ラベルID」とを対応付けて記憶する。
図7は、本実施形態におけるサービスマスタ記憶部43のデータ例を示す図である。
図7において、「サービスID」は、サービスを識別する識別情報であり、上述したサービス情報の一例である。また、「サービス名」は、サービスの名称を示し、「実行内容」は、サービスの実行内容を示している。なお、「実行内容」には、提供するサービスにおいて、制御するデバイスやその制御内容が含まれてもよい。また、「ラベルID」は、上述したラベル情報である。
図7に示す例では、例えば、「サービスID」が“SV005”であるサービスは、「サービス名」が“料理レシピ提供”であり、「実行内容」が“料理レシピの検索画面を表示”であることを示している。また、例えば、「サービスID」が“SV006”であるサービスは、「サービス名」が“故障特定サービス”であり、「実行内容」が“故障特定メニュー画面の表示”であることを示している。
再び図1に戻り、サービス実行履歴記憶部44は、実行されたサービスの履歴であるサービス履歴情報を記憶する。サービス実行履歴記憶部44は、例えば、図8に示すように、「時刻」と、「サービスID」と、「ユーザID」とを対応付けてサービス履歴情報として記憶する。
図8は、本実施形態におけるサービス実行履歴記憶部44のデータ例を示す図である。
図8において、「時刻」は、サービスが実行された時刻(タイムスタンプ)を示し、「サービスID」は、実行されたサービスの識別情報(サービス情報)を示している。また、「ユーザID」は、サービスを利用したユーザU1の識別情報を示している。
図8に示す例では、例えば、「時刻」が“11:00”(11時00分)に、「サービスID」が“SV005”のサービスが「ユーザID」が“U0001”のユーザU1に対して実行されたことを示している。また、例えば、「時刻」が“12:00”(12時00分)に、「サービスID」が“SV001”のサービスが「ユーザID」が“U0002”のユーザU1に対して実行されたことを示している。
再び図1に戻り、コンテキスト発生履歴記憶部45は、センサ情報に基づいて予測されたラベル情報の時系列な履歴であるコンテキスト履歴情報を記憶する。コンテキスト発生履歴記憶部45は、例えば、図9に示すように、「時刻」と、「セグメント情報」と、「ラベルID」とを対応付けてコンテキスト履歴情報として記憶する。
図9は、本実施形態におけるコンテキスト発生履歴記憶部45のデータ例を示す図である。
図9において、「時刻」は、コンテキスト(セグメント情報)が予測(検出)された時刻(タイムスタンプ)を示し、「セグメント情報」は、センサ31によって検出されたセグメント情報を示している。また、「ラベルID」は、「セグメント情報」に基づいて予測されたコンテキストのラベルIDを示している。
図9に示す例では、例えば、「時刻」が“11:00”(11時00分)に、検出された「セグメント情報」が“ZZZZ”であり、「ラベルID」が“L0005”であるコンテキストが予測されたことを示している。また、例えば、「時刻」が“12:30”(12時30分)に、検出された「セグメント情報」が“YYYY”であり、「ラベルID」が“L0001”であるコンテキストが予測されたことを示している。
再び図1に戻り、予測モデル記憶部46は、セグメント情報からラベル情報を予測する予測モデルを記憶する。なお、予測モデルは、後述する予測モデル学習部54によって構築される。
対応関係記憶部47は、ラベル情報と、提供するサービスを示すサービス情報とを対応付けて記憶する。対応関係記憶部47は、例えば、図10に示すように、「ラベルID」と、「親ラベルID」と、「サービスID」とを対応付けて対応関係情報として記憶する。
図10は、本実施形態における対応関係記憶部47のデータ例を示す図である。
図10において、「ラベルID」と、「親ラベルID」と、「サービスID」とは、上述した図4と同様である。
図10に示す例では、例えば、「ラベルID」が“L0001”のコンテキストには、「親ラベルID」がなく、対応する「サービスID」が、“SV001、SV002”であることを示している。
再び図1に戻り、制御部50は、例えば、CPUなどを含むプロセッサであり、コンテキスト認識システム30を統括的に制御する。制御部50は、例えば、センサ履歴記憶部41が記憶するセンサ履歴情報と、対話履歴記憶部143が記憶する対話履歴情報とに基づいて、コンテキスト(例えば、セグメント情報とラベル情報との組情報)を抽出し、抽出したコンテキストをコンテキストマスタ記憶部42に記憶させるコンテキストの自動学習処理を実行する。また、制御部50は、コンテキストマスタ記憶部42が記憶するセグメント情報とラベル情報との組情報に基づいて、セグメント情報からラベル情報を予測する予測モデルを構築する。
また、制御部50は、例えば、サービス実行履歴記憶部44が記憶するサービス履歴情報と、コンテキスト発生履歴記憶部45が記憶するコンテキスト履歴情報とを比較して、ラベル情報と、サービス情報との対応関係情報を分析する。また、制御部50は、例えば、サービスマスタ記憶部43が記憶するサービス情報と、上述の自動学習したコンテキスト(例えば、セグメント情報とラベル情報との組情報)とに基づいて、ラベル情報と、サービス情報との対応関係情報を分析する。制御部50は、分析結果である対応関係情報を対応関係記憶部47に記憶させて、検出したコンテキストに応じて実行可能なサービスを追加する。
また、制御部50は、センサ31によって検出されたセンサ情報に基づいて、セグメント情報を生成し、上述した予測モデルに基づいて、生成したセグメント情報からラベル情報を予測する。そして、制御部50は、対応関係記憶部47が記憶する対応関係情報に基づいて、予測したラベル情報(コンテキスト)に対応するサービスを推奨(レコメンド)し、当該サービスをユーザU1に提供する。
また、制御部50は、上述のように自動学習した対応関係情報を情報共有サーバ20の対応関係マスタ記憶部212にアップロードして記憶させるとともに、自システムの対応関係記憶部47に記憶されている対応関係情報の差分を情報共有サーバ20から取得する。制御部50は、取得した対応関係情報の差分を対応関係記憶部47に追加して記憶させる。
また、制御部50は、分節化処理部51と、セグメント分類部52と、ラベル付与部53と、予測モデル学習部54と、コンテキスト予測部55と、コンテキスト確認部56と、相関分析部57と、サービスレコメンド部58と、情報共有部59とを備えている。
分節化処理部51は、時系列にセンサ31が検出したセンサ情報を分節化し、各分節の状態量を示すセグメント情報を生成する。分節化処理部51は、例えば、センサ履歴記憶部41が記憶するセンサ履歴情報と、予め定められた分節化モデルとに基づいて、分節化を実行して各分節に対応するセグメント情報を生成する。ここで、センサ履歴記憶部41が記憶するセンサ履歴情報は、例えば、図11に示す波形W1のようなセンサ31の計測値である。なお、図11に示すグラフは、縦軸がセンサ31の計測値を示し、横軸が時刻を示している。また、センサ31の計測値と平行して、対話ロボット10により定期的に、対話処理が実行され、“野球”、“料理”などのユーザU1の返答が取得されている。また、分節化モデルは、例えば、RNN−PB(Recurrent Neural Network with Parametric Bias)手法や、HMM(Hidden Markov Model)などを用いたモデルである。
図12は、本実施形態におけるセンサ情報の分節化の一例を示す図である。この図において、RNN−PB手法を用いて分節化処理及びセグメント情報の生成を行う場合の一例について説明する。
図12(a)は、図11の波形W1と同様のセンサ31の計測値の波形を示している。また、図12(b)は、RNN−PB手法によるPB(Parametric Bias)値の波形W2を示している。
図12に示すように、分節化処理部51は、RNN−PB手法により生成されるPB値(波形W2)の切り替わりタイミングを状態の切り替わり)(コンテキストの切り替わり)として、時系列のセンサ情報(波形W1)を分節化し、分節化した各状態をセグメントと判定する。図12に示す例では、分節化処理部51は、PB値(波形W2)の切り替わりにより、セグメントS、セグメントS、及びセグメントSの2つのセグメントに分節化する。また、分節化処理部51は、各セグメントのPB値をセグメント情報として生成する。また、分節化処理部51は、セグメント情報(PB値)の外れ値検出等によって値が大きく変化したタイミングを分節化タイミングとして検出する手法を採用してもよい。
セグメント分類部52は、分節化処理部51が生成したセグメント情報を階層クラスタリング(階層クラスタ解析)により分類する。セグメント分類部52は、例えば、分節化処理部51による分節化手法に対応した特徴空間内での写像を利用して、階層クラスタリングを実行し、デンドログラムを生成する。すなわち、セグメント分類部52は、例えば、RNN−PB手法である場合には、PBニューロンの特徴空間における各セグメントの値(PB値)を対象に、特徴空間内の距離に基づいてクラスタ解析を行い、デンドログラムを生成する。なお、階層クラスタリングは、データ量の増大に応じて計算負荷が爆発的に増加するため、セグメント分類部52は、セグメントのサンプル数を所定の最大個数(例えば、Nmax)を上限数として間引いて実行してもよい。セグメント分類部52は、セグメント情報(例えば、PB値)を用いて、階層クラスタリングにより分類し、例えば、図13に示すようなデンドログラムDC1を生成する。
図13は、本実施形態におけるセグメント情報の階層クラスタリングの一例を示す図である。
図13に示す例では、セグメント分類部52は、セグメントS〜Sを、階層クラスタリングを実行し、デンドログラムDC1を生成する一例を示している。この図において、セグメントS及びセグメントSの集合であるクラスタC1、及びセグメントS及びセグメントSの集合であるクラスタC2は、クラスタC3の下位のクラスタである。すなわち、クラスタC3は、クラスタC1及びクラスタC2の上位のクラスタ(親クラスタ)である。
ラベル付与部53は、対話ロボット10によって取得されたユーザの発話内容に基づいて検出されたコンテキストを示すラベル情報と、セグメント情報とを対応付けた組情報をコンテキストマスタ記憶部42に記憶させる。すなわち、ラベル付与部53は、セグメント分類部52によって分類されたセグメント情報と、ラベル情報とを対応付けてコンテキストマスタ記憶部42に記憶させる。ラベル付与部53は、例えば、対話履歴記憶部143が記憶する対話履歴情報に基づいて、例えば、図13に示すように、階層クラスタリングの結果であるデンドログラムDC1に対してラベルを付与する。
具体的に、ラベル付与部53は、例えば、“今何している?”というユーザU1への問いに対するユーザU1の返答(発話内容)をラベルとして付与する。なお、ユーザU1からの返答は常に一様ではなく、非常に近い状態でも全く異なるラベルが返答として得られる場合が想定される。例えば、同じ野球をしている場合でも、“スポーツをしている”、“野球をしている”、“バッティングをしている”など複数の返答が得られる可能性がある。そのため、ラベル付与部53は、1つのセグメントに対して複数のラベルの付与を可能とする。ラベル付与部53は、ユーザの状況にラベルを付与する場合に、言葉の概念としての距離と、センサ31から取得したセグメント情報の距離(特徴空間内の距離)との両方を考慮して、セグメントに対してラベルを付与する。ラベル付与部53は、各セグメントにラベルを付与し、図6に示すように、「セグメント名」と、「セグメント情報」と、「ラベルID」と、「ラベル名」とを対応付けてコンテキストマスタ記憶部42に記憶させる。
なお、ラベル付与部53は、コンテキストマスタ記憶部42にコンテキストを記憶させる際に、まず、発話内容のラベル名が情報共有サーバ20のラベルマスタ記憶部211に登録されているか否かを判定する。ラベル付与部53は、発話内容のラベル名がラベルマスタ記憶部211に登録されている場合には、ラベルマスタ記憶部211からラベルIDを取得する。また、ラベル付与部53は、発話内容のラベル名がラベルマスタ記憶部211に登録されていない場合に、新しいラベルIDを払い出して、ラベルマスタ記憶部211に登録(記憶)させる。ラベル付与部53は、各セグメントの開始時刻を対話履歴記憶部143が記憶する対話履歴情報により確認し、当該期間中に対話結果が存在する場合に、セグメント情報とラベルIDとを対応付けて、図6に示すように、コンテキストマスタ記憶部42に記憶させる。
また、ラベル付与部53は、デンドログラムを参照し、異なる複数のセグメントが同じラベルを有する場合に、複数つのセグメントが属するクラスタに含まれる全てのセグメントはその言葉の概念下にある可能性があるため、全てのセグメントに対して同一のラベルを付与する。
例えば、図13に示すデンドログラムDC1において、ユーザU1からは“野球”、“体操”、“運動”という3つの返答が得られているとする。ここで、“野球”が含まれている小さなクラスタC1と“体操”が含まれている小さなクラスタC2とのそれぞれに“運動”というラベルが存在する場合、クラスタC1及びクラスタC2に含まれるものは、全て“運動”という共通概念を有していることが想定される。よって、この場合、ラベル付与部53は、“野球”、“体操”、及び何のラベルもついていないセグメントにも全て“運動”というラベルを付与する。これによって、ラベル付与部53は、上述の言葉の概念としての距離と、セグメント情報の距離(特徴空間内の距離)との両方を踏まえた階層化を実現すると共に、ユーザU1からの少ない教示でより多くの概念を獲得することが可能にある。
予測モデル学習部54(予測モデル構築部の一例)は、コンテキストマスタ記憶部42が記憶する上述したセグメント情報とラベル情報との組情報に基づいて、セグメント情報からラベル情報を予測する予測モデルを構築する。予測モデル学習部54は、例えば、コンテキストマスタ記憶部42が記憶している「セグメント情報」と「ラベルID」との全ての対応関係を基に、セグメント情報とラベルIDの対応関係を教師あり学習(例えば、Recurrent Neural Network、Support Vector Machineなど)により、予測モデルを構築する。予測モデル学習部54は、構築した予測モデルを予測モデル記憶部46に記憶させる。
また、予測モデル学習部54は、所定の条件を満たす場合に、予測モデルを再構築する。予測モデル学習部54は、例えば、定期的(一定期間ごと)に、予測モデルを再構築してもよいし、コンテキストマスタ記憶部42にコンテキスト(組情報)が登録されるごとに、予測モデルを再構築してもよい。また、予測モデル学習部54は、サービス提供システム1を稼働した期間(稼働期間)に応じて、予測モデルを再構築する所定の条件を変更してもよい。例えば、稼働期間が短い場合には、学習が不充分であることが考えられ、予測モデル学習部54は、稼働期間が長い場合に比べて短い期間ごとに予測モデルを再構築し、稼働期間が長い場合には、稼働期間が短い場合に比べて長い期間ごとに予測モデルを再構築するようにしてもよい。また、予測モデル学習部54は、ユーザU1による明示的な指示に基づいて、予測モデルを再構築するようにしてもよい。
コンテキスト予測部55(予測処理部の一例)は、センサ31が検出したセンサ情報から分節化処理部51によって生成されたセグメント情報と、予測モデル学習部54が構築した予測モデルとに基づいて、ラベル情報を予測する。すなわち、コンテキスト予測部55は、予測モデル記憶部46が記憶する予測モデルにより、分節化処理部51によって生成されたセグメント情報から、ラベル情報(例えば、ラベルID)を予測(推定)する。
コンテキスト確認部56は、コンテキスト予測部55によって予測されたラベル情報に関する質問を、対話ロボット10に出力させて取得されたユーザの発話内容に基づいて、コンテキストマスタ記憶部42が記憶しているコンテキストの妥当性を判定する。コンテキスト確認部56は、例えば、予測されたラベル情報(例えば、ラベルID)に対応するラベル名が“体操”である場合に、“体操しているの?”というユーザU1への質問を、対話ロボット10に実行させる。コンテキスト確認部56は、当該質問に対する返答(発話内容)を対話ロボット10から取得し、当該返答に対応するラベル情報(ラベルID)と、予測されたラベル情報(ラベルID)とが一致(又は関連する概念)であるか否かにより、コンテキストマスタ記憶部42が記憶しているコンテキスト(組情報)の妥当性を判定する。
コンテキスト確認部56は、当該コンテキスト(組情報)が妥当でないと判定した場合に、妥当でないと判定した当該コンテキスト(組情報)に関連するコンテキスト(組情報)をコンテキストマスタ記憶部42から削除させる。すなわち、コンテキスト確認部56は、コンテキストが妥当でないと判定された組情報に含まれるセグメント情報の特徴空間内の距離Dが、所定の距離Dth以内であるコンテンツの組情報を全てコンテキストマスタ記憶部42から削除させる。なお、コンテキスト確認部56は、当該コンテキスト(組情報)が妥当でないと判定した場合に、コンテキストマスタ記憶部42に、当該返答に対応するラベル情報(ラベルID)に訂正した組情報を登録してもよい。
相関分析部57(サービス登録部の一例)は、サービス情報と、ラベル情報とを対応付けて対応関係情報として、対応関係記憶部47に記憶させる。相関分析部57は、例えば、コンテキスト発生履歴記憶部45が記憶するコンテキスト履歴情報と、サービス実行履歴記憶部44が記憶するサービス履歴情報とに基づいて、予測されたラベル情報に同期して実行されたサービスが存在する場合に、当該サービスを示すサービス情報と、当該ラベル情報とを対応付けて対応関係記憶部47に記憶させる。なお、サービス履歴情報には、ユーザU1によって指定されて実行されたサービスの履歴が含まれており、相関分析部57は、このように実行されたサービスに対応するサービス情報と、同期するラベル情報とを対応付けて新たな対応関係情報として、対応関係記憶部47に記憶させる。
また、相関分析部57は、サービスマスタ記憶部43に記憶されているマスタ情報と、コンテキストマスタ記憶部42に記憶されているラベル情報とに基づいて、ラベル情報とを対応付けて対応関係情報として、対応関係記憶部47に記憶させる。相関分析部57は、例えば、コンテキストマスタ記憶部42に記憶されているラベル情報が、マスタ情報に含まれるラベル情報と一致する場合に、当該ラベル情報と、マスタ情報に含まれ、当該ラベル情報に対応するサービス情報とを対応付けて、対応関係記憶部47に記憶させる。
サービスレコメンド部58(サービス推奨部の一例)は、コンテキスト予測部55によって予測されたラベル情報に対応するサービス情報を対応関係記憶部47から取得し、取得したサービス情報に対応するサービスを推奨する。サービスレコメンド部58は、例えば、対応関係記憶部47から推奨可能なサービスを複数取得してリストアップし、所定の手法により、当該リストアップのうちからサービスを選択する。サービスレコメンド部58は、例えば、最も使用頻度の高いものを優先する手法や、ラベルの構造を参照し、親概念のラベル(親ラベル)に対応するサービスを優先的に実行するなどの手法により、サービスを選択して、当該サービスを推奨する。
また、例えば、サービスレコメンド部58は、推奨したサービスを実行する指示(承認)をユーザU1から得られた場合に、当該サービスを実行する。なお、サービスレコメンド部58は、サービスの種類によっては、実行する指示(承認)をユーザU1から得ずに、サービスを実行するようにしてもよい。
情報共有部59(共有処理部の一例)は、対応関係記憶部47が記憶するラベル情報とサービス情報とを対応付けた対応関係情報を、自システムとは異なる他システム(例えば、他のコンテキスト認識システム30)が生成した対応関係情報を含む対応関係マスタ記憶部212に記憶させる。すなわち、情報共有部59は、対応関係記憶部47が記憶する対応関係情報を情報共有サーバ20にアップロードして、情報共有サーバ20の対応関係マスタ記憶部212に記憶させる。ここで、情報共有部59は、例えば、一定期間ごとに、対応関係情報を対応関係マスタ記憶部212に記憶させてもよいし、対応関係記憶部47に対応関係情報が記憶されるごとに、当該対応関係情報を対応関係マスタ記憶部212に記憶させてもよい。
また、情報共有部59は、対応関係マスタ記憶部212から他システムが生成した対応関係情報を取得して、取得した他システムが生成した対応関係情報を対応関係記憶部47に記憶させる。情報共有部59は、例えば、対応関係マスタ記憶部212が記憶している対応関係情報と、対応関係記憶部47に記憶されている対応関係情報との差分情報を情報共有サーバ20から取得し、取得した対応関係情報の差分情報を対応関係記憶部47に追加して記憶させる。
次に、図面を参照して、本実施形態によるサービス提供システム1の動作について説明する。
図14は、本実施形態における対話ロボット10の動作の一例を示すフローチャートである。この図では、コンテキスト認識システム30からの依頼に基づいて、対話ロボット10が、ユーザU1に問合せを行う場合の動作について説明する。
図14において、ます、対話ロボット10は、撮像画像からユーザU1の属性情報を判定する(ステップS101)。ロボット制御部15の画像認識部154は、例えば、撮像部13が撮像した撮像画像に基づいて、ユーザU1の属性情報(、例えば、性別、年齢など)を判定する。
次に、対話ロボット10は、ユーザU1への発話依頼があるか否かを判定する(ステップS102)。すなわち、ロボット制御部15の対話制御部151は、コンテキスト認識システム30からの発話依頼があるか否かを判定する。対話制御部151は、発話依頼がある場合(ステップS102:YES)に、処理をステップS103に進める。また、対話制御部151は、発話依頼がない場合(ステップS102:NO)に、処理をステップS106に進める。
ステップS103において、対話制御部151は、出力する発話内容を取得する。すなわち、対話制御部151は、コンテキスト認識システム30から出力する発話内容(例えば、“今何している?”、“○○しているの?”などの質問内容)を取得する。
次に、対話ロボット10は、取得した発話内容を音声合成して出力する(ステップS104)。すなわち、ロボット制御部15の音声合成部152は、辞書記憶部141が記憶する辞書情報と、音響モデル記憶部142が記憶する音響モデル情報とに基づいて、ユーザU1への発話内容に対応する音声信号を合成して、当該音声信号をスピーカ11に出力させる。
次に、対話制御部151は、対話履歴情報を対話履歴記憶部143に記憶させる(ステップS105)。ここでは、対話制御部151は、ユーザU1への発話分の対話履歴情報を対話履歴記憶部143に記憶させる。すなわち、対話制御部151は、「時刻」と、「ユーザ属性情報」と、「対話内容」とを対応付けて対話履歴情報として対話履歴記憶部143に記憶させる。ステップS105の処理後に、対話制御部151は、処理をステップS106に進める。
ステップS106において、対話ロボット10は、ユーザU1からの発話があるか否かを判定する。すなわち、ロボット制御部15の音声認識部153は、ユーザU1からの発話があるか否かをマイク12から有効な音声信号を受信できるか否かにより判定する。音声認識部153は、ユーザU1からの発話がある場合(ステップS106:YES)に、処理をステップS107に進める。また、音声認識部153は、ユーザU1からの発話がない場合(ステップS106:NO)に、処理をステップS101に戻す。
ステップS107において、音声認識部153は、受信した音声を音声認識して発話内容を抽出する。すなわち、ユーザU1からの発話がある場合に、音声認識部153は、辞書記憶部141が記憶する辞書情報と、音響モデル記憶部142が記憶する音響モデル情報とに基づいて、マイク12が収音したユーザU1からの返答の音声信号からユーザU1の発話内容を抽出して、当該発話内容を対話制御部151に出力する。
次に、対話制御部151は、対話内容をコンテキスト認識システム30に送信する(ステップS108)。
次に、対話制御部151は、対話履歴情報を対話履歴記憶部143に記憶させる(ステップS109)。ここでは、対話制御部151は、ユーザU1からの発話分の対話履歴情報を対話履歴記憶部143に記憶させる。すなわち、対話制御部151は、「時刻」と、「ユーザ属性情報」と、「対話内容」とを対応付けて対話履歴情報として対話履歴記憶部143に記憶させる。ステップS109の処理後に、対話制御部151は、処理をステップS106に進める。
なお、上述した図14に示す例では、コンテキスト認識システム30からの依頼に基づいて、対話ロボット10が、ユーザU1に問合せを行う場合の動作について説明したが、一定期間ごとに、対話ロボット10が、ユーザU1に問合せを行う場合もある。一定期間ごとにユーザU1に問合せを行う場合には、上述したステップS102の処理の分岐条件が、一定期間に達したか否かを判定する点が異なり、他の処理は、上述した図14と同様である。
次に、図15〜図18を参照して、本実施形態におけるコンテキスト認識システム30の動作について説明する。
図15は、本実施形態におけるコンテキストの登録処理、及び予測モデルの構築処理の一例を示すフローチャートである。この図において、センサ31が検出したセンサ情報は、センサ受信部32によって、センサ履歴記憶部41に記憶されているものとする。
図15において、まず、コンテキスト認識システム30の分節化処理部51は、センサ情報を取得する(ステップS201)。すなわち、分節化処理部51は、センサ履歴記憶部41が記憶するセンサ情報(計測値)を取得する。
次に、分節化処理部51は、センサ情報を分節化してセグメント情報を生成する(ステップS202)。分節化処理部51は、例えば、RNN−PB手法を用いて、図12に示すように、センサ情報を分節化して、各分節のPB値をセグメント情報として生成する。
次に、セグメント分類部52は、セグメント情報を階層クラスタリング処理する(ステップS203)。セグメント分類部52は、例えば、PBニューロンの特徴空間における各セグメントの値(PB値)を対象に、特徴空間内の距離に基づいてクラスタ解析を行い、図13に示すようなデンドログラムを生成する。
次に、ラベル付与部53は、階層化により分類されたセグメント情報にラベルを付与する(ステップS204)。ラベル付与部53は、例えば、対話履歴記憶部143が記憶する対話履歴情報に基づいて、例えば、図13に示すように、階層クラスタリングの結果であるデンドログラムに対してラベルを付与する。すなわち、ラベル付与部53は、各セグメントにラベルを付与する。
次に、ラベル付与部53は、ラベルIDとセグメント情報とを対応付けてコンテキストマスタ記憶部42に記憶させる(ステップS205)。すなわち、ラベル付与部53は、図6に示すように、「セグメント名」と、「セグメント情報」と、「ラベルID」と、「ラベル名」とを対応付けてコンテキストマスタ記憶部42に記憶させる。
次に、予測モデル学習部54は、教師あり学習により予測モデルを構築する(ステップS206)。すなわち、予測モデル学習部54は、例えば、コンテキストマスタ記憶部42が記憶している「セグメント情報」と「ラベルID」との全ての対応関係を基に、セグメント情報とラベルIDの対応関係を教師あり学習により、予測モデルを構築する。
次に、予測モデル学習部54は、構築した予測モデルを予測モデル記憶部46に記憶させる(ステップS207)。ステップS207の処理後に、コンテキスト認識システム30は、コンテキストの登録処理、及び予測モデルの構築処理を終了する。
なお、上述したステップS201からステップS207の処理は、例えば、一定期間ごとに、又は、コンテキストマスタ記憶部42が記憶するコンテキストが更新された際に、実行される。
次に、図16を参照して、コンテキスト認識システム30によるサービス推奨処理の動作について説明する。
図16は、本実施形態におけるサービス推奨処理の一例を示すフローチャートである。
図16において、ステップS301及びステップS302の処理は、上述した図15に示すステップS201及びステップS202の処理と同様であるので、ここではその説明を省略する。
ステップS303において、コンテキスト認識システム30のコンテキスト予測部55は、予測モデルによりセグメント情報からラベルIDを予測する。すなわち、コンテキスト予測部55は、予測モデル記憶部46が記憶する予測モデルにより、分節化処理部51によって生成されたセグメント情報から、ラベルIDを予測する。
次に、コンテキスト認識システム30のコンテキスト確認部56は、予測したラベルのコンテキストを対話により確認する(ステップS304)。すなわち、コンテキスト確認部56は、コンテキスト予測部55によって予測されたラベル情報に関する質問を、対話ロボット10に出力させて取得されたユーザの発話内容に基づいて、コンテキストマスタ記憶部42が記憶しているコンテキストの妥当性を判定する。
次に、コンテキスト確認部56は、コンテキストが予測と一致しているか否かを判定する(ステップS305)。コンテキスト確認部56は、対話ロボット10から取得した返答に対応するラベルIDと、予測されたラベルIDとが一致しているか否かによって、コンテキストが予測と一致しているか否かを判定する。コンテキスト確認部56は、コンテキストが予測と一致している場合(ステップS305:YES)に、処理をステップS306に進める。また、コンテキスト確認部56は、コンテキストが予測と一致していない場合(ステップS305:NO)に、処理をステップS308に進める。
ステップS306において、コンテキスト認識システム30のサービスレコメンド部58は、コンテキストに対応するサービスを取得する。すなわち、サービスレコメンド部58は、コンテキスト予測部55によって予測されたラベルIDに対応するサービス情報(例えば、サービスID)を対応関係記憶部47から取得する。
次に、サービスレコメンド部58は、取得したサービスを推奨する(ステップS307)。すなわち、サービスレコメンド部58は、取得したサービスIDに対応するサービスを推奨する。ステップS307の処理後に、コンテキスト認識システム30は、サービス推奨処理を終了する。
また、ステップS308において、コンテキスト確認部56は、当該コンテキストに対応するセグメント情報の近傍のものをコンテキストマスタ記憶部42から削除する。すなわち、コンテキスト確認部56は、コンテキストが予測と一致していないと判定されたラベルIDに対応するセグメント情報の特徴空間内の距離Dが、所定の距離Dth以内であるコンテンツの組情報を全てコンテキストマスタ記憶部42から削除させる。ステップS308の処理後に、コンテキスト認識システム30は、サービス推奨処理を終了する。
次に、図17を参照して、コンテキスト認識システム30によるサービス登録処理の動作について説明する。
図17は、本実施形態におけるサービス登録処理の一例を示すフローチャートである。
図17において、まず、コンテキスト認識システム30の相関分析部57は、サービス実行履歴とコンテキスト発生履歴とを比較する(ステップS401)。相関分析部57は、例えば、コンテキスト発生履歴記憶部45が記憶するコンテキスト履歴情報と、サービス実行履歴記憶部44が記憶するサービス履歴情報とを比較する。
次に、相関分析部57は、発生が同期しているサービスとコンテキストとがあるか否かを判定する(ステップS402)。すなわち、相関分析部57は、コンテキスト履歴情報に含まれるラベルIDに同期して実行されたサービスがあるか否かを、サービス履歴情報に基づいて判定する。相関分析部57は、発生が同期しているサービスとコンテキスト(ラベルID)とがある場合(ステップS402:YES)に、処理をステップS403に進める。また、相関分析部57は、発生が同期しているサービスとコンテキスト(ラベルID)とがない場合(ステップS402:NO)に、処理をステップS404に進める。
ステップS403において、相関分析部57は、同期しているサービスとコンテキスト(ラベルID)とを対応関係記憶部47に追加登録する。すなわち、相関分析部57は、当該サービスを示すサービス情報と、当該ラベルIDとを対応付けて対応関係記憶部47に記憶させる。相関分析部57は、例えば、図10に示すように、「ラベルID」と、「親ラベルID」と、「サービスID」とを対応付けて対応関係情報として対応関係記憶部47に記憶させる。
次に、ステップS404において、相関分析部57は、サービスマスタ情報と、コンテキストマスタ情報とを比較する。相関分析部57は、例えば、サービスマスタ記憶部43に記憶されているマスタ情報と、コンテキストマスタ記憶部42に記憶されているラベル情報(ラベルID)とを比較する。
次に、相関分析部57は、同一のラベルIDがあるか否かを判定する(ステップS405)。相関分析部57は、例えば、コンテキストマスタ記憶部42に記憶されているラベルIDが、マスタ情報に含まれるラベルIDと一致するか否かを判定する。相関分析部57は、同一のラベルIDがある場合(ステップS405:YES)に、処理をステップS406に進める。また、相関分析部57は、同一のラベルIDがない場合(ステップS405:NO)に、サービス登録処理を終了する。
ステップS406において、相関分析部57は、同一のラベルIDに対応するサービスとコンテキスト(ラベルID)とを対応関係記憶部47に追加登録させる。すなわち、相関分析部57は、当該サービスを示すサービス情報と、当該ラベルIDとを対応付けて対応関係記憶部47に記憶させる。相関分析部57は、例えば、図10に示すように、「ラベルID」と、「親ラベルID」と、「サービスID」とを対応付けて対応関係情報として対応関係記憶部47に記憶させる。ステップS406の処理後に、相関分析部57は、サービス登録処理を終了する。
なお、上述したステップS401からステップS406の処理は、例えば、一定期間ごとに、又は、コンテキストマスタ記憶部42が記憶するコンテキストが更新された際に、実行される。
次に、図18を参照して、コンテキスト認識システム30による情報共有処理の動作について説明する。
図18は、本実施形態における情報共有処理の一例を示すフローチャートである。
図18において、コンテキスト認識システム30の情報共有部59は、まず、対応関係記憶部47の対応関係情報を情報共有サーバ20の対応関係マスタ記憶部212に記憶させる(ステップS501)。すなわち、情報共有部59は、対応関係記憶部47が記憶する対応関係情報を情報共有サーバ20にアップロードして、情報共有サーバ20の対応関係マスタ記憶部212に記憶させる。
次に、情報共有部59は、差分情報を情報共有サーバ20の対応関係マスタ記憶部212から取得する(ステップS502)。すなわち、情報共有部59は、例えば、対応関係マスタ記憶部212が記憶している対応関係情報と、対応関係記憶部47に記憶されている対応関係情報との差分情報を情報共有サーバ20から取得する。
次に、情報共有部59は、差分情報を対応関係記憶部47に追加登録する(ステップS503)。すなわち、情報共有部59は、取得した差分情報を対応関係記憶部47に追加して記憶させる。ステップS503の処理後に、コンテキスト認識システム30は、情報共有処理を終了する。
なお、上述したステップS501からステップS503の処理は、例えば、一定期間ごとに、又は、対応関係記憶部47が記憶する対応関係情報が更新された際に、実行される。
以上説明したように、本実施形態によるサービス提供システム1は、分節化処理部51と、ラベル付与部53と、予測モデル学習部54(予測モデル構築部)と、対応関係記憶部47と、コンテキスト予測部55(予測処理部)と、サービスレコメンド部58(サービス推奨部)とを備えている。分節化処理部51は、センサ31が検出した時系列に沿ったセンサ情報を分節化し、各分節の状態量を示すセグメント情報(例えば、PB値)を生成する。ラベル付与部53は、ユーザU1と対話する対話ロボット10(対話装置)によって取得されたユーザU1の発話内容に基づいて検出されたコンテキストを示すラベル情報(例えば、ラベルID)と、セグメント情報とを対応付けた組情報をコンテキストマスタ記憶部42(コンテキスト記憶部)に記憶させる。ここで、コンテキストとは、ユーザU1の状況のことである。予測モデル学習部54は、コンテキストマスタ記憶部42が記憶する上述の組情報に基づいて、セグメント情報からラベル情報を予測する予測モデルを構築する。対応関係記憶部47は、ラベル情報と、提供するサービスを示すサービス情報とを対応付けた対応関係情報を記憶する。コンテキスト予測部55は、センサ31が検出したセンサ情報から分節化処理部51によって生成されたセグメント情報と、予測モデルとに基づいて、ラベル情報を予測する。そして、サービスレコメンド部58は、コンテキスト予測部55によって予測されたラベル情報に対応するサービス情報を対応関係記憶部47から取得し、取得したサービス情報に対応するサービスを推奨する。
これにより、本実施形態によるサービス提供システム1は、検出可能なコンテキストを自動的に登録することができる。すなわち、本実施形態によるサービス提供システム1は、ユーザ固有の行動や各環境に依存した固有の状態を加味しつつ、それぞれのコンテキストに対して適切なサービスを推奨することが出来るようになり、利便性を向上させることができる。
また、本実施形態によるサービス提供システム1は、分節化処理部51が生成したセグメント情報を階層クラスタリングにより分類するセグメント分類部52を備えている。ラベル付与部53は、セグメント分類部52によって分類されたセグメント情報と、ラベル情報とを対応付けてコンテキストマスタ記憶部42に記憶させる。
これにより、本実施形態によるサービス提供システム1は、分類されたセグメント情報により、検出可能なコンテキストを適切に登録することができる。また、本実施形態によるサービス提供システム1は、階層クラスタリングにより階層化に対応したコンテキストを適切に登録することができる。また、本実施形態によるサービス提供システム1は、階層クラスタリングにより、概念の階層を生成することで、コンテキストの検出における柔軟性を持たせることができる。
また、本実施形態によるサービス提供システム1は、相関分析部57(サービス登録部)を備えている。相関分析部57は、コンテキスト履歴情報と、サービス履歴情報とに基づいて、予測されたラベル情報に同期して実行されたサービスが存在する場合に、当該サービスを示すサービス情報と、当該ラベル情報とを対応付けて対応関係記憶部47に記憶させる。ここで、コンテキスト履歴情報は、センサ情報に基づいて予測されたラベル情報の時系列な履歴であり、サービス履歴情報は、実行されたサービスの履歴である。
これにより、本実施形態によるサービス提供システム1は、自動的に対応関係情報を適切に対応関係記憶部47に追加登録することができる。すなわち、本実施形態によるサービス提供システム1では、開発者が個々に対応関係情報を登録する必要がなく、サービス情報とラベル情報とを対応付けた対応関係情報を適切に対応関係記憶部47に追加登録することができる。
また、本実施形態では、相関分析部57は、マスタ情報と、コンテキストマスタ記憶部42に記憶されているラベル情報とに基づいて、コンテキストマスタ記憶部42に記憶されているラベル情報が、マスタ情報に含まれるラベル情報と一致する場合に、当該ラベル情報と、マスタ情報に含まれ、当該ラベル情報に対応するサービス情報とを対応付けて、対応関係記憶部47に記憶させるここで、マスタ情報は、予め登録されたサービスに関するマスタ情報であって、少なくともラベル情報とサービス情報とを対応付けた情報を複数含む。
これにより、本実施形態によるサービス提供システム1は、自動的に対応関係情報を適切に対応関係記憶部47に追加登録することができる。
また、本実施形態によるサービス提供システム1は、コンテキスト確認部56を備えている。コンテキスト確認部56は、コンテキスト予測部55によって予測されたラベル情報に関する質問を、対話ロボット10に出力させて取得されたユーザの発話内容に基づいて、コンテキストマスタ記憶部42が記憶している組情報の妥当性を判定する。コンテキスト確認部56は、当該組情報が妥当でないと判定した場合に、妥当でないと判定した当該組情報に関連する組情報をコンテキストマスタ記憶部42から削除させる。
これにより、本実施形態によるサービス提供システム1は、検出可能なコンテキストが妥当でない場合に、追加登録している検出可能なコンテキストを訂正することができる。よって、本実施形態によるサービス提供システム1は、自動学習により、適切なコンテキストを検出する確度を向上させることができる。
また、本実施形態によるサービス提供システム1は、情報共有部59(共有処理部)を備えている。情報共有部59は、対応関係記憶部47が記憶するラベル情報とサービス情報とを対応付けた対応関係情報を、自システム(コンテキスト認識システム30)とは異なる他システム(他のコンテキスト認識システム30)が生成した対応関係情報を含む対応関係マスタ記憶部212に記憶させる。そして、情報共有部59は、対応関係マスタ記憶部212から他システムが生成した対応関係情報を取得して、取得した他システムが生成した対応関係情報を対応関係記憶部47に記憶させる。
これにより、本実施形態によるサービス提供システム1は、多数の対話ロボット10及び多数のコンテキスト認識システム30が協調して新たなコンテキストとサービスとの対応関係を学習することが可能である。よって、本実施形態によるサービス提供システム1は、コンテキストとサービスとの対応関係を自立的に且つより効率良く学習及び新たに獲得することができる。よって、本実施形態によるサービス提供システム1は、さらに適切なサービスを提供することができる。
また、本実施形態では、予測モデル学習部54は、所定の条件(例えば、一定期間ごと、新たなコンテキスト(組情報)が登録されるごとなどの条件)を満たす場合に、予測モデルを再構築する。
これにより、本実施形態によるサービス提供システム1は、自動学習により、さらに適切なサービスを提供することができる。
また、本実施形態によるサービス提供方法は、分節化処理ステップと、ラベル付与ステップと、予測モデル構築ステップと、予測処理ステップと、サービス推奨ステップとを含んでいる。分節化処理ステップにおいて、分節化処理部51が、センサ31が検出した時系列に沿ったセンサ情報を分節化し、各分節の状態量を示すセグメント情報(例えば、PB値)を生成する。ラベル付与ステップにおいて、ラベル付与部53が、ユーザU1と対話する対話ロボット10(対話装置)によって取得されたユーザU1の発話内容に基づいて検出されたコンテキストを示すラベル情報(例えば、ラベルID)と、セグメント情報とを対応付けた組情報をコンテキストマスタ記憶部42(コンテキスト記憶部)に記憶させる。予測モデル構築ステップにおいて、予測モデル学習部54が、コンテキストマスタ記憶部42が記憶する上述の組情報に基づいて、セグメント情報からラベル情報を予測する予測モデルを構築する。サービス推奨ステップにおいて、サービスレコメンド部58が、コンテキスト予測ステップによって予測されたラベル情報に対応するサービス情報を対応関係記憶部47から取得し、取得したサービス情報に対応するサービスを推奨する。
これにより、本実施形態によるサービス提供方法は、サービス提供システム1と同様に、検出可能なコンテキストを自動的に登録することができる。
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、対話ロボット10及びコンテキスト認識システム30のそれぞれは、1つの装置により構成される例を説明したが、これに限定されるものではなく、複数の装置により構成されてもよい。
また、上記の実施形態において、コンテキスト認識システム30が記憶部40を備える例を説明したが、記憶部40の一部、又は全部をコンテキスト認識システム30の外部に備えるようにしてもよい。また、対話ロボット10がロボット記憶部14を備える例を説明したが、ロボット記憶部14の一部、又は全部を対話ロボット10の外部に備えるようにしてもよい。
また、上記の実施形態において、センサ31は、ユーザU1が身に着けるセンサ(例えば、加速度センサなど)であってもよいし、室内などに固定に設置されたセンサであってもよい。また、センサ31は、対話ロボット10に設置されるセンサであってもよい。
また、上記の実施形態において、対話ロボット10は、“今何している?”といったオープンな質問と、“体操しているの?”といったクローズな質問とを、例えば、サービス提供システム1の稼働期間に応じて、切り替えて使用してもよい。例えば、稼働期間が短い場合には、より多くの情報を得るために、対話ロボット10が、オープンな質問によりユーザU1との対話処理を行い、稼働期間が所定の期間に達した場合に、クローズな質問によりユーザU1との対話処理を行うようにしてもよい。また、稼働期間に応じて、対話ロボット10が、例えば、オープンな質問と、クローズな質問との割合を変更するようにしてもよい。
また、対話ロボット10は、設置型のロボットであってもよいし、自走型のロボットであってもよい。また、対話ロボット10は、例えば、スマートフォンやタブレット端末などの端末装置上で動作するソフトウェアによるロボットエージェントであってもよい。このロボットエージェントは、例えば、音声、又は、画面表示及び入力インターフェースを利用してユーザU1と端末装置との間で対話を行うアプリケーションソフトウェアである。
また、上記の実施形態において、コンテキストは、ユーザの状況である場合の例を説明したが、例えば、ユーザU1周辺の環境の状況であってもよい。環境の状況とは、例えば、窓が開いているなどの部屋の状況、天気などである。この場合、対話ロボット10は、例えば、“窓が開いているの?”、“雨が降っているの?”などのように、ユーザU1周辺の環境の状況を問合せた返答に基づいて、ユーザU1周辺の環境の状況を示すラベル情報を取得する。
また、上記の実施形態において、コンテキスト認識システム30は、セグメント分類部52を備え、セグメント情報に対して階層クラスタリングを実行する例を説明したが、セグメント分類部52を備えずに、階層クラスタリングを実行しない形態であってもよい。
また、上記の実施形態において、情報共有部59は、対応関係記憶部47が記憶する全対応関係情報を情報共有サーバ20にアップロードする例を説明したが、情報共有サーバ20の対応関係マスタ記憶部212が記憶する対応関係情報との差分情報をアップロードするようにしてもよい。
また、上記の実施形態において、対話制御部151は、一定期間ごとに、ユーザU1に話しかける例を説明したが、センサ31の計測値、又は撮像部13の撮像画像に応じてユーザU1に話しかけるようにしてもよい。対話制御部151は、例えば、センサ31又は撮像部13により人物を検出したり、所定の動作などを検出したりした場合に、ユーザU1に話しかけるようにしてもよい。
また、上記の実施形態において、対話制御部151は、スピーカ11及びマイク12を用いた音声により対話する例を説明したが、これに限定されるものではなく、音声以外により対話を行うようにしてもよい。対話制御部151は、例えば、質問を表示する表示装置と、キーボードやタッチパネルなどの返答を入力する入力装置とを用いて対話を行うようにしてもよい。なお、この場合、音声合成部152及び音声認識部153が不要になる。
なお、上述したサービス提供システム1が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したサービス提供システム1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したサービス提供システム1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にサービス提供システム1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1 サービス提供システム
10 対話ロボット
11 スピーカ
12 マイク
13 撮像部
14 ロボット記憶部
15 ロボット制御部
20 情報共有サーバ
21 サーバ記憶部
22 サーバ制御部
30 コンテキスト認識システム
31 センサ
32 センサ受信部
40 記憶部
41 センサ履歴記憶部
42 コンテキストマスタ記憶部
43 サービスマスタ記憶部
44 サービス実行履歴記憶部
45 コンテキスト発生履歴記憶部
46 予測モデル記憶部
47 対応関係記憶部
50 制御部
51 分節化処理部
52 セグメント分類部
53 ラベル付与部
54 予測モデル学習部
55 コンテキスト予測部
56 コンテキスト確認部
57 相関分析部
58 サービスレコメンド部
59 情報共有部
141 辞書記憶部
142 音響モデル記憶部
143 対話履歴記憶部
151 対話制御部
152 音声合成部
153 音声認識部
154 画像認識部
211 ラベルマスタ記憶部
212 対応関係マスタ記憶部

Claims (8)

  1. センサが検出した時系列に沿ったセンサ情報を分節化し、各分節の状態量を示すセグメント情報を生成する分節化処理部と、
    ユーザと対話する対話装置によって取得された前記ユーザの状況であるコンテキストを示すラベル情報と、前記セグメント情報とを対応付けた組情報をコンテキスト記憶部に記憶させるラベル付与部と、
    前記コンテキスト記憶部が記憶する前記組情報に基づいて、前記セグメント情報から前記ラベル情報を予測する予測モデルを構築する予測モデル構築部と、
    前記ラベル情報と、提供するサービスを示すサービス情報とを対応付けて記憶する対応関係記憶部と、
    前記センサが検出したセンサ情報から前記分節化処理部によって生成された前記セグメント情報と、前記予測モデルとに基づいて、前記ラベル情報を予測する予測処理部と、
    前記予測処理部によって予測された前記ラベル情報に対応するサービス情報を前記対応関係記憶部から取得し、取得したサービス情報に対応するサービスを推奨するサービス推奨部と
    を備えることを特徴とするサービス提供システム。
  2. 前記分節化処理部が生成した前記セグメント情報を階層クラスタリングにより分類するセグメント分類部を備え、
    前記ラベル付与部は、前記セグメント分類部によって分類された前記セグメント情報と、前記ラベル情報とを対応付けて前記コンテキスト記憶部に記憶させる
    ことを特徴とする請求項1に記載のサービス提供システム。
  3. 前記センサ情報に基づいて予測された前記ラベル情報の時系列な履歴であるコンテキスト履歴情報と、実行された前記サービスの履歴であるサービス履歴情報とに基づいて、予測された前記ラベル情報に同期して実行された前記サービスが存在する場合に、当該サービスを示す前記サービス情報と、当該ラベル情報とを対応付けて前記対応関係記憶部に記憶させるサービス登録部を備える
    ことを特徴とする請求項1又は請求項2に記載のサービス提供システム。
  4. 前記サービス登録部は、
    予め登録された前記サービスに関するマスタ情報であって、少なくとも前記ラベル情報と前記サービス情報とを対応付けた情報を複数含むマスタ情報と、前記コンテキスト記憶部に記憶されている前記ラベル情報とに基づいて、前記コンテキスト記憶部に記憶されている前記ラベル情報が、前記マスタ情報に含まれる前記ラベル情報と一致する場合に、当該ラベル情報と、前記マスタ情報に含まれ、当該ラベル情報に対応する前記サービス情報とを対応付けて、前記対応関係記憶部に記憶させる
    ことを特徴とする請求項3に記載のサービス提供システム。
  5. 前記予測処理部によって予測された前記ラベル情報に関する質問を、前記対話装置に出力させて取得された前記ユーザの発話内容に基づいて、前記コンテキスト記憶部が記憶している前記組情報の妥当性を判定し、当該組情報が妥当でないと判定した場合に、妥当でないと判定した当該組情報に関連する前記組情報を前記コンテキスト記憶部から削除させるコンテキスト確認部を備える
    ことを特徴とする請求項1から請求項4のいずれか一項に記載のサービス提供システム。
  6. 前記対応関係記憶部が記憶する前記ラベル情報と前記サービス情報とを対応付けた対応関係情報を、自システムとは異なる他システムが生成した前記対応関係情報を含む対応関係マスタ記憶部に記憶させるとともに、前記対応関係マスタ記憶部から前記他システムが生成した前記対応関係情報を取得して、取得した前記他システムが生成した前記対応関係情報を前記対応関係記憶部に記憶させる共有処理部を備える
    ことを特徴とする請求項1から請求項5のいずれか一項に記載のサービス提供システム。
  7. 前記予測モデル構築部は、所定の条件を満たす場合に、前記予測モデルを再構築する
    ことを特徴とする請求項1から請求項6のいずれか一項に記載のサービス提供システム。
  8. ユーザの状況であるコンテキストを示すラベル情報と、提供するサービスを示すサービス情報とを対応付けて記憶する対応関係記憶部を備えるコンピュータに、
    センサが検出した時系列に沿ったセンサ情報を分節化し、各分節の状態量を示すセグメント情報を生成する分節化処理ステップと、
    ユーザと対話する対話装置によって取得された前記ユーザの状況であるコンテキストを示すラベル情報と、前記セグメント情報とを対応付けてコンテキスト記憶部に記憶させるラベル付与ステップと、
    前記コンテキスト記憶部が記憶する前記ラベル情報と、前記セグメント情報とに基づいて、前記セグメント情報から前記ラベル情報を予測する予測モデルを構築する予測モデル構築ステップと、
    前記センサが検出したセンサ情報から前記分節化処理ステップによって生成された前記セグメント情報と、前記予測モデルとに基づいて、前記ラベル情報を予測する予測処理ステップと、
    前記予測処理ステップによって予測された前記ラベル情報に対応するサービス情報を前記対応関係記憶部から取得し、取得したサービス情報に対応するサービスを推奨するサービス推奨ステップと
    を実行させるためのプログラム。
JP2016136757A 2016-07-11 2016-07-11 サービス提供システム、及びプログラム Active JP6749164B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016136757A JP6749164B2 (ja) 2016-07-11 2016-07-11 サービス提供システム、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016136757A JP6749164B2 (ja) 2016-07-11 2016-07-11 サービス提供システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018010343A JP2018010343A (ja) 2018-01-18
JP6749164B2 true JP6749164B2 (ja) 2020-09-02

Family

ID=60995476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136757A Active JP6749164B2 (ja) 2016-07-11 2016-07-11 サービス提供システム、及びプログラム

Country Status (1)

Country Link
JP (1) JP6749164B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6896666B2 (ja) * 2018-03-07 2021-06-30 株式会社日立ビルシステム 勤務管理システム及び方法
JP7109346B2 (ja) * 2018-11-29 2022-07-29 株式会社日立製作所 実績データ管理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4263473B2 (ja) * 2002-12-26 2009-05-13 Kddi株式会社 サービス情報提供システム
JP4821305B2 (ja) * 2005-12-20 2011-11-24 トヨタ自動車株式会社 サービス提供システム
JP5252393B2 (ja) * 2008-05-13 2013-07-31 独立行政法人情報通信研究機構 動作学習装置
JP5336896B2 (ja) * 2009-03-24 2013-11-06 株式会社国際電気通信基礎技術研究所 対物行動推定装置およびサービス提供システム
EP2616957A4 (en) * 2010-09-17 2015-10-14 Nokia Technologies Oy METHOD AND APPARATUS FOR SEGMENTING CONTEXT INFORMATION
JP6031735B2 (ja) * 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2018010343A (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
CN109547814B (zh) 视频推荐方法、装置、服务器及存储介质
Tao et al. End-to-end audiovisual speech recognition system with multitask learning
JP6386107B2 (ja) グローバルモデルからの局所化された学習
CN111310019B (zh) 信息推荐方法、信息处理方法、系统及设备
JP2022504704A (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
CN110019745A (zh) 具有自学习自然语言理解的对话系统
CN110288987A (zh) 用于处理声音数据的系统和控制该系统的方法
JP2021533397A (ja) 話者埋め込みと訓練された生成モデルとを使用する話者ダイアライゼーション
US11238132B2 (en) Method and system for using existing models in connection with new model development
CN104808794A (zh) 一种唇语输入方法和系统
US11450095B2 (en) Machine learning for video analysis and feedback
CN111489819A (zh) 检测认知和语言障碍的方法、服务器和计算机可读介质
US10836044B2 (en) Robot control device and robot control method
Zhou et al. A New Remote Health‐Care System Based on Moving Robot Intended for the Elderly at Home
JP6749164B2 (ja) サービス提供システム、及びプログラム
Lin et al. Looking at the body: Automatic analysis of body gestures and self-adaptors in psychological distress
JP6886651B2 (ja) 行動コマンド生成システム、応答システムおよび行動コマンド生成方法
JP6985230B2 (ja) 業務分析サーバ、業務分析方法、および業務分析プログラム
CN116741154A (zh) 数据选取方法、装置、电子设备及存储介质
CN112309374B (zh) 服务报告生成方法、装置和计算机设备
Casillas-Perez et al. Full body gesture recognition for human-machine interaction in intelligent spaces
US11403556B2 (en) Automated determination of expressions for an interactive social agent
KR20240082169A (ko) 여행 장소 별 여행 감성 특징 결정을 위한 인공지능 모델을 학습시키는 방법 및 전자 장치
JP2024068624A (ja) 情報処理装置、情報入力支援システム、情報入力支援方法、及びプログラム
JP6565084B2 (ja) 物体認証装置および物体認証方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200811

R150 Certificate of patent or registration of utility model

Ref document number: 6749164

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250