JP4058031B2

JP4058031B2 - ユーザ行動誘発システム及びその方法

Info

Publication number: JP4058031B2
Application number: JP2004274950A
Authority: JP
Inventors: 大介山本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-09-22
Filing date: 2004-09-22
Publication date: 2008-03-05
Anticipated expiration: 2024-09-22
Also published as: JP2006088251A

Description

本発明は、サービス提供を介したユーザとロボットのインタラクションに基づく行動データベースの蓄積結果を利用して、ユーザの行動を促すロボットに関する。

近年、家庭内で、ユーザを楽しませるエンターテイメントロボットや、ユーザの役に立つロボットが研究・開発されている。前者のエンターテイメントロボットにおいては、ユーザを楽しませることが目的であり、飽きさせないことがその課題の一つとなっている。後者の役に立つロボットでは、ユーザの命令を聞いて行動するものや、ユーザの意図を認識しユーザに合った行動をするものが提案されている。

エンターテイメントロボットとしては、ロボットがユーザを飽きさせないような行動をさせるために、ロボット装置に行動獲得のための強化学習を行わせるものがある。その際、行動価値の学習率を動的に変更することを特徴とするロボット装置およびロボット制御方法、記録媒体、並びにプログラムが挙げられている（特許文献１を参照）。

役に立つロボットとしては、ユーザの生活習慣や生活環境等に応じて、あるいはユーザの嗜好に則して、各種機器を制御するコントローラとして、予めユーザの操作情報とその操作がなされたときの外的状況の情報を記憶し、現在のユーザの操作情報と外的状況の情報から、ユーザに適した操作信号を生成する統合コントローラ、機器制御方法及び機器制御プログラムが提案されており、その機器制御プログラムを適応したロボットが挙げられている（特許文献２を参照）。

また人間の行動をロボットが模倣することで、人間−ロボット間で対面コミュニケーションを実現する方法がある（非特許文献１を参照）。これは、人間とロボットとの対面コミュニケーションにおいて、人間の行動から音声情報と関節角度情報を取得し、ロボットはその取得情報を再現することで、人を模倣するというものである。
特開２００３−３４０７６０公報特開２００３−１１１１５７公報模倣を主体とした人間−ロボットコミュニケーションに関する基礎実験(第１９回ロボット学会学術講演会予稿集(1J15）

上述したように、エンターテイメントロボットについてはユーザを飽きさせないために、ロボットへの入力信号に対する出力動作パターンを強化学習により変化させるものであり、また、役に立つロボットは、ユーザの過去の操作パターンを記録しておき、現在の状況から、次にユーザが行うであろう操作を先読みし、ユーザの代わりにロボットが実行するもので、ユーザの行動自体は特に反映されず、ユーザ自体に行動を促すことはできなかった。

更に、人間−ロボット間で対面コミュニケーションでは、人間とロボットの対面コミュニケーションが目的であり、ロボットは人間の模倣をするために、取得情報と出力情報は、同次元のものである必要（例えば、取得する人間の関節角度情報を用いるためには、ロボットもそれに対応する関節を有する必要がある）があるといった問題があった。

本発明では、上記した問題を解決するために、ユーザに合わせた出力が可能であり、それぞれのユーザに適した誘発行動を実行することが可能となるユーザ行動誘発システム及びユーザ行動誘発方法を提供することを目的とする。

上記した目標を達成するために、本発明では、センサからユーザ及びロボットの行動デ
ータを入力するデータ入力部と、このデータ入力部で入力したユーザの行動データからユ
ーザ行動の類似した行動毎に分類分けを行う行動分類処理部と、データ入力部で入力され
たロボットの行動データに対応する行動分類処理部で分類されたユーザ行動の発生確率を
求める因果関係推測部と、誘発したいユーザ行動を入力する指示入力部と、行動分類処理
部で分類されたユーザ行動から、誘発したいユーザ行動と類似したユーザ行動を検索する
類似度検索部と、類似度検索部で検索されたユーザ行動に対応するロボットの行動データ
の発生確率に基づいて、ロボットの行動データを抽出する行動検索部と、行動検索部によ
り抽出されたロボットの行動データをロボットに実行させるロボット行動処理部と、入力
された行動データを標準化し、その偏差の大きい箇所で時系列に沿ってユーザ行動毎に切
り分ける切り分け部と、前記切り分け部で切り分けられた前記行動データから特徴量を抽
出する特徴量抽出部と、前記特徴量をユーザ行動毎に無次元化し特徴パラメータを抽出す
る特徴量無次元化部とを具備し、前記行動分類処理部は、前記特徴パラメータを軸とした
多次元空間内の位置ベクトルから、類似した行動毎に行動データの分類分けを行うことを
特徴とする。
また、本発明では、センサからユーザ及びロボットの行動データを入力するデータ入力
ステップと、前記データ入力で入力したユーザの行動データからユーザ行動の類似した行
動毎に分類分けを行う行動分類ステップと、前記データ入力ステップで入力されたロボッ
トの行動データに対応する前記行動分類ステップで分類されたユーザ行動の発生確率を求
める因果関係推測ステップと、誘発したいユーザ行動を入力する指示入力ステップと、前
記行動分類ステップで分類されたユーザ行動から、前記誘発したいユーザ行動と類似した
ユーザ行動を検索する類似検索ステップと、前記類似検索ステップで検索されたユーザ行
動に対応するロボットの行動データの発生確率に基づいて、ロボットの行動データを抽出
する行動検索ステップと、前記行動検索ステップにより抽出されたロボットの行動データ
をロボットに実行させるロボット行動ステップと、入力された行動データの特徴量を標準
化し、その偏差の大きい箇所で時系列に沿ってユーザ行動毎に切り分ける切り分けステッ
プと、前記切り分け部で切り分けられた前記行動データから行動データ特徴量を抽出する
特徴量抽出ステップと、前記特徴量をユーザ行動毎に無次元化し特徴パラメータを抽出す
る特徴量無次元化ステップとを含み、前記行動分類処理ステップは、前記特徴パラメータ
を軸とした多次元空間内の位置ベクトルから、類似した行動毎に行動データの分類分けを
行うことを特徴とする。

これにより、ユーザに所望の行動をさせたい場合、その所望行動を過去にもたらしたロボット行動を検索し、そのロボットがその行動を実行することで、ユーザにある行動をするよう促す。

本発明により、ユーザに合わせた出力が可能であり、それぞれのユーザに適した誘発行動を実行することが可能である。またユーザの行動として、ユーザが“楽しんでいる”、“めったにない行動を取っている”などを考慮し、それを誘発することで、飽きさせない擬似的なコミュニケーションを図ることも可能である。

以下、本発明の実施の形態を図面に基づいて説明する。
本発明の実施の形態について、例えば車輪で移動し、頭部として２つの自由度（パン・チルト）を有するカメラ雲台を搭載したロボットを用いた、ユーザ行動誘発システムを示す。図１に本実施の形態の構成を、図２に本実施の形態のロボットの模式図を示す。

図１に示すように、本実施例は大きく分けて、データベースへのデータ蓄積処理部１１０と、データベースを用いたユーザ行動誘発処理部１３０とからなる。データ蓄積処理部１１０は、データ入力部１１１、切り分け部１１２、特徴量抽出部１１３、特徴量無次元化部１１４、行動分類処理部１１５、因果関係推測部１１６、ロボット行動記憶部１１７とから構成される。ユーザ行動誘発処理部１３０は、指示入力部１３１、類似度検索部１３２、行動検索部１３３、ロボット行動処理部１３４とから構成される。

図２に示すように、ユーザ２００の行動を検出する入力装置は、室内に固定設置されているセンシング装置として、ユーザ２００の位置を検出する位置検出用ＲＦＩＤ２０１、ユーザの画像を取得する固定カメラ２２０、ユーザ２００の音声を取得する固定マイク２３０があり、ロボット２１０に搭載されているセンシング装置として、頭部に設置されているカメラ２１１、マイク２１２、ロボット２１０の表面に設置され接触を検出するタッチセンサ２１３がある。

まず初めにデータベースのデータ蓄積処理部１１０の動作について示す。まずデータ入力部１１１では、固定センサ１０１−１〜１０１−Ｎ、ロボットに搭載されるセンサ１０２−１〜１０２−Ｍ等の各センシング装置からの出力（時系列データ）をあるサンプリング周期で入力し時系列ＤＢ１２１にこの時系列データを記憶させる。センシング装置からの出力はＲＦＩＤであれば室内での座標値（Ｘ，Ｙ）、カメラであれば画像データ、音声であれば音声データ、タッチセンサであれば押された圧力値となる。また、音声データのように、単語などの抽象的なレベルに認識可能なものは、その単語としても記憶する。これら時系列データはユーザだけではなく、同時にロボットの行動についても記憶する。記憶されるロボットの行動としては、ロボットの位置（これはＲＦＩＤを用いても、ロボットの内部センサから自己位置認識部により算出されて位置でもよい）、ロボット雲台角度、ロボット発声音声データ等がある。発声音声データに関しても単語などの抽象的なものがあれば、その単語も記憶する。各データは、図３（ａ）に示したように、センサのサンプリング周期ｔごとの時系列データｘ_ｉ（ｔ）（ここでｉは入力パラメータ）となる（単語などの抽象的なものは、例えば発声時点でのデータとする）。ここで、時間軸でデータ列を示すと図５（ａ）のようにサンプリング周期ｔごとの時系列データがセンシング装置から出力され、データ入力部１１１で時系列ＤＢに記憶される。

次に、データ入力部１１１で入力された時系列データをある意味を持ったユーザ行動（Ｕ_１、Ｕ_２、・・・、Ｕ_ｎ）として、図３（ａ）に示すよう時系列データを点線で囲まれた部分毎に切り分け部１１２で切り分ける。切り分ける方法としては、一定時間ごとに切り分ける方法や各データを標準化しその偏差の大きいところで切り分ける方法、または音声データがある場合にはその切れ目で切り分ける方法等を用いる。例えば、ユーザの位置を検出するセンサからのデータを用いて、その位置変化量の偏差の大きいところで切り分ければ、ユーザが歩いている際のユーザ行動と立ち止まった際のユーザ行動を切り分けることができる。また、その際のロボット行動も同様の方法を用いて切り分ける。ここで、時間軸でデータ列を示すと図５（ｂ）のように時系列データはＲ_１〜Ｒ_ｎ、Ｕ_１〜Ｕ_ｎに切り分け部１１２で切り分けられる。

次に特徴量抽出部１１３では、ユーザ行動（Ｕ_１、Ｕ_２、・・・、Ｕ_ｎ）の各要素時系列情報ｘ_１（ｔ）、ｘ_２（ｔ）、・・・、ｘ_ｌ（ｔ）をそれぞれ一つの数値で表される特徴ｐ_ｊ（ｎ）（ｊは特徴番号、ｎはユーザ行動番号）を抽出する。特徴としては、時系列データｘ_ｉ（ｔ）自体の平均値や最大値、最小値、標準偏差等や、時系列データｘ_ｉ（ｔ）から算出される変化量ｘ_ｉ’（ｔ）や加速度量ｘ_ｉ’’（ｔ）の平均値や最大値、最小値、標準偏差等、またはユーザ行動自体の時間等とする。例えばユーザの位置を検出するセンサからのデータを用いれば、この特徴ｐ_ｊ（ｎ）は、そのユーザ行動中のユーザの平均移動速度や最大移動速度であったり、マイクロフォンからのデータを用いれば、最大音量であったり、音声データから算出した音の高低とする。図３（ｂ）に示すように、特徴量抽出部１１３で抽出された各ユーザ行動の特徴量ｐ_ｊ（ｎ）が特徴量ＤＢ１２２に記憶される。

次に特徴量無次元化部１１４は、数１に示されるように、各特徴の各ユーザ行動での標準偏差Ｓ_ｊ（ｎ）を算出し、この標準偏差Ｓ_ｊ（ｎ）から数２に示されるように無次元化し特徴パラメータＰ_ｊ（ｎ）を算出する。

そして特徴量無次元化部１１４は、図３（ｃ）に示すようにユーザ行動毎に無次元化し特徴パラメータＰ_ｊ（ｎ）を無次元化特長量ＤＢ１２３に記憶する。また、数３で示されるようにユーザ行動自体をその特徴パラメータを軸とした多次元空間内の位置ベクトルｕ_ｎという形で表せる。

行動分類処理部１１５では、ユーザ行動を示す位置ベクトルｕ_ｎの距離の長短から各行動の類似度を判定し、類似した行動ごとに分類分けを行う。例えば、図４（ａ）に示すように、ユーザ行動を示す位置ベクトルｕ_１、ｕ_３はクラスタリングされユーザ行動Ｕ_ａと判定される。同様に、位置ベクトルｕ_２、ｕ_４はそれぞれユーザ行動Ｕ_ｂ、Ｕ_ｃと判定される。更に、図４（ａ）の分類結果がユーザ行動分類ＤＢ１２４に記憶される。

因果関係推測部１１６は、分類された行動とその分類された行動を引き起こしたロボット行動を推測する。推測方法としては、例えば、図５（ｃ）に示すように、ユーザ行動が起こる直前に行われていたロボット行動や、データベースの中から、あるユーザ行動が起こる前にたびたび行われていたロボット行動が原因となったユーザ行動であると推測する。そして、図４（ｂ）に示すように、各ロボット行動に対する分類されたユーザ行動の発生確率を求め因果関係対応ＤＢ１２５に記憶する。

ロボット行動記憶部１１７は、この因果関係推測部１１６で推測された、あるユーザ行動の原因となるロボット行動をロボット行動ＤＢ１２６に記憶する。
続いて、ユーザ行動誘発処理部１３０の動作について示す。まず誘発したいユーザ行動を指示入力部１３１により入力する。入力者は行動を行うユーザ自身であっても、また別のユーザであっても構わない。次に類似度検索部１３２は、入力された情報から、ユーザ行動分類ＤＢ１２４を検索して、最も近いユーザ行動を抽出する。

行動検索部１３３は、抽出されたユーザ行動を引き出した（原因となった）ロボット行動を因果関係対応ＤＢから検索し、ロボット行動処理部１３４は、そのロボット行動をロボット行動ＤＢ１２６から抽出して実行する。例えば、行動検索部１３３は因果関係対応ＤＢ１２５から最も確率の高いロボット行動を検索し、ロボット行動処理部１３４はこの確率の最も高いロボット行動をロボット行動ＤＢ１２６から抽出して、ロボット本体に出力する。そうすることで、誘発したいユーザ行動を促す行動をロボット本体が行う。

具体的には、例えば図６に示すように子供を起す場合を考える。親がロボットに子供Ａを起して欲しい場合、親はロボットに対し、“子供Ａを起して”を指示する（Ｓ１）。指示入力部１３１は“子供Ａが起きた”という事象に最も近いユーザ行動をユーザ行動分類ＤＢ１２４から検索する（Ｓ２）。そしてユーザ行動を引き起こしたロボットの行動を検索し、それをロボットに実行させる。子供Aが起きた事象は、「ロボットが“起きろ！”と発話時に10%」、「“朝だ！”と発話時に5%」、「ロボットが壁に衝突したら90%の確率で起きた」、とする。この場合、最も起きた確率の高かった、“ロボットが壁に衝突する”をロボットは実行する（Ｓ３）。その結果の子供Ａが起きたかどうかをデータ蓄積処理部１１０で検出して判定する（Ｓ４）。子供Ａが起きた場合には、各データベースを更新する（Ｓ５）。もし、子供Ａが起きなかった場合には、次に高い確率のロボットの行動をロボットに実行させ（Ｓ６）、子供Ａが起きたかどうかをデータ蓄積処理部１１０で検出して判定する。

上記の処理を繰り返すことで、ユーザの行動を効果的に、またそれぞれのユーザに合わせた誘発方法を実行することが可能となる。
ここでは、データ蓄積処理部１１０、ユーザ行動誘発処理部１３０、及び各データベース（ＤＢ）１２１〜１２６はロボット本体２１０内に構成されてもよく、ロボット本体２１０外に構成されてもよい。また、これら一部がロボット本体２１０内に構成されていても適用できる。

実施の形態のユーザ行動誘発システムを示す構成図実施の形態のユーザ行動誘発システムを示す環境模式図時系列ＤＢ、特徴量ＤＢ、無次元化特長量ＤＢのデータ構造を示す図。ユーザ行動分類ＤＢ、因果関係対応ＤＢのデータ構造を示す図。実施の形態のロボットとユーザの行動を示すタイムチャート実施の形態のユーザ行動誘発システムを示すフローチャート

符号の説明

１０１−１〜１０１−Ｎ：固定センサ
１０２−１〜１０２−Ｍ：ロボット搭載センサ
１１０：データ蓄積処理部
１１１：記憶部
１１２：切り分け部
１１３：特徴量抽出部
１１４：特徴量無次元化部
１１５：行動分類処理部
１１６：因果関係推測部
１１７：ロボット行動記憶部
１２１：時系列ＤＢ
１２２：特徴量ＤＢ
１２３：無次元化特徴量ＤＢ
１２４：ユーザ行動分類ＤＢ
１２５：因果関係対応ＤＢ
１２６：ロボット行動ＤＢ
１３０：ユーザ行動誘発処理部
１３１：指示入力部
１３２：類似度検索部
１３３：行動検索部
１３４：ロボット行動処理部
２００：ユーザ
２０１：位置検出用ＲＦＩＤ
２１０：ロボット
２１１：カメラ
２１２：マイク
２１３：タッチセンサ
２２０：固定カメラ
２３０：固定マイク

Claims

センサからユーザ及びロボットの行動データを入力するデータ入力部と、
前記データ入力部で入力したユーザの行動データからユーザ行動の類似した行動毎に分
類分けを行う行動分類処理部と、
前記データ入力部で入力されたロボットの行動データに対応する前記行動分類処理部で
分類されたユーザ行動の発生確率を求める因果関係推測部と、
誘発したいユーザ行動を入力する指示入力部と、
前記行動分類処理部で分類されたユーザ行動から、前記誘発したいユーザ行動と類似し
たユーザ行動を検索する類似度検索部と、
前記類似度検索部で検索されたユーザ行動に対応するロボットの行動データの発生確率
に基づいて、ロボットの行動データを抽出する行動検索部と、
前記行動検索部により抽出されたロボットの行動データをロボットに実行させるロボッ
ト行動処理部と、
入力された行動データを標準化し、その偏差の大きい箇所で時系列に沿ってユーザ行動
毎に切り分ける切り分け部と、
前記切り分け部で切り分けられた前記行動データから特徴量を抽出する特徴量抽出部と
、
前記特徴量をユーザ行動毎に無次元化し特徴パラメータを抽出する特徴量無次元化部と
を具備し、
前記行動分類処理部は、前記特徴パラメータを軸とした多次元空間内の位置ベクトルか
ら、類似した行動毎に行動データの分類分けを行うことを特徴とするユーザ行動誘発シス
テム。
前記特徴量無次元化部は、数１および数２に従って前記特徴パラメータを抽出すること
を特徴とする請求項１記載のユーザ行動誘発システム。

ここで、Ｓｊ（ｎ）は標準偏差、ｐｊ（ｎ）は前記特徴量、Ｐｊ（ｎ）は前記特徴パラメ
ータ。
前記特徴量無次元化部は、数３に従って前記位置ベクトルをも求めることを特徴とする
請求項１記載のユーザ行動誘発システム。

ここで、ｕｎは前記位置ベクトル。
センサからユーザ及びロボットの行動データを入力するデータ入力ステップと、
前記データ入力で入力したユーザの行動データからユーザ行動の類似した行動毎に分類
分けを行う行動分類ステップと、
前記データ入力ステップで入力されたロボットの行動データに対応する前記行動分類ス
テップで分類されたユーザ行動の発生確率を求める因果関係推測ステップと、
誘発したいユーザ行動を入力する指示入力ステップと、
前記行動分類ステップで分類されたユーザ行動から、前記誘発したいユーザ行動と類似
したユーザ行動を検索する類似検索ステップと、
前記類似検索ステップで検索されたユーザ行動に対応するロボットの行動データの発生
確率に基づいて、ロボットの行動データを抽出する行動検索ステップと、
前記行動検索ステップにより抽出されたロボットの行動データをロボットに実行させる
ロボット行動ステップと、
入力された行動データを標準化し、その偏差の大きい箇所で時系列に沿ってユーザ行動
毎に切り分ける切り分けステップと、
前記切り分け部で切り分けられた前記行動データから特徴量を抽出する特徴量抽出ステ
ップと、
前記特徴量をユーザ行動毎に無次元化し特徴パラメータを抽出する特徴量無次元化ステ
ップとを含み、
前記行動分類処理ステップは、前記特徴パラメータを軸とした多次元空間内の位置ベク
トルから、類似した行動毎に行動データの分類分けを行うことを特徴とするユーザ行動誘
発方法。