JP4266552B2

JP4266552B2 - ロボット装置及びその制御方法

Info

Publication number: JP4266552B2
Application number: JP2001318362A
Authority: JP
Inventors: 清仁窪田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-10-16
Filing date: 2001-10-16
Publication date: 2009-05-20
Anticipated expiration: 2021-10-16
Also published as: JP2003117866A

Description

【０００１】
【発明の属する技術分野】
本発明は、人物を特定し、内部感情にしたがって動作するロボット装置及びその制御方法に関する。
【０００２】
【従来の技術】
昨今のペット型ロボットに代表されるロボット装置は、エンターテイメント用途ということもあり、ロボット装置自身が感情あるいは性格を持つように構成されている。このロボット装置の性格や感情は、撫でる／叩くなどの操作結果や言葉の音声認識の結果、あるいは照明などの外部環境の結果に基づき、連続的に変化する。図１９は従来のロボット装置における感情値の遷移を示したものであり、ある点ｔ１におけるロボット感情値８０１は時間や操作などに伴い感情値８０２（ｔ２）、８０３（ｔ３）と変化している。
【０００３】
したがって、人物Ａが操作を行った結果、ロボット感情値が感情値８０１の状態から感情値８０２の状態へ遷移すると、次の人物がロボット装置を操作する場合のロボット感情値は感情値８０２の状態から始まることになる。例えば、特開２００１−１５４７０７号公報に記載されたロボット装置においては、怒り、悲しみや喜びといった感情を確率状態遷移モデルで形成し、各感情モデルから他の感情モデルへこの確率状態遷移モデルに従って遷移する方式が提案されている。しかし、この確率遷移を用いた感情モデルにおいても人物を特定する機構がないため、過去の操作者に関係なく現在の感情モデルに従って感情遷移が行われていた。
【０００４】
このように、従来のロボット装置では、以前誰が操作したのかにかかわらず、単純に過去のロボットの操作や対話の履歴結果や外部環境によってのみロボット装置の感情を決定し、遷移させていた。
【０００５】
【発明が解決しようとする課題】
このように従来のロボット装置では、以前誰が操作したのかに関わらず、単純に過去のロボット装置の操作や対話の履歴結果や外部環境によってのみロボット装置の感情を決定し、遷移させていた。そこで、以下に示すような課題が生じていた。
【０００６】
第１の課題は、特に複数人が操作する環境においてパーソナル性が低いということである。その理由は、従来のロボット装置では単純に操作履歴や対話履歴に基づいて感情や性格、あるいはこれらに基づく行動を決定しているため、人物ごとの操作履歴や対話履歴がロボット装置の行動や感情へ反映されていないからである。
【０００７】
第２の課題は、ファミリー的な要素に欠けるということである。その理由は、一般的に家庭で使用されるロボット装置においては、ロボット装置と家族の中に一定の関係が存在し、その関係の中でロボット装置の行動や感情が決定されたり制限されるべきであるが、従来のロボット装置ではこの関係が全く考慮されていないからである。
【０００８】
本発明は上記事情に鑑みてなされたものであり、人物の過去の操作履歴や対話履歴、あるいは過去の感情や対人度（好感度や親密度など）に基づいて感情を決定し、動作することができるロボット装置およびその制御方法を提供することを目的とする。例えば、ロボットが悲しんでいる状態でよく遊んでくれる人物と遭遇すると、「泣いている子が笑った」という状態が実現される。
【０００９】
また、本発明の他の目的は、家族（人物）とロボット装置との相関関係を定義しておくことにより、ロボット装置が人物と遭遇すると、その相関関係に基づいた感情変化や行動をとらせることができるロボット装置およびその制御方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
係る目的を達成するために請求項１記載の発明は、人物を特定する人物特定手段と、利用者に関する情報、利用者間の相関関係、及びロボット装置と利用者との関係を定義した利用者情報を記憶する第１の記憶手段と、直前の利用者に関する情報を記憶する第２の記憶手段と、人物遭遇時に、第２の記憶手段に記憶されている直前の利用者に関する情報と、前記人物特定手段により特定された現在の利用者を示す情報と、利用者情報とに基づいた発話を行う発話手段、及び、人物遭遇時に、第２の記憶手段に記憶されている直前の利用者に関する情報と、人物特定手段により特定された現在の利用者を示す情報と、利用者情報に基づいた行動を行う行動手段の少なくとも一方と、を有することを特徴とする。
【００１１】
請求項２記載の発明は、人物を特定する人物特定手段と、人物の発話内容を解釈する音声認識手段と、人物より入力された操作情報を取得する操作情報取得手段と、音声認識手段により解釈した人物の発話内容、及び操作情報取得手段により取得した操作情報の少なくとも一方からロボット装置の感情であるロボット感情値を人物毎に生成する感情・性格制御手段と、感情・性格制御手段により生成されたロボット感情値を人物毎に記憶した記憶手段と、を有し、性格・感情制御手段は、人物に遭遇した際に、記憶手段に記憶された該当人物に対する過去のロボット感情値と、該当人物と遭遇する直前の利用者に対するロボット感情値とから新たなロボット感情値を生成することを特徴とする。
【００１２】
請求項３記載の発明は請求項２記載の発明において、感情・性格制御手段は、過去のロボット感情値と直前のロボット感情値とに所定の重みを付けて新たなロボット感情値を生成することを特徴とする。
【００１３】
請求項４記載の発明は請求項３記載の発明において、感情・性格制御手段は、過去に操作された操作日時と現在日時との差分、過去に操作された操作時間、操作や対話の統計情報から導かれる親密度・好感度からなる対人度、ロボット装置の起動時間からの経過時間の何れか一つまたは複数の条件を基にして過去のロボット感情値と直前のロボット感情値とに所定の重みを付けることを特徴とする。
【００１４】
請求項５記載の発明は請求項４記載の発明において、感情・性格制御手段は、過去のロボット感情値と直前のロボット感情値とに付ける重みの基準となる条件を利用者毎に変更して新たなロボット感情値を生成することを特徴とする。
【００１５】
請求項６記載の発明は請求項２から５の何れか一項に記載の発明において、感情・性格制御手段は、人物特定手段による人物の認識率、または音声認識手段による音声の認識率によって生成した新たなロボット感情値を補正することを特徴とする。
【００１６】
請求項７記載の発明は請求項２から６の何れか一項に記載の発明において、利用者に関する情報、利用者間の相関関係、及びロボット装置と利用者との関係を定義した利用者情報を記憶手段は記憶し、感情・性格制御手段は、生成した新たなロボット感情値を利用者情報によって補正することを特徴とする。
【００１８】
請求項９記載の発明は請求項２から８の何れか一項に記載の発明において、記憶手段は、ロボット装置の感情毎に、ロボット装置の感情を逆なでする用語、操作を登録した感情処理テーブルを記憶し、感情・性格制御手段は、人物遭遇後の一定期間内に操作情報取得手段もしくは音声認識手段によって感情処理テーブル記載の対話や操作が行われたことを検知すると、ロボット感情値を人物遭遇前の状態に戻す制御を行うことを特徴とする。
【００１９】
請求項１０記載の発明は、人物を特定する人物特定工程と、人物特定工程において特定された直前の利用者及び現在の利用者に関する情報、利用者間の相関関係、及びロボット装置と利用者との関係を定義した利用者情報に基づいた発話を特定した人物と行う発話工程、並びに人物特定工程において特定された直前の利用者及び現在の利用者に関する情報、利用者間の相関関係、及び利用者情報に基づいた行動を行う行動工程の少なくとも一方と、を有することを特徴とする。
【００２０】
請求項１１記載の発明は、人物を特定する人物特定工程と、人物の発話内容を解釈する音声認識工程と、人物より入力された操作情報を取得する操作情報取得工程と、音声認識工程において解釈された人物の発話内容、及び操作情報取得工程において取得した操作情報の少なくとも一方からロボット装置の感情であるロボット感情値を人物毎に生成する第１のロボット感情値生成工程と、人物に遭遇した際に、該当人物に対する過去のロボット感情値と、該当人物と遭遇する直前の利用者に対するロボット感情値とから新たなロボット感情値を生成する第２のロボット感情値生成工程と、を有することを特徴とする。
【００２１】
請求項１２記載の発明は請求項１１記載の発明において、第２のロボット感情値生成工程は、過去のロボット感情値と直前のロボット感情値とに所定の重みを付けて新たなロボット感情値を生成することを特徴とする。
【００２２】
請求項１３記載の発明は請求項１２記載の発明において、第２のロボット感情値生成工程は、過去に操作された操作日時と現在日時との差分、過去に操作された操作時間、操作や対話の統計情報から導かれる親密度・好感度からなる対人度、ロボット装置の起動時間からの経過時間の何れか一つまたは複数の条件を基にして過去のロボット感情値と直前のロボット感情値とに所定の重みを付けることを特徴とする。
【００２３】
請求項１４記載の発明は請求項１３記載の発明において、第２のロボット感情値生成工程は、過去のロボット感情値と直線のロボット感情値とに付ける重みの基準となる条件を利用者毎に変更して新たなロボット感情値を生成することを特徴とする。
【００２４】
請求項１５記載の発明は請求項１１から１４の何れか一項に記載の発明において、第２のロボット感情値生成工程は、人物特定工程による人物の認識率、または音声認識工程による音声の認識率によって生成した新たなロボット感情値を補正することを特徴とする。
【００２５】
請求項１６記載の発明は請求項１１から１５の何れか一項に記載の発明において、第２のロボット感情生成工程は、利用者に関する情報、利用者間の相関関係、及びロボット装置と利用者との関係を定義した利用者情報によって、生成した新たなロボット感情値を補正することを特徴とする。
【００２７】
請求項１８記載の発明は請求項１１から１７の何れか一項に記載の発明において、第２のロボット感情値生成工程は、ロボット装置の感情毎に、ロボット装置の感情を逆なでする用語、操作を登録した感情処理テーブルを参照して、人物遭遇後の一定期間内に操作情報取得工程もしくは音声認識工程によって感情処理テーブル記載の対話や操作が行われたことを検知すると、ロボット感情値を人物遭遇前の状態に戻す制御を行うことを特徴とする。
【００２８】
本発明に係る第１のものは、マイクなどの音声入力部からの音声を認識する音声認識手段、人物からロボットへの操作をセンサ等を使って検知する操作情報取得手段、人物を特定する人物特定手段、ロボット装置の感情を制御する感情・性格制御手段を備える。また、感情・性格制御手段は、人物と遭遇した際に、過去のその人物とロボットとの操作・対話による感情値と現在のロボット感情値とから新たなロボット感情値を生成するように動作する。
【００２９】
また、本発明に係る第２のものは、上記の感情・性格制御手段が人物と遭遇した際に、過去のその人物とロボットとの対話・操作による感情値と現在の感情値から目標となる感情値を生成し、現在のロボット感情値から目標感情値へ一定時間内に推移させるように動作する。
【００３０】
さらに、本発明に係る第３のものは、感情・性格制御手段が生成した新たなロボット感情値を、過去の人物による音声認識率や画像認識率などの認識結果、あるいは利用者の家族属性（続柄）を参照して、補正するように動作する。
【００３１】
最後に、本発明に係る第４のものは、あらかじめ利用者情報に記載されたロボットと利用者の相関関係を定義しておき、ロボットが人物遭遇時に定義された相関関係に基づいて行動する。
【００３２】
【発明の実施の形態】
次に、添付図面を参照しながら本発明のロボット装置およびその制御方法に係る実施形態を詳細に説明する。図１〜図１８を参照すると本発明のロボット装置およびその制御方法に係る実施形態が示されている。
【００３３】
［第１の実施形態］
まず、本発明のロボット装置の動作状態の遷移について、図２を用いて説明する。ロボット装置の動作状態は、自分で障害物などを避けながら自立的に行動する自律動作状態２０１と、人物との対話や操作状態（対人物状態と呼ぶ）２０２の２つの状態に分類することができる。同図には３人の人物Ａ，Ｂ，Ｃが存在する場合が示されており、このため対人物状態２０２は人物Ａ，人物Ｂ，人物Ｃのそれぞれと操作・対話を行っている状態２０２ａ（対人物Ａ状態）、２０２ｂ（対人物Ｂ状態）、２０２ｃ（対人物Ｃ状態）から構成される。
【００３４】
ロボット装置は、音声認識や画像認識の結果、あるいは人物の操作結果や対話結果により、状態２０１、２０２ａ、２０２ｂ、２０２ｃに遷移する。例えば、ロボット装置が自律動作状態２０１で人物Ａを特定すると、状態２０２ａへ遷移する（アーク２０３）。また、対人物Ａ状態２０２ａから人物Ａが「ばいばい」と発話すれば、自律動作状態２０１へ遷移する（アーク２０４）。あるいは対人物Ａ状態２０２ａで人物Ｃが「お〜い」と声をかけ、ロボット装置が人物Ｃを特定すると、対人物Ｃ状態２０２ｃへ遷移する（アーク２０５）。
【００３５】
以下では、自律行動状態と各対人物状態を合わせて、ロボット状態と呼ぶ。したがって、ロボット状態が遷移（変化）したというのは、図２に記載のような状態遷移が発生したことを示す。
【００３６】
次に、ロボット装置の感情モデルを図３を用いて説明する。同図に記載のように、ロボット装置は感情の種類として「怒り」、「悲しみ」、「喜び」を保持している。本実施形態の特徴は、現在のロボット感情値３１と、遭遇した人物に対する過去のロボット感情値３２を参照して、新たなロボット感情値３３を生成することである（ＣＡＳＥ１）。なお、同図記載のＣＡＳＥ２については、後の実施形態にて説明する。
【００３７】
［構成の説明］
図１には、本発明のロボット装置に係る第１の実施形態の構成が示されている。
図１を参照すると、本発明の第１の実施形態は、ロボット装置からの音声合成発話を行う発話手段１０１、前進・回転あるいは首振りなどロボット装置の駆動部を制御する行動手段１０２、ロボット装置の発話内容や行動を制御するロボット制御手段１０３、人物の発話語句を解釈する音声認識手段１０４、撫でる／叩くなどセンサからの操作情報を取得する操作取得手段１０５、ロボット装置内部の感情や性格を制御する感情・性格制御手段１０６、カメラからの画像により障害物や人物を識別する画像認識手段１０７、人物を特定する人物特定手段１０８、及び記憶部１２０から構成されている。
【００３８】
記憶部１２０には、音声認識語句を登録した音声認識辞書１２１、現在のロボット感情値を保持しているロボット感情値１２２、過去の各ロボット状態及び現在のロボット状態における操作履歴や対話履歴や動作時間情報、及びロボット装置の感情値や対人度を保持している状態管理テーブル１２３、ロボット装置の動作や状態遷移を定義している動作制御テーブル（群）１２４、ロボット装置からの発話内容を定義している発話テーブル１２５、障害物を識別するための背景や人物の顔情報などを保持している画像認識辞書１２６、及び利用する人物を定義した利用者情報１２７を保持している。
【００３９】
利用者情報１２７は本ロボット装置を使用する際に事前に登録しておくものであり、図４にその一例を示す。同図記載のように、利用者情報１２７は利用者番号６０１、利用者氏名６０２、利用者愛称６０３、利用者の顔を登録した画像認識辞書のファイル名６０４、利用者の属性６０５（この例では続柄）から構成されている。利用者情報１２７は人物特定手段１０８が利用者を特定するために使用したり、あるいは利用者を特定した後に発話手段１０１が愛称６０３を発話する場合に使用する。
【００４０】
これらの手段による概略動作を説明するために、本ロボット装置の行動モデル及び行動を制御する動作制御テーブル（群）１２４について説明する。図５は行動モデルを示す概念図であり、自律動作状態における行動モデル２１０と対人物状態における行動モデル２１１に分類することができる。なお、この例では対人物状態における行動モデル２１１は１種類だけであるが、メモリなどに余裕があれば人物ごとに行動モデルを用意してもよい。
【００４１】
同図において、各ノードはロボット装置の姿勢など動作の状態を示し、各アークは次の姿勢へ遷移する条件と遷移確率を保持している。つまり、一種の確率オートマトンとして行動モデルが定義されている。例えば、ノードＡ２は足も首も止まった状態を表す。Ａ２から出ている１つのアークは、「前進と発話すると１００％の確率でノードＡ４へ遷移する」ことを示す。あるいは別のアークは「頭を叩くと５０％の確率で、首を上下に振りながら、ノードＡ５へ遷移する」ことを示す。
【００４２】
各ノードにおける状態遷移の条件や遷移確率及び遷移先を定義したものが、図６記載の動作制御テーブル１２４である。動作制御テーブル１２４は遷移条件として感情条件２２０とイベント条件２２１を保持している。イベント条件２２１としては操作内容、音声認識結果や画像認識の結果、あるいは時間に関する条件が記載されており、感情条件とイベント条件の両方の条件が成立した場合に、同じ行に記載されている遷移先に遷移する。遷移先の情報としては、遷移確率と、遷移時のアクション（動作や発話）と遷移先のノードが記載されている。例えば同図に示す２２２は、「怒り＞８０かつ、その状態で頭を叩かれる」と、確率３０％でノードＡ３へ遷移することを示す。さらに、ノードが遷移する際に、アクション１を実行する。
【００４３】
このように、本ロボット装置は行動モデルに基づく動作制御テーブル１２４にしたがって、確率的な状態遷移を行いながら、動作や発話を実行していく。明らかに、動作制御テーブル１２４は行動モデルにおけるノードの数だけ存在することになる。つまり、本ロボット装置のロボット制御手段１０３は、音声認識手段１０３や画像認識手段１０７や操作取得手段１０５、あるいは感情・性格制御手段１０６や経過時間などにより、図６記載の動作制御テーブル１２４の遷移条件が満足されているかどうかを調べる。満足されていると、所定の遷移確率で次の動作状態へ遷移する。この際、ロボット制御手段１０３は、動作制御テーブル１２４に定義されている処理動作（アクション）を、行動手段１０２や発話手段１０１を用いて実行する。
【００４４】
一方、感情・性格制御手段１０６は、動作制御テーブル１２４とは独立して、操作取得手段１０５や音声認識手段１０４、あるいは時間情報などを用いてロボット感情値１２２を更新していく。このように、行動モデルと感情モデルとはそれぞれが独立のモデルとして動作する。例えば動作制御テーブル１２４には「時間による状態遷移」は定義されていないが、感情モデルでは時間の経過と共に感情値がおさまっていくケースなどがある。但し、行動モデルと感情モデルとは、一般的にはお互いに影響を及ぼしあうような構成となる（例：動き出すと喜びが増える、悲しみが大きい場合にはあまり動きたくない）。
【００４５】
さらに、操作情報や音声認識結果にしたがって、現在のロボット状態における履歴情報である状態管理テーブル１２３を更新していく。状態管理テーブル１２３の構成については、動作の説明の部分で説明する。
【００４６】
さて、本ロボット装置が自律動作状態２０１から人物と遭遇すると、人物特定手段１０８は利用者情報１２７を参照して人物を特定する。人物を特定するには３種類の方法が考えられる。第１の方法は、人物の顔画像を画像認識辞書１２６に登録しておき、画像認識手段１０８を用いて画像認識辞書１２６に登録された顔画像との照合を行う方法である。第２の方法は、音声認識手段１０４と音声認識辞書１２１とを用いて、利用者の名前や愛称の発話から判断する方法である。第３の方法は、ロボット装置にスイッチやボタンを設けて、押下されたスイッチやボタン情報を操作取得手段１０５で検知し、検知結果から利用者情報１２７を参照して人物を特定する方法である。
【００４７】
人物を特定するなど、図２のようなロボット状態の変化が生じた場合には、過去及び現在のロボット状態における履歴情報を保持している状態管理テーブル１２３を更新する。また、人物を特定した後は、感情・性格制御手段１０６はその人物が過去にロボット装置を操作した際のロボット感情値を状態管理テーブル１２３から取得し、取得した過去の感情と現在のロボット感情値１２２から新たなロボット感情値を生成し、それをロボット感情値１２２に上書きする。
【００４８】
一方、ロボット装置の行動という観点では、ロボット状態が変化すると動作制御テーブル１２４に記載されている人物遭遇後の動作状態（ノード）へ遷移する。以後、新しいロボット感情値１２２を参照しつつ、遷移先の動作制御テーブル１２４の内容にしたがって、ロボット装置の動作・発話などを制御していく。
【００４９】
［動作の説明］
まず、第１の実施形態における感情変化モデルを図７を用いて説明する。同図は、自律動作状態２０１あるいは対人物Ａ状態２０２ａにおいて、本ロボット装置が人物Ｂと遭遇した場合の感情値の変化を示したものである。人物Ｂと遭遇する直前のロボット感情値が感情値３０１であり、過去の人物Ｂに対するロボット感情値が感情値３０４である。人物Ｂと遭遇した場合には両者の感情値を用いて、新たなロボット感情値３０２を生成し、以降人物Ｂの操作や対話結果に基づいてロボット感情値３０３へと遷移していくものとする。
【００５０】
例えば、過去に人物Ｂからいじめられたことが多いと、過去のロボット感情値３０４は「怒り」や「悲しみ」が多い。従って、仮に現在のロボット感情値３０１が「喜んでいる」状態であっても、人物Ｂと遭遇することで喜びが半減する状態（新しいロボット感情値３０２）になる。
【００５１】
次に、図８に示されたフローチャートを参照しながら図１に示された本実施形態の全体の動作について詳細に説明する。
【００５２】
まず、ステップＳ５１では、ロボット制御手段１０３が音声認識手段１０１や操作取得手段１０５を用いて、人物との対話結果や操作結果を取得する。ステップＳ５２では、取得結果に基づき、動作制御テーブル１２４に定義されている状態遷移や動作を実行すると共に、感情・性格制御手段１０５がロボット感情値１２２を更新する。さらに、取得した対話結果や操作結果に基づき、状態管理テーブル１２３に記載されている履歴情報を更新する。
【００５３】
図９には、状態管理テーブル１２３の構成が示されており、図２に示した各ロボット状態（３名の利用者）における履歴情報を保持したものである。すなわち、状態管理テーブル１２３は、対人物状態２０２ａ、２０２ｂ、２０２ｃでの履歴情報４０５，４０６，４０７と、自律動作状態２０１での履歴情報４０８と、現在のロボット状態における履歴情報４０９とから構成されている。また、状態管理テーブル１２３は、各ロボット状態における過去のロボット感情値４０１、対人度（好感度や親密度）４０２、行動・対話の回数４０３、及び動作時間などの時間情報４０４を記録している。
【００５４】
感情値４０１は、人物によりロボット装置が操作され、その人物と別れた（＝別のロボット状態へ遷移した）際の、その人物に対するロボット感情値を保持している。対人度４０２の好感度や親密度は、過去のほめられた（しかられた）回数や操作時間などによって感情・性格制御手段１０６が決定するものであり、別のロボット状態へ遷移した際に、その人物への対人度情報として保存される。行動・対話回数４０３は過去の対話回数や行動回数の累計を示したものであり、時間情報４０４は累計の操作時間以外に、前回動作の日時や時間を保持している。
【００５５】
また、状態管理テーブル１２３は、現在のロボット状態（自律動作状態２０１、または対人物状態２０２ａ、２０２ｂ、２０２ｃ）での各種履歴情報を保持しており、ロボット状態の遷移が起こった場合に、該当するロボット状態の履歴情報を更新するために使用される。なお、現在のロボット装置の感情値４０９もこの状態管理テーブル１２３には記録されているが、これはロボット感情値１２２と同じものであり、便宜上このテーブルにも記載している。
【００５６】
ステップＳ５２における状態管理テーブル１２３の更新とは、操作内容や発話内容にしたがって、現在ロボット状態における行動・対話の回数４０９ｃや対人度４０９ｂを更新することを意味する。
【００５７】
次に、ステップＳ５３では、以下に示す３種類のロボット状態の遷移があったかどうかをロボット制御手段１０３や人物特定手段１０８を用いて判断する。なお、動作制御テーブル１２４には、ロボット状態の変化（人物と別れたり、人物と遭遇する）に対する所定条件と遷移先が定義されているものとする。ロボット状態の変更がない場合には、ステップＳ５２〜Ｓ５３の処理を繰り返す。
【００５８】
ステップＳ５３の分類：
（Ａ）対人物状態から別の対人物状態への遷移
（Ｂ）自律行動状態から対人物状態への遷移
（Ｃ）対人物状態から自律行動状態への遷移
そこで、以下では、この３つのケースにつき、ステップＳ５４、Ｓ５５の処理について説明する。
【００５９】
（Ａ）対人物状態から別の対人物状態
ステップＳ５３で直前の人物と異なる人物と遭遇した場合には、ステップＳ５４で現在までのロボット状態における履歴情報を元に、状態管理テーブル１２３の内容を更新する。具体的には以下の処理を行う。
・現在ロボット感情値４０９ａを状態管理テーブル１２３の直前の該当人物の欄の感情値４０１へ上書きする。
・対人度４０９ｂについても、該当の欄の対人度４０２へ上書きする。
・行動・対話回数４０９ｃは該当人物欄の行動・対話回数４０３の数字に加算する。
・時間情報４０９ｄは、累計時間は合計するが、前回完了日時や前回操作時間は現在の数値をそのまま該当人物欄へ上書きする。
・現在ロボット状態の欄４０９に、遭遇した人物の履歴情報（感情値４０１、対人度４０２）を書き込む（なお、現在ロボット状態の行動・対話４０９ｃはゼロクリアされる）。
【００６０】
ステップＳ５５では、遭遇した人物に対する過去のロボット感情値を状態管理テーブル１２３から取得し、現在のロボット感情値１２２とあわせて新たにロボット感情値を計算し、ロボット感情値１２２、４０９ａを更新する。
【００６１】
ここで、ロボット感情値を算出する計算式を以下に示す。
Ｅ２＝ｋＥ０＋（１−ｋ）Ｅ１・・・・（１）
この式（１）は、人物遭遇直前の現在感情値Ｅ０と過去のロボット感情値Ｅ１を重み係数ｋ（０〜１）を用いて線形計算するものである。ｋの値をどのようにとるかによって、図１０に示される新ロボット感情値３３２を現在感情値３３１に近い（ｋが大きい）ようにするか、あるいは過去のロボット感情値に近い（ｋが小さい）ようにするのかを制御することができる。
【００６２】
重み係数ｋの制御方法としては、図１１記載の係数制御ルール３４０がある。同ルールはどの場合に重み係数ｋを大きくして、新ロボット感情値を現在ロボット感情値に近づけるかを記載したものである。以下に、各ルールについて説明する。
ルール１：前回の同一人物による操作日時が古いほど、現在感情値に近くするものである。時間がたてばたつほど、ロボット装置のその人に対する印象が薄くなるようなモデルとして想定できる。
ルール２：前回の同一人物による操作時間が短い場合に、現在ロボット感情値に近くするものである。短い時間なので印象が深まっていないというモデルが想定できる。
ルール３：ルール２に近いが、好感度・親密度が小さい場合には、遭遇した人物による現在のロボット感情への影響度が小さいと考えたモデルである。
ルール４：起動後間もない場合には、まだロボット装置が完全に目覚めていないため、過去の状況に対する記憶力（影響度）がすこし弱くなっているモデルである。
以上記載のルールにしたがって、重み係数ｋを制御する。各ルールは１種類のみを使用してもよいし、各ルールを組み合わせて重み係数ｋを決定しても良い。あるいは、利用者ごとに使用するルールを設定することも可能である。
【００６３】
また、対象となるロボット装置の感情の種類としては、怒り、悲しみ、喜びのすべての感情種類を想定しているが、感情を抑える（なだめる）という意味で、最大あるいは最小の感情値を持つ感情種類を対象としたり、ある閾値以上あるいは以下の感情種類を対象とする場合も考えられる。さらに、感情の種類に応じて異なる重み係数を導入したり、その適用ルールを変更しても良い。
【００６４】
また、上記の式（１）は、簡単のために線形モデルを採用したが、現在ロボット感情値と過去ロボット感情値に対する２個の感情値に対する重みづけを行うことが主旨であるため、本主旨に合致する他の計算モデルを採用しても良い。
【００６５】
上記の方法によってステップＳ５５でロボット感情値１２２を変更し、新しいロボット状態における操作・対話を行っていく。
【００６６】
（Ｂ）自律動作状態から対人物状態への遷移
自律動作状態から対人物状態へ遷移する場合では、ステップＳ５４での状態管理テーブル１２３の更新は対人物状態の欄ではなく、自律動作状態の欄（４０８）の履歴情報を更新する。また、ステップＳ５５での新しいロボット感情値の再計算方法は上記（Ａ）の場合とほぼ同様である。
【００６７】
一般的には自律動作状態では感情の大幅な起伏は発生しないが、エンターテイメント性を高めるために、遭遇人物との過去のロボット感情値をより強く反映させる方法がある。一方で、感情の連続性という観点から、現在のロボット感情値に近い新たなロボット感情値にするという方法も考えられる。つまり、重み係数ｋの値は上記（Ａ）のルールによる値を、ロボット装置の性格付けの方向で補正して用いる。
【００６８】
（Ｃ）対人物状態から自律動作状態への遷移
対人物状態から自律動作状態へ遷移する場合は、ステップＳ５４の処理は（Ａ）の場合と同様である。次に、ステップＳ５５のロボット装置の感情値の再計算は、対人物状態で感情の起伏があったとしても、一般的に自律状態では操作や話しかけが少ないために、時間と共に一定の感情範囲内におさまる場合が多い。その場合には、状態遷移時に特別な感情生成を行う必要がないため、ステップＳ５５をスキップすることになる。
【００６９】
一方で、直前の対人物状態との対話、操作時間で、現在のロボット感情の「引きづり度」を制御したいという要望もある。この場合には、前記（Ａ）記載のルール２に準拠したモデルが考えられる。例えば、次のようなルールを採用する。
ルール５：重み係数ｋは０．８〜１．０の間とする（現ロボット感情に近い）。ｋは直前の対人物状態での操作時間が長いほど大きく設定する。なお、式（１）におけるＥ１は前回の自律動作時のロボット感情値を採用する。
【００７０】
以上説明したように、第１の実施の形態では、ロボット状態が変化した場合に、現在のロボット感情値と過去の同一ロボット状態におけるロボット感情値を重み付け係数ｋを用いて、新しいロボット感情値を生成する。重み係数ｋの値は、ロボット状態変化のパターン、過去の操作・対話の履歴や時間、あるいは性格付けなどに基づく係数設定則（ルール）を用いて決定する。その結果、エンターテイメント性の高い感情変化を実現することができる。
【００７１】
［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。上述した第１の実施形態では、人物と遭遇した際のロボット感情値を直ちに計算して置き換えを行っていたが、第２の実施形態では、一定の時間をかけて目標となる感情値へ移行するように構成する。以降では、人物遭遇後の一定時間内の処理を過渡的処理、一定時間後の処理を通常処理と呼ぶ。
【００７２】
図１２は、第２の実施形態におけるロボット感情値の遷移を概念的に示す図である。図１２に示されるように、現在のロボット感情値３１１と過去のロボット感情値３１４とから目標となるロボット感情値３１２を生成する。ロボット装置の感情値は現在感情値３１１から目標ロボット感情値３１２へ徐々に移行することが期待されるが、実際には途中の対話や操作結果により、目標感情値３１２と異なるロボット感情値３１５へ遷移していく。
【００７３】
第２の実施形態による動作手順について、図１３に示されたフローチャートを参照しながら説明する。第２の実施形態の処理手順は、上述した第１の実施形態の処理手順に、ステップＳ６１の過渡的感情処理が加わると共に、ステップＳ６６のロボット感情値の再計算の処理が一部変更になる。
【００７４】
第２の実施形態は、ロボット状態が変化した場合に、ステップＳ６６で新ロボット感情値（第１の実施形態のステップＳ５５で算出したもの）を算出する。この新ロボット感情値を目標感情値として使用し、現在ロボット感情値自体は変更しない。また、ステップＳ６６において、単位時間当たりの感情変化量を計算する（詳細については後述）。そして、図１２に示された過渡的処理期間内だけステップＳ６１の感情処理を行い、現在のロボット感情値をステップＳ６６で算出した目標感情値に近づける。なお、図１４には、図１３に示されたフローチャートのステップＳ６１の詳細な処理手順が示されている。
【００７５】
この感情値を遷移させる最も簡単な方法は、ステップＳ６６で、現ロボット感情値と算出した目標ロボット感情値との変化分を過渡的処理期間（ｔ１）で割り、１単位時間における感情変化分を算出する。そして、図１４のフローチャートに示されるように、過渡的処理期間内においては（ステップＳ７１／ＹＥＳ）、時間の推移分と上記１単位間における感情変化分の乗算を行い、現在ロボット感情値に加算（ステップＳ７２）していく方法である。
【００７６】
図１５には、過渡的処理期間における２種類の感情遷移方法が示されている。上述の方法は、現在ロボット感情値３５０から目標感情値３５１に線形的に近づくモデル３５２を示している。一方、同図３５３記載のように、感情変化量を時間とともに減少させる方法もある。これは、人物遭遇直後には過去の印象による感情変化が大きいが、時間がたつほどに感情変化量はおさまってくるモデルと言える。この場合も、各時間推移における感情変化量をステップＳ６６で計算しておき、ステップＳ６１では現在の推移時間における前記感情変化量を現在のロボット感情値に合算して、新しいロボット感情値を生成する。
【００７７】
以上のような手順により過渡的処理期間におけるロボット感情値を計算し、記憶部１２０内のロボット感情値１２２を更新する。その後、ロボット状態が変更となるまで、ステップＳ６２，Ｓ６３により通常の操作・対話による履歴更新や感情更新処理を行う。ステップＳ６３による感情更新処理が入るために、図１２記載のような感情遷移モデルが実現されることになる。
【００７８】
第２の実施形態のような構成をとれば、感情値の連続性を損なうことなく、一定時間内に過去の人物の感情値を反映させた目標感情値へ遷移することが期待されるとともに、新たな操作結果や対話結果もロボット感情値に反映させることができる。
【００７９】
なお、第２の実施形態の変形例として、ステップＳ６１において過渡的処理期間（ｔ１）以内に、図１６記載の操作や発話が行われた場合に、人物遭遇前の直前のロボット感情値に戻す方法も考えられる。これは、怒りが高いなど一定の感情値以上のところ（７０１の感情種類）から、感情がおさまる方向に遷移しているのに、特定の操作や対話（７０２の操作・対話）により、いわゆる「元のもくあみ」となることを示している。図７及び１２の感情変化モデルにおける、逆戻り３０５や３１６はこの際の感情遷移を示している。
【００８０】
［第３の実施形態］
第３の実施形態は、図１７のフローチャートのステップＳ８６に記載しているように、ロボット状態の遷移により計算された新たなロボット感情値に対して補正を行うものである。補正を行う方法を以下に示す。
Ａ）人物単位の音声認識率や画像認識率の統計情報を状態管理テーブル１２３に保持しておき、認識率が悪い人物と遭遇した場合に、例えば喜びの度合いを減少させる。
Ｂ）利用者情報１２７の中の、属性情報６０５を参照し、例えば母親であれば悲しみの度合いを減少させる。あるいは、甘えという感情を保持しているロボット装置であれば、甘えの感情を増大させる。
【００８１】
上述した各実施形態では、新たなロボット感情値を計算する場合に、過去のロボット感情値を参照していたが、過去のロボット感情値の代わりにロボット装置の対人度（好感度や親密度）という尺度を用いても良い。前述のように好感度や親密度は、過去の操作結果や操作時間累計に関する一種の統計情報であるため、対人関係という意味では過去の感情値よりも正確度が高い。この方法では、例えば好感度が高いと怒りを抑えるとともに喜びを向上させ、親密度が高いと悲しみを抑えるような計算を行って、新しいロボット感情値を生成させる。図３の感情モデルにおけるＣＡＳＥ２がこれにあたる。
【００８２】
この場合も、対人度を現在のロボット感情値にどの程度影響させるかという係数を設定し、この係数に対しても前述した重み係数ｋの設定ルールと同様なルールを導入して制御する。さらに、新たな感情値を計算する別な方法として、対人度ではなく、過去の操作・対話の累計情報（状態管理テーブル１２３の行動・対話４０３）を参照する方法も考えられる。
【００８３】
以上の実施の形態においては、新しいロボット感情値の計算モデルや遷移モデルを記載したが、ロボット感情値は直接ロボット装置の行動に反映される。例えば、怒りの感情がおさまるような新たな感情値が生成されれば、「ふ〜。気持ちが落ち着いてきた」と発話したり、じたばたするような動作からスムーズに動くような動作に変わる。したがって、ロボット装置の感情値の変化・遷移に伴う行動も本発明の特徴の一つである。
【００８４】
［第４の実施形態］
第４の実施形態としては、図１７のステップＳ８６において、感情値の補正を行うのではなく、利用者情報を用いてロボット装置の行動を特徴づけるものである。例えば、図４の利用者情報１２７において、各利用者とロボット装置との関係を６０６のように定義しておく。６０６の例では、ロボット装置の上位者（親）とロボット装置の中位者（仲間・友人）と下位者（弟・妹、あるいは後輩）の３種類に分類しておき、各利用者がロボット装置と遭遇した場合のふるまいを変更するものである。
【００８５】
図１８のフローチャートは図１７のステップＳ８６の処理の具体例である。まず、ステップＳ９１では直前のロボット感情値が一定値未満の場合には、特別な行動はせずに戻る。感情がたかぶっている場合などロボット感情値が一定値以上の場合には（ステップＳ９１／ＹＥＳ）、ステップＳ９２で利用者とロボット装置の関係を調べる。親などの上位利用者の場合には（ステップＳ９２／ＹＥＳ）、直前の人物による操作や発話を訴える行動を起こす（ステップＳ９３）。中位または下位の利用者の場合には、現在のロボット装置の心情を話しかけるような行動を起こす（ステップＳ９４）。
【００８６】
前述の例は、ロボット装置の感情値が一定値以上の場合のふるまいを記載したものであるが、感情値にかかわらず利用者との関係情報により人物遭遇時のふるまいを変更しても良い。例えば、中位（友人・仲間）の利用者と会うと「おっす。たまには一緒に遊ぼうか? 」と発話し、下位（弟・妹、後輩）の利用者に会うと「ちゃんと勉強しているか? 」などお兄さんぶった発話を行う場合などが考えられる。
【００８７】
さらに、人物とロボット装置との関係ではなく、遭遇した人物間の相関情報を用いて行動を変化させても良い。例えば、直前にロボット装置を操作した人物より、新たに遭遇した人物の方が「弱い」という関係があれば、新たな人物に対して「（直前の人物にほめられたよ／かわいがってくれたよ」と誇らしげに発話・行動するケースが相当する。
【００８８】
なお、上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。例えば、上記説明では、第２〜第４の実施形態をそれぞれ別々の実施例として説明してきたが、これらを組み合わせることも可能である。
【００８９】
【発明の効果】
以上の説明より明らかなように本発明によれば、よりパーソナルなロボット装置を実現できる。その理由は、人物単位での操作履歴や対話履歴及びその際のロボット感情値を保存しておき、次回人物と遭遇した場合には過去の履歴情報や感情情報に基づいて新たな感情を生成するからである。したがって、本ロボット装置がやさしく操作・対話を行ってくれる人に遭遇すれば、怒りや悲しみがうすらぎ、喜びの感情が増えた感情になる。逆に、いつも頭を叩くような人に遭遇すれば、たとえ本ロボット装置が喜んでいる状態であっても怒りが増えてくる。したがって、自分だけのロボットというような、パーソナル性能を向上させたロボット装置を実現することが可能である。
【００９０】
また、エンターテイメント性を高めることが可能となる。その理由は、人間社会でも発生するような感情変化を実現しているからである。本構成のロボット装置を用いることにより、「泣いた子がすぐ笑った」や「時間とともに、気持ちが落ち着いてきた」とか「元のもくあみになる」という状況を実現することができるからである。さらに、過去の感情の影響度をさまざまな形で提供・選択することにより、ロボット装置の性格づけによるエンターテイメント性をさらに高めるという効果もある。
【００９１】
また、ファミリー性を高めることができる。その理由は、家族などの利用者とロボットとの関係を定義し、その関係に基づいてロボット装置が動作・対話を行うため、利用者がロボット装置をあたかも家族の一員のような形で利用できるからである。
【図面の簡単な説明】
【図１】本発明に係る実施形態の構成を示すブロック構成図である。
【図２】ロボット装置の状態遷移図である。
【図３】感情モデル及び感情変化のモデル図である。
【図４】利用者情報に登録されるテーブルの一例を示す図である。
【図５】ロボット装置の状態遷移を表す図である。
【図６】動作制御テーブルの構成を示す図である。
【図７】感情モデル及び感情変化のモデル図である。
【図８】第１の実施形態の動作手順を示すフローチャートである。
【図９】状態管理テーブルの構成を示す図である。
【図１０】感情モデル及び感情変化のモデル図である。
【図１１】重み係数を制御するための適用ルールを説明するための図である。
【図１２】感情モデル及び感情変化のモデル図である。
【図１３】第２の実施形態の動作手順を表すフローチャートである。
【図１４】第２の実施形態の動作手順を表すフローチャートである。
【図１５】感情モデル及び感情変化のモデル図である。
【図１６】第２の実施形態における感情感情処理テーブルの構成を表す図である。
【図１７】第３、第４の実施形態の動作手順を表すフローチャートである。
【図１８】第４の実施形態の動作手順を表すフローチャートである。
【図１９】従来技術における感情値の変化を表す図である。
【符号の説明】
１０１発話手段
１０２行動手段
１０３ロボット制御手段
１０４音声認識手段
１０５操作取得手段
１０６感情・性格制御手段
１０７画像認識手段
１０８人物判定手段
１２０記憶部
１２１音声認識辞書
１２２ロボット感情値
１２３状態管理テーブル
１２４動作制御テーブル（群）
１２５発話テーブル
１２６画像認識辞書
１２７利用者情報

Claims

人物を特定する人物特定手段と、
人物の発話内容を解釈する音声認識手段と、
人物より入力された操作情報を取得する操作情報取得手段と、
前記音声認識手段により解釈した人物の発話内容、及び前記操作情報取得手段により取得した操作情報の少なくとも一方からロボット装置の感情であるロボット感情値を人物毎に生成する感情・性格制御手段と、
前記感情・性格制御手段により生成されたロボット感情値を人物毎に記憶した記憶手段と、を有し、
前記性格・感情制御手段は、直前の人物と異なる人物と遭遇した場合に、前記記憶手段に記憶された該当人物に対する過去のロボット感情値と、該当人物と遭遇する直前のロボット感情値とから新たなロボット感情値を生成し、
前記過去のロボット感情値と前記直前のロボット感情値とに所定の重みを付けて新たなロボット感情値を生成し、
過去に操作された操作日時と現在日時との差分、過去に操作された操作時間、操作や対話の統計情報から導かれる親密度・好感度からなる対人度、前記ロボット装置の起動時間からの経過時間の何れか一つまたは複数の条件を基にして前記過去のロボット感情値と前記直前のロボット感情値とに所定の重みを付け、前記過去のロボット感情値と前記直前のロボット感情値とに付ける重みの基準となる前記条件を利用者毎に変更して新たなロボット感情値を生成することを特徴とするロボット装置。
人物を特定する人物特定手段と、
人物の発話内容を解釈する音声認識手段と、
人物より入力された操作情報を取得する操作情報取得手段と、
前記音声認識手段により解釈した人物の発話内容、及び前記操作情報取得手段により取得した操作情報の少なくとも一方からロボット装置の感情であるロボット感情値を人物毎に生成する感情・性格制御手段と、
前記感情・性格制御手段により生成されたロボット感情値を人物毎に記憶した記憶手段と、を有し、
前記記憶手段は、利用者に関する情報、利用者間の相関関係、及びロボット装置と利用者との関係を定義した利用者情報を記憶し、
前記性格・感情制御手段は、直前の人物と異なる人物と遭遇した場合に、前記記憶手段に記憶された該当人物に対する過去のロボット感情値と、該当人物と遭遇する直前のロボット感情値とから新たなロボット感情値を生成し、生成した前記新たなロボット感情値を前記利用者情報によって補正することを特徴とするロボット装置。
人物を特定する人物特定手段と、
人物の発話内容を解釈する音声認識手段と、
人物より入力された操作情報を取得する操作情報取得手段と、
前記音声認識手段により解釈した人物の発話内容、及び前記操作情報取得手段により取得した操作情報の少なくとも一方からロボット装置の感情であるロボット感情値を人物毎に生成する感情・性格制御手段と、
前記感情・性格制御手段により生成されたロボット感情値を人物毎に記憶した記憶手段と、を有し、
前記記憶手段は、ロボット装置の感情毎に、前記ロボット装置の感情を逆なでする用語、操作を登録した感情処理テーブルを記憶し、
前記性格・感情制御手段は、直前の人物と異なる人物と遭遇した場合に、前記記憶手段に記憶された該当人物に対する過去のロボット感情値と、該当人物と遭遇する直前のロボット感情値とから新たなロボット感情値を生成し、人物遭遇後の一定期間内に操作情報取得手段もしくは前記音声認識手段によって前記感情処理テーブル記載の対話や操作が行われたことを検知すると、ロボット感情値を人物遭遇前の状態に戻す制御を行うことを特徴とするロボット装置。
人物を特定する人物特定工程と、
人物の発話内容を解釈する音声認識工程と、
人物より入力された操作情報を取得する操作情報取得工程と、
前記音声認識工程において解釈された人物の発話内容、及び操作情報取得工程において取得した操作情報の少なくとも一方からロボット装置の感情であるロボット感情値を人物毎に生成する第１のロボット感情値生成工程と、
直前の人物と異なる人物と遭遇した場合に、該当人物に対する過去の前記ロボット感情値と、該当人物と遭遇する直前のロボット感情値とから新たなロボット感情値を生成する第２のロボット感情値生成工程と、を有し、
前記第２のロボット感情値生成工程は、
前記過去のロボット感情値と前記直前のロボット感情値とに所定の重みを付けて新たなロボット感情値を生成し、過去に操作された操作日時と現在日時との差分、過去に操作された操作時間、操作や対話の統計情報から導かれる親密度・好感度からなる対人度、前記ロボット装置の起動時間からの経過時間の何れか一つまたは複数の条件を基にして前記過去のロボット感情値と前記直前のロボット感情値とに所定の重みを付け、前記過去のロボット感情値と前記直線のロボット感情値とに付ける重みの基準となる前記条件を利用者毎に変更して新たなロボット感情値を生成することを特徴とするロボット装置の制御方法。
人物を特定する人物特定工程と、
人物の発話内容を解釈する音声認識工程と、
人物より入力された操作情報を取得する操作情報取得工程と、
前記音声認識工程において解釈された人物の発話内容、及び操作情報取得工程において取得した操作情報の少なくとも一方からロボット装置の感情であるロボット感情値を人物毎に生成する第１のロボット感情値生成工程と、
直前の人物と異なる人物と遭遇した場合に、該当人物に対する過去の前記ロボット感情値と、該当人物と遭遇する直前のロボット感情値とから新たなロボット感情値を生成する第２のロボット感情値生成工程とを有し、
前記第２のロボット感情生成工程は、
利用者に関する情報、利用者間の相関関係、及びロボット装置と利用者との関係を定義した利用者情報によって、生成した前記新たなロボット感情値を補正することを特徴とするロボット装置の制御方法。
人物を特定する人物特定工程と、
人物の発話内容を解釈する音声認識工程と、
人物より入力された操作情報を取得する操作情報取得工程と、
前記音声認識工程において解釈された人物の発話内容、及び操作情報取得工程において取得した操作情報の少なくとも一方からロボット装置の感情であるロボット感情値を人物毎に生成する第１のロボット感情値生成工程と、
直前の人物と異なる人物と遭遇した場合に、該当人物に対する過去の前記ロボット感情値と、該当人物と遭遇する直前のロボット感情値とから新たなロボット感情値を生成する第２のロボット感情値生成工程とを有し、
前記第２のロボット感情値生成工程は、
ロボット装置の感情毎に、前記ロボット装置の感情を逆なでする用語、操作を登録した感情処理テーブルを参照して、人物遭遇後の一定期間内に操作情報取得工程もしくは前記音声認識工程によって前記感情処理テーブル記載の対話や操作が行われたことを検知すると、ロボット感情値を人物遭遇前の状態に戻す制御を行うことを特徴とするロボット装置の制御方法。