JP7322374B2 - ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム - Google Patents

ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム Download PDF

Info

Publication number
JP7322374B2
JP7322374B2 JP2018188098A JP2018188098A JP7322374B2 JP 7322374 B2 JP7322374 B2 JP 7322374B2 JP 2018188098 A JP2018188098 A JP 2018188098A JP 2018188098 A JP2018188098 A JP 2018188098A JP 7322374 B2 JP7322374 B2 JP 7322374B2
Authority
JP
Japan
Prior art keywords
robot
facial expression
predetermined target
attribute parameter
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018188098A
Other languages
English (en)
Other versions
JP2020056935A (ja
Inventor
英里奈 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2018188098A priority Critical patent/JP7322374B2/ja
Publication of JP2020056935A publication Critical patent/JP2020056935A/ja
Application granted granted Critical
Publication of JP7322374B2 publication Critical patent/JP7322374B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Toys (AREA)
  • Manipulator (AREA)

Description

本発明は、ロボットの制御装置、ロボット、ロボットの制御方法およびプログラムに関する。
表情を変更可能に構成されたロボットの制御装置が知られている。例えば、特許文献1には、対話しているときに、音声を解析することにより対話内容を判定し、判定した対話内容に基づいて、ロボットの表情を制御することが開示されている。
特開2018-62042号公報
しかし、従来のロボットの制御装置では、その時々に判定した対話内容に基づいてロボットの表情を制御しているにすぎないので、例えば、対話内容が大きく変化するようなときには、ロボットの表情を適切に制御することができない問題がある。
本発明は、上記に鑑みてなされたものであって、ユーザ等の所定の対象の発話内容が大きく変化する場合であっても、発話の流れに沿ってロボットの表情を適切に制御することを目的とする。
本発明に係るロボットの制御装置は、
自機の表情を変更可能に構成されたロボットの表情を制御するロボットの制御装置であって、
所定の対象が発話する音声を取得する音声取得手段と、
前記音声取得手段により取得された音声を解析することによって、前記所定の対象の発話内容の属性を表す属性パラメータを取得する属性パラメータ取得手段と、
前記属性パラメータ取得手段により取得された属性パラメータを記憶する記憶手段と、
前記所定の対象の発話中に取得された属性パラメータと前記記憶手段に記憶された過去の属性パラメータとの関係に基づいて、前記ロボットの表情を制御する表情制御手段と、
前記所定の対象の認証を行う個人認証手段と、
所定の対象毎に発話内容に応じた属性パラメータが登録された属性パラメータデータベースと、
を備え、
前記属性パラメータ取得手段は、前記個人認証手段で認証された所定の対象に応じた属性パラメータデータベースを選択し、前記音声取得手段により取得された音声を前記属性パラメータデータベースと照合して、前記属性パラメータを取得する。
本発明によれば、所定の対象の発話内容が大きく変化する場合であっても、発話の流れに沿ってロボットの表情を適切に制御することができる。
本発明の実施の形態に係るロボットの外観を正面から見た図である。 本発明の実施の形態に係るロボットの外観を背面から見た図である。 本発明の実施の形態に係るロボットのハードウェア構成図である。 本発明の実施の形態に係るロボットの制御装置の機能的構成図である。 本発明の実施の形態に係るキーワード判定処理を示すフローチャートである。 本発明の実施の形態に係るロボットの制御装置のキーワード情報データベースの構成の一例を示す図である。 本発明の実施の形態に係る表情決定処理を示すフローチャートである。 本発明の実施の形態に係る表情決定処理のフローチャートである。 本発明の実施の形態に係る表情決定処理のフローチャートである。 本発明の実施の形態に係る表情決定処理のフローチャートである。 本発明の実施の形態に係る表情決定処理のフローチャートである。 図6および図7の表情決定処理で決定された表情の一例を示す図であり、(A)は「通常」の表情、(B)は「嬉しい」の表情、(C)は「心配」の表情、(D)は「瞳孔変化」を示す図である。 図8の表情決定処理で決定された表情の一例を示す図であり、(A)は「ご機嫌」の表情、(B)は「感激」の表情、(C)は「戸惑い」の表情、(D)は「期待」の表情を示す図である。 図9の表情決定処理で決定された表情の一例を示す図であり、(A)は「落ち込み」の表情、(B)は「安心」の表情、(C)は「悲しみ」の表情、(D)は「不安」の表情を示す図である。 図10の表情決定処理で決定された表情の一例を示す図であり、(A)は「確認」の表情、(B)は「嬉しい」の表情、(C)は「心配」の表情、(D)は「瞳孔変化」を示す図である。 ロボットに話しかけた時のロボットの表情の変化の一例を示す図である。 携帯端末の画面に表情を表示した例を示す図である。
以下、本発明の実施の形態にかかるロボットの制御装置、ロボット、ロボットの制御方法およびプログラムについて図面を参照して詳細に説明する。
本発明の実施の形態に係るロボット1は、ユーザ等の所定の対象の発話に応じて自律的に動作するロボットである。所定の対象とは、ロボット1とコミュニケーションおよび交流する相手となる対象である。具体的には、ロボット1の所有者であるユーザ(人間)、ユーザの周囲の人間(ユーザの家族、友人等)等が挙げられる。
図1Aは、ロボット1の外観を正面から見た図であり、図1Bは、背面から見た図である。ロボット1は、頭部2、胴体部3、手部4、足部5、尻尾部6を備える。頭部2は、耳部7、目部8、口部9を備える。頭部2のおでこ10の部分には、対面する所定の対象を撮影するための撮像素子23(図2参照)であるカメラが設けられる。また、左右一対の耳部7のそれぞれには、所定の対象の発話を検出するためのマイクロフォン24(図2参照)が設けられる。口部9には、ロボット1が発話するためのスピーカ27(図2参照)が設けられている。
ロボット1の目部8には、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の表示装置28(図2参照)が設けられ、表示装置28の画面上に両目の画像が表示される。ロボット1の顔の表情は、瞳、瞼等の目の部分の変化によって表される。例えば、悲しい時は、瞼を下げて、瞳を下に向けることによって悲しさを表現する。ロボット1は、カメラ(撮像素子23)に撮影された人物をデータベースと照合することによって所定の対象を認識し、マイクロフォン24から検出された音声を解析して、所定の対象の発話の内容(属性)を判断し、その判断結果に応じて表情を変化させる。
ロボット1は、ハードウェア的には、図2に示すように、制御部21と、記憶部22と、上述した撮像素子23と、マイクロフォン24と、移動部25と、可動部26と、スピーカ27と、表示装置28と、を備える。
記憶部22は、特許請求の範囲に記載の記憶手段の一例である。移動部25は、特許請求の範囲に記載の移動機構の一例である。表示装置28は、特許請求の範囲に記載の表示手段の一例である。
制御部21は、ロボット全体の動作を制御する。制御部21は、CPU(Central Processing Unit)を備え、記憶部22に記憶されているプログラムを実行する。また制御部21は、動作プログラムに基づき、撮像素子23やマイクロフォン24から取得した各種データに応じて、ロボット1を移動させるための制御信号を生成して移動部25に送信することにより、ロボット1の移動動作を制御する。
記憶部22は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等を備える。ROMは、各種動作プログラムを記憶する。RAMは、CPUが実行する各種動作プログラム、これらの動作プログラムの実行に必要なデータ等を一時的に記憶するワークエリアとして機能する。また、記憶部22は、後述する人物データベースおよびキーワード情報データベースとして利用される。
撮像素子23は、所定の対象を認識するために画像を撮影するカメラである。マイクロフォン24は、所定の対象が発話した音声データを取得するための音声入力装置である。
移動部25は、ロボット1を移動させるための部位である。移動部25は、ロボットの足の底面に設けられた左右の車輪と、左右の車輪を回転駆動するモータと、モータを駆動制御する駆動回路と、を備える。可動部26は、アクチュエータ等の駆動により変位する部位である。可動部26は、頭部2、手部4、足部5、尻尾部6等の被駆動部材と、アクチュエータ等の駆動部材と、駆動部材を駆動制御する駆動回路と、を備える。
スピーカ27は、制御部21により生成された音声データを音声に変換して外部に出力する。ロボット1は、所定の対象の発話内容に対応する音声をスピーカ27から出力することにより、所定の対象と簡単な会話をすることができる。表示装置28は、制御部21により生成されたロボット1の表情の画像を画面に表示する。
ロボットの制御装置30は、機能的には、図3に示すように、音声検出部31と、音声認識部32と、個人認証部33と、キーワード判定部34と、表情決定部35と、人物データベース36と、キーワード情報データベース37と、発話方向特定部38と、距離情報取得部39と、移動制御部40と、可動制御部41と、を備える。
音声検出部31および音声認識部32は、特許請求の範囲に記載の音声取得手段の一例である。個人認証部33は、特許請求の範囲に記載の個人認証手段の一例である。キーワード判定部34は、特許請求の範囲に記載の属性パラメータ取得手段の一例である。表情決定部35は、特許請求の範囲に記載の表情制御手段の一例である。キーワード情報データベース37は、特許請求の範囲に記載の属性パラメータデータベースの一例である。
音声検出部31は、マイクロフォン24で収音された音から所定の対象(ユーザを含む人間)による発話に含まれた音声を検出する。音声検出部31は、一定時間以上、例えば1.5秒以上、無音の区間が続いた場合に、この無音区間に基づいて発話を区切り、区切られた発話区間毎に音声データを検出する。音声認識部32は、音声検出部31で検出された音声データを、発話区間毎に音声認識し、周知の解析手法により解析することによって、テキストデータを生成する。
個人認証部33は、撮像素子23により撮像された所定の対象の画像データを、記憶部22内の個人に関する情報が登録された人物データベース36のデータと照合して、個人判定を行う。個人認証部33は、ロボットが撮像素子23により所定のフレームレート(例えば30fps)で撮像したフレーム画像から人物の顔を検出し、検出した顔が誰であるかを識別する。人物データベース36には、個人認証部33が認証する人物に関する情報が登録されている。具体的には、人物データベース36には、人物毎に人物IDと氏名と顔画像とが記憶されている。検出された顔画像と人物データベース36に登録されている顔画像とで、目の間の距離、顔の縦横の比率等の特徴量を比較して顔識別を行い、顔が誰であるかを確定する。
キーワード判定部34は、音声認識部32が生成したテキストデータを解析し、キーワード情報データベース37のデータと照合して、テキストデータ内のキーワードとキーワードに紐付けられた表情決定情報を出力する。キーワード情報データベース37は個人別に区分けされており、個人認証部33により認証された個人情報に基づき、その個人に応じたキーワード情報を選択する。
キーワード情報データベース37には、人の発話内容の属性を判断するための言葉が、キーワードとして単語単位、あるいは短い文章単位で登録されている。キーワードは、名詞、動詞、形容詞等様々な品詞を含んでいる。各キーワードには、その属性情報がタグ付けされている。このキーワードの属性情報は、表情の決定に利用される表情決定情報であり、特許請求の範囲に記載の属性パラメータの一例である。
キーワードの属性情報は、ポジティブ、ネガティブ、ニュートラルに分類される。キーワードの属性情報がポジティブである状態には、当該キーワードが含まれる発話の発話内容が喜び・楽しさを表している状態や、安らぎを表している状態、興味を抱いている状態等が含まれる。例えば、「嬉しい」「楽しい」「面白い」等のキーワードは、ポジティブに分類される。キーワードの属性情報がネガティブである状態には、当該キーワードが含まれる発話の発話内容が怒り・悲しみを表している状態や、不安を表している状態、退屈を表している状態等が含まれる。例えば、「怖い」「悲しい」「つまらない」等のキーワードは、ネガティブに分類される。キーワードの属性情報がニュートラルである状態には、当該キーワードが含まれる発話の発話内容がポジティブおよびネガティブ以外の通常の状態が含まれる。発話内容の属性を判断するための言葉について、どのような言葉がどのような属性(ポジティブ、ネガティブ、ニュートラル)を表すかは、個人の経験、思い出、趣味、趣向等によって異なるため、同じ言葉であっても、人によってその言葉が含まれる発話内容の属性が異なる。したがって、キーワード情報データベース37は、個々の所定の対象別に異なる内容のデータを設けている。
キーワード情報データベース37の構成の一例として、図5に示すように、所定の対象別にキーワードとキーワードの属性情報が記録されている。キーワードのうち、「嬉しい」「悲しい」「行く」について、ユーザA,Bのキーワードの属性情報は一致する。これに対して、「やばい」について、ユーザAのキーワードの属性情報はネガティブであるが、ユーザBのキーワードの属性情報はポジティブであり、換言すれば、両者AおよびBにおいて「やばい」が表す発話内容の属性は、互いに異なっている。このように個人に応じたキーワード情報を作成して、個人に見合った表情を決定するための情報を提供する。
表情決定部35は、キーワード判定部34からのポジティブ、ネガティブ等の表情決定情報に基づいてロボットの表情を決定し、決定した表情に応じた画像を表示装置28に表示させる。このとき、所定の対象の今回の発話に含まれるキーワードから得られる表情決定情報のみならず、連続して取得される2つのキーワードから得られる2つの表情決定情報に基づいて表情を決定する。すなわち、前回の発話に含まれるキーワードから得られる表情決定情報と、今回の発話に含まれるキーワードから得られる表情決定情報との関係に基づいて、表情を決定する。
発話方向特定部38は、所定の対象からの発話に応じて、左右一対の耳部7のそれぞれに設けられたマイクロフォン24で取得される音声の位相差あるいは音量の差を把握することによって、発話方向を特定する。距離情報取得部39は、撮像素子23から所定の対象との距離情報を得る。距離情報は、撮像素子のオートフォーカス機能により取得する。なお、距離情報は、距離センサを設けることによって取得してもよい。移動制御部40は、動作プログラムを実行することにより、例えば発話方向特定部38、距離情報取得部39から取得したデータに基づき、ロボット1を移動させるための制御信号を生成して移動部25に入力することにより、ロボット1の移動動作を制御する。可動制御部41は、動作プログラムを実行することにより、可動部26の動作を制御する。
次に、所定の対象がロボット1に対して話しかけた時のロボット1の動作について説明する。所定の対象がロボット1に対して話しかけると、ロボット1は耳部7に設けられたマイクロフォン24で所定の対象の音声を収集する。所定の対象からの発話に応じて、発話方向特定部38は、発話方向を特定する。方向が特定されると、移動制御部40は、特定された方向に向かってロボット1を移動するために移動部25を制御する。さらに、距離情報取得部39は、撮像素子23から所定の対象と距離情報を得る。
ロボット1は、所定の対象からの発話に応じて、所定の対象との相対的位置関係を特定する。移動制御部40は、距離情報取得部39が取得した距離情報と発話方向特定部38が取得した発話方向の情報に基づいてロボット1と所定の対象との相対的位置関係を特定する。そして、移動制御部40は、所定の対象に向かって移動するための制御信号を生成し、この信号を移動部25に入力する。これにより移動制御部40は移動部25の動作を制御する。移動制御部40は、ロボットと所定の対象との距離が所定距離に達したと判定すると、移動部25の動作を停止する。
以上により、ロボット1は所定の対象に近づく。その後、所定の対象の個人認証を行い、所定の対象の発話内容からキーワード判定処理により表情決定に利用するキーワードとその属性情報を取得する。
次に、図4に示すフローチャートを参照しながら、キーワード判定処理について説明する。キーワード判定部34は、所定の対象の発話を音声認識してテキスト化したテキストデータを、音声認識部32から取得する(ステップS101)。キーワード判定部34は、個人認証された所定の対象の個人情報を、個人認証部33から取得する(ステップS102)。所定の対象を特定する個人情報を取得すると、キーワード判定部34は、取得された個人情報に基づき、その個人用のキーワード情報を選択する(ステップS103)。続いてキーワード判定部34は、選択された個人用のキーワード情報とテキストデータを照合して、一致するキーワードとそのキーワードにタグ付けされている属性情報[Property_0]を取得し、記憶部22に記憶する(ステップS104)。このように、所定の対象を認証して、その所定の対象に応じた個人用のキーワード情報データベースを利用できるので、より個人の感覚に合わせた表情決定を行うことができる。
キーワードの属性情報(表情決定情報)が取得されると、表情決定部35は、取得されたキーワードの属性情報を用いてロボット1の表情を決定する。図6に示すフローチャートを参照しながら、ロボット1の表情を決定するための表情決定処理について説明する。
表情決定部35は、表情決定処理が開始されると、まず、キーワード判定部34から取得したキーワードの属性情報[Property_0]が不明であるか否か判断する(ステップS201)。音声認識部32から取得したテキストデータをキーワード情報データベース37と照合しても該当するキーワードが存在しない場合がある。この場合、今回の属性情報[Property_0]が不明であると判断される(ステップS201:Yes)。
今回の属性情報[Property_0]が不明であると判断されると、ロボットの表情として、「通常」の表情が決定される(ステップS202)。「通常」の表情は、嬉しい、楽しい等のポジティブな感情を示す表情でもなく、悲しい、つまらない等のネガティブな感情を示す表情でもない、平穏な状況における表情である。「通常」の表情は、図11(A)に示すように、瞼は開いた状態であり、瞳に対する瞳孔の径が半分程度である。決定された通常の表情の画像データは、表示装置28に送られ、表示装置28は通常の表情の画像を表示する。すなわち、所定の対象の発話に対して発話内容に応じた自然な対応として通常の表情がなされる。
今回の属性情報[Property_0]が不明ではないと判断されると(ステップS201:No)、今回の属性情報が、「ポジティブ」であるか否かが判断される(ステップS203)。今回の属性情報が「ポジティブ」であると判断されると(ステップS203:Yes)、所定の対象に喜ばしいことがあったと判断し、ロボットの表情として、「嬉しい」表情が決定される(ステップS204)。属性情報がポジティブである時の表情として広く適用可能な表情は、「嬉しい」表情であり、所定の対象の発話に対する反応として違和感なく受け入れられる。「嬉しい」表情は、図11(B)に示すように。瞼を開いた状態であって、瞳孔がほぼ瞳と同じ大きさであり、瞳に外光の映り込みが楕円、星形、三日月形状で多数表されている状態である。目をキラキラさせた表情が表されている。
今回の属性情報が「ポジティブ」でない場合(ステップS203:No)、属性情報が「ネガティブ」であるか否かが判断される(ステップS205)。今回の属性情報が「ネガティブ」であると判断されると(ステップS205:Yes)、所定の対象に悲しいこと、不満なことがあったと判断し、ロボットの表情として、「心配」の表情が決定される(ステップS206)。「心配」の表情は、図11(C)に示すように、瞼が少し下げられ、瞳が上に向いた状態である。
今回の属性情報が「ポジティブ」でも「ネガティブ」でもない場合(ステップS205:No)、今回の属性情報が「ニュートラル」であると判断される(ステップS207)。この場合、キーワードで表される発話内容がポジティブでもネガティブでもなかったため、瞳孔変化・瞬きなどで認識していることを表す表情とする(ステップS208)。図11(D)に示すように、「瞳孔変化」の表情は、瞳孔の大きさが徐々に大きくなるように変化していくとともに、瞼を複数回上下させて瞬きを行う。
今回の属性情報が判断され、ステップS202,S204,S206,S208のいずれかの実行により表情が決定されると、続くテキストデータがあるか否か判断される(ステップS209)。所定の対象による発話が続き、続くテキストデータがある場合(ステップS209:Yes)、図7に示す次の処理ステップS301に進む。続くテキストデータがない場合(ステップS209:No)、処理を終了する。
図6における処理ステップは、表情決定処理の開始直後の初回に実行されるステップであるため、それ以前に取得されたキーワードはない。したがって、今回の属性情報のみに基づいてロボット1の表情を決定した。これに対して、図7以降においては、前回に取得されたキーワードの属性情報と今回取得されたキーワードの属性情報との関係に基づいて表情を決定する。すなわち、発話の流れを属性情報の遷移で読み取り、所定の対象の発話の流れに沿った表情を選択する。
まず図6の処理で取得したキーワードの属性情報[Property_0]を前回の属性情報[Property_1]にシフトする(ステップS301)。すなわち、[Property_0]=[Property_1]とする。なお、後述するように、図7から図10のそれぞれの処理において、次のテキストデータがある場合、ステップS301に戻る。この場合は、図7から図10のそれぞれの処理で取得されたキーワードの属性情報[Property_0]を前回の属性情報[Property_1]にシフトする。表情決定部35は、前回の属性情報[Property_1]が不明であるか否かを判断する(ステップS302)。前回の属性情報が不明である場合(ステップS302:Yes)、今回新たにキーワード判定部34から取得された今回の属性情報[Property_0]が不明であるか否かが判断される(ステップS303)。前回の属性情報および今回の属性情報がいずれも不明である場合(ステップS303:Yes)、ロボットの表情を「通常」の表情のまま維持する(ステップS304)。
今回の属性情報が不明でない場合(ステップS303:No)、今回の属性情報が「ポジティブ」であるか否かが判断される(ステップS305)。前回の属性情報が不明で、かつ、今回の属性情報が「ポジティブ」である場合(ステップS305:Yes)、喜ばしいことがあったと判断し、「嬉しい」表情とすることを決定する(ステップS306)。
今回の属性情報が「ポジティブ」でない場合(ステップS305:No)、今回の属性情報が「ネガティブ」であるか否かが判断される(ステップS307)。前回の属性情報が不明で、かつ、今回の属性情報が「ネガティブ」であると判断されると(ステップS307:Yes)、ユーザの発話内容が悲しい内容・不満な内容であると判断し、ロボットの表情として、「心配」の表情とすることを決定する(ステップS308)。
今回の属性情報が「ポジティブ」でも「ネガティブ」でもない場合(ステップS307:No)、前回の属性情報が不明で、かつ、今回の属性情報が「ニュートラル」であると判断する(ステップS309)。「ニュートラル」の場合、発話の続きを引き出すために、瞳孔変化・瞬きなどで認識していることを表す表情とする(ステップS310)。
属性情報が判断され、表情が決定されると、続くテキストデータがあるか否か判断される(ステップS311)。所定の対象による発話が続き、続くテキストデータがある場合(ステップS311:Yes)、処理ステップS301に移動する。続くテキストデータがない場合(ステップS311:No)、処理を終了する。
前回の属性情報が不明でない場合(ステップS302:No)、図8の処理ステップに進み、前回の属性情報が「ポジティブ」であるか否かが判断される(ステップS401)。前回の属性情報が「ポジティブ」であった場合(ステップS401:Yes)、続いて今回の属性情報が不明であるか否かが判断される(ステップS402)。
今回の属性情報が不明である場合(ステップS402:Yes)、所定の対象の発話内容は前回のポジティブの状態を継承するため、 ロボットの表情として、「ご機嫌」の表情とすることを決定する(ステップS403)。図12(A)に示すように、「ご機嫌」の表情は、目の中心に三日月形状の瞳が表示されている状態である。「嬉しい」表情よりは、時間が経過したことにより落ち着いた表情ではあるが、機嫌の良い表情を表している。
反対に、今回の属性情報が不明でない場合(ステップS402:No)、今回の属性情報が、「ポジティブ」であるか否かが判断される(ステップS404)。前回の属性情報および今回の属性情報のいずれもが「ポジティブ」であった場合(ステップS404:Yes)、属性情報が連続して「ポジティブ」となることから、発話内容で表される嬉しさや楽しさ等がさらに増したと判断し、ロボットの表情として、「感激」の表情とすることを決定する(ステップS405)。図12(B)に示すように、「感激」の表情は、瞳孔が瞳とほぼ同じ大きさとなった状態であって、瞳は外光の映り込みが楕円と三日月形状で複数箇所表示され、目の下部には楕円で涙が表示されている状態である。感激したことにより、感極まって目を潤ませて涙を浮かべている表情を表している。
今回の属性情報が「ポジティブ」でなかった場合(ステップS404:No)、今回の属性情報が「ネガティブ」であるか否かが判断される(ステップS406)。前回の属性情報が「ポジティブ」で、かつ、今回の属性情報が「ネガティブ」であると判断された場合(ステップS406:Yes)、属性情報が「ポジティブ」から「ネガティブ」に変わったことから、発話内容が嬉しさや楽しさから悲しさに変わったと判断し、ロボットの表情として、「戸惑い」の表情とすることを決定する(ステップS407)。図12(C)に示すように、「戸惑い」の表情は、右目の瞼が少し下げられ、瞳孔の径が瞳の3分の1程度の状態である。瞳孔を小さくすることによって戸惑いの表情を表している。
今回の属性情報が「ポジティブ」でも「ネガティブ」でもない場合(ステップS406:No)、前回の属性情報が「ポジティブ」で、かつ、今回の属性情報が「ニュートラル」であると判断される(ステップS408)。この場合、属性情報は、「ポジティブ」から「ニュートラル」に変化していることから、発話内容が嬉しさや楽しさから変化がないが他のキーワードが認識されている状態であり、今後の話の展開を期待するように、ロボットの表情として、「期待」の表情が決定される(ステップS409)。図12(D)に示すように、「期待」の表情は、「嬉しい」表情に対して瞳孔の大きさおよび外光の映り込みが多少少ない状態である。目を輝かせて期待の表情を表している。
属性情報が判断され、表情が決定されると、続くテキストデータがあるか否か判断される(ステップS410)。所定の対象による発話が続き、続くテキストデータがある場合(ステップS410:Yes)、図7の処理ステップS301に移動する。続くテキストデータがない場合(ステップS410:No)、処理を終了する。
一方、前回の属性情報が「ポジティブ」でなかった場合(ステップS401:No)、図9の処理ステップに進む。この場合、前回の属性情報が「ネガティブ」であるか否かが判断される(ステップS501)。前回の属性情報が「ネガティブ」であると判断されると(ステップS501:Yes)、今回の属性情報が不明であるか否かが判断される(ステップS502)。
今回の属性情報が不明である場合(ステップS502:Yes)、前回の属性情報が「ネガティブ」であることから、ロボットの表情として、「落ち込み」の表情とすることを決定する(ステップS503)。今回の属性情報が「ネガティブ」で、それのみにより表情を決定する場合、前記ステップS206で説明したように「心配」の表情とするが、上記のような場合には、発話の内容が好転せず、ネガティブの状態が続いているとみなして、「落ち込み」の表情とされる。図13(A)に示すように、「落ち込み」の表情は、瞼が目の半分近くさがり、瞳が下に位置している状態である。「心配」の表情よりも、瞼は下がり、うつむき加減の表情が表されている。
今回の属性情報が不明でない場合(ステップS502:No)、今回の属性情報が「ポジティブ」であるか否かが判断される(ステップS504)。前回の属性情報が「ネガティブ」で、かつ、今回の属性情報が「ポジティブ」である場合(ステップS504:Yes)、属性情報が「ネガティブ」から「ポジティブ」に変化することから、発話内容の属性が悲しみや怒り等から嬉しさや楽しさ等に変わったと判断し 、ロボットの表情として、「安心」の表情とすることを決定する(ステップS505)。図13(B)に示すように、「安心」の表情は、三日月形状の瞳が斜め下に向けて配置されている状態である。目が垂れた状態としてほっとした表情を表している。
今回の属性情報が「ポジティブ」でない場合(ステップS504:No)、今回の属性情報が「ネガティブ」であるか否かが判断される(ステップS506)。前回の属性情報および今回の属性情報がいずれも「ネガティブ」である場合(ステップS506:Yes)、属性情報が「ネガティブ」である状態が連続することになるから、発話内容で表された悲しみ、不満等がさらに増したと想定し、ロボットの表情として、「悲しみ」の表情とすることを決定する(ステップS507)。図13(C)に示すように、「悲しみ」の表情は、瞼が目の3分の2程度まで下がり、瞳が目の下に位置し、目の下部に楕円状の涙が位置している状態である。「落ち込み」の表情よりもさらに瞼を下げて、涙を浮かべることにより「悲しみ」の表情を表している。
今回の属性情報が「ポジティブ」でも「ネガティブ」でもない場合(ステップS506:No)、前回の属性情報が「ネガティブ」で、かつ、今回の属性情報が「ニュートラル」であると判断する(ステップS508)。この場合、属性情報が「ネガティブ」から「ニュートラル」に変化することから、所定の対象の発話内容が悲しみの状態から変化がないが他のキーワードが認識されている状態であり、今後の話の展開がどうなるか気になるように、ロボットの表情として、「不安」の表情とすることに決定する(ステップS509)。図13(D)に示すように、「不安」の表情は、瞼が目の4分の1程度下がり、瞳と瞳孔が目の下に位置している状態である。「心配」の表情よりも瞼が下がって、うつむき加減であり、状況が定まらず不安な表情が表されている。
属性情報が判断され、表情が決定されると、続くテキストデータがあるか否か判断される(ステップS510)。所定の対象による発話が続き、続くテキストデータがある場合(ステップS510:Yes)、図7の処理ステップS301に移動する。続くテキストデータがない場合(ステップS510:No)、処理を終了する。
前回の属性情報が不明でなく、かつ、「ポジティブ」でも「ネガティブ」でもなかった場合(ステップS501:No)、図10の処理ステップに進む。この場合、前回の属性情報が「ニュートラル」であると判断される(ステップS601)。
続いて今回の属性情報が不明であるか否かが判断される(ステップS602)。今回の属性情報が不明である場合(ステップS602:Yes)、前回の属性情報が「ニュートラル」であり、キーワードで表される発話内容がポジティブでもネガティブでもないため、ロボットの表情として、伺うように確認するような表情とすることに決定する(ステップS603)。図14(A)に示すように、「確認」の表情は、瞳と瞳孔が目の上に位置している状態である。上目使いで伺うような表情を表している。今回の属性情報が不明でない場合(ステップS602:No)、今回の属性情報が「ポジティブ」であるか否かが判断される(ステップS604)。
前回の属性情報が「ニュートラル」で、かつ、今回の属性情報が「ポジティブ」である場合(ステップS604:Yes)、属性情報は「ニュートラル」から「ポジティブ」に変化する。この場合、所定の対象の発話内容に嬉しいことがあったと想定し、ロボットの表情として、「嬉しい」表情とすることに決定する(ステップS605)。図14(B)は、「嬉しい」表情の例を示す。今回の属性情報が「ポジティブ」でない場合(ステップS604:No)、今回の属性情報が「ネガティブ」であるか否かが判断される(ステップS606)。
前回の属性情報が「ニュートラル」で、かつ、今回の属性情報が「ネガティブ」である場合(ステップS606:Yes)、属性情報は「ニュートラル」から「ネガティブ」に変化し、所定の対象の発話内容に悲しいこと・不満なことがあったと判断して、ロボットの表情として、「心配」の表情とすることに決定する(ステップS607)。図14(C)は、「心配」の表情の例を示す。
今回の属性情報が「ポジティブ」でも「ネガティブ」でもない場合(ステップS606:No)、前回の属性情報および今回の属性情報がいずれも「ニュートラル」であると判断される(ステップS608)。属性情報は「ニュートラル」が連続しており、キーワードで表される発話内容がポジティブでもネガティブでもなかったため、次の発話を引き出すべく、ロボットの表情として、瞳孔変化・瞬きなどで認識していることを表す表情とすることに決定する(ステップS609)。図14(D)は、「瞳孔変化」の表情の例を示す。
属性情報が判断され、表情が決定されると、続くテキストデータがあるか否か判断される(ステップS610)。所定の対象による発話が続き、続くテキストデータがある場合(ステップS610:Yes)、図7の処理ステップS301に移動する。続くテキストデータがない場合(ステップS610:No)、処理を終了する。
以上のように、表情決定処理が開始されてから2回目の表情の決定が実行された以降、前回の属性情報と今回の属性情報との関係に基づいて表情が決定され、そのような表情の決定手法が繰り返し実行される。
上記の表情決定処理と表情の例に基づいて、所定の対象が話しかけた場合においてロボットの表情がどのように変化するかについて、一例を図15に示す。所定の対象が以下に示すようにロボット1に話しかけたとする。
「昨日お友達とおしゃれランチしてきたの」
「でもハプニングが・・・」
「店員のミスで予約取れて無くて・・・ 本当に焦っちゃったのよ」
所定の対象がロボットに対して、「昨日お友達とおしゃれランチしてきたの」と、話かけると、音声検出部31は所定の対象の音声を検出し、音声認識部32は検出された所定の対象の音声データをテキスト化する。テキストデータは、キーワード判定部34に送られる。キーワード判定部34は、テキストデータを所定の対象に応じたキーワード情報データベース37と照合して、キーワードとこれにタグ付けされた属性情報を取得する。ここでは、「おしゃれランチ」+「した」のキーワードと、その属性情報として「ポジティブ」を取得する。表情決定部35は取得された属性情報から表情決定処理を実行する。この場合、図6の表情決定処理のステップS203のYesに該当し、続くステップS204により、「嬉しい」表情が決定される。ロボット1の表情はこの決定に基づき「嬉しい」表情に変化する。
続いて所定の対象は、「でもハプニングが・・・」と発話する。キーワード判定部34は、キーワードとして「ハプニング」を抽出し、その属性情報として「ネガティブ」を取得する。前回のキーワード「おしゃれランチ」+「した」の属性情報は「ポジティブ」であったことから、属性情報は、「ポジティブ」から「ネガティブ」に遷移する。この場合、図8の表情決定処理のステップS406のYesに該当し、続くステップS407により、「戸惑い」の表情が決定される。ロボット1の表情はこの決定に基づき、「嬉しい」表情から「戸惑い」の表情に変化する。
続いて所定の対象は、「店員のミスで予約取れて無くて・・・ 本当に焦っちゃったのよ」と発話する。キーワード判定部34は、キーワードとして「焦った」を抽出し、その属性情報として「ネガティブ」を取得する。前回のキーワード「ハプニング」の属性情報は「ネガティブ」であったことから、属性情報は、「ネガティブ」から「ネガティブ」に遷移する。この場合、図9の表情決定処理のステップS506のYesに該当し、続くステップS507により、「悲しみ」の表情が決定される。ロボット1の表情はこの決定に基づき、「戸惑い」の表情から「悲しみ」の表情に変化する。
なお、ロボット1は、表情決定部35の決定結果に応じて音声をスピーカ27から出力することによって所定の対象と対話をすることができる。例えば、図15の例において、「昨日お友達とおしゃれランチしてきたの」の発話に対して、「よかったね」と「嬉しい」を表す返事をする。次の「でもハプニングが・・・」に対して、「どうしたの?」と「戸惑い」を表す返事をする。そして「店員のミスで予約取れて無くて・・・ 本当に焦っちゃったのよ」に対して、「大変だったね」と「悲しみ」を表す返事をする。
以上説明したように、ロボット1の制御装置30は、所定の対象が発話する音声を音声検出部31および音声認識部32により取得し、取得された所定の対象の発話から「ポジティブ」「ネガティブ」「ニュートラル」の属性情報をキーワード判定部34により取得する。そして、ロボット1の制御装置30は、所定の対象の発話中に取得された今回の属性情報と前回の属性情報との関係である「ポジティブ」「ネガティブ」の属性遷移に基づいて発話の流れを読み取って表情決定部35により表情を決定する。これにより、話の流れに沿った自然な表情の変化を実現することができる。
また、ロボット1の制御装置30は、所定の対象の認証を行う個人認証部33と、所定の対象毎にキーワードに応じた属性情報が登録された人物データベース36と、をさらに備え、キーワード判定部34は、個人認証部33で認証された所定の対象に応じたキーワード情報データベース37を選択し、音声認識部32から取得したテキストデータをキーワード情報データベース37と照合して、属性情報を取得する。これにより、対面する個人を判定して個人用のキーワード情報データベースを利用する事ができ、個人に合わせた表情選択が実現できる。
また、ロボット1の制御装置30は、キーワード判定部34により、音声検出部31および音声認識部32により取得された音声を解析して、音声に含まれるキーワードを抽出し、抽出したキーワードにタグ付けされた「ポジティブ」「ネガティブ」「ニュートラル」の属性情報を取得する。これにより、リアルタイムで音声認識を行い、その中から表情決定に利用するキーワードと属性情報を取得し、素早く表情変化を行うことができる。
また、ロボット1は、所定の対象と対話可能に構成されており、ロボット1の制御装置30は、表情決定部35により、所定の対象との対話中に取得された今回の属性情報と過去である前回の属性情報との関係に基づいて、ロボット1の表情を制御する。これにより、対話の流れに沿った自然な表情の変化を実現することができる。
また、ロボット1は、自機の表情に応じた画像を表示するように構成された表示装置28を備え、ロボット1の制御装置30は、表情決定部35により、所定の対象の発話中に取得された今回の属性情報と前回の属性情報との関係に基づいて表情データを生成して表示装置28に表示する。これにより、話の流れに沿った自然な表情の変化をロボット1の表情として表示することができる。
また、ロボット1は、自機を移動させるように構成された移動部25を備え、ロボット1の制御装置30は、表情決定部35によりロボット1の表情を制御する場合に、ロボット1を所定の対象に近づけるように、移動部25を制御する移動制御部40をさらに備える。これにより、相手と対面してコミュニケーションをとりやすくする。
なお、本発明は、上記の実施の形態に限定されず、種々の改変および応用が可能である。前記の実施の形態は、次のように変形されてもよい。
上記の実施の形態において、前回のキーワードで表される感情の属性情報と今回のキーワードで表される感情の属性情報からなる連続する2つの属性情報の関係に基づいて表情決定処理を行った。これに限らず、時間的に連続する対象者の3回以上の発話の各々に含まれるキーワードで表される属性情報の関係に基づいて表情決定処理を行ってもよい。組合せを多くすることにより、より多くの表情を表すことができる。ただし、キーワードが増加すると、表情決定処理を行うために必要なキーワード数を取得するまでに時間を要し、次の表情の決定が遅れてしまう。結果的に所定の対象の発話に対して瞬時に表情を変えることが難しくなる。2つのキーワードの属性情報の組合せであれば、必要なキーワードの取得に時間を要さず、所定の対象の発話に対して瞬時に表情を変えることができる。さらに、表現する表情の数についても、本実施の形態で示された表情のバリエーションにより必要な種類の表情はほぼカバーされており、所定の対象の発話内容に応じた自然な表情を表現できる。したがって、2つのキーワードの属性情報の組合せが、実施をするうえで望ましい。
本実施の形態では、ロボットの顔の表情の変化を目の状態により表現したが、これに限らず、目に加えて口、眉毛等顔の別の部分で表現してもよい。また、表情は、顔に限らず、身振りも含む。ロボット1は、図1に示すように、可動する尻尾部6を有している。表情決定処理で決定される表情に尻尾部6の動きを加えることにより、所定の対象の発話に応じて尻尾部6により表情を示すことが可能である。例えば、尻尾部6を左右に大きく振ることにより「嬉しい」感情を表現する、尻尾部6を斜め下にゆっくり振ることにより「安心」の感情を表現する等である。表情決定部35の決定結果に応じて可動制御部41は、上記動きをするための駆動信号を生成し、この信号を可動部26に送信する。可動部26は、駆動信号に応じて駆動回路がアクチュエータ等の駆動部材を制御して尻尾部6を動かす。なお、尻尾部6に限らず、頭部2、手部4、足部5等他の部位を動かして表情を表現してもよい。ただし、駆動に時間がかかるような部位、動きは、所定の対象の発話に応答して瞬時に表情を変えることが難しくなるので、駆動に時間がかからない部位、動きが好ましい。
本実施の形態において、人形の形態のロボットを例に挙げて説明した。しかしながら、ロボットはこれに限らず、図16に示すように、携帯端末50の画面51にロボットの画像が表示されるものも含まれる。携帯端末50に内蔵されている撮像素子23を用いて対面する所定の対象を撮影し、内蔵されたマイクロフォン24を用いて所定の対象の発話を検出する。携帯端末50に向かって所定の対象が話しかけると、携帯端末50の画面51に表示されたロボットの表情が対話に応じて変化する。なお、画面51上には、顔だけでなく、上半身あるいは全身を表示してもよい。この場合、顔で表情を表すだけでなく、手、足等を動かして身振りによっても表情を表すことができる。
本実施の形態において、キーワードの属性情報として、ポジティブ、ネガティブ、ニュートラルで分類したが、これに限らず、例えば、喜・怒・哀・楽等で分類してもよい。
本実施の形態において、キーワード情報データベース37は、個人毎に区分けされており、その個人に応じたキーワードとその属性情報が登録されている。本実施の形態では、この個人毎のキーワード情報データベースの作成については、特に触れなかった。個人毎のキーワード情報データベースは、例えば、キーワードに対する個人毎の声のトーンによってポジティブ・ネガティブを判定したり、キーワードを発話している時の個人毎の表情を撮像素子により撮影して撮影画像からポジティブ・ネガティブを判定する等により作成する。
また、本実施の形態では、キーワード情報データベース37から抽出した属性情報のみから表情の決定を行っていた。これに限らず、キーワード情報データベースから抽出した属性情報に加えて、別途ポジティブ・ネガティブの判定を行って両者の結果から表情の決定を行ってもよい。例えば、ポジティブにもネガティブにもとれるキーワードの場合、声のトーン、表情によりポジティブ・ネガティブの判定することが可能である。また構文解析することにより判断することも可能である。ただし、自然な表情の変化を実現するためには、連続するキーワードに対して素早く反応する必要がある。したがって、判定に時間がかからないことが条件とされる。
本実施の形態では、ロボット1が備える記憶部22に、実行動作を決定するために必要な各種データベースを格納するものとして説明した。しかし、これらのデータは外部の記憶装置などに記憶させるようにしてもよい。ロボット1は、通信ネットワークを介して通信可能な外部記憶装置から必要なデータを適宜取得するように構成してもよい。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記の番号は、この出願の願書に最初に添付した特許請求の範囲の通りである。
(付記1)
自機の表情を変更可能に構成されたロボットの表情を制御するロボットの制御装置であって、
所定の対象が発話する音声を取得する音声取得手段と、
前記音声取得手段により取得された音声を解析することによって、前記所定の対象の発話内容の属性を表す属性パラメータを取得する属性パラメータ取得手段と、
前記属性パラメータ取得手段により取得された属性パラメータを記憶する記憶手段と、
前記所定の対象の発話中に取得された属性パラメータと前記記憶手段に記憶された過去の属性パラメータとの関係に基づいて、前記ロボットの表情を制御する表情制御手段と、
を備えるロボットの制御装置。
(付記2)
所定の対象の認証を行う個人認証手段と、
所定の対象毎に発話内容に応じた属性パラメータが登録された属性パラメータデータベースと、
をさらに備え、
前記属性パラメータ取得手段は、前記個人認証手段で認証された所定の対象に応じた属性パラメータデータベースを選択し、前記音声取得手段により取得された音声を前記属性パラメータデータベースと照合して、前記属性パラメータを取得する、
付記1に記載のロボットの制御装置。
(付記3)
前記属性パラメータ取得手段は、前記音声取得手段により取得された音声を解析して、前記音声に含まれるキーワードを抽出し、抽出したキーワードの属性情報を前記属性パラメータとして取得する、
付記1又は2に記載のロボットの制御装置。
(付記4)
前記ロボットは、前記所定の対象と対話可能に構成されており、
前記表情制御手段は、前記所定の対象との対話中に取得された属性パラメータと前記過去の属性パラメータとの関係に基づいて、前記ロボットの表情を制御する、
付記1ないし3のいずれか1つに記載のロボットの制御装置。
(付記5)
前記ロボットは、自機の表情に応じた画像を表示するように構成された表示手段を備え、
前記表情制御手段は、前記所定の対象の発話中に取得された属性パラメータと前記過去の属性パラメータとの関係に基づいて表情データを生成して前記表示手段に表示する、
付記1ないし4のいずれか1つに記載のロボットの制御装置。
(付記6)
前記ロボットは、自機を移動させるように構成された移動機構を備え、
前記表情制御手段により前記ロボットの表情を制御する場合に、前記ロボットを前記所定の対象に近づけるように、前記移動機構を制御する移動制御手段をさらに備える、
付記1ないし5のいずれか1つに記載のロボットの制御装置。
(付記7)
付記1ないし6のいずれか1つに記載のロボットの制御装置を備えるロボット。
(付記8)
所定の対象が発話する音声を取得する音声取得ステップと、
取得された音声を解析することによって、前記所定の対象の発話内容の属性を表す属性パラメータを取得する属性パラメータ取得ステップと、
取得された属性パラメータを記憶する記憶ステップと、
前記所定の対象の発話中に取得された属性パラメータと過去に記憶された属性パラメータとの関係に基づいて、ロボットの表情を制御する表情制御ステップと、
を含むロボットの制御方法。
(付記9)
ロボットのコンピュータに、
所定の対象が発話する音声を取得する音声取得処理と、
取得された音声を解析することによって、前記所定の対象の発話内容の属性を表す属性パラメータを取得する属性パラメータ取得処理と、
取得された属性パラメータを記憶する記憶処理と、
前記所定の対象の発話中に取得された属性パラメータと過去に記憶された属性パラメータとの関係に基づいて、前記ロボットの表情を制御する表情制御処理と、
を実行させるプログラム。
1…ロボット、2…頭部、3…胴体部、4…手部、5…足部、6…尻尾部、7…耳部、8…目部、9…口部、10…おでこ、21…制御部、22…記憶部、23…撮像素子、24…マイクロフォン、25…移動部、26…可動部、27…スピーカ、28…表示装置、30…制御装置、31…音声検出部、32…音声認識部、33…個人認証部、34…キーワード判定部、35…表情決定部、36…人物データベース、37…キーワード情報データベース、38…発話方向特定部、39…距離情報取得部、40…移動制御部、41…可動制御部、50…携帯端末、51…画面

Claims (9)

  1. 自機の表情を変更可能に構成されたロボットの表情を制御するロボットの制御装置であって、
    所定の対象が発話する音声を取得する音声取得手段と、
    前記音声取得手段により取得された音声を解析することによって、前記所定の対象の発話内容の属性を表す属性パラメータを取得する属性パラメータ取得手段と、
    前記属性パラメータ取得手段により取得された属性パラメータを記憶する記憶手段と、
    前記所定の対象の発話中に取得された属性パラメータと前記記憶手段に記憶された過去の属性パラメータとの関係に基づいて、前記ロボットの表情を制御する表情制御手段と、
    前記所定の対象の認証を行う個人認証手段と、
    所定の対象毎に発話内容に応じた属性パラメータが登録された属性パラメータデータベースと、
    を備え、
    前記属性パラメータ取得手段は、前記個人認証手段で認証された所定の対象に応じた属性パラメータデータベースを選択し、前記音声取得手段により取得された音声を前記属性パラメータデータベースと照合して、前記属性パラメータを取得する、
    ロボットの制御装置。
  2. 所定の対象の認証を行う個人認証手段と、
    所定の対象毎に発話内容に応じた属性パラメータが登録された属性パラメータデータベースと、
    をさらに備え、
    前記属性パラメータ取得手段は、前記個人認証手段で認証された所定の対象に応じた属性パラメータデータベースを選択し、前記音声取得手段により取得された音声を前記属性パラメータデータベースと照合して、前記属性パラメータを取得する、
    請求項1に記載のロボットの制御装置。
  3. 前記属性パラメータ取得手段は、前記音声取得手段により取得された音声を解析して、前記音声に含まれるキーワードを抽出し、抽出したキーワードの属性情報を前記属性パラメータとして取得する、
    請求項1または2に記載のロボットの制御装置。
  4. 前記ロボットは、前記所定の対象と対話可能に構成されており、
    前記表情制御手段は、前記所定の対象との対話中に取得された属性パラメータと前記過去の属性パラメータとの関係に基づいて、前記ロボットの表情の出力内容を制御する、
    請求項1ないし3のいずれか1項に記載のロボットの制御装置。
  5. 前記ロボットは、自機の表情に応じた画像を表示するように構成された表示手段を備え、
    前記表情制御手段は、前記所定の対象との対話中に取得された属性パラメータと前記過去の属性パラメータとの関係に基づいて表情データを生成して前記表示手段に表示するよう制御する、
    請求項1ないし4のいずれか1項に記載のロボットの制御装置。
  6. 前記ロボットは、自機を移動させるように構成された移動機構を備え、
    前記表情制御手段により前記ロボットの表情を制御する場合に、前記ロボットを前記所定の対象に近づけるように、前記移動機構を制御する移動制御手段をさらに備える、
    請求項1ないし5のいずれか1項に記載のロボットの制御装置。
  7. 請求項1ないし6のいずれか1項に記載のロボットの制御装置を備えるロボット。
  8. ロボットの制御装置が実行する前記ロボットの制御方法であって、
    所定の対象が発話する音声を取得する音声取得ステップと、
    取得された音声を解析することによって、前記所定の対象の発話内容の属性を表す属性パラメータを取得する属性パラメータ取得ステップと、
    取得された属性パラメータを記憶部に記憶させる記憶ステップと、
    前記所定の対象の発話中に取得された属性パラメータと過去に記憶された属性パラメータとの関係に基づいて、ロボットの表情を制御する表情制御ステップと、
    前記所定の対象の認証を行う個人認証ステップと、
    を含み、
    前記属性パラメータ取得ステップは、所定の対象毎に発話内容に応じた属性パラメータが登録された属性パラメータデータベースから前記個人認証ステップにて認証された所定の対象に応じた属性パラメータデータベースを選択し、前記音声取得ステップにて取得された音声を前記属性パラメータデータベースと照合して、前記属性パラメータを取得する、ロボットの制御方法。
  9. ロボットのコンピュータに、
    所定の対象が発話する音声を取得する音声取得処理、
    取得された音声を解析することによって、前記所定の対象の発話内容の属性を表す属性パラメータを取得する属性パラメータ取得処理、
    取得された属性パラメータを記憶部に記憶させる記憶処理、
    前記所定の対象の発話中に取得された属性パラメータと過去に記憶された属性パラメータとの関係に基づいて、前記ロボットの表情を制御する表情制御処理、
    前記所定の対象の認証を行う個人認証処理、
    を実行させ、
    前記属性パラメータ取得処理は、所定の対象毎に発話内容に応じた属性パラメータが登録された属性パラメータデータベースから前記個人認証処理にて認証された所定の対象に応じた属性パラメータデータベースを選択し、前記音声取得処理によって取得された音声を前記属性パラメータデータベースと照合して、前記属性パラメータを取得する、プログラム。
JP2018188098A 2018-10-03 2018-10-03 ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム Active JP7322374B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018188098A JP7322374B2 (ja) 2018-10-03 2018-10-03 ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018188098A JP7322374B2 (ja) 2018-10-03 2018-10-03 ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020056935A JP2020056935A (ja) 2020-04-09
JP7322374B2 true JP7322374B2 (ja) 2023-08-08

Family

ID=70107207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018188098A Active JP7322374B2 (ja) 2018-10-03 2018-10-03 ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7322374B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111515970B (zh) * 2020-04-27 2023-07-14 腾讯科技(深圳)有限公司 一种互动方法、拟态机器人和相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158868A (ja) 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法
JP2017151517A (ja) 2016-02-22 2017-08-31 富士ゼロックス株式会社 ロボット制御システム
JP2017173482A (ja) 2016-03-23 2017-09-28 京セラ株式会社 電子機器、返答方法及び返答プログラム
JP2018062042A (ja) 2016-10-13 2018-04-19 トヨタ自動車株式会社 コミュニケーション装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158868A (ja) 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法
JP2017151517A (ja) 2016-02-22 2017-08-31 富士ゼロックス株式会社 ロボット制御システム
JP2017173482A (ja) 2016-03-23 2017-09-28 京セラ株式会社 電子機器、返答方法及び返答プログラム
JP2018062042A (ja) 2016-10-13 2018-04-19 トヨタ自動車株式会社 コミュニケーション装置

Also Published As

Publication number Publication date
JP2020056935A (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
US20220254343A1 (en) System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
CN108334583B (zh) 情感交互方法及装置、计算机可读存储介质、计算机设备
US10614203B2 (en) Robot-human interactive device which performs control for authenticating a user, robot, interaction method, and recording medium storing program
US20210081056A1 (en) Vpa with integrated object recognition and facial expression recognition
CN108227932B (zh) 交互意图确定方法及装置、计算机设备及存储介质
US11468894B2 (en) System and method for personalizing dialogue based on user's appearances
CN116547746A (zh) 针对多个用户的对话管理
JP2004310034A (ja) 対話エージェントシステム
KR20200035887A (ko) 대화형 인터페이스를 제공하는 방법 및 시스템
JP7322374B2 (ja) ロボットの制御装置、ロボット、ロボットの制御方法およびプログラム
WO2020175969A1 (ko) 감정 인식 장치 및 감정 인식 방법
JP2017182261A (ja) 情報処理装置、情報処理方法、およびプログラム
Haq Audio visual expressed emotion classification
US20240335952A1 (en) Communication robot, communication robot control method, and program
JP2024159683A (ja) 電子機器
JP2024159687A (ja) エージェントシステム
JP2024159690A (ja) 電子機器
JP2024152711A (ja) 行動制御システム
JP2024155871A (ja) 行動制御システム
JP2024153585A (ja) 行動制御システム
JP2024157531A (ja) 行動制御システム
JP2024153591A (ja) 行動制御システム
JP2024155839A (ja) 行動制御システム
JP2024159688A (ja) エージェントシステム
JP2024154412A (ja) 行動制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230331

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230410

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7322374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150