JP7205533B2 - 情報処理装置及び情報処理方法、並びにロボット装置 - Google Patents

Description

本明細書で開示する技術は、ユーザ識別などに使用する情報を処理する情報処理装置及び情報処理方法、並びにロボット装置に関する。

ロボットとのインタラクションにおいて、ロボットがユーザを識別することで、ユーザ毎に異なる振る舞いを行うことができる。例えば、ペット型ロボットであれば、飼い主として登録されたユーザに対しては近づくが、知らないユーザであれば番犬のように吠えるなどの行動を起こすことができる。また、ユーザとの対話を解析してユーザに固有の情報を取得し、ユーザに固有の情報と固有でない情報を用いて対話内容を生成する対話システムについても提案がなされている（例えば、特許文献１を参照のこと）。ロボットを始めとする対話システムにおいて、ユーザを識別する機能は、ユーザに適合したサービスを提供する上で極めて重要である。

ユーザの顔や声の情報を用いたユーザ識別技術が広く用いられている。あらかじめユーザの顔や声の情報を学習しておき、ロボットが検出した顔や声と学習したデータとの類似性を計算して、既知のユーザであるかどうか、どのユーザであるかを判別することができる。

ユーザの顔や音声などの学習データは、ユーザの成長や老化などに伴って変化する。あらかじめ学習したユーザの顔や声の情報が古くなると、ユーザの識別性能が劣化することが知られている。例えば、声の情報を用いて識別を行う場合、数カ月程度の期間でも識別性能に影響を与える。したがって、識別性能を維持するためには、常に新鮮なユーザの顔や声のデータを学習する必要がある。

ロボットが顔や声を学習する作業は、ユーザに特定の発話や姿勢を強いることになり、ユーザにとって負担になる。そのため、しりとりや早口言葉などのゲームによってユーザの発話を促し、学習のための前処理をユーザに意識させることなく学習に必要な音声データを収集する音声認識装置について提案がなされている（例えば、特許文献２を参照のこと）。

特開２０１７－６２６０２号公報 特開２０１７－３６１１号公報

本明細書で開示する技術の目的は、ユーザ識別に用いる情報を効率的に収集する情報処理装置及び情報処理方法、並びにロボット装置を提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、識別器により識別したオブジェクトに対して自発的に行動するデバイスに関する処理を行う情報処理装置であって、
前記識別器の状態を取得する取得部と、
前記状態に基づいて前記デバイスの行動を決定する決定部と、
を具備する情報処理装置である。

前記識別器は、例えば、ユーザの音声データから話者を識別する話者識別器とユーザの顔画像を識別する顔識別器を含む。また、前記決定部は、音声データが不足しているユーザから音声データを収集するための前記デバイスの行動を決定し、顔画像データが不足しているユーザの顔画像データを収集するための前記デバイスの行動を決定する。

また、本明細書で開示する技術の第２の側面は、識別器により識別したオブジェクトに対して自発的に行動するデバイスに関する処理を行う情報処理方法であって、
前記識別器の状態を取得する取得ステップと、
前記状態に基づいて前記デバイスの行動を決定する決定ステップと、
を有する情報処理方法である。

また、本明細書で開示する技術の第３の側面は、
センサ部と、
前記センサ部の出力に基づいてオブジェクトを識別する識別部と、
駆動部と、
前記識別部の状態に基づいて、前記駆動部を用いた行動を決定する決定部と、
を具備するロボット装置である。

本明細書で開示する技術によれば、ユーザの負担感が少ない状態で、ユーザ識別などに用いる情報を効率的に収集することができる情報処理装置及び情報処理方法、並びにロボット装置を提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、脚式ロボット１の外装の斜視図である。 図２は、脚式ロボット１の外装の内部の構成を示した図である。 図３は、脚式ロボット１の外装の内部の構成を示した図である。 図４は、脚式ロボット１の軸構成を模式的に示した図である。 図５は、脚式ロボット１のアクチュエータとその制御系統などの構成例を示した図である。 図６は、脚式ロボット１の電気系統の内部構成例を示したブロック図である。 図７は、メイン制御部６１の機能的構成例を示したブロック図である。 図８は、音声認識部１０１Ａの機能的構成を示したブロック図である。 図９は、行動決定機構部１０３が脚式ロボット１の次の行動を決定するための処理手順を示したフローチャートである。 図１０は、脚式ロボット１の状態遷移図の一例を示した図である。 図１１は、識別性能の低下原因に応じて追加したユーザ識別用のデータの取り扱いを制御するように構成された行動決定機構部１０３の機能的構成を示したブロック図である。 図１２は、識別性能の低下原因に応じて追加したユーザ識別用のデータの取り扱いを行うための処理手順を示したフローチャートである。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

顔や声など、ユーザの識別に用いる情報は、単に新しさだけでなく、バリエーションも必要である。例えば、ユーザの正面向きと右向きの顔の情報しかなければ、左向きの顔を検出してユーザ識別を行うのは困難若しくは識別性能が低下する。また、ユーザが発話した「あ」と「い」の音声情報しかなければ、「う」という声しか検出できないときにユーザ識別を行うのは困難若しくは識別性能が低下する。

明示的に不足している情報を収集するためのユーザに動作又は行動を促すことは可能である。例えば、ロボットは、ユーザの左向きの顔の情報が不足しているときに、「左を向いてください」とユーザに指示して、ユーザの左向きの顔の情報を収集したり、「う」というユーザ発話が不足しているときに、「こちらに向かって「う」と発音してください」とユーザに指示して、ユーザの「う」を含む声を収集したりすることができる。しかしながら、ユーザはロボット側の指示に従う必要があり、ユーザの負担感が増してしまう。

一方、ユーザの普段の音声や顔の画像を収集し続けると、高い識別性能を維持するのに十分な情報を収集できる可能性はあるが、ある程度以上の識別性能を実現するための情報収集に長時間を要してしまう。また、十分な情報を収集できるまでの間は、識別性能が低いままになる。

そこで、本明細書では、ユーザの負担感が少ない状態で、ユーザ識別に用いる情報を効率的に収集することができる情報処理装置及び情報処理方法、並びにロボット装置について、以下で提案する。

図１には、本明細書で開示する技術を適用することが可能な、脚式ロボット１の外装の斜視図を示している。

脚式ロボット１は、人の住環境やその他の日常生活上のさまざまな場所を自在に移動して、人的活動を支援することができる。また、脚式ロボット１は、内部状態（怒り、悲しみ、喜び、楽しみなど）に応じて自律的に行動することができ、さらに人間が行なう基本的な動作を表出することができる。

図示の脚式ロボット１の外装は、幹部外装ユニット２の所定の位置に頭部外装ユニット３が連結されるとともに、左右２つの腕部外装ユニット４Ｒ／Ｌ（Ｒｉｇｈｔ／Ｌｅｆｔ：右腕／左腕）と、左右２つの脚部外装ユニット５Ｒ／Ｌが連結されて構成されている。

図２及び図３には、脚式ロボット１の外装の内部の構成を示している。但し、図２は脚式ロボット１の内部を正面方向から眺めた斜視図であり、図３は脚式ロボット１の内部を背面方向から眺めた斜視図である。また、図４には、脚式ロボット１の軸構成を模式的に示している。図４中に描かれた各円柱は関節機構に相当し、円柱の軸回りに回転可能な関節自由度を備えることを表している。以下、図２乃至図４を参照しながら、脚式ロボット１の内部構成について説明しておく。

脚式ロボット１は、胴体部ユニット１１の上部に頭部ユニット１２が配設される。また、胴体部ユニット１１の上部左右に、同様の構成を有する腕部ユニット１３Ａ及び１３Ｂが所定位置にそれぞれ取り付けられている。また、胴体部ユニット１１の下部左右に、同様の構成を有する脚部ユニット１４Ａ及び１４Ｂが所定位置にそれぞれ取り付けられている。頭部ユニット１２には、タッチセンサ５１と表示部５５が設けられている。

胴体部ユニット１１は、体幹上部を形成するフレーム２１と、体幹下部を形成する腰ベース２２が、腰関節機構２３を介して連結することにより構成されている。体幹下部の腰ベース２２に固定された腰関節機構２３のアクチュエータＡ１を駆動することにより、体幹上部を体幹下部に対しロール軸２４回りに回転させることができる。また、腰関節機構２３のアクチュエータＡ２を駆動することによって、体幹上部を体幹下部に対しピッチ軸２５の回りに回転させることができる。なお、アクチュエータＡ１とアクチュエータＡ２は、それぞれ独立して駆動することができるものとする。

頭部ユニット１２は、フレーム２１の上端に固定された肩ベース２６の上面中央部に首関節機構２７を介して取り付けられている。首関節機構２７のアクチュエータＡ３を駆動することによって、頭部ユニット１２をフレーム２１（体幹上部）に対しピッチ軸２８回りに回転させることができる。また、首関節機構２７のアクチュエータＡ４を駆動することによって、頭部ユニット１２をフレーム２１（体幹上部）に対しヨー軸２９の回りに回転させることができるようになされている。なお、アクチュエータＡ３とアクチュエータＡ４は、それぞれ独立して駆動することができるものとする。

腕部ユニット１３Ａ及び１３Ｂは、肩関節機構３０を介して、肩ベース２６の左右にそれぞれ取り付けられている。肩関節機構３０のアクチュエータＡ５を駆動することによって、肩ベース２６に対して腕部ユニット１３Ａをピッチ軸３１回りに回転させることができる。また、肩関節機構３０のアクチュエータＡ６を駆動することによって、肩ベース２６に対して腕部ユニット１３Ａをロール軸３２の回りに回転させることができる。腕部ユニット１３Ｂについても同様である。なお、アクチュエータＡ５とアクチュエータＡ６は、それぞれ独立して駆動することができるものとする。

腕部ユニット１３Ａ及び１３Ｂは、上腕部を形成するアクチュエータＡ７と、アクチュエータＡ７の出力軸に肘関節機構３３を介して連結された、前腕部を形成するアクチュエータＡ８と、前腕部の先端に取り付けられた手部３４により構成されている。

腕部ユニット１３Ａにおいて、上腕部のアクチュエータＡ７を駆動することによって、上腕部に対して前腕部をヨー軸３５回りに回転させることができる。また、前腕部のアクチュエータＡ８を駆動させることによって、上腕部に対して前腕部をピッチ軸３６回りに回転させることができる。腕部ユニット１３Ｂについても同様である。なお、アクチュエータＡ７とアクチュエータＡ８は、それぞれ独立して駆動することができるものとする。

脚部ユニット１４Ａ及び１４Ｂは、股関節機構３７を介して、体幹下部の腰ベース２２にそれぞれ取り付けられている。股関節機構３７のアクチュエータＡ９乃至Ａ１１をそれぞれ駆動することによって、腰ベース２２に対して脚部ユニット１４Ａをヨー軸３８、ロール軸３９、及びピッチ軸４０回りに回転させることができる。脚部ユニット１４Ｂについても同様である。なお、アクチュエータＡ９乃至Ａ１１は、それぞれ独立して駆動することができるものとする。

脚部ユニット１４Ａ及び１４Ｂは、大腿部を形成するフレーム４１と、フレーム４１の下端に膝関節機構４２を介して連結された、下腿部を形成するフレーム４３と、フレーム４３の下端に足首関節機構４４を介して連結された足部４５により構成されている。

脚部ユニット１４Ａにおいて、膝関節機構４２を形成するアクチュエータＡ１２を駆動することによって、大腿部のフレーム４１に対して下腿部のフレーム４３をピッチ軸４６回りに回転させることができる。また、足首関節機構４４のアクチュエータＡ１３及びＡ１４をそれぞれ駆動することによって、下腿部のフレーム４３に対して足部４５をピッチ軸４７及びロール軸４８回りに回転させることができる。脚部ユニット１４Ｂについても同様である。なお、アクチュエータＡ１２乃至Ａ１４は、それぞれ独立して駆動することができるものとする。

また、胴体部ユニット１１の体幹下部を形成する腰ベース２２の背面側には、制御ユニット５２が配設されている。この制御ユニット５２は、後述するメイン制御部６１や周辺回路６２（いずれも図５を参照のこと）などを内蔵したボックスである。

図５には、脚式ロボット１のアクチュエータとその制御系統などの構成例を示している。

制御ユニット５２には、脚式ロボット１全体の動作を統括的に制御するメイン制御部６１と、電源回路及び通信回路などからなる周辺回路６２と、バッテリ７４（図６を参照のこと）などが収納されている

制御ユニット５２には、各構成ユニット（胴体部ユニット１１、頭部ユニット１２、腕部ユニット１３Ａ及び１３Ｂ、並びに、脚部ユニット１４Ａ及び１４Ｂ）内にそれぞれ配設されたサブ制御部６３Ａ乃至６３Ｄと接続されている。そして、制御ユニット５２は、これらサブ制御部６３Ａ乃至６３Ｄに対して必要な電源電圧を供給したり、サブ制御部６３Ａ乃至６３Ｄと通信を行ったりする。

また、サブ制御部６３Ａ乃至６３Ｄは、対応する構成ユニット１１乃至１４内のアクチュエータＡ１乃至Ａ１４とそれぞれ接続されている。そして、サブ制御部６３Ａ乃至６３Ｄは、メイン制御部６１から供給された各種制御コマンドに基づいて、それぞれ対応する構成ユニット１１乃至１４内のアクチュエータＡ１乃至Ａ１４を、指定された状態に駆動させるように制御する。

図６には、脚式ロボット１の電気系統の内部構成例を示している。

頭部ユニット１２には、外部センサ部７１として、脚式ロボット１の左右の「目」として機能するカメラ８１Ｌ及び８１Ｒ、「耳」として機能するマイクロホン８２－１乃至８２－Ｎ、並びにタッチセンサ５１などがそれぞれ所定位置に配設されている。カメラ８１Ｌ及び８１Ｒには、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子で構成されるカメラが用いられる。また、頭部ユニット１２には、出力部としてスピーカ７２や表示部５５などがそれぞれ所定位置に配設されている。スピーカ７２は、音声を出力して、「口」として機能する。また、表示部５５には、脚式ロボット１の状態や、ユーザからの応答を表示する。

また、制御ユニット５２内には、メイン制御部６１と、バッテリ７４と、バッテリセンサ９１及び加速度センサ９２などからなる内部センサ部７３と、外部メモリ７５が配設されている。

外部センサ部７１のカメラ８１Ｌ及び８１Ｒは、周囲の状況を撮像し、得られた画像信号Ｓ１Ａを、メイン制御部６１に送出する。マイクロホン８２－１乃至８２－Ｎは、ユーザから音声入力として与えられる「歩け」、「とまれ」又は「右手を挙げろ」などの各種命令音声（音声コマンド）を集音し、得られた音声信号Ｓ１Ｂを、メイン制御部６１にそれぞれ送出する。なお、以下において、Ｎ個のマイクロホン８２－１乃至８２－Ｎを個別に区別する必要がない場合には、マイクロホン８２と称する。

また、外部センサ部の７１のタッチセンサ５１は、例えば図２及び図３に示したように頭部ユニット１２の上部に配設されており、ユーザからの「撫でる」や「叩く」といった物理的な働きかけにより受けた圧力を検出して、その検出結果を、圧力検出信号Ｓ１Ｃとしてメイン制御部６１に送出する。

内部センサ部７３のバッテリセンサ９１は、所定の周期毎にバッテリ７４のエネルギ残量を検出して、検出結果をバッテリ残量検出信号Ｓ２Ａとして、メイン制御部６１に送出する。また、加速度センサ９２は、脚式ロボット１の移動について、所定の周期毎に３軸方向（ｘ軸、ｙ軸及びｚ軸）の加速度を検出して、その検出結果を、加速度検出信号Ｓ２Ｂとして、メイン制御部６１に送出する。

外部メモリ７５は、プログラムやデータ、及び制御パラメータなどを記憶しており、そのプログラムやデータを必要に応じてメイン制御部６１に内蔵されるメモリ６１Ａに供給する。また、外部メモリ７５は、データなどをメモリ６１Ａから受け取り、記憶する。なお、外部メモリ７５は、脚式ロボット１（若しくは、制御ユニット５２）から着脱可能に構成されている。

メイン制御部６１は、メモリ６１Ａを内蔵している。メモリ６１Ａは、プログラムやデータを記憶しており、メイン制御部６１は、メモリ６１Ａに記憶されたプログラムを実行することで、各種の処理を行う。すなわち、メイン制御部６１は、外部センサ部７１のカメラ８１Ｌ及び８１Ｒ、マイクロホン８２、及びタッチセンサ５１からそれぞれ供給される、画像信号Ｓ１Ａ、音声信号Ｓ１Ｂ、及び圧力検出信号Ｓ１Ｃ（以下、これらをまとめて外部センサ信号Ｓ１と称する）と、内部センサ部７３のバッテリセンサ９１及び加速度センサなどからそれぞれ供給される、バッテリ残量検出信号Ｓ２Ａ及び加速度検出信号Ｓ２Ｂ（以下、これらをまとめて内部センサ信号Ｓ２と称する）に基づいて、脚式ロボット１の周囲及び内部の状況や、ユーザからの指令、又はユーザからの働きかけの有無などを判断する。

そして、メイン制御部６１は、ロボット１の周囲及び内部の状況や、ユーザからの指令、又はユーザからの働きかけの有無の判断結果と、内部メモリ６１Ａにあらかじめ格納されている制御プログラム、あるいはそのとき装填されている外部メモリ７５に格納されている各種制御パラメータなどに基づいて、脚式ロボット１の行動を決定し、その決定結果に基づく制御コマンドを生成して、対応するサブ制御部６３Ａ乃至６３Ｄに送出する。サブ制御部６３Ａ乃至６３Ｄは、メイン制御部６１から供給された制御コマンドに基づいて、それぞれに対応するアクチュエータＡ１乃至Ａ１４の駆動を制御する。これにより、脚式ロボット１は、例えば、頭部ユニット１２を上下左右に揺動かさせたり、腕部ユニット１３Ａ、腕部ユニット１３Ｂを上に挙げたり、脚部ユニット１４Ａと１４Ｂを交互に駆動させて、歩行するなどの行動を行う。

また、メイン制御部６１は、必要に応じて、所定の音声信号Ｓ３をスピーカ７２に与えることにより、音声信号Ｓ３に基づく音声を外部に出力させるとともに、例えば音声を検出したときに、表示信号Ｓ４に基づいて「だーれ」などのユーザへの応答を表示部５５に表示する。さらに、メイン制御部６１は、外見上の「目」として機能する、頭部ユニット１２の所定位置に設けられた、図示しないＬＥＤに対して駆動信号を出力して、ＬＥＤを点滅させることにより、表示部５５として機能させる。

このようにして、脚式ロボット１は、周囲及び内部の状況や、ユーザからの指令及び働きかけの有無などに基づいて、自律的に行動することができる。

図７には、図６のメイン制御部６１の機能的構成例を示している。なお、図７に示す機能的構成は、メイン制御部６１が、メモリ６１Ａに記憶された制御プログラムを実行することで実現されるようになっている。但し、メイン制御部６１内の図示の機能的構成の一部又は全部を、脚式ロボット１の外部（クラウドを含む）で実現することも可能である。

メイン制御部６１は、状態認識情報処理部１０１と、モデル記憶部１０２と、行動決定機構部１０３と、姿勢遷移機構部１０４と、音声合成部１０５から構成されている。状態認識情報処理部１０１は、特定の外部状態を認識する。モデル記憶部１０２は、状態認識情報処理部１０１の認識結果等に基づいて更新される、ロボット１の感情、本能、あるいは、成長の状態などのモデルを記憶する。行動決定機構部１０３は、状態認識情報処理部１０１の認識結果等に基づいて、ロボット１の行動を決定する。姿勢遷移機構部１０４は、行動決定機構部１０３の決定結果に基づいて、実際にロボット１に行動を起こさせる。音声合成部１０５は、スピーカ７２から音声出力する合成音を生成する。但し、参照番号１０１乃至１０５で示す機能的構成のうち一部又は全部を、メイン制御部６１内ではなく、脚式ロボット１の外部（クラウドを含む）で実現することも可能である。以下、各部について詳細に説明する。

状態認識情報処理部１０１には、マイクロホン８２や、カメラ８１Ｌ及び８１Ｒ、タッチセンサ５１の各々から、音声信号、画像信号、圧力検出信号が、ロボット１の電源が投入されている間、常時入力される。そして、状態認識情報処理部１０１は、マイクロホン８２や、カメラ８１Ｌ及び８１Ｒ、タッチセンサ５１から与えられる音声信号、画像信号、圧力検出信号に基づいて、特定の外部状態や、ユーザからの特定の働きかけ、ユーザからの指示などを認識して、その認識結果を表す状態認識情報を、モデル記憶部１０２及び行動決定機構部１０３に常時出力する。

状態認識情報処理部１０１は、音声認識部１０１Ａ、圧力処理部１０１Ｃ、及び画像認識部１０１Ｄを有している。

音声認識部１０１Ａは、マイクロホン８２－１乃至８２－Ｎからそれぞれ与えられる音声信号Ｓ１Ｂについて音声の有無を検出して、音声が検出されたとき音声を検出したことを行動決定部１０３に出力する。音声認識部１０１Ａは、情報の入出力と、入力された音声信号の音声認識処理を統括的に制御する制御部１０１ａと、入力された音声信号に対して話者識別を行う話者識別部１０１ｂを備えている。

また、音声認識部１０１Ａは、音声認識を行い、例えば、「あそぼう」、「止まれ」、「右手を挙げろ」などの指令や、その他の音声認識結果を、状態認識情報として、モデル記憶部１０２及び行動決定機構部１０３に通知する。

さらに、音声認識部１０１Ａは、話者識別部１０１ｂにより音声認識対象となる音声に対して話者識別を行い、その結果を状態認識情報として、モデル記憶部１０２及び行動決定機構部１０３に通知する。この際に、話者識別部１０１ｂの内部状態として識別されたユーザに対する話者識別用音声の登録状態を判断して、（「ユーザの音声が不足している」、「ユーザの音声は十分ある」など）、状態認識情報（音声認識結果や話者識別結果）に付随して出力する。つまり、音声認識部１０１Ａは、話者識別したユーザの話者識別用の音声の不足を行動判決定機構部１０３に送る。なお、ユーザに対する話者識別用音声の登録状態（すなわち、ユーザの話者識別データが十分であるか又は不足しているか）を判断する方法の詳細については、後述に譲る。

圧力処理部１０１Ｃは、タッチセンサ５１から与えられる圧力検出信号Ｓ１Ｃを処理する。そして、圧力処理部１０１Ｃは、その処理の結果、例えば、所定の閾値以上で、且つ短時間の圧力を検出したときには、「叩かれた（しかられた）」と認識し、所定の閾値未満で、且つ長時間の圧力を検出したときには、「撫でられた（ほめられた）」と認識する。そして、圧力処理部１０１Ｃは、その認識結果を、状態認識情報として、モデル記憶部１０２及び行動決定機構部１０３に通知する。

画像認識部１０１Ｄは、カメラ８１Ｌ及び８１Ｒから与えられる画像信号Ｓ１Ａを用いて、画像認識処理を行う。そして、画像認識部１０１Ｄは、その処理の結果、例えば、「赤い丸いもの」や、「地面に対して垂直なかつ所定高さ以上の平面」等を検出したときには、「ボールがある」や、「壁がある」、又は、人間の顔を検出したなどの画像認識結果を、状態認識情報として、音声認識部１０１Ａ、モデル記憶部１０２及び行動決定機構部１０３に通知する。

ここで、音声認識部１０１Ａは、画像認識部１０１Ｄから顔の認識によるユーザの識別結果を受け取ったときには、発話者識別結果の内部状態として識別されたユーザに対する話者識別用音声の登録状態（「ユーザの音声が不足している」、「ユーザの音声は十分ある」など）を判断して、出力することができる。つまり、ユーザが音声を発音しない状態でも、そのユーザの話者識別用の音声の不足を行動判決定機構部１０３に送る。なお、ユーザに対する話者識別用音声の登録状態（すなわち、ユーザの話者識別データが十分であるか又は不足しているか）を判断する方法の詳細については、後述に譲る。

モデル記憶部１０２は、脚式ロボット１の感情、本能、成長の状態を表現する感情モデル、本能モデル、成長モデルなどのモデルをそれぞれ記憶、管理している。

ここで、感情モデルは、例えば、「うれしさ」、「悲しさ」、「怒り」、「楽しさ」などの感情の状態（度合い）からなり、各状態は所定の範囲（例えば、－１．０乃至１．０など）の値によってそれぞれ表される。モデル記憶部１０２は、各感情の状態を表す値を記憶するとともに、状態認識情報処理部１０１からの状態認識情報や時間経過などに基づいて、その値を変化させる。

また、本能モデルは、例えば、「食欲」、「睡眠欲」、「運動欲」などの本能による欲求の状態（度合い）からなり、各状態は所定の範囲の値によってそれぞれ表される。モデル記憶部１０２は、各欲求の状態を表す値を記憶するとともに、状態認識情報処理部１０１からの状態認識情報や時間経過などに基づいて、その値を変化させる。

また、成長モデルは、例えば、「幼年期」、「青年期」、「熟年期」、「老年期」などの成長の状態（度合い）からなり、各状態は所定の範囲の値によってそれぞれ表される。モデル記憶部１０２は、各成長の状態を表す値を記憶するとともに、状態認識情報処理部１０１からの状態認識情報や時間経過などに基づいて、その値を変化させる。

モデル記憶部１０２は、上述のようにして感情モデル、本能モデル、成長モデルの値で表される感情、本能、成長の状態を、状態情報として、行動決定機構部１０３に送出する。

なお、モデル記憶部１０２には、状態認識情報処理部１０１から状態認識情報が供給される他に、行動決定機構部１０３から、ロボット１の現在又は過去の行動、具体的には、例えば、「長時間歩いた」などの行動の内容を示す行動情報が供給されるようになっている。したがって、モデル記憶部１０２は、状態認識情報処理部１０１から同一の状態認識情報が与えられても、行動情報が示すロボット１の行動に応じて、異なる状態情報を生成するようになっている。

すなわち、例えば、ロボット１が、ユーザに挨拶をし、ユーザに頭を撫でられた場合には、ユーザに挨拶をしたという行動情報と、頭を撫でられたという状態認識情報とが、モデル記憶部１０２に与えられ、この場合、モデル記憶部１０２では、「うれしさ」を表す感情モデルの値が増加される。一方、ロボット１が、何らかの仕事を実行中に頭を撫でられた場合には、仕事を実行中であるという行動情報と、頭を撫でられたという状態認識情報とが、モデル記憶部１０２に与えられ、この場合、モデル記憶部１０２では、「うれしさ」を表す感情モデルの値は変化されない。

このように、モデル記憶部１０２は、状態認識情報だけでなく、現在又は過去のロボット１の行動を示す行動情報も参照しながら、感情モデルの値を設定する。これにより、例えば、何らかのタスクを実行中に、ユーザが、いたずらするつもりで頭を撫でたときに、「うれしさ」を表す感情モデルの値を増加させるような、不自然な感情の変化が生じることを回避することができる。

モデル記憶部１０２は、音声認識部１０１Ａより提供されるユーザ識別結果に基づいて、上記の感情モデルをユーザ毎に個別に持つことができる。このため、あるユーザ１に対して実行して「うれしい」行動と、異なるユーザ２に対して実行して「うれしい」行動が異なる。したがって、モデル記憶部１０２が、ユーザ識別結果に該当する状態情報を行動決定機構部１０３に送出することにより、ユーザ個人に応じた多様な行動を生成することができる。

なお、モデル記憶部１０２は、本能モデル及び成長モデルについても、感情モデルにおける場合と同様に、状態認識情報及び行動情報の両方に基づいて、その値を増減させるようになっている。また、モデル記憶部１０２は、感情モデル、本能モデル、成長モデルそれぞれの値を、他のモデルの値にも基づいて増減させるようになっている。

行動決定機構部１０３は、状態認識情報処理部１０１から出力される状態認識情報や、モデル記憶部１０２から出力される状態情報、時間経過などに基づいて、脚式ロボット１の次の行動を決定する。ここで、決定された行動の内容が、例えば、「ダンスをする」というような、音声認識処理や画像認識処理を必要としない場合には、その行動の内容を行動指令情報として、姿勢遷移機構部１０４に送出する。

行動決定機構部１０３は、脚式ロボット１の行動を規定する行動モデルとして、脚式ロボット１がとり得る行動をステート（状態：ｓｔａｔｅ）に対応させた有限オートマトンを管理している。そして、行動決定機構部１０３は、この行動モデルとしての有限オートマトンにおけるステートを、状態認識情報処理部１０１からの状態認識情報や、モデル記憶部１０２における感情モデル、本能モデル、又は成長モデルの値、時間経過などに基づいて遷移させ、遷移後のステートに対応する行動を、次にとるべき行動として決定する。

例えば、ユーザが「遊ぼう」と発話した時、状態認識情報処理部１０１からの状態認識情報出力される音声認識結果「遊ぼう」と、その他のモデルの状態とを基に行動が決定され、「おいかけっこ」や「しりとり」などの行動を出力することができる。

このとき、状態認識情報処理部１０１からの状態認識情報に同時に出力される話者識別結果がユーザ１であり、話者識別部１０１ｂの内部状態が「ユーザ１の音声情報が不足している」であれば、行動決定機構部１０３は、「ユーザ１さん、しりとりしよう」といった、ユーザ１の音声情報を収集するための行動を出力する。この結果、脚式ロボット１は、ユーザ１と遊びながら、ユーザ１の音声情報が増加するようにユーザ１を誘導することができる。

ここで、行動決定機構部１０３は、所定のトリガ（ｔｒｉｇｇｅｒ）があったことを検出すると、ステートを遷移させる。すなわち、行動決定機構部１０３は、例えば、現在のステートに対応する行動を実行している時間が所定時間に達したときや、特定の状態認識情報を受信したとき、モデル記憶部１０２から供給される状態情報が示す感情や、本能、成長の状態の値が所定の閾値以下又は以上になったときなどに、ステートを遷移させる。

前述したように、状態認識情報処理部１０１から行動決定機構部１０３へ、状態認識情報に付随して、話者識別用音声の登録状態が出力される。話者識別用音声の登録状態は、具体的には、ユーザの話者識別データが十分であるか、又は不足しているかを示す情報を含む。そして、行動決定機構部１０３は、話者識別結果又は顔認識結果により目の前にいることが識別されたユーザについて話者識別データが不足していることが示されていれば、その情報をトリガとして、脚式ロボット１側から自律的に「しりとりしよう！」などと、不足している話者識別データを収集するための行動を出力することができる。

また、行動決定機構部１０３は、上述したように、状態認識情報処理部１０１からの状態認識情報だけでなく、モデル記憶部１０２における感情モデルや、本能モデル、成長モデルの値などにも基づいて、行動モデルにおけるステートを遷移させる。このことから、行動決定機構部１０３に同一の状態認識情報が入力されても、感情モデルや、本能モデル、成長モデルの値（状態情報）によっては、行動決定機構部１０３が決定するステートの遷移先は異なるものとなる。

また、行動決定機構部１０３は、上述したように、脚式ロボット１の頭部や手足などを動作させる行動指令情報の他に、脚式ロボット１に発話を行わせる行動指令情報も生成する。脚式ロボット１に発話を行わせる行動指令情報は、音声合成部１０５に供給されるようになっている。音声合成部１０５に供給される行動指令情報には、音声合成部１０５に生成させる合成音に対応するテキストデータなどが含まれる。そして、音声合成部１０５は、行動決定機構部１０３から行動指令情報を受信すると、その行動指令情報に含まれるテキストデータに基づき、合成音を生成し、スピーカ７２に供給して出力させる。

また、行動決定機構部１０３は、発話に対応する、又は、発話をしない場合に発話の代わりとなる言葉を、表示部５５にプロンプトとしてテキスト表示させる。例えば、音声を検出して振り向いたときに、「誰？」とか「なぁに？」といったテキストを表示部５５にプロンプトとして表示したり、又は、スピーカ７２より発生したりすることができる。

図８には、状態認識情報処理部１０１内の音声認識部１０１Ａの機能的構成を詳細に示している。

制御部１０１ａは、音声信号を検出したことを示す信号を検出すると、音声信号を検出したことを示す信号を行動決定機構部１０３に出力する。

また、制御部１０１ａは、マイクロホン８２から入力され、ＡＤ変換部（図示しない）によりデジタル信号に変換された音声信号を特徴抽出部１２１に出力する。

特徴抽出部１２１は、入力された音声信号の特徴量を演算する。マッチング部１２２は、音響モデル１２３、単語辞書１２４、並びに言語モデル１２５を用いて、入力音声の特徴に対応する単語系列を決定して、音声認識結果として行動決定機構部１０３に出力する。

音響モデル１２３は、音声認識する音声の言語における個々の音素や音節などの音響的な特徴を表す音響モデルを記憶している。音響モデルとしては、例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）やニューラルネットワークが用いられる。単語辞書１２４は、認識対象の各単語（語彙）について、その発音に関する情報（音韻情報）が記述された単語辞書を記憶している。言語モデル１２５は、単語辞書１２４に登録されている各単語が、どのように連鎖するかを記述した文法規則を記憶している。文法規則としては、例えば、文脈自由文法（Ｃｏｎｔｅｘｔ－Ｆｒｅｅ Ｇｒａｍｍｅｒ：ＣＦＧ）に基づく記述や、統計的な単語連鎖確率（Ｎ－ｇｒａｍ）、ニューラルネットワーク言語モデルなどが用いられる。

特徴抽出部１２１は、話者識別部１０１ｂへも音声特徴を出力する。話者識別部１０１ｂは、音声信号が入力されると、話者音声データベース１２７を参照して音声に該当する話者を識別して、話者識別結果を行動決定機構部１０３に出力する。話者音声データベース１２７は、話者識別の対象となる１以上のユーザの音声データを登録している。話者識別部１０１ｂは、話者音声データベース１２７における話者識別用音声の登録状態も判断して、話者識別結果に付随して登録状態も行動決定機構部１０３に出力する。例えば、話話者識別部１０１ｂは、話者識別結果の「ユーザ１」に対する音声データが「不足している」、「十分である」の２値状態を話者音声データベース１２７の登録状態として出力する。

制御部１０１ａは、画像認識部１０１Ｄのユーザ識別結果も入力として受け取り、その結果を話者識別部１２６へ送る。話者識別部１０１ｂは、画像認識処理に基づくユーザ識別結果が入力された場合には、話者識別は行わないが、話者音声データベース１２７における話者識別用音声の登録状態（すなわち、「不足している」、「十分である」の２値状態）を出力する。

ここで、話者識別部１０ｂにおいて、話者音声データベース１２７における話者識別用音声の登録状態を判断するためのいくつかの方法について紹介しておく。

１つ目の判断方法として、話者識別のデータ量（音声データの長さ）と、データの取得日時を基準とする有効期限とに基づいて、登録状態を判断する方法が挙げられる。有効期限内のデータ量が基準値を下回るユーザについては、データが「不足している」と判断される。例えば、話者音声データベース１２７に登録されている各ユーザの音声データの状態が、以下の表１に示す通りであったとする。

上記の表１は、話者識別用の音声データＤ０００１乃至Ｄ０００５の状態を表している。ここで、話者識別の音声データの必要量を５秒以上とし、話者識別のデータの有効期限を３ヶ月とする。

現在の日時が２０１８／１／１５ １５：００であれば、有効期間２０１７／１０／１５ １５：００から現在時刻までの、ユーザＵ００１の音声データは合計１１．３秒であり、Ｕ００２の音声データは７．４秒ある。各ユーザＵ００１、Ｕ００２の登録された有効期限内の音声は、必要量の５秒以上あるので、これらのユーザに対する音声データは「十分である」と判断される。

一方、現在の日時を２０１８／１／１７ １５：００とすると、データＩＤ Ｄ０００１の音声が有効期限切れとなる。したがって、有効期限内のユーザＵ００１の音声は３．３秒になり、これは必要量の５秒を下回る。このため、ユーザＵ００１に対する音声データは「不足している」と判断される。

また、２つ目の判断方法として、話者識別のデータ量（音声データの長さ）と、データの有効期限とともに、音声の発音情報も利用して、登録状態を判断する方法が挙げられる。この方法によれば、ユーザ毎に、どのような音声（音韻）が不足しているかまで、詳細に判断することができる。例えば、話者音声データベース１２７に登録されている各ユーザの音声データの状態が、以下の表２に示す通りであったとする。

上記の表２は、話者識別用の音声データＤ０００１乃至Ｄ０００５の状態を表している。ユーザの発話に対して、音韻単位の発音が付与されている。但し、説明の簡素化のため、ここでは、話者識別のために登録される音声には、「あ」、「い」、「う」、「え」、「お」の５つの音韻しか含まれないものとする。そして、話者識別のデータの必要量を各音韻が１回以上、話者識別のデータの有効期限を３ヶ月とする。

現在の日時を２０１８／１／１５ １５：００とすると、有効期間２０１７／１０／１５ １５：００から現在時刻までの、ユーザＵ００１の音声データは「あ」１回、「い」２回、「う」１回、「え」１回、「お」１回である。また、ユーザＵ００２の有効期限内の音声データは「あ」２回、「い」１回、「う」１回、「え」１回、「お」２回ある。各ユーザＵ００１、Ｕ００２の登録された有効期限内の音声は、すべての音韻が必要量の１回以上あるので、これらのユーザに対する音声データは「十分ある」と判断される。

一方、現在の日時を２０１８／１／１７ １５：００とすると、データＩＤ Ｄ０００１の音声が有効期限切れとなる。したがって、有効期限内のユーザＵ００１の音声は、「い」３回、「う」１回、「え」１回のみとなり、「あ」と「お」の音が無いため、ユーザＵ００１に対する音声データは不足していると判断される。さらに、ユーザＵ００１の音韻「あ」、「お」についての音声データが不足していることがわかる。

このとき、行動決定機構部１０３は、不足している音韻の情報も入力されるので、単にユーザＵ００１に発話を促して音声データを集めるだけでなく、不足している音韻（表２に示す例では、「あ」や「お」の音）が含まれる音声データを収集するような行動を積極的に（若しくは、高確率で）選択するようにすることができる。例えば、ユーザＵ００１としりとりを行っているのであれば、「あ」の音を確実に得るためにロボット側から「インテリア」と出題したり、「お」の音を確実に得るためにロボット側から「えがお」と出題したりする。

２つ目の判断方法によれば、音声の発音を音韻単位で保持し、不足している音韻単位で求めたが、より細かい音素（／ａ／，／ｉ／，／ｐ／，／ｋ／など）単位や、逆により大きい音韻列（あお、あい、あう、あかなど）や音素列（ａ－ｋ－ａ， ｋ－ａ－ｉなど）など、さまざまな粒度で同様の処理ができる。

なお、上述した２つの判断方法の説明では、音声認識を例としたので、音声データの長さがユーザ識別用のデータ量となる。これに対し、顔識別を行う場合には、正面顔、右向き、左向き、上向き、下向きなど顔の向き毎に取得した画像の数がユーザ識別用のデータ量に相当する。したがって、各ユーザの顔の向きとその収集日時をデータベースに登録し、上向きの顔が少ないなどの登録状態を判断することができる。そして、行動決定機構部１０３は、上向きの顔が少ないという登録状態が入力されたときには、ユーザに対して上向きの顔を誘発する行動を選択して（例えば、「今日の空は何色？」と尋ね、さらに脚式ロボット１がユーザの足元に移動して、ユーザが相対的に上向きの顔となる機会を増す）、ユーザの上向きの顔を取得し易くするようにする。

また、３つ目の判断方法として、上述した２つの判断方法のようにサンプルデータの新しさと量で判断するのではなく、話者識別の照合時のスコアや、さらに照合スコアを正規化した値などを用いることもできる。照合スコアは、識別のために入力されたデータと登録済みのサンプルデータとの類似度を示す値である。

例えば、顔識別を用いて目の前のユーザがユーザＵ００１であると分かっているときに、そのユーザの音声の話者識別の照合スコアが低ければ、ユーザＵ００１の音声データが古いあるいは不足していると判断することができる。このような場合、行動決定機構部１０３は、ユーザＵ００１に「近づく」、「しりとりをする」、「歌を一緒にうたう」などの行動を積極的に（若しくは、高確率で）選択することで、ユーザＵ００１の音声を集めることができる。

あるいは、話者識別を用いて話者がユーザＵ００１であると分かっているときに、そのユーザの顔識別の照合スコアが低ければ、そのユーザの顔画像のデータが古いあるいは不足していると判断することができる。このような場合、行動決定機構部１０３は、ユーザＵ００１に「近づく」、「周りをうろつく」などの行動を積極的に（若しくは、高確率で）選択することで、ユーザＵ００１の正面、右向き、左向きなどの顔の画像を撮影することができる。

図９には、行動決定機構部１０３が脚式ロボット１の次の行動を決定するための処理手順をフローチャートの形式で示している。

まず、行動決定機構部１０３は、現在の状態を遷移元とし、状態情報認識処理部１０１から出力される、話者識別（又は顔識別）されたユーザに対する登録状態と、モデル記憶部１０２から出力される、そのユーザの状態情報とから、有限オートマトンなどの状態遷移図を参照して、脚式ロボット１の次の状態候補と、各状態候補への遷移確率を取得する（ステップＳ９０１）。

そして、行動決定機構部１０３は、乱数を発生させて、遷移確率に応じていずれかの遷移先の状態候補を選択して、脚式ロボット１の次の行動を決定して（ステップＳ９０２）、姿勢遷移機構部１０４又は音声合成部１０５に遷移先の状態の情報を出力する（ステップＳ９０３）。

図１０には、図９に示したフローチャート中のステップＳ９０１において、行動決定機構部１０３が脚式ロボット１の次の行動を決定するため使用する、脚式ロボット１の状態遷移図の一例を示している。但し、同図上は、状態遷移図の一部分のグラフィカルな記述を示し、同図下は、状態遷移表としての記述例を示している。

図１０に示す状態遷移図は、話者識別部１０１ｂにより識別されたある特定のユーザに対して用意されたものであるとする。あるいは、ユーザ毎に状態遷移図を用意せず、行動決定機構部１０３はすべてのユーザに対して同じ状態遷移図を使用して行動決定を行うようにしてもよい。また、行動決定機構部１０３は、話者識別部１０１ｂから、ユーザの識別結果に付随して、その識別したユーザの話者識別用音声の登録状態に関する情報も取得する（前述）。

現在の状態がＳｔａｔｅ１のとき、次の行動は、Ｓｔａｔｅ２に遷移する「しりとり」、Ｓｔａｔｅ３へ遷移する「追いかけっこ」、Ｓｔａｔｅ１に再び戻り「なにもしない」のいずれかである。状態情報認識処理部１０１（音声認識部１０１Ａ）より得られた入力コマンドが「遊ぼう」である。

図１０下の状態遷移表を参照すると、話者識別用音声の登録状態が「十分」のとき、脚式ロボット１が上記３つの行動「しりとり」、「追いかけっこ」、「何もしない」を起こす確率はそれぞれ、０．２、０．３、０．５である。つまり、脚式ロボット１は、２分の１の確率で何も行わないが、行動を起こすとすると追いかけっこが実行される可能性が高い。

一方、同じ状態Ｓｔａｔｅ１及び入力コマンドが「遊ぼう」でも、話者識別用音声の登録状態が「不十分」のときには、脚式ロボット１が上記３つの行動「しりとり」、「追いかけっこ」、「何もしない」を起こす確率はそれぞれ、０．９、０．０、０．１となり、脚式ロボット１はかなり高い確率でしりとりを起動する。これは、ユーザとのしりとりを実行することにより、話者の音声を多く取得できることを狙った、状態遷移の例であるということができる。

図１０に例示した状態遷移図では、成長モデルや感情モデルなどの、モデル記憶部１０２から出力される情報を用いていない。もちろん、これらのモデルの出力を状態遷移の条件に加えることができる。また、前述のトリガ情報なども状態遷移に用いることができる。

上述したような、行動決定機構部１０３が状態認識情報処理部１０１からの出力に基づいて脚式ロボット１の行動を決定することにより、脚式ロボット１は、外部からの入力や内部的なモデルだけでなく、認識処理など識別処理の内部状態に基づいて行動を実施することができる。

上述した実施例では、話者識別結果として、話者識別のための音声データが「不足している」、「十分である」の２値の状態が出力される場合の脚式ロボット１の行動を決定する例であった。これに対し、画像認識に基づいてユーザ識別を行う場合には、顔識別されたユーザの音声データが「無い」という状態も発生し得る。ユーザの音声データが「無い」場合には、行動決定機構部１０３は、「不足している」場合よりもさらに積極的に（若しくは、高確率で）、ユーザの音声データを取得するための行動を出力するようにすることができる。

上述した実施例では、行動決定機構部１０３は、話者識別用音声の登録状態に基づいて脚式ロボット１の行動を決定しているが、顔識別用の顔画像の登録状態に基づいて脚式ロボット１の行動を決定するようにすることもできる。例えば、ユーザの顔が検出できているが、右向きの顔が不足している場合には、行動決定機構部１０３は、「あっちむいてほい」のような、ユーザの顔向きの情報を多数収集できる行動を出力してもよい。

また、上述した実施例では、行動決定機構部１０３は、話者識別用音声や顔識別用の顔画像の登録状態に基づいて、「しりとり」、「あっちむいてほい」といったゲーム的な行動を決定するが、音声や顔などの各識別器の識別確信度もさらに考慮して、脚式ロボット１の行動を決定するようにすることもでき、ゲーム以外の行動を決定するようにしてもよい。例えば、ユーザの顔識別の確信度が低いときには、行動決定機構部１０３は、単にユーザに近づくなど、ゲーム的な要素が少ない（若しくは、全くない）、ユーザの応答も必要としないような行動の決定を増やすこともできる。

また、図１０では、ユーザ識別のためのデータが「不足している」、「十分である」の２値の状態に基づいて脚式ロボット１の次の行動を決定する例を示したが、データ量だけでなく、データの新しさも評価に加えることができる。例えば、あるユーザに対するユーザ識別用に登録された音声データの量が十分であっても、そのデータが古くなってしまったときには、行動決定機構部１０３は、そのユーザの音声を収集できる行動を積極的に（若しくは、高確率で）決定することができる。古いデータを使用不能として扱えば、あるユーザについて古いデータしか蓄積されていない場合には、結局のところ、データが不足していると同じである。

また、あるユーザについて登録した音声データの量が十分であっても、特定の発音（音韻）のデータが不足している場合がある。例えば、「パ」から始まる音声データが不足している場合には、行動決定機構部１０３は、そのユーザと「しりとり」を行う際に、「コンパ」、「ヨーロッパ」、「カンパ」など語尾が「パ」となる単語を発音するように行動を決定することで、より効率的に話者識別に有用な音声データを収集することができる。

また、上述した実施例では、ユーザの音声や顔など、ユーザから発信される情報のみに着目して脚式ロボット１の行動を決定したが、例えば環境情報など、ユーザ以外を発信源とする情報の過不足も考慮して、脚式ロボット１の行動を決定することもできる。例えば、あるユーザの室内の顔情報は十分あるが、屋外での顔情報が不足しているときには、行動決定機構部１０３は、「散歩しよう」など、ユーザを外へ連れ出して屋外での顔情報を取得し易くすることができる。

また、上述した実施例では、行動決定機構部１０３は話者識別や顔識別などによりユーザを発見してからの、ユーザ識別に必要なデータを収集するための行動を決定していたが、ユーザを発見する前であっても行動を決定することもできる。

例えば、話者音声データベース１２７にはＮ人分のユーザ１～Ｎの話者識別データが記憶されており、話者識別部１０１ｂはこれらの情報に基づいて各ユーザ１～Ｎの話者識別を実施する場合を想定する。ここで、話者識別部１０１ｂは、話者音声データベース１２７をチェックして、ユーザ１を話者識別するための音声データが不足していることを検出したときには、ユーザ１を発見する前であっても（言い換えれば、ユーザ１の話者識別結果を伴わずに）、ユーザ１の音声データが不足しているという登録状態を出力する。そして、行動決定機構部１０３は、この出力に応答して、ユーザ１を探しに行く行動を積極的に（若しくは、高確率で）選択して、ユーザ１の音声データを収集し易くする。さらに、ユーザ１を発見できたときには、行動決定機構部１０３は、「お話ししよう」と脚式ロボット１側から声をかけるなど、ユーザの音声データを収集し易くする行動を積極的に（若しくは、高確率で）選択する。

また、上述した実施例では、脚式ロボット１は、話者識別と顔識別の２種類の識別器を用いてユーザを識別するように構成されているが、ユーザを識別する方法はこの２つに限定されるものではない。例えば、生体信号や虹彩など、ユーザを発信源とするさまざまなデータに基づいて、ユーザを識別することが可能である。また、脚式ロボット１が、話者識別及び顔識別以外の第３の識別器を利用する場合には、行動決定機構部１０３は、第３の識別器がユーザを識別するためのデータが不足しているときには、同様に、第３の識別器用のデータを収集し易くするための行動を積極的に（若しくは、高確率で）選択することができる。

例えば、第３の識別器が用いる心拍などの生体信号が不足している場合には、行動決定機構部１０３は、生体信号が不足しているユーザに対して接触を促し、心拍や呼吸などの生体情報を取得し易くするための行動を積極的に（若しくは、高確率で）選択する。具体的には、「お話ししよう」と脚式ロボット１側から声をかけ、ユーザに脚式ロボット１との接触を促す。また、第３の識別器が用いる虹彩の情報が不足している場合には、行動決定機構部１０３は、ユーザに「ボクの目を見て」、「にらめっこしよう」などと話しかけるなど、虹彩の情報を取得し易くするための行動を積極的に（若しくは、高確率で）選択する。このようにすれば、脚式ロボット１は、ユーザを発信源とするさまざまなデータを、ユーザの負担感なく取得することができる。

また、上述した実施例では、１台の脚式ロボットが単独で識別器がユーザを識別するためのデータを収集するが、もちろん２台以上の脚式ロボットが連携してデータ収集を行うようにしてもよい。

例えば、脚式ロボットＡが、ユーザ１を話者識別するための音声データ、若しくは顔識別するための顔画像データが不足していることを検出して、ユーザ１を探しに行く行動を実施するが、ユーザ１を発見することができない。このような場合、脚式ロボットＡは、連携し合う他の脚式ロボットＢ、Ｃに対して、ユーザ１の探索要求を送信する。

この探索要求には、ユーザ１の不足しているデータに関する情報（例えば、欠けている音韻を示す情報や、左向きの顔の情報がないことなど）を含めるようにしてもよい。また、この探索要求に、要求先の脚式ロボットＢ、Ｃでユーザ１を識別するための情報（例えば、要求元の脚式ロボットＡが既に登録しているユーザ１の音声データや顔画像、その他、ユーザ１の特徴情報など）を含めるようにしてもよい。

例えば、要求先の脚式ロボットＢが、脚式ロボットＡから依頼されたユーザ１を発見できたとする。脚式ロボットＢは、脚式ロボットＡにおいて不足しているユーザ１のデータを取得するための行動を代行して実施し、その行動を通して取得できたユーザ１のデータ（音声データや顔画像など）を、要求元の脚式ロボットＡに返信するようにしてもよい。あるいは、脚式ロボットＢは、要求元の脚式ロボットＡに、ユーザ１を発見した場所を通知するようにしてもよい。この場合、脚式ロボットＡは、自ら出向いて、ユーザ１から不足しているデータを取得するための行動を実施することができる。

ユーザ自身は、短期間で突発的に変化したり、長時間にわたって経時的に変化したりするなど、バリエーションがある。ユーザ内で生じるバリエーションに伴い、ユーザの音声や顔などの識別用に登録しておいたデータが使用不能になり、識別性能の低下を招くことが懸念される。そこで、以下では、ユーザ内で生じるバリエーションをカバーするように、脚式ロボット１がユーザ識別用のデータを取得するための行動を選択する実施例について説明する。

例えば、ユーザの声色によって話者識別の性能が変化する場合、脚式ロボット１側から「悲しい声で喋ってみて」、「明るい声で喋ってみて」とユーザに声をかけることで、同じユーザからさまざまな声色の音声データを新たに収集して、話者識別の性能改善に役立てることができる。

また、ユーザの表情によって顔識別の性能が変化する場合には、脚式ロボット１側から「にらめっこしよう」、「笑って見せて」とユーザに働き掛けて、同じユーザのさまざまな表情の顔画像データを新たに収集して、顔識別の性能改善に役立てることができる。

ユーザの特徴の一時的な変化などに起因して、ユーザ識別の性能が突然低下するという場合が考えられる。例えば、風邪や声の出し過ぎによってユーザの声が枯れたときには、話者識別の性能が突然低下する。また、ユーザが顔に怪我したときや、顔の特徴部分に絆創膏を貼り付けたときには、顔識別の性能が突然低下する。上述した実施例１では、このような一時的な変化に伴う音声データや顔画像を、これまで蓄積したユーザの音声データや顔画像モデルの学習データに追加してしまう。その結果、ユーザの一時的な変化に対応して識別性能は回復するが、一時的な変化がなくなった際には、新たに追加した学習データのために識別性能をむしろ低下させてしまうおそれがある。

そこで、実施例２では、脚式ロボット１（若しくは、行動決定機構部１０３）は、ユーザの識別性能が低下したときには、ユーザとの対話などを通じてその低下原因を特定して、識別性能の低下に伴って追加したユーザ識別用のデータの取り扱いを、低下原因に応じて制御するようにしている。

図１１には、実施例２に係る、識別性能の低下原因に応じて追加したユーザ識別用のデータの取り扱いを制御するように構成された行動決定機構部１０３の機能的構成を示している。

図示の行動決定機構部１０３は、識別性能判定部１１０１と、識別性能記憶部１１０２と、質問生成部１１０３と、学習判定部１１０４を備えている。

識別性能判定部１１０１は、音声認識部１０１Ａ（若しくは、話者識別部１０１ｂ）における話者識別性能や、画像認識部１０１Ｄにおける顔識別性能を判定する。また、識別性能記憶部１１０２は、識別性能判定部１１０１による話者識別性能及び顔識別性能の判定結果を一定時間分だけ記憶する。

そして、識別性能判定部１１０１は、識別性能判定部１１０１に入力された最新の話者識別性能及び顔識別性能を、識別性能記憶部１１０２に記憶されている、一定時間前の話者識別性能及び顔識別性能と比較して、識別性能が急激に低下していないかを判定する。例えば、識別性能判定部１１０１は、直近の２４時間のユーザ識別結果に比べて現在の識別性能がどう変化したかを、ユーザ識別性能記憶部１１０２のデータと照らし合わせて、急激な性能低下の有無を確認する。識別性能判定部１１０１は、判定結果を質問生成部１１０３及び学習判定部１１０４に出力する。

質問生成部１１０３は、話者識別性能又は顔識別性能のうち少なくとも一方の識別性能が急激に低下していることが分かったときには、ユーザとの対話などを通じてその低下原因を特定するための質問文を生成する。生成した質問文は、音声合成部１０５に出力される。音声合成部１０５は、質問文の音声を合成して、スピーカ７２から音声出力する。

質問文に対してユーザが回答した音声は、マイクロホン８２－１乃至８２－Ｎで収音され、音声認識部１０１Ａによって音声認識され、その認識結果が学習判定部１１０４に供給される。

学習判定部１１０４は、質問文に対するユーザからの回答の内容を解析して、話者識別性能又は顔識別性能が急激に低下した原因を特定する。そして、学習判定部１１０４は、識別性能の低下原因に基づいて、識別性能の低下に伴って追加したユーザ識別用のデータの取り扱いを判定して、判定結果を話者識別部１０１ｂ並びに画像認識部１０１Ｄに出力する。

学習判定部１１０４が識別性能の低下原因を一時的な変化によるものと判定した場合には、話者識別部１０１ｂ並びに画像認識部１０１Ｄは、識別性能の低下に伴って収集したユーザの音声データや顔画像データを、通常の学習データとして追加するのではなく、一時的な学習データとして分けて記憶する。

話者識別部１０１ｂ並びに画像認識部１０１Ｄは、一時的な変化が継続している間は一時的な学習データを用いてユーザの識別を行うことによって識別性能を回復させることができる。また、話者識別部１０１ｂ並びに画像認識部１０１Ｄは、一時的な変化がなくなった際には、一時的な学習データは用いずに、通常の学習データを用いてユーザの識別を行うことによって識別性能を高いレベルに保つことができる。

図１２には、図１１に示した行動決定機構部１０３において実行される、識別性能の低下原因に応じて追加したユーザ識別用のデータの取り扱いを行うための処理手順をフローチャートの形式で示している。

識別性能判定部１１０１は、音声認識部１０１Ａ（若しくは、話者識別部１０１ｂ）における話者識別性能や、画像認識部１０１Ｄにおける顔識別性能を入力して（ステップＳ１２０１）、これらのユーザの識別性能が所定の閾値を下回ったかどうかをチェックする（ステップＳ１２０２）。

ユーザ識別性能が所定の閾値を下回ったときには（ステップＳ１２０２のＹｅｓ）、ユーザ識別性能を回復させるために、新たにユーザからデータ収集が必要であると判定することができる。

次いで、識別性能判定部１１０１は、最新の話者識別性能及び顔識別性能を、識別性能記憶部１１０２に記憶されている、一定時間前の話者識別性能及び顔識別性能と比較して（ステップＳ１２０３）、ユーザ識別性能の変化が大きいかどうかをチェックする。

ここで、最新の話者識別性能及び顔識別性能と一定時間前の話者識別性能及び顔識別性能との差分が大きくないときには（ステップＳ１２０４のＮｏ）、すなわち識別性能の急激な低下ではないときには、ユーザの音声データや顔データの通常の経時的な変化と考えられる。したがって、学習判定部１１０４は、識別性能の低下に伴って新たに収集したユーザの音声データや顔画像データを、通常の学習データとして追加するように、話者識別部１０１ｂ並びに画像認識部１０１Ｄに指示を出力して（ステップＳ１２０９）、本処理を終了する。

一方、最新の話者識別性能及び顔識別性能と一定時間前の話者識別性能及び顔識別性能との差分が大きいとき（ステップＳ１２０４のＹｅｓ）、すなわち急激な識別性能が急激に低下したときには、識別性能が急激に低下した原因を特定するための処理を開始する。

すなわち、質問生成部１１０３は、ユーザとの対話などを通じてその低下原因を特定するための質問文を生成する（ステップＳ１２０５）。生成した質問文は、音声合成部１０５に出力される。音声合成部１０５は、質問文の音声を合成して、スピーカ７２から音声出力する。質問文に対してユーザが回答した音声は、マイクロホン８２－１乃至８２－Ｎで収音され、音声認識部１０１Ａによって音声認識され、その認識結果が学習判定部１１０４に供給される。そして、学習判定部１１０４は、質問文に対するユーザからの回答の内容を解析して（ステップＳ１２０６）、話者識別性能又は顔識別性能が急激に低下した原因を特定する。

学習判定部１１０４は、識別性能の低下原因を一時的な変化によるものと判定した場合には（ステップＳ１２０７のＹｅｓ）、話者識別部１０１ｂ並びに画像認識部１０１Ｄは、識別性能の低下に伴って新たに収集したユーザの音声データや顔画像データを、通常の学習データとして追加するのではなく、一時的な学習データとして分けて記憶するように指示する（ステップＳ１２０８）。

話者識別部１０１ｂ並びに画像認識部１０１Ｄは、一時的な変化が継続している間は新たに収集したデータを用いてユーザの識別を行うことによって識別性能を回復させることができる。また、話者識別部１０１ｂ並びに画像認識部１０１Ｄは、一時的な変化がなくなった際には、識別性能の急激な低下により新たに収集したデータは用いずに、通常の学習データを用いてユーザの識別を行うことによって識別性能を高いレベルに保つことができる。各識別器は、一時的な変化がなくなった際には、識別性能の急激な低下により新たに収集したデータを破棄するようにしてもよい。

また、学習判定部１１０４は、識別性能の低下原因が一時的な変化によるものではない、すなわちユーザの音声データや顔データの通常の経時的な変化と判定した場合には（ステップＳ１２０７のＮｏ）、識別性能の低下に伴って収集したユーザの音声データや顔画像データを、通常の学習データとして追加するように、話者識別部１０１ｂ並びに画像認識部１０１Ｄに指示を出力して（ステップＳ１２０９）、本処理を終了する。

例えば、話者識別部１０１ｂにおけるユーザ（Ａさん）の話者識別性能が前日に比べて急激に低下した場合を想定する。この場合、行動決定機構部１０３は、その性能低下の原因を特定するために、「Ａさん、昨日と声が変わっているみたいだけど，大丈夫？」という質問を生成し、音声合成部１０５及びスピーカ７２を通じて音声出力する。

この質問に対するＡさんからの返答が、「本当？特に何も変わってないけど」など否定的な内容であったならば、行動決定機構部１０３内の学習判定部１１０４は、話者識別性能の急激な低下がユーザ（Ａさん）の一時的な変化によるものでないと判定して、話者識別性能の低下をトリガにしてＡさんから新たに収集した音声データを通常の学習データとして話者音声データベース１２７に追加する。

しかしながら、上記の質問に対するＡさんからの返答が、「ちょっと風邪気味で」や、「昨日飲みすぎちゃって」など、一時的な変化であることを示す内容であったならば、行動決定機構部１０３内の学習判定部１１０４は、話者識別性能の急激な低下がユーザ（Ａさん）の一時的な変化によるものであると判定する。この場合、話者識別性能の低下をトリガにしてＡさんから新たに収集した音声データを、通常の学習データとしてではなく、「Ａさんの一時的な音声データ」として、既存（通常）のＡさんの音声データとは別にして学習する。

Ａさんの音声の恒久的な特徴と、Ａさんの音声の一時的な変化による特徴を分けて学習することにより、一時的に変化したＡさんの声の識別性能を向上させるとともに、Ａさんの声が元に戻った際の識別性能低下も防ぐことが可能となる。

上記では、収集したデータを、通常（既存）の学習データと、一時的な学習データの２通りに分けて学習するようにしている。ユーザの特徴の一時的な変化が、すぐに元に戻るとは限らず、しばらく継続する場合も想定される。例えば、画像認識によりユーザを識別する場合において、ユーザの髪型などは、ある日突然変化するが、その後はしばらく変化しない。

したがって、収集したデータを、通常（既存）の学習データと一時的な学習データの他に、これまでに蓄積してきたデータを捨てて新規に収集したデータに置き換えるという、第３の学習方法も考えられる。この場合、行動決定機構部１０３内の質問生成部１１０３は、識別性能の低下原因が、一時的な変化であり且つしばらく継続するかどうかも特定するための質問文を生成する必要がある。

例えば、ユーザの髪型が大きく変化したことにより顔認識の性能が下がった場合を想定する。行動決定機構部１０３内では、質問生成部１１０３が「髪型変えた？」という質問文を生成し、音声合成及び音声出力される。この質問に対してユーザから、「そうだよ」という応答があった場合には、行動決定機構部１０３は、「似合っているね！もっとよく見せて！」と発話する行動を選択するとともに、髪型を変えた後のユーザの画像データを収集し易くするための行動をさらに選択する。また、行動決定機構部１０３内の学習判定部１１０４は、そのユーザに対して蓄積してきたデータを捨てて、新規に収集した画像データに置き換えていくように、画像認識部１０１Ｄに指示する。なお、これまでに蓄積してきたデータをすべて捨てるのではなく、１割を残し９割を新しいデータに置き換えるという方法でもよい。

これまで説明してきたように、脚式ロボット１は、ユーザの識別器を備えるとともに自発的に行動を出力することができるが、さらに本明細書で開示する技術を適用することにより、識別器によるユーザの識別性能に応じて、受動的あるいは能動的に行動を決定することができる。すなわち、識別器がユーザの識別に用いるデータ量が不十分である場合には、脚式ロボット１は、識別器がユーザの識別に用いるデータを収集し易くする行動を積極的に（若しくは、高確率で）出力することができる。したがって、ユーザの負担感が少ない状態で、ユーザから情報を効率的に収集して、識別器の性能を高く保つことができる。また、脚式ロボット１が正確にユーザを識別することによって、個々のユーザに適合したサービスを提供することができる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、主に脚式ロボットに関する実施形態について説明したが、本明細書で開示する技術の適用範囲はこれに限定されるものではない。脚式以外の移動ロボット、移動型でない対話ロボット、音声エージェントなど、ユーザ毎に自発的に行動するさまざまなタイプの自律行動装置に対して、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）識別器により識別したオブジェクトに対して自発的に行動するデバイスに関する処理を行う情報処理装置であって、
前記識別器の状態を取得する取得部と、
前記状態に基づいて前記デバイスの行動を決定する決定部と、
を具備する情報処理装置。
（１－１）前記識別器は、オブジェクトとしてユーザを識別し、
前記決定部は、前記識別器が識別したユーザに対する行動を決定する、
上記（１）に記載の情報処理装置。
（１－２）前記識別器は、前記デバイスに備えられたセンサによる検出信号に基づいてユーザを識別する、
上記（１－１）に記載の情報処理装置
（１－３）前記識別器をさらに備える、
上記（１）に記載の情報処理装置。
（１－４）前記デバイスをさらに備える、
上記（１）に記載の情報処理装置。
（１－５）前記デバイスは、移動手段を備えるロボット装置である、
上記（１－４）に記載の情報処理装置。
（２）前記取得部は、前記識別器のオブジェクトに対する識別性能を取得し、
前記決定部は、前記識別性能が低い原因を解決するための前記デバイスの行動を決定する、
上記（１）に記載の情報処理装置。
（３）前記取得部は、前記識別器がオブジェクトの識別に用いるデータの状態を取得し、
前記決定部は、識別用のデータが不足しているオブジェクトからデータを取得するための前記デバイスの行動を決定する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（３－１）前記取得部は、前記識別器が識別したオブジェクトの識別用のデータが十分又は不足しているかを取得し、
前記決定部は、データが不足している状態のときに、前記識別したオブジェクトからデータを取得するための前記デバイスの行動を決定する、
上記（３）に記載の情報処理装置。
（３－２）前記取得部は、識別用のデータが不足しているオブジェクトに関する情報を取得し、
前記決定部は、データが不足しているオブジェクトからデータを取得するための前記デバイスの行動を決定する、
上記（３）に記載の情報処理装置。
（４）前記識別器は、ユーザの音声データから話者を識別する話者識別器を含み、
前記決定部は、音声データが不足しているユーザから音声データを収集するための前記デバイスの行動を決定する、
上記（３）に記載の情報処理装置。
（５）前記取得部は、音韻又は音素単位でユーザ識別用の音声データが十分又は不足しているかどうかを取得し、
前記決定部は、不足している音韻又は音素を含む音声データをユーザから収集するための前記デバイスの行動を決定する、
上記（４）に記載の情報処理装置。
（６）前記識別器は、ユーザの顔画像を識別する顔識別器を含み、
前記決定部は、顔画像データが不足しているユーザの顔画像データを収集するための前記デバイスの行動を決定する、
上記（３）乃至（５）のいずれかに記載の情報処理装置。
（７）前記取得部は、顔の向き毎にユーザ識別用の顔データが十分又は不足しているかどうかを取得し、
決定部は、不足している顔の向きの顔画像を収集するための前記デバイスの行動を決定する、
上記（６）に記載の情報処理装置。
（８）前記決定部は、識別用のデータが古くなってしまったユーザからデータを取得するための前記デバイスの行動を決定する、
上記（３）乃至（７）のいずれかに記載の情報処理装置。
（９）前記取得部は、複数の識別器の状態を取得し、
前記決定部は、前記複数の識別器の各状態に基づいて、前記複数の識別器のうち少なくとも１つがオブジェクト識別に用いるデータを取得するための前記デバイスの行動を決定する、
上記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）前記決定部は、第１の識別器で識別できたオブジェクトを第２の識別器で識別するためのデータが不足している場合に、前記オブジェクトから前記第２の識別器で識別に用いるデータを取得するための前記デバイスの行動を決定する、
上記（９）に記載の情報処理装置。
（１１）前記決定部は、第１の識別器で識別できたオブジェクトを第２の識別器で識別するためのデータの照合スコアが低い場合に、前記オブジェクトから前記第２の識別器に用いるデータを取得するための前記デバイスの行動を決定する、
上記（９）又は（１０）のいずれかに記載の情報処理装置。
（１２）前記識別器は、ユーザの音声データから話者を識別する話者識別器とユーザの顔画像を識別する顔識別器を含み、
前記決定部は、
顔識別できたユーザを話者識別するための音声データの照合スコアが低い場合に、前記ユーザから音声データを取得するための前記デバイスの行動を決定し、
話者識別できたユーザを顔識別するための顔画像データの照合スコアが低い場合に、前記ユーザから顔画像データを取得するための前記デバイスの行動を決定する、
上記（１１）に記載の情報処理装置。
（１３）前記決定部は、ある環境下で前記識別器が前記ユーザの識別に用いるデータ量が不足している場合に、前記環境下でのデータを前記ユーザから取得するための前記デバイスの行動を決定する、
上記（６）に記載の情報処理装置。
（１４）前記取得部は、生体情報に基づいてユーザを識別する識別器の状態を取得し、
前記決定部は、生体情報が不足しているユーザから生体情報を取得するための前記デバイスの行動を決定する、
上記（４）乃至（１０）のいずれかに記載の情報処理装置。
（１４－１）前記決定部は、心拍信号が不足しているユーザに対して接触を促すための前記デバイスの行動を決定する、
上記（１４）に記載の情報処理装置。
（１４－２）前記決定部は、虹彩の情報が不足しているユーザから虹彩の情報を取得し易くための前記デバイスの行動を決定する、
上記（１４）に記載の情報処理装置。
（１５）前記識別器がユーザを識別する識別性能の低下を判定する判定部をさらに備え、
前記決定部は、前記識別性能が低下した原因を特定するための前記デバイスの行動を決定し、前記識別性能の低下に応じてユーザから新たに取得したデータの取り扱いを前記識別器に指示する、
上記（４）乃至（１４）のいずれかに記載の情報処理装置。
（１６）前記決定部は、前記識別性能が低下した原因を特定するための前記ユーザに対する質問文を生成し、前記ユーザからの回答を解析して原因を特定する、
上記（１５）に記載の情報処理装置。
（１７）前記決定部は、前記原因が前記ユーザの一時的な変化によるものと特定した場合には、前記識別器に対して新たに取得したデータを一時的にのみ使用するように指示する、
上記（１５）又は（１６）のいずれかに記載の情報処理装置。
（１８）前記決定部は、前記原因が前記ユーザの恒久的又は継続的な変化によるものと特定した場合には、前記識別器に対して新たに取得したデータで置き換えるように指示する、
上記（１５）乃至（１７）のいずれかに記載の情報処理装置。
（１９）識別器により識別したオブジェクトに対して自発的に行動するデバイスに関する処理を行う情報処理方法であって、
前記識別器の状態を取得する取得ステップと、
前記状態に基づいて前記デバイスの行動を決定する決定ステップと、
を有する情報処理方法。
（２０）センサ部と、
前記センサ部の出力に基づいてオブジェクトを識別する識別部と、
駆動部と、
前記識別部の状態に基づいて、前記駆動部を用いた行動を決定する決定部と、
を具備するロボット装置。

１…脚式ロボット、２…幹部外装ユニット、３…頭部外装ユニット
４Ｒ／Ｌ…腕部外装ユニット、５Ｒ／Ｌ…脚部外装ユニット
１１…胴体部ユニット、１２…頭部ユニット
１３Ａ、１３Ｂ…腕部ユニット、１４Ａ、１４Ｂ…脚部ユニット
２１…フレーム、２２…腰ベース、２３…腰関節機構
２４…体幹ロール軸、２５…体幹ピッチ軸、２６…肩ベース
２７…首関節機構、２８…首ピッチ軸、２９…首ロール軸
３０…肩関節機構、３１…肩関節ピッチ軸、３２…肩関節ロール軸
３３…肘関節機構、３４…手部
３５…肘関節ヨー軸、３６…肘関節ピッチ軸、３７…股関節機構
３８…股関節ヨー軸、３９…股関節ロール軸、４０…股関節ピッチ軸
４１…大腿部フレーム、４２…膝関節機構、４３…下腿部フレーム
４４…足首関節機構、４５…足部、４６…膝関節ピッチ軸
４７…足首関節ピッチ軸、４８…足首関節ロール軸
５１…タッチセンサ、５２…制御ユニット、５５…表示部
６１…メイン制御部、６１Ａ…メモリ、６２…周辺回路
６３Ａ乃至６３Ｄ…サブ制御部、７１…外部センサ部
７２…スピーカ、７３…内部センサ部、７４…バッテリ
７５…外部メモリ８１Ｌ／Ｒ…カメラ、８２…マイクロホン
９１…バッテリセンサ、９２…加速度センサ
１０１…状態認識情報処理部、１０１Ａ…音声認識部
１０１ａ…制御部、１０１ｂ…話者識別部
１０１Ｃ…圧力処理部、１０１Ｄ…画像認識部、１０２…モデル記憶部
１０３…行動決定機構部、１０４…姿勢遷移機構部
１０５…音声合成部、１２１…特徴抽出部、１２２…マッチング部
１２３…音響モデル、１２４…単語辞書、１２５…言語モデル
１２７…話者音声データベース
１１０１…識別性能判定部、１１０２…識別性能記憶部
１１０３…質問生成部、１１０４…学習判定部

Claims (19)

1. 識別器により識別したオブジェクトに対して自発的に行動するデバイスに関する処理を行う情報処理装置であって、
   前記識別器の状態を取得する取得部と、
   前記状態に基づいて前記デバイスの行動を決定する決定部と、
   を具備し、
   前記識別器は、ユーザを識別する識別器を含み、
   前記情報処理装置は、前記ユーザを識別する識別器の識別性能の低下を判定する判定部をさらに備え、
   前記決定部は、前記ユーザを識別する識別器の識別性能が低下した原因を特定するための前記デバイスの行動を決定し、前記ユーザを識別する識別器の識別性能の低下に応じてユーザから新たに取得したデータの取り扱いを前記ユーザを識別する識別器に指示する、
   情報処理装置。
2. 前記取得部は、前記識別器のオブジェクトに対する識別性能を取得し、
   前記決定部は、前記識別性能が低い原因を解決するための前記デバイスの行動を決定する、
   請求項１に記載の情報処理装置。
3. 前記取得部は、前記識別器がオブジェクトの識別に用いるデータの状態を取得し、
   前記決定部は、識別用のデータが不足しているオブジェクトからデータを取得するための前記デバイスの行動を決定する、
   請求項１に記載の情報処理装置。
4. 前記識別器は、ユーザの音声データから話者を識別する話者識別器を含み、
   前記決定部は、音声データが不足しているユーザから音声データを収集するための前記デバイスの行動を決定する、
   請求項３に記載の情報処理装置。
5. 前記取得部は、音韻又は音素単位でユーザ識別用の音声データが十分又は不足しているかどうかを取得し、
   前記決定部は、不足している音韻又は音素を含む音声データをユーザから収集するための前記デバイスの行動を決定する、
   請求項４に記載の情報処理装置。
6. 前記識別器は、ユーザの顔画像を識別する顔識別器を含み、
   前記決定部は、顔画像データが不足しているユーザの顔画像データを収集するための前記デバイスの行動を決定する、
   請求項３に記載の情報処理装置。
7. 前記取得部は、顔の向き毎にユーザ識別用の顔データが十分又は不足しているかどうかを取得し、
   決定部は、不足している顔の向きの顔画像を収集するための前記デバイスの行動を決定する、
   請求項６に記載の情報処理装置。
8. 前記決定部は、識別用のデータが古くなってしまったユーザからデータを取得するための前記デバイスの行動を決定する、
   請求項３に記載の情報処理装置。
9. 前記取得部は、複数の識別器の状態を取得し、
   前記決定部は、前記複数の識別器の各状態に基づいて、前記複数の識別器のうち少なくとも１つがオブジェクト識別に用いるデータを取得するための前記デバイスの行動を決定する、
   請求項１に記載の情報処理装置。
10. 前記決定部は、第１の識別器で識別できたオブジェクトを第２の識別器で識別するためのデータが不足している場合に、前記オブジェクトから前記第２の識別器で識別に用いるデータを取得するための前記デバイスの行動を決定する、
    請求項９に記載の情報処理装置。
11. 前記決定部は、第１の識別器で識別できたオブジェクトを第２の識別器で識別するためのデータの照合スコアが低い場合に、前記オブジェクトから前記第２の識別器に用いるデータを取得するための前記デバイスの行動を決定する、
    請求項９に記載の情報処理装置。
12. 前記識別器は、ユーザの音声データから話者を識別する話者識別器とユーザの顔画像を識別する顔識別器を含み、
    前記決定部は、
    顔識別できたユーザを話者識別するための音声データの照合スコアが低い場合に、前記ユーザから音声データを取得するための前記デバイスの行動を決定し、
    話者識別できたユーザを顔識別するための顔画像データの照合スコアが低い場合に、前記ユーザから顔画像データを取得するための前記デバイスの行動を決定する、
    請求項１１に記載の情報処理装置。
13. 前記決定部は、ある環境下で前記識別器が前記ユーザの識別に用いるデータ量が不足している場合に、前記環境下でのデータを前記ユーザから取得するための前記デバイスの行動を決定する、
    請求項６に記載の情報処理装置。
14. 前記取得部は、生体情報に基づいてユーザを識別する識別器の状態を取得し、
    前記決定部は、生体情報が不足しているユーザから生体情報を取得するための前記デバイスの行動を決定する、
    請求項４に記載の情報処理装置。
15. 前記決定部は、前記ユーザを識別する識別器の識別性能が低下した原因を特定するための前記ユーザに対する質問文を生成し、前記ユーザからの回答を解析して原因を特定する、
    請求項１に記載の情報処理装置。
16. 前記決定部は、前記原因が前記ユーザの一時的な変化によるものと特定した場合には、前記ユーザを識別する識別器に対して新たに取得したデータを一時的にのみ使用するように指示する、
    請求項１に記載の情報処理装置。
17. 前記決定部は、前記原因が前記ユーザの恒久的又は継続的な変化によるものと特定した場合には、前記ユーザを識別する識別器に対して新たに取得したデータで置き換えるように指示する、
    請求項１に記載の情報処理装置。
18. 識別器により識別したオブジェクトに対して自発的に行動するデバイスに関する処理を行う情報処理方法であって、
    前記識別器の状態を取得する取得ステップと、
    前記状態に基づいて前記デバイスの行動を決定する決定ステップと、
    を有し、
    前記識別器は、ユーザを識別する識別器を含み、
    前記情報処理方法は、前記ユーザを識別する識別器の識別性能の低下を判定する判定ステップをさらに有し、
    前記決定ステップでは、前記ユーザを識別する識別器の識別性能が低下した原因を特定するための前記デバイスの行動を決定し、前記ユーザを識別する識別器の識別性能の低下に応じてユーザから新たに取得したデータの取り扱いを前記ユーザを識別する識別器に指示する、
    情報処理方法。
19. センサ部と、
    前記センサ部の出力に基づいてオブジェクトを識別する識別部と、
    駆動部と、
    前記識別部の状態に基づいて、前記駆動部を用いた行動を決定する決定部と、
    を具備し、
    前記識別部は、ユーザを識別する識別器を含み、
    前記ユーザを識別する識別器の識別性能の低下を判定する判定部をさらに備え、
    前記決定部は、前記ユーザを識別する識別器の識別性能が低下した原因を特定するための前記駆動部を用いた行動を決定し、前記ユーザを識別する識別器の識別性能の低下に応じてユーザから新たに取得したデータの取り扱いを前記ユーザを識別する識別器に指示する、
    ロボット装置。

Images