JP4210897B2 - 音源方向判断装置及び音源方向判断方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はロボット装置及びその制御方法に関し、例えば２足歩行型のロボットに適用して好適なものである。
【０００２】
【従来の技術】
近年、人間の外観形状を模ったヒューマノイドタイプのロボットや、一般家庭でペットとして飼育される犬や猫の外観形状を模った４脚歩行型のペットロボット等の各種エンターテインメントロボットが開発され、商品化されている。
【０００３】
そしてこれらのエンターテインメントロボットとしては、ユーザからの指令や周囲の状況などに応じて自律的に行動し得るようになされたものや、ユーザ操作に応動してその操作に予め対応付けられた１つの動作を発現するようになされたものなど、種々のものが存在している。
【０００４】
【発明が解決しようとする課題】
ところでエンターテインメントロボットにおいては、頭部の所定位置にマイクが取り付けられ、当該マイクによって音源から発せられる音声を集音するようになされたものが開発されているが、よりエンターテインメント性を向上させるためには、当該音源の方向を検出することが必要となる。
【０００５】
この音源方向を検出する方法としては、種々の方法が提案及び開発されているが、エンターテインメントロボットは多様な動作を行うことから、音源方向検出方法としていずれか１つの方法を採用しても、多様な動作に対応して確実に音源方向を検出することは難しいと考えられる。
【０００６】
すなわち、マイクは障害物のない自由空間に複数個配置することが望ましいが、エンターテインメントロボットに音源方向検出機能を搭載する場合には、当該エンターテインメントロボットの筐体によってマイクの配置位置に制限を受ける。特に当該エンターテインメントロボットでは、そのデザインが優先され、マイクを障害物のない自由空間に配置することが困難である。
【０００７】
例えばエンターテインメントロボットにおいては、「耳」の位置にマイクを配置することが望ましいが、当該位置は自由空間でなく、頭部の筐体の回折の影響を強く受けることになり、これでは音源方向を正しく検出し得ない問題がある。
【０００８】
ところで、音源方向検出方法としては、音源から発せられる音声を複数のマイクによって集音し、音声が当該各マイクに到達した時間の時間差を検出することにより音源方向を検出する方法が採用されている。
【０００９】
この場合、各マイク間の距離は、各マイクにおける音声の到達時間差を基に音源方向を検出することとの関係上、音源から発せられる音声信号の周波数成分の１周期に相当する１波長の１／２以下の長さであることが必要とされる。従って、かかる音源方向検出方法では、マイク間距離が小さい場合には、当該マイク間距離が大きい場合に比して、より高い周波数成分の音声信号を取得することができる。
【００１０】
しかしながら、かかる音源方向検出方法では、マイク間距離が小さくなると、入力される音声信号の信号レベルの差も小さくなるため、信号対雑音比（Ｓ／Ｎ比）が劣化するという問題が生じる。
【００１１】
本発明は以上の点を考慮してなされたもので、音声の取得を一段と高品質に行い得るロボット装置及びその制御方法を提案しようとするものである。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、互いに近接しない第 1 の所定距離に配置された第１マイクロホン及び第２マイクロホンによって検出される第１音声信号及び第２音声信号のそれぞれから、第 1 の所定距離とその１／２波長が等しくなる周波数の低域成分である第 1 低域信号及び第 2 低域信号を抽出する低域信号抽出手段と、第 1 低域信号及び上記第２低域信号を基に相互相関関数式を用いることによってそれぞれ第 1 相互相関値及び第２相互相関値を算出する相互相関値算出手段と、第 1 相互相関値及び第２相互相関値に基づいて音源の方向を算出する第 1 方向算出手段と、第１音声信号及び第２音声信号からそれぞれ第 1 高域信号及び第 2 高域信号を抽出する高域信号抽出手段と第 1 高域信号及び第 2 高域信号を基に所定の計算式を用いてそれぞれ第 1 高域平均振幅値及び第 2 高域平均振幅値を算出する高域平均振幅算出手段と、第 1 高域平均振幅値と第 2 高域平均振幅値との比をとることによって高域振幅比を算出する高域振幅算出手段と、第 1 の所定のテーブルと高域振幅比とに基づいて音源の方向を算出する第 2 方向算出手段と、互いに近接している第 2 の所定距離に配置された第 3 マイクロホン及び第 4 マイクロホンによって検出される第３音声信号及び第４音声信号のうち一方に対し第 2 の距離に相当する遅延時間だけ遅延させて他方と加算する第 1 加算手段と、一方と他方に対し遅延時間だけ遅延させて加算する第 2 加算手段と、第 1 加算手段及び第２加算手段によって得られた音声信号を基に第 3 の計算式を用いてそれぞれ前方指向性振幅及び後方指向性振幅を算出する指向特性振幅算出手段と、前方指向性振幅と後方指向性振幅との比をとることによって前後振幅比を算出する前後振幅比算出手段と、第２の所定のテーブルと前後振幅比とに基づいて音源の方向を算出する第 3 方向算出手段とを具え、第 1 方向算出手段、第 2 方向算出手段及び第 3 方向算出手段を併用することにより、総合的に音源の方向判断を行うようにした。この結果、回折の影響及び外部ノイズの影響を避けることができ、音源の方向を一段と正確に判断することができる。
【００１３】
また本発明においては、互いに近接しない第 1 の所定距離に配置された第１マイクロホン及び第２マイクロホンによって検出される第１音声信号及び第２音声信号のそれぞれから、第 1 の所定距離とその１／２波長が等しくなる周波数の低域成分である第 1 低域信号及び第 2 低域信号を抽出する低域信号抽出ステップと、第 1 低域信号及び上記第２低域信号を基に相互相関関数式を用いることによってそれぞれ第 1 相互相関値及び第２相互相関値を算出する相互相関値算出ステップと、第 1 相互相関値及び第２相互相関値に基づいて音源の方向を算出する第 1 方向算出ステップと、第１音声信号及び第２音声信号からそれぞれ第 1 高域信号及び第 2 高域信号を抽出する高域信号抽出ステップと第 1 高域信号及び第 2 高域信号を基に所定の計算式を用いてそれぞれ第 1 高域平均振幅値及び第 2 高域平均振幅値を算出する高域平均振幅算出ステップと、第 1 高域平均振幅値と第 2 高域平均振幅値との比をとることによって高域振幅比を算出する高域振幅算出ステップと、第 1 の所定のテーブルと高域振幅比とに基づいて音源の方向を算出する第 2 方向算出ステップと、互いに近接している第 2 の所定距離に配置された第 3 マイクロホン及び第 4 マイクロホンによって検出される第３音声信号及び第４音声信号のうち一方に対し第 2 の距離に相当する遅延時間だけ遅延させて他方と加算する第 1 加算ステップと、一方と他方に対し遅延時間だけ遅延させて加算する第 2 加算ステップと、第 1 加算ステップ及び第２加算ステップによって得られた音声信号を基に第 3 の計算式を用いてそれぞれ前方指向性振幅及び後方指向性振幅を算出する指向特性振幅算出ステップと、前方指向性振幅と後方指向性振幅との比をとることによって前後振幅比を算出する前後振幅比算出ステップと、第２の所定のテーブルと前後振幅比とに基づいて音源の方向を算出する第 3 方向算出ステップとを具え、第 1 方向算出ステップ、第 2 方向算出ステップ及び第 3 方向算出ステップを併用することにより、総合的に音源の方向判断を行うようにした。この結果、回折の影響及び外部ノイズの影響を避けることができ、音源の方向を一段と正確に判断することができる。
【００１４】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１５】
（１）本実施の形態によるロボットの構成
（１−１）ロボットの構成
図１及び図２において、１は全体として本実施の形態による２足歩行型のロボットを示し、胴体部ユニット２の上部に頭部ユニット３が配設されると共に、当該胴体部ユニット２の上部左右にそれぞれ同じ構成の腕部ユニット４Ａ、４Ｂがそれぞれ配設され、かつ胴体部ユニット２の下部左右にそれぞれ同じ構成の脚部ユニット５Ａ、５Ｂがそれぞれ所定位置に取り付けられることにより構成されている。
【００１６】
胴体部ユニット２においては、体幹上部を形成するフレーム１０及び体幹下部を形成する腰ベース１１が腰関節機構１２を介して連結することにより構成されており、体幹下部の腰ベース１１に固定された腰関節機構１２の各アクチュエータＡ1、Ａ2をそれぞれ駆動することによって、体幹上部を図３に示す直交するロール軸１３及びピッチ軸１４の回りにそれぞれ独立に回転させることができるようになされている。
【００１７】
また頭部ユニット３は、フレーム１０の上端に固定された肩ベース１５の上面中央部に首関節機構１６を介して取り付けられており、当該首関節機構１６の各アクチュエータＡ3、Ａ4をそれぞれ駆動することによって、図３に示す直交するピッチ軸１７及びヨー軸１８の回りにそれぞれ独立に回転させることができるようになされている。
【００１８】
さらに各腕部ユニット４Ａ、４Ｂは、それぞれ肩関節機構１９を介して肩ベース１５の左右に取り付けられており、対応する肩関節機構１９の各アクチュエータＡ5、Ａ6をそれぞれ駆動することによって図３に示す直交するピッチ軸２０及びロール軸２１の回りにそれぞれ独立に回転させることができるようになされている。
【００１９】
この場合、各腕部ユニット４Ａ、４Ｂは、それぞれ上腕部を形成するアクチュエータＡ7の出力軸に肘関節機構２２を介して前腕部を形成するアクチュエータＡ8が連結され、当該前腕部の先端に手部２３が取り付けられることにより構成されている。
【００２０】
そして各腕部ユニット４Ａ、４Ｂでは、アクチュエータＡ7を駆動することによって前腕部を図３に示すヨー軸２４の回りに回転させ、アクチュエータＡ８ を駆動することによって前腕部を図３に示すピッチ軸２５の回りにそれぞれ回転させることができるようになされている。
【００２１】
これに対して各脚部ユニット５Ａ、５Ｂにおいては、それぞれ股関節機構２６を介して体幹下部の腰ベース１１にそれぞれ取り付けられており、それぞれ対応する股関節機構２６の各アクチュエータをＡ９〜Ａ１１それぞれ駆動することによって、図３に示す互いに直交するヨー軸２７、ロール軸２８及びピッチ軸２９の回りにそれぞれ独立に回転させることができるようになされている。
【００２２】
この場合各脚部ユニット５Ａ、５Ｂは、それぞれ大腿部を形成するフレーム３０の下端に膝関節機構３１を介して下腿部を形成するフレーム３２が連結されると共に、当該フレーム３２の下端に足首関節機構３３を介して足部３４が連結されることにより構成されている。
【００２３】
これにより各脚部ユニット５Ａ、５Ｂにおいては、膝関節機構３１を形成するアクチュエータＡ１２を駆動することによって、下腿部を図３に示すピッチ軸３５の回りに回転させることができ、また足首関節機構３３のアクチュエータＡ１３、Ａ１４をそれぞれ駆動することによって、足部３４を図３に示す直交するピッチ軸３６及びロール軸３７の回りにそれぞれ独立に回転させることができるようになされている
【００２４】
一方、胴体部ユニット２の体幹下部を形成する腰ベース１１の背面側には、図４に示すように、当該ロボット１全体の動作制御を司るメイン制御部４０と、電源回路及び通信回路などの周辺回路４１と、バッテリ４５（図５）となどがボックスに収納されてなる制御ユニット４２が配設されている。
【００２５】
そしてこの制御ユニット４２は、各構成ユニット（胴体部ユニット２、頭部ユニット３、各腕部ユニット４Ａ、４Ｂ及び各脚部ユニット５Ａ、５Ｂ）内にそれぞれ配設された各サブ制御部４３Ａ〜４３Ｄと接続されており、これらサブ制御部４３Ａ〜４３Ｄに対して必要な電源電圧を供給したり、これらサブ制御部４３Ａ〜４３Ｄと通信を行なったりすることができるようになされている。
【００２６】
また各サブ制御部４３Ａ〜４３Ｄは、それぞれ対応する構成ユニット内の各アクチュエータＡ1〜Ａ14と接続されており、当該構成ユニット内の各アクチュエータＡ1〜Ａ14をメイン制御部４０から与えられる各種制御コマンドに基づいて指定された状態に駆動し得るようになされている。
【００２７】
さらに頭部ユニット３には、図５に示すように、このロボット１の「目」として機能するＣＣＤ（Charge Coupled Device ）カメラ５０、「耳」として機能するマイク部５１及びタッチセンサ５２などからなる外部センサ部５３と、「口」として機能するスピーカ５４となどがそれぞれ所定位置に配設され、制御ユニット４２内には、バッテリセンサ５５及び加速度センサ５６などからなる内部センサ部５７が配設されている。
【００２８】
そして外部センサ部５３のＣＣＤカメラ５０は、周囲の状況を撮像し、得られた画像信号Ｓ１Ａをメイン制御部に送出する一方、マイク部５１は、ユーザから音声入力として与えられる「歩け」、「伏せ」又は「ボールを追いかけろ」等の各種命令音声を集音し、かくして得られた音声信号Ｓ１Ｂをメイン制御部４０に送出するようになされている。
【００２９】
またタッチセンサ５２は、図１及び図２において明らかなように頭部ユニット３の上部に設けられており、ユーザからの「撫でる」や「叩く」といった物理的な働きかけにより受けた圧力を検出し、検出結果を圧力検出信号Ｓ１Ｃとしてメイン制御部４０に送出する。
【００３０】
さらに内部センサ部５７のバッテリセンサ５５は、バッテリ４５のエネルギ残量を所定周期で検出し、検出結果をバッテリ残量検出信号Ｓ２Ａとしてメイン制御部４０に送出する一方、加速度センサ５６は、３軸方向（ｘ軸、ｙ軸及びｚ軸）の加速度を所定周期で検出し、検出結果を加速度検出信号Ｓ２Ｂとしてメイン制御部４０に送出する。
【００３１】
メイン制御部部４０は、外部センサ部５３のＣＣＤカメラ５０、マイク部５１及びタッチセンサ５２等からそれぞれ供給される画像信号Ｓ１Ａ、音声信号Ｓ１Ｂ及び圧力検出信号Ｓ１Ｃ等（以下、これらをまとめて外部センサ信号Ｓ１と呼ぶ）と、内部センサ部５７のバッテリセンサ５５及び加速度センサ等からそれぞれ供給されるバッテリ残量検出信号Ｓ２Ａ及び加速度検出信号Ｓ２Ｂ等（以下、これらをまとめて内部センサ信号Ｓ２と呼ぶ）に基づいて、ロボット１の周囲及び内部の状況や、ユーザからの指令、ユーザからの働きかけの有無などを判断する。
【００３２】
そしてメイン制御部４０は、この判断結果と、予め内部メモリ４０Ａに格納されている制御プログラムと、そのとき装填されている外部メモリ５８に格納されている各種制御パラメータとに基づいて続く行動を決定し、決定結果に基づく制御コマンダを対応するサブ制御部４３Ａ〜４３Ｄに送出する。この結果、この制御コマンダに基づき、そのサブ制御部４３Ａ〜４３Ｄの制御のもとに、対応するアクチュエータＡ1〜Ａ14が駆動され、かくして頭部ユニット３を上下左右に揺動させたり、腕部ユニット４Ａ、４Ｂを上にあげたり、歩行するなどの行動がロボットにより発現されることとなる。
【００３３】
またこの際メイン制御部４０は、必要に応じて所定の音声信号Ｓ３をスピーカ５４に与えることにより当該音声信号Ｓ３に基づく音声を外部に出力させたり、外見上の「目」として機能する頭部ユニット３の所定位置に設けられたＬＥＤに駆動信号を出力することによりこれを点滅させる。
【００３４】
このようにしてこのロボット１においては、周囲及び内部の状況や、ユーザからの指令及び働きかけの有無などに基づいて自律的に行動することができるようになされている。
【００３５】
（１−２）メイン制御部の処理
ここでこのようなロボット１の行動生成に関するメイン制御部４０の処理について説明する。
【００３６】
図６に示すように、ロボット１の行動生成に関するメイン制御部４０の処理内容を機能的に分類すると、外部及び内部の状態を認識する状態認識部６０と、状態認識部６０の認識結果等に基づいて感情及び本能の状態を決定する感情・本能モデル６１と、状態認識部６０の認識結果及び感情・本能モデル６１において決定された感情・本能の状態に基づいて次の行動を決定する行動決定部６２と、行動決定部６２の決定結果に基づいて実際にロボット１に行動を発現させる行動生成部６３とに分けることができる。以下、これら状態認識部６０、感情・本能モデル部６１、行動決定部６２及び行動生成部６３について説明する。
【００３７】
（１−２−１）状態認識部６０の処理
状態認識部６０は、外部センサ部５３から与えられる外部センサ信号Ｓ１及び内部センサ部５７から与えられる内部センサ信号Ｓ２に基づいて特定の状態を認識し、認識結果を状態認識情報Ｄ１として感情・本能モデル６１及び行動決定部６２に通知する。
【００３８】
具体的に情報認識部６０は、外部センサ部５３のＣＣＤカメラ５０から与えられる画像信号Ｓ１Ａを常時監視し、当該画像信号Ｓ１Ａに基づく画像内に例えば「赤い丸いもの」や「進行方向に位置する物体」を検出したときには「ボールがある」、「障害物がある」と認識して、当該認識結果を感情・本能モデル６１及び行動決定部６２に通知する。
【００３９】
また状態認識部６０は、マイク部５１から与えられる音声信号Ｓ１Ｂを常時監視し、ＨＭＭ（Hidden Markov Model ）法などの音声認識手法により「歩け」、「伏せ」、「ボールを追いかけろ」等の各種音声を認識したときには、これを感情・本能モデル６１及び行動決定部６２に通知する。
【００４０】
さらに状態認識部６０は、タッチセンサ５２から与えられる圧力検出信号Ｓ１Ｃを常時監視し、当該圧力検出信号Ｓ１Ｃに基づいて所定の閾値以上のかつ短時間（例えば２秒未満）の圧力を検出したときには「叩かれた（叱られた）」と認識し、所定の閾値未満のかつ長時間（例えば２秒以上）の圧力を検出したときには「撫でられた（誉められた）」と認識し、認識結果を感情・本能モデル部６１及び行動決定部６２に通知する。
【００４１】
さらに状態認識部６０は、内部センサ部５７の加速度センサ５６から与えられる加速度検出信号Ｓ２Ｂを常時監視し、当該加速度検出信号Ｓ２Ｂに基づいて転倒等を検出したときには、これを感情・本能モデル部６１及び行動決定部６２に通知する。
【００４２】
（１−２−２）感情・本能モデル部６１の処理
感情・本能モデル部６１は、「喜び」、「悲しみ」、「驚き」、「恐怖」、「嫌悪」及び怒り」の合計６つの情動について、これら情動ごとの強さを表すパラメータを保持している。そして感情・本能モデル部６１は、これら各情動のパラメータ値を、それぞれ状態認識部６０から状態認識情報Ｄ１として与えられる「誉められた」、「叱られた」などの特定の認識結果に基づいて順次変更する。
【００４３】
具体的に感情・本能モデル部６１は、状態認識情報Ｄ１に基づき得られる認識結果及び行動決定部６２から行動決定情報Ｄ２として通知されるロボット１の直前の出力行動がその情動に対して作用する度合い（予め設定されている）と、他の情動から受ける抑制及び刺激の度合いと、経過時間となどに基づいて所定の演算式により算出されるその情動の変化量をΔＥ〔ｔ〕、現在のその情動のパラメータ値をＥ〔ｔ〕、認識結果等に応じてその情動を変化させる割合を表す係数をｋ_ｅとして、所定周期で次式
【００４４】
【数１】

【００４５】
を用いて次の周期におけるその情動のパラメータ値Ｅ〔ｔ＋１〕を算出する。
【００４６】
そして感情・本能モデル部６１は、この演算結果を現在のその情動のパラメータ値Ｅ〔ｔ〕と置き換えるようにしてその情動のパラメータ値を更新する。なお各認識結果や各出力行動に対してどの情動のパラメータ値を更新するかは予め定められており、例えば「叩かれた」といった認識結果が与えられた場合には「怒り」の情動のパラメータ値が上がり、「撫でられた」といった認識結果が与えられた場合には、「喜び」の情動のパラメータ値が上がる。
【００４７】
これと同様にして、感情・本能モデル部６１は、「愛情欲」、「探索欲」、「運動欲」、「充電欲」及び「睡眠欲」の互いに独立した５つの欲求について、これら欲求ごとにその欲求の強さを表すパラメータを保持している。そして感情・本能モデル部６１は、これら各欲求のパラメータ値を、それぞれ状態認識部６０からの認識結果や経過時間等に基づいて順次更新する。
【００４８】
体的には感情・本能モデル部６１は、「愛情欲」、「探索欲」及び「運動欲」については、ロボット１の出力行動、経過時間及び認識結果などに基づいて所定の演算式により算出されるその欲求の変化量をΔＩ〔ｋ〕、現在のその欲求のパラメータ値をＩ〔ｋ〕、その欲求の感度を表す係数をｋｉとして、所定周期で次式
【００４９】
【数２】

【００５０】
を用いて次の周期におけるその欲求のパラメータ値Ｉ〔ｋ＋１〕を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ〔ｋ〕と置き換えるようにしてその欲求のパラメータ値を更新する。この場合、出力行動や認識結果等に対してどの欲求のパラメータ値を変化させるかは予め定められており、例えば行動決定部６１から何らかの行動を行ったとの通知があったときは「運動欲」のパラメータ値が下がることとなる。
【００５１】
また感情・本能モデル部６１は、「食欲」については、状態認識部６０を介して与えられるバッテリ残量検出信号Ｓ２Ａに基づいて、バッテリ残量をＢＬとして所定周期で次式
【００５２】
【数３】

【００５３】
により「食欲」のパラメータ値Ｉ〔ｋ＋１〕を算出し、この演算結果を現在の食欲のパラメータ値Ｉ〔ｋ〕を置き換えるようにして当該「食欲」のパラメータ値を更新する。
【００５４】
なお本実施の形態においては、各情動及び各欲求のパラメータ値がそれぞれ０から100 までの範囲で変動するように規制されており、また係数ｋｅ 、ｋｉ の値も各情動及び各欲求ごとにそれぞれ個別に設定されている。
【００５５】
因みに、上述のように各認識結果や各出力行動に対してどの情動又は欲求のパラメータ値をどの程度増減させるかは予め設定されているが、これもその後のユーザからの働きかけや、自己の行動結果等に応じて順次変更される。
【００５６】
実際上、感情・本能モデル部６１は、例えば状態認識部６０から当該ロボット１が好きな色やボール等のアイテム等を見ているとの状態認識情報Ｄ１が与えられると、初期時には「喜び」の情動のパラメータ値を増加させるように更新するが、このときに「叩かれた」という状態認識情報Ｄ１が与えられた場合には、「喜び」の係数Ｋｅを下げると共に、「怒り」の係数Ｋｅを上げるようにこれらの係数値を更新する。
【００５７】
この結果、ロボット１が好きな色やアイテム等を見ているときに「叩く」という働きかけが何度も行われると、その色やアイテム等に対する「喜び」の係数Ｋｅ が徐々に小さくなると共に、「怒り」の係数Ｋｅが徐々に大きくなり、やがてその色やアイテム等を見ると「怒り」のパラメータ値が大きくなるように更新されることにより、後述のようにロボット１が怒ったような行動を発現するようになる。
【００５８】
また感情・本能モデル部６１は、状態認識部６０から『大きなボールがある』ということを意味する「ボール（大）」という状態認識情報Ｄ１が与えられた後、行動決定部６２から『ボールをキックする』ということを意味する「キック」という行動決定情報Ｄ２が与えられ、さらにこの後状態認識部６０から『小さなボールがある』ということを意味する「ボール（小）」という状態認識情報Ｄ１が与えられた場合には、『ボールを蹴るのに成功した』と判断し、その事象と関連する『ボール』というアイテムに対する「喜び」の係数Ｋｅと、「運動欲」の係数Ｋｉとをそれぞれ上げるようにこれらの係数値を更新する。
【００５９】
この結果、ロボット１がボールを蹴る動作を何度も成功すると、『ボール』に対する「喜び」の係数Ｋｅと「運動欲」の係数Ｋｉとがそれぞれ徐々に大きくなり、やがてボールを見ると「喜び」及び「運動欲」のパラメータ値が徐々に大きくなるように更新されることにより、後述のようにロボット１がボールを見ると喜んだ行動を発現したり、ボール遊びをよくするようになる。
【００６０】
これとは逆に、感情・本能モデル部６１は、状態認識部６０から「ボール（大）」という状態認識部Ｄ１が与えられた後、行動決定部６２から「キック」という行動決定情報Ｄ２が与えられ、さらにこの後状態認識部６０から「ボール（大）」という状態認識情報Ｄ１が与えられた場合には、『ボールを蹴るのに失敗した』と判断し、『ボール』に対する「喜び」の係数Ｋｅと、「運動欲」の係数Ｋｉとをそれぞれ下げるようにこれらの係数値を更新する。
【００６１】
この結果、ロボット１がボールを蹴る動作を何度も失敗すると、『ボール』に対する「喜び」の係数ｋｅと「運動欲」の係数Ｋｉとがそれぞれ徐々に小さくなり、やがてボールを見ると「喜び」及び「運動欲」のパラメータ値が小さくなるように更新されることにより、後述のようにロボット１がボールを見ても無反応となったり、ボール遊びをあまりしないようになる。
【００６２】
このようにして、このロボット１においては、ユーザからの働きかけや、自己の行動結果等に応じて性格を変化させ得るようになされている。
【００６３】
（１−２−３）行動決定部６２の処理
一方、行動決定部６２は、状態認識部６０から状態認識情報Ｄ１が与えられたときや、現在の行動に移ってから一定時間経過したとき、感情・本能モデル部６１におけるいずれかの情動又は本能のパラメータ値が閾値を超えたときなどに、内部メモリ４０Ａに格納されている制御プログラム及び外部メモリ５８に格納されている制御パラメータに基づいて次の行動を決定する。
【００６４】
具体的に行動決定部６２は、次の行動を決定する手法として、図７に示すように、状態をノードＮＯＤＥ0〜ＮＯＤＥｎとして表現し、１つのノードＮＯＤＥ0〜ＮＯＤＥｎから次のどのノードＮＯＤＥ0〜ＮＯＤＥｎに遷移するかを、自ノードＮＯＤＥ0〜ＮＯＤＥｎにおいて完結し又は各ノードＮＯＤＥ0〜ＮＯＤＥｎ間を接続するアークＡＲＣ0〜ＡＲＣｎに対してそれぞれ設定された遷移確率Ｐ0〜Ｐｎに基づいて確率的に決定する確率オートマトンと呼ばれるアルゴリズムを用いる。
【００６５】
この場合この確率オートマトンにおける各ノードＮＯＤＥ0〜ＮＯＤＥｎ間の接続関係や、各アークＡＲＣ0〜ＡＲＣｎに対する遷移確率Ｐ0〜Ｐｎ及び各アークＡＲＣ0〜ＡＲＣｎにそれぞれ対応付けられた動作が制御パラメータ（行動モデル）として外部メモリ５８に格納されている。
【００６６】
そして行動決定部６２は、例えば状態認識部６０から状態認識情報Ｄ１が与えられたときや、現在のノード（ＮＯＤＥ0）に移ってから一定時間が経過したとき、感情・本能モデル部６１におけるいずれかの情動又は本能のパラメータ値が閾値を超えたときなどに、かかる確率オートマトンにおける次の遷移先のノード（ＮＯＤＥ0〜ＮＯＤＥｎ）を各アークＡＲＣ0〜ＡＲＣｎに対する遷移確率Ｐ0〜Ｐｎに基づいて確率的に決定し、このとき決定したノード（ＮＯＤＥ0〜ＮＯＤＥｎ）と元のノード（ＮＯＤＥ0）をと接続するアーク（ＡＲＣ0〜ＡＲＣｎ）に対応付けられた行動を次に発現すべき行動として、行動決定情報Ｄ２として行動生成部に通知する。
【００６７】
（１−２−４）行動生成部６３の処理
行動生成部６３においては、行動決定部６２から行動決定情報Ｄ２が与えられると、当該行動決定情報Ｄ２に基づく行動をロボットに発現させるための制御コマンドＣＯＭを対応するサブ制御部４３Ａ〜４３Ｄにそれぞれ出力する。
【００６８】
具体的に、行動生成部６３は、「歩く」、「座る」、「ダンスする」等の各動作にそれぞれ対応させて、その動作をロボット１に発現させるためにどのアクチュエータＡ1〜Ａ14（図１及び図２）の出力軸をどのタイミングでどのくらいの角度だけ回転駆動させるかといった、動作ごとの各アクチュエータＡ1〜Ａ14の時系列的な制御内容を規定したファイル（以下、これをモーションファイルと呼ぶ）を外部メモリ５８内に有している。
【００６９】
そして行動生成部６３は、行動決定部６２から行動決定情報Ｄ２が与えられるごとに、対応するモーションファイルを順次再生して当該モーションファイルに格納された制御パラメータに基づく制御コマンドＣＯＭを生成し、当該制御コマンドＣＯＭを対応するサブ制御部４３Ａ〜４３Ｄに送出する。
【００７０】
この結果この制御コマンドＣＯＭに基づいて、対応するサブ制御部４３Ａ〜４３Ｄによって対応するアクチュエータＡ1〜Ａ14が順次駆動され、かくしてロボット１がかかる動作を発言することとなる。
【００７１】
また行動生成部６３は、各種音のＷＡＶＥファイルである複数の音声ファイルと、上述した外見上の「目」として機能するＬＥＤの駆動データが格納された複数のＬＥＤ駆動ファイルを外部メモリ５８内に有しており、かかるモーションファイルの再生時等にそのモーションファイルと対応付けられた音声ファイル及び又はＬＥＤ駆動ファイルを同時に再生することにより、ロボット１に動作と合わせてスピーカ５４（図５）から音声を出力させたり、当該ＬＥＤを点滅駆動させる。
【００７２】
このようにしてメイン制御部４０においては、外部及び内部の状況や、ユーザからの指令及び働きかけの有無等に応じてロボット１を自律的に行動させ得るようになされている。
【００７３】
（２）音源方向検出処理
ところでこのロボット１の頭部ユニット３には、図８（Ａ）〜（Ｃ）に示すように、その前面上部に正面マイク７０、後面上部に後部マイク７１が配置されると共に、右面に右マイク７２及び７３が近接して配置されることにより右マイク群が形成され、左面に左マイク７４及び７５が近接して配置されることにより左マイク群が形成されている。
【００７４】
また図９に示すように、各マイク７０〜７５にはぞれぞれアナログディジタル（Ａ／Ｄ）変換回路８０〜８５が接続されることによりマイク部５１が構成され、当該各Ａ／Ｄ変換回路８０〜８５は、各マイク７０〜７５によって集音された音声信号をディジタル信号にそれぞれ変換した後、これらを音声信号Ｓ１Ｂとしてメイン制御部４０に送出するようになされている。
【００７５】
メイン制御部４０の状態認識部６０は、この音声信号Ｓ１Ｂに基づいて、音声を発している音源の左右方向、すなわち音源がロボット１を基準として左右いずれの方向に位置しているかを判断すると共に、音源の前後方向、すなわち音源がロボット１を基準として前後いずれの方向に位置しているかを判断することにより、当該音源の方向を検出し、その検出結果を感情・本能モデル部６１及び行動決定部６２に通知する。以下、この音源方向検出処理における左右方向検出処理及び前後方向検出処理について具体的に説明する。
【００７６】
（２−１）左右方向検出処理
ここで、正面マイク７０、後部マイク７１、右マイク７２及び７３からなる右マイク群並びに左マイク７４及び７５からなる左マイク群の間の各マイク間距離は、音声信号の高周波成分に着目すると、音声信号の高周波成分の１周期に相当する１波長の１／２を超える距離になってしまい、また音声信号の高周波成分は、頭部ユニット３の回折の影響を強く受け、音源方向を正確に検出ことが困難である。
【００７７】
従って、この場合、状態認識部６０は、マイク間距離が１波長の１／２以下であって、かつ頭部回折の影響が比較的少ない低域の周波数帯域成分を抽出することにより音源方向の検出を行う。
【００７８】
すなわち状態認識部６０は、図１０に示すように、左マイク群のうちの例えば左マイク７４から入力された入力信号Ｌｉ（ｔ）をローパスフィルタ（ＬＰＦ）９０に供給し、当該入力信号Ｌｉ（ｔ）に対して、次式
【００７９】
【数４】

【００８０】
によって表される伝達関数Ｈ（ｚ）を乗算することにより、低周波数帯域成分が抽出された入力信号Ｌｌ（ｔ）を得る。
【００８１】
同様にして状態認識部６０は、右マイク群のうちの右マイク７２から入力された入力信号Ｒｉ（ｔ）に対して、上述の（４）式によって表される伝達関数Ｈ（ｚ）を乗算することにより、低周波数帯域成分が抽出された入力信号Ｒｌ（ｔ）を得る。
【００８２】
次いで状態認識部６０は、音声が左マイク７４に到達した時間を基準とした場合の音声到達時間差ｔに対する、入力信号Ｌｌ（ｔ）及び入力信号Ｒｌ（ｔ）の相互相関値Ｌ（ｔ）を、次式
【００８３】
【数５】

【００８４】
によって算出すると共に、右マイク７２への到達時間を基準とした音声到達時間差ｔに対する、入力信号Ｌｌ（ｔ）及び入力信号Ｒｌ（ｔ）の相互相関値Ｒ（ｔ）を、次式
【００８５】
【数６】

【００８６】
によって算出する。
【００８７】
かくして得られた音声到達時間差ｔ（０〜ＴＬＬ）に対する相互相関値Ｌ（ｔ）の関係を図１１（Ａ）に示すと共に、音声到達時間差ｔ（０〜ＴＬＲ）に対する相互相関値Ｒ（ｔ）の関係を図１１（Ｂ）に示す。ここでＴＬＬ及びＴＬＲは、初期値として１０が予め設定されており、音声到達時間差ｔ（０）〜ｔ（ＴＬＬ）までの範囲を、相互相関値Ｌ（ｔ）における音源方向の仮説時間範囲と呼び、音声到達時間差ｔ（０）〜ｔ（ＴＬＲ）までの範囲を、相互相関値Ｒ（ｔ）における音源方向の仮説時間範囲と呼ぶ。
【００８８】
ところで各マイク７０〜７５から得られる音声信号は、頭部の筐体の回折の影響を強く受け、音源を基準として頭部の反対側に位置するマイクでは、信号レベルが減衰した音声信号が得られることになる。特に、音声信号のうち例えば１〔ｋＨｚ〕以上の高域の周波数帯域成分は、低域の周波数帯域成分と比較して信号レベルの減衰の度合いが大きく、当該信号レベルの減衰の度合いは、マイク間距離に比例して大きくなることがわかっている。
【００８９】
このため状態認識部６０は、音声信号のうち高域の周波数帯域成分に着目して、各マイク間における高域の周波数帯域成分の信号レベル比に基づいて音源方向の検出を行うようになされている。
【００９０】
すなわち、状態認識部６０は、図１２に示すように、左マイク群のうちの例えば左マイク７４から入力された入力信号Ｌｉ（ｔ）をハイパスフィルタ（ＨＰＦ）９１に供給し、当該入力信号Ｌｉ（ｔ）に対して、次式
【００９１】
【数７】

【００９２】
によって表される伝達関数Ｈ（ｚ）を乗算することにより、高周波数帯域成分が抽出された入力信号ＬＨ（ｔ）を得る。
【００９３】
同様にして状態認識部６０は、右マイク群のうちの右マイク７２から入力された入力信号Ｒｉ（ｔ）に対して、上述の（７）式によって表される伝達関数Ｈ（ｚ）を乗算することにより、高周波数帯域成分が抽出された入力信号ＲＨ（ｔ）を得る。
【００９４】
そして状態認識部６０は、高周波数帯域成分が抽出された入力信号ＬＨ（ｔ）の振幅の平均値である高域平均振幅ＹＬＨを、次式
【００９５】
【数８】

【００９６】
によって算出すると共に、高周波数帯域成分が抽出された入力信号ＲＨ（ｔ）の高域平均振幅ＹＲＨを、上述の（８）式によって算出する。
【００９７】
次いで状態認識部６０は、高域平均振幅ＹＬＨ及びＹＲＨの比である高域振幅比ＲＨ＿ｌｒを、次式
【００９８】
【数９】

【００９９】
によって算出することにより、高域の音声信号の信号レベル比を求める。
【０１００】
そして状態認識部６０は、高域振幅比ＲＨ＿ｌｒが２．０よりも大きいと判断した場合にはＴＬＬに０を設定することにより、仮説時間範囲を、図１１（Ｂ）に示す音声到達時間差ｔ（０）〜ｔ（１０）の範囲に狭め、高域振幅比ＲＨ＿ｌｒが１．３よりも大きくかつ２．０よりも小さいと判断した場合にはＴＬＬに２を設定することにより、仮説時間範囲を、図１１（Ａ）に示す音声到達時間差ｔ（０）〜ｔ（２）の範囲と図１１（Ｂ）に示す音声到達時間差ｔ（０）〜ｔ（１０）の範囲に狭める。
【０１０１】
また状態認識部６０は、高域振幅比ＲＨ＿ｌｒが０．５よりも小さいと判断した場合にはＴＬＲに０を設定することにより、仮説時間範囲を、図１１（Ａ）に示す音声到達時間差ｔ（０）〜ｔ（１０）の範囲に狭め、高域振幅比ＲＨ＿ｌｒが０．７５よりも小さくかつつ０．５よりも大きいと判断した場合にはＴＬＲに２を設定することにより、仮説時間範囲を、図１１（Ａ）に示す音声到達時間差ｔ（０）〜ｔ（１０）の範囲と１１（Ｂ）に示す音声到達時間差ｔ（０）〜ｔ（２）の範囲に狭める。
【０１０２】
そして状態認識部６０は、当該得られた仮説時間範囲の中から相互相関値が最大となる音声到達時間差ｔを探索し、予め用意されているテーブルに基づいて当該探索された音声到達時間差ｔに対応する音源の左右方向の角度を得る。
【０１０３】
（２−２）前後方向検出処理
この場合、状態認識部６０は、正面マイク７０から入力された入力信号Ｆｉ（ｔ）に対して、上述の（４）式によって表される伝達関数Ｈ（ｚ）を乗算することにより、低周波数帯域成分が抽出された入力信号Ｆｌ（ｔ）を得る。
【０１０４】
同様にして状態認識部６０は、後部マイク７１から入力された入力信号Ｂｉ（ｔ）に対して、上述の（４）式によって表される伝達関数Ｈ（ｚ）を乗算することにより、低周波数帯域成分が抽出された入力信号Ｂｌ（ｔ）を得る。
【０１０５】
次いで状態認識部６０は、音声が正面マイク７０に到達した時間を基準とした場合の音声到達時間差ｔに対する、入力信号Ｆｌ（ｔ）及び入力信号Ｂｌ（ｔ）の相互相関値Ｆ（ｔ）を、上述の（５）式と同様の演算式によって算出すると共に、後部マイク７１への到達時間を基準とした音声到達時間差ｔに対する、入力信号Ｆｌ（ｔ）及び入力信号Ｂｌ（ｔ）の相互相関値Ｂ（ｔ）を、上述の（６）式と同様の演算式によって算出する。
【０１０６】
かくして得られた音声到達時間差ｔ（０〜ＴＬＦ）に対する相互相関値Ｆ（ｔ）の関係を図１３（Ａ）に示すと共に、音声到達時間差ｔ（０〜ＴＬＢ）に対する相互相関値Ｂ（ｔ）の関係を図１３（Ｂ）に示す。ここでＴＬＦ及びＴＬＢは、初期値として１０が予め設定されており、音声到達時間差ｔ（０）〜ｔ（ＴＬＦ）までの範囲を、相互相関値Ｆ（ｔ）における音源方向の仮説時間範囲と呼び、音声到達時間差ｔ（０）〜ｔ（ＴＬＢ）までの範囲を、相互相関値Ｂ（ｔ）における音源方向の仮説時間範囲と呼ぶ。
【０１０７】
ところで、右マイク群を形成する右マイク７２及び７３と、左マイク群を形成する左マイク７４及び７５は、それぞれ近接しマイク間距離が小さいため、マイク間距離が大きい場合に比して、より広い周波数帯域の音声信号を用いて音源方向の検出を行うことができる。
【０１０８】
この場合、状態認識部６０は、右マイク群を形成する右マイク７２及び７３と左マイク群を形成する左マイク７４及び７５とを用いて指向性マイクを形成することにより音源方向を検出するようになされている。
【０１０９】
すなわち、状態認識部６０は、図１４に示すような機能ブロックからなる指向性マイクを形成し、右マイク群のうち前方に位置する右マイク７２から入力された入力信号を遅延回路１００に供給すると共に、右マイク群のうち後方に位置する右マイク７３から入力された入力信号を遅延回路１０１に供給する。
【０１１０】
遅延回路１００は、供給される入力信号を遅延させることなく後段の加算回路１０２に送出し、遅延回路１０１は、供給される入力信号を、右マイク７２と右マイク７３との間の距離に相当する時間だけ遅延させた後、後段の加算回路１０２に送出する。
【０１１１】
加算回路１０２は、遅延回路１００及び１０ｌから供給される入力信号を加算することにより、ロボット１を基準として後方から発せられる音声を打ち消し、その結果得られた入力信号をＬＰＦ１０３に送出する。
【０１１２】
ＬＰＦ１０３は、供給される入力信号に対して、次式
【０１１３】
【数１０】

【０１１４】
によって表される伝達関数を乗算することにより、当該入力信号の周波数特性を補正する。
【０１１５】
平均振幅算出回路１０４は、当該周波数特性が補正された入力信号に対して、次式
【０１１６】
【数１１】

【０１１７】
によって表される演算式を用いて、前方指向性振幅Ａｆを算出する。
【０１１８】
また、状態認識部６０は、右マイク群のうち前方に位置する右マイク７２から入力された入力信号を遅延回路１１０に供給すると共に、右マイク群のうち後方に位置する右マイク７３から入力された入力信号を遅延回路１１１に供給する。
【０１１９】
遅延回路１１０は、供給される入力信号を、右マイク７２と右マイク７３との間の距離に相当する時間だけ遅延させた後、後段の加算回路１１２に送出し、遅延回路１１１は、供給される入力信号を遅延させることなく後段の加算回路１１２に送出する。
【０１２０】
加算回路１１２は、遅延回路１１０及び１１１から供給される入力信号を加算することにより、ロボット１を基準として前方から発せられる音声を打ち消し、当該加算された入力信号をＬＰＦ１１３及び平均振幅算出回路１１４に順次送出して後方指向性振幅Ａｂを算出する。
【０１２１】
振幅比算出回路１１５は、前方指向性振幅Ａｆ及び後方指向性振幅Ａｂを基に前後振幅比Ｒｆｂを、次式
【０１２２】
【数１２】

【０１２３】
によって算出する。
【０１２４】
そして状態認識部６０は、前後振幅比Ｒｆｂが２．０よりも大きいと判断した場合にはＴＬＢに０を設定することにより、仮説時間範囲を、図１３（Ａ）に示す音声到達時間差ｔ（０）〜ｔ（１０）の範囲に狭め、前後振幅比Ｒｆｂが１．３よりも大きくかつ２．０よりも小さいと判断した場合にはＴＬＢに２を設定することにより、仮説時間範囲を、図１１（Ａ）に示す音声到達時間差ｔ（０）〜ｔ（１０）の範囲と図１１（Ｂ）に示す音声到達時間差ｔ（０）〜ｔ（２）の範囲に狭める。
【０１２５】
また状態認識部６０は、前後振幅比Ｒｆｂが０．５よりも小さいと判断した場合にはＴＬＦに０を設定することにより、仮説時間範囲を、図１１（Ｂ）に示す音声到達時間差ｔ（０）〜ｔ（１０）の範囲に狭め、前後振幅比Ｒｆｂが０．７５よりも小さくかつ０．５よりも大きいと判断した場合にはＴＬＦに２を設定することにより、仮説時間範囲を、図１１（Ａ）に示す音声到達時間差ｔ（０）〜ｔ（２）の範囲と図１１（Ｂ）に示す音声到達時間差ｔ（０）〜ｔ（１０）の範囲に狭める。
【０１２６】
そして状態認識部６０は、当該得られた仮説時間範囲の中から相互相関値が最大となる音声到達時間差ｔを探索し、予め用意されているテーブルに基づいて当該探索された音声到達時間差ｔに対応する音源の前後方向の角度を得る。
【０１２７】
なお状態認識部６０は、当該得られた仮説時間範囲の中から相互相関値が最大となる音声到達時間差ｔを検出できないと判断した場合には、前後振幅比Ｒｆｂを基に音源の前後方向の角度を直接得ることにする。
【０１２８】
すなわち状態認識部６０は、前後振幅比Ｒｆｂが２．０よりも大きいと判断した場合には、音源の前後方向の角度を０〔°〕に設定し、前後振幅比Ｒｆｂが１．０よりも大きくかつ２．０よりも小さいと判断した場合には、音源の前後方向の角度を３０〔°〕に設定する。
【０１２９】
また状態認識部６０は、前後振幅比Ｒｆｂが０．５よりも小さいと判断した場合には、音源の前後方向の角度を１８０〔°〕に設定し、前後振幅比Ｒｆｂが０．７５よりも小さくかつ０．５よりも大きいと判断した場合には、音源の前後方向の角度を１３５〔°〕に設定し、前後振幅比Ｒｆｂが１．０よりも小さくかつ０．７５よりも大きいと判断した場合には、音源の前後方向の角度を９０〔°〕に設定する。
【０１３０】
このようにして状態認識部６０は、ロボット１を基準として左右方向に着目した場合に検出された音源の左右方向の角度と、前後方向に着目した場合に検出さされた音源の前後方向の角度とを基に、音源方向の角度を検出するようになされている。
【０１３１】
（３）指向性マイク生成処理
ところで、状態認識部６０は、ＣＣＤカメラ５０から得られる画像信号Ｓ１Ａを解析することにより音源の位置を特定し、当該特定された音源の方向に対する指向性マイクを生成し得るようになされている。
【０１３２】
すなわち、状態認識部６０は、始めにＣＣＤカメラ５０から得られる画像信号Ｓ１Ａを解析することにより例えば対話相手の位置を特定する。そして状態認識部６０は、特定された対話相手が当該ロボット１を基準として正面に位置すると判断した場合には、右マイク群のうち前方に位置する右マイク７２から入力される音声信号と、後方に位置する右マイク７３から入力される音声信号を所定時間遅延させた音声信号とを加算することにより、ロボット１の後方から発せられる音声信号を打ち消す。
【０１３３】
同様に状態認識部６０は、左マイク群のうち前方に位置する左マイク７４から入力される音声信号と、後方に位置する左マイク７５から入力される音声信号を所定時間遅延させた音声信号とを加算することにより、ロボット１の後方から発せられる音声信号を打ち消す。
【０１３４】
このように状態認識部６０は、特定された音源の方向に対する指向性マイクを生成し得、Ｓ／Ｎ比を向上させることができる。
【０１３５】
（４）本実施の形態の動作及び効果
以上の構成において、このロボット１の頭部ユニット３には、その前面上部に正面マイク７０、後面上部に後部マイク７１が配置されると共に、右面に右マイク７２及び７３が近接して配置され、左面に左マイク７４及び７５が近接して配置されている。
【０１３６】
状態認識部６０は、右マイク７２及び左マイク７４から入力される音声信号の低域の周波数成分に着目し、音声の各マイクへの到達時間差を検出することにより、音源の左右方向を仮説する。この場合、音源方向の仮説に利用し得る周波数帯域が制限されるが、マイク間距離が大きいためＳ／Ｎ比の劣化を回避することができる。
【０１３７】
次いで状態認識部６０は、右マイク７２及び左マイク７４から入力される音声信号の高域の周波数成分に着目し、その信号レベル比を算出することにより、音源の左右方向を仮説する。この場合、マイク間距離が大きいため信号レベルの減衰も大きく、これにより明らかに音源が存在しない方向を排除することができる。
【０１３８】
そして状態認識部６０は、音声信号の低域の周波数成分に着目した場合に得られた音源の左右方向の仮説と、音声信号の高域の周波数成分に着目した場合に得られた音源の左右方向の仮説とに基づいて、音源の左右方向の角度を正しく検出し得る。
【０１３９】
また、状態認識部６０は、右マイク７２及び左マイク７４から入力される音声信号の低域の周波数成分に着目し、音声の各マイクへの到達時間差を検出することにより、マイク間距離を１／２波長以下にしつつかつ頭部回折の影響を回避しながら音源の前後方向を仮説する。この場合、音源方向の仮説に利用し得る周波数帯域が制限されるが、マイク間距離が大きいためＳ／Ｎ比の劣化を回避することができる。
【０１４０】
次いで状態認識部６０は、右マイク群を形成する右マイク７２及び７３と左マイク群を形成する左マイク７４及び７５とによって指向性マイクを形成することにより、より広い周波数帯域の音声信号を用いて音源の前後方向を仮説する。この場合、頭部回折の影響を回避することができる。
【０１４１】
そして状態認識部６０は、音声信号の低域の周波数成分に着目した場合に得られた音源の前後方向の仮説と、音声信号の広い周波数成分に着目した場合に得られた音源の前後方向の仮説とに基づいて、音源の前後方向の角度を正確に検出し得る。
【０１４２】
このように状態認識部６０は、音源の左右方向の角度を正確に検出し得ると共に、音源の前後方向の角度を正確に検出し得、従って音源方向検出処理の信頼性を一段と向上することができる。
【０１４３】
また状態認識部６０は、ＣＣＤカメラ５０から得られる画像信号Ｓ１Ａを基に音源の位置を特定し、当該特定された音源方向の指向性マイクを生成することにより、Ｓ／Ｎ比を向上させることができる。
【０１４４】
以上の構成によれば、ロボット１の頭部ユニット３の前面上部に正面マイク７０を配置すると共に後面上部に後部マイク７１を配置し、さらに右面に右マイク７２及び７３を近接して配置すると共に、左面に左マイク７４及び７５を近接して配置し、各マイク７０〜７５から得られる音声信号に基づいて音源の方向を検出することにより、複数の音源方向検出方法を用いて音源方向を検出し得、従って音源方向を一段と正確に検出し得る。
【０１４５】
（５）他の実施の形態
なお上述の実施の形態においては、本発明を図１及び図２のように構成された２足歩行型のロボット１に適用するようにした場合について述べたが、本発明はこれに限らず、例えば４足歩行型のペットロボットや、この他種々のロボット装置に広く適用することができる。
【０１４６】
また上述の実施の形態においては、第１のマイク群として、頭部ユニット３の右面に近接して配置された右マイク７２及び７３からなる右マイク群と、左面に近接して配置された左マイク７４及び７５からなる左マイク群とを適用する場合について述べたが、本発明はこれに限らず、互いに近接して配置された他の種々の第１のマイク群を適用するようにしても良い。
【０１４７】
また上述の実施の形態においては、第２のマイク群として、頭部ユニット３の前面上部に配置された正面マイク７０と、後面上部に配置された後部マイク７１とを適用する場合について述べたが、本発明はこれに限らず、互いに近接しないように配置された他の種々の第２のマイク群を適用するようにしても良い。
【０１４８】
さらに上述の実施の形態においては、音声認識手段として状態認識部６０を適用した場合について述べたが、本発明はこれに限らず、各マイクから入力される音声信号に対して所定の音声認識処理を施す他の種々の音声認識手段を適用するようにしても良い。
【０１４９】
【発明の効果】
互いに近接しない２つのマイクロホンによって検出される第 1 の音声信号及び第 2 の音声信号から抽出した第 1 の低域信号と第 2 の低域信号とを基に相互相関関数式を用いて相互相関値を算出し、相互相関値から音源の方向を算出するようにしたことにより、マイクロホン付近の回折の影響及び外部ノイズの影響を避けることができるので音源の方向を正確に検出でき、また第 1 の音声信号及び第 2 の音声信号から高域成分を抽出した高域振幅比を基に音源の方向を算出するようにしたことにより、 2 つのマイクロホン間の音声信号レベル比が大きいため明らかに音源が存在しない方向を排除でき、さらに互いに近接した２つのマイクロホンによって検出された第 3 音声信号及び第 4 音声信号を用いた処理で指向性の強いマイクロホンを形成することにより、指向性によって音源の方向を正確に検出できるという、以上の３つの音源検出方法を併用し、総合的に音源の方向を判断するようにしたことにより、回折の影響及び外部ノイズの影響が避けられＳ／Ｎが向上することができるので音源の方向を一段と正確に判断でき、かくして音源に対して３つの方向判断方法を併用し、総合的に判断することで音源の方向を一段と正確に判断できる音源方向判断装置を実現できる。
【０１５０】
また本発明においては、ロボット装置の制御方法において、互いに近接して配置された第１のマイク群と、互いに近接しないように配置された第２のマイク群とからそれぞれ入力される音声信号に対して所定の音声認識処理を施すことにより、音源方向を一段と正確に検出し得ると共にＳ／Ｎ比を向上させることができ、従って音声の取得を一段と高品質に行い得るロボット装置の制御方法を実現できる。
【図面の簡単な説明】
【図１】本実施の形態によるロボットの外部構成を示す斜視図である。
【図２】ロボットの外部構成を示す斜視図である。
【図３】ロボットの外部構成の説明に供する略線図である。
【図４】ロボットの内部構成の説明に供するブロック図である。
【図５】ロボットの内部構成の説明に供するブロック図である。
【図６】メイン制御部の処理内容の説明に供するブロック図である。
【図７】確率オートマトンの説明に供する概念図である。
【図８】頭部ユニットの外観構成の説明に供する略線図である。
【図９】マイク部の構成の説明に供する略線図である。
【図１０】ＬＰＦの説明に供する略線図である。
【図１１】時間差ｔに対する相互相関値の説明に供する略線図である。
【図１２】ＨＰＦの説明に供する略線図である。
【図１３】時間差ｔに対する相互相関値の説明に供する略線図である。
【図１４】指向性マイクの構成の説明に供する略線図である。
【符号の説明】
１……ロボット、２……胴体部ユニット、３……頭部ユニット、４Ａ、４Ｂ……腕部ユニット、５Ａ、５Ｂ……脚部ユニット、４０……メイン制御部、５０……ＣＣＤ、５１……マイク部、５２……タッチセンサ、５４……スピーカ、５５……バッテリセンサ、５６……加速度センサ、５８……外部メモリ、６０……状態認識部、７０……正面マイク、７１……後部マイク、７２、７３……右マイク、７４、７５……左マイク。

Claims (2)

1. 互いに近接しない第 1 の所定距離に配置された第１マイクロホン及び第２マイクロホンによって検出される第１音声信号及び第２音声信号のそれぞれから、上記第 1 の所定距離とその１／２波長が等しくなる周波数の低域成分である第 1 低域信号及び第 2 低域信号を抽出する低域信号抽出手段と、
   上記第 1 低域信号及び上記第２低域信号を基に相互相関関数式を用いることによってそれぞれ第 1 相互相関値及び第２相互相関値を算出する相互相関値算出手段と、
   上記第 1 相互相関値及び上記第２相互相関値に基づいて上記音源の方向を算出する第 1 方向算出手段と、
   上記第１音声信号及び上記第２音声信号からそれぞれ第 1 高域信号及び第 2 高域信号を抽出する高域信号抽出手段と
   上記第 1 高域信号及び上記第 2 高域信号を基に第１の計算式を用いてそれぞれ第 1 高域平均振幅値及び第 2 高域平均振幅値を算出する高域平均振幅算出手段と、
   上記第 1 高域平均振幅値と上記第 2 高域平均振幅値との比を求めることによって高域振幅比を算出する高域振幅算出手段と、
   所定の第 1 のテーブルと上記高域振幅比とに基づいて上記音源の方向を算出する第 2 方向算出手段と、
   互いに近接している第 2 の所定距離に配置された第 3 マイクロホン及び第 4 マイクロホンによって検出される第３音声信号及び第４音声信号の一方に対し、上記第 2 の所定距離に相当する遅延時間だけ遅延させて他方と加算する第 1 加算手段と、
   上記一方と上記遅延時間だけ遅延させた上記他方とを加算する第 2 加算手段と、
   上記第 1 加算手段及び上記第２加算手段によって得られた値を基に第２の計算式を用いてそれぞれ前方指向性振幅及び後方指向性振幅を算出する指向特性振幅算出手段と、
   上記前方指向性振幅と上記後方指向性振幅との比を求めることによって前後振幅比を算出する前後振幅比算出手段と、
   所定の第２のテーブルと上記前後振幅比とに基づいて上記音源の方向を算出する第 3 方向算出手段とを具え、
   上記第 1 方向算出手段、上記第 2 方向算出手段及び上記第 3 方向算出手段を併用することにより、総合的に上記音源の方向を判断する
   ことを特徴とする音源方向判断装置。
2. 互いに近接しない第 1 の所定距離に配置された第１マイクロホン及び第２マイクロホンによって検出される第１音声信号及び第２音声信号のそれぞれから、上記第 1 の所定距離とその１／２波長が等しくなる周波数の低域成分である第 1 低域信号及び第 2 低域信号を抽出する低域信号抽出ステップと、
   上記第 1 低域信号及び上記第２低域信号を基に相互相関関数式を用いることによってそれぞれ第 1 相互相関値及び第２相互相関値を算出する相互相関値算出ステップと、
   上記第 1 相互相関値及び上記第２相互相関値に基づいて上記音源の方向を算出する第 1 方向算出ステップと、
   上記第１音声信号及び上記第２音声信号からそれぞれ第 1 高域信号及び第 2 高域信号を抽出する高域信号抽出ステップと
   上記第 1 高域信号及び上記第 2 高域信号を基に所定の計算式を用いてそれぞれ第 1 高域平均振幅値及び第 2 高域平均振幅値を算出する高域平均振幅算出ステップと、
   上記第 1 高域平均振幅値と上記第 2 高域平均振幅値との比をとることによって高域振幅比を算出する高域振幅算出ステップと、
   所定のテーブルと上記高域振幅比とに基づいて上記音源の方向を算出する第 2 方向算出ステップと、
   互いに近接している第 2 の所定距離に配置された第 3 マイクロホン及び第 4 マイクロホンによって検出される第３音声信号及び第４音声信号のうち一方の上記音声信号に対し上記 第 2 距離に相当する遅延時間遅延させて他方の音声信号と加算する第 1 加算ステップと、
   上記一方の音声信号と上記他方の音声信号に対し上記遅延時間遅延させて加算する第 2 加算ステップと、
   上記第 1 加算ステップ及び上記第２加算ステップによって得られた上記音声信号に対し第 3 の計算式を用いてそれぞれ前方指向性振幅及び後方指向性振幅を算出する指向特性振幅算出ステップと、
   上記前方指向性振幅及び上記後方指向性振幅の比をとることによって前後振幅比を算出する前後振幅比算出ステップと、
   上記前後振幅比を所定のテーブルと対応付けることによって上記音源の方向を算出する第 3 方向算出ステップとを具え、
   上記第 1 方向算出ステップ、上記第 2 方向算出ステップ及び上記第 3 方向算出ステップを併用することにより、総合的に上記音源の方向を判断する
   ことを特徴とする音源方向判断方法。

Images