JP3702297B2 - ロボット制御装置及びロボット制御方法並びにそのプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、情報処理装置に係り、特に、ロボット制御装置及びロボット制御方法並びにそのプログラムに関するものである。
【０００２】
【従来の技術】
従来、展示場などに配置された人間やその他の動物の形をしたロボットに動作を加える制御を行う場合には、そのロボットの一定の動作をプログラムして制御していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述のプログラムによってロボットを制御する方法においては、再生される音楽から感情を表現する感情パラメータを抽出し、その感情パラメータに応じてロボットを制御するようなロボットの制御方法がなかった。
そこでこの発明は、再生される音楽から感情を表現する感情パラメータを抽出し、その感情パラメータに応じてロボットを制御することで、再生される音楽の感性に合った動きでロボットの動作を制御することができるロボット制御装置及びロボット制御方法並びにそのプログラムを提供することを目的としている。
【０００４】
【課題を解決するための手段】
本発明は、上述の課題を解決すべくなされたもので、請求項１に記載の発明は、分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部と、前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布を解析し、この解析結果に基づいて感情種類と、前記感情種類毎の感情レベルなどからなる感性データを算出する感性データ算出部と、前記感性データ算出部によって算出された前記感性データを出力する感性データ出力部と、前記感性データ出力部から受信した前記感性データに基づいてロボットの動作の制御を行うロボット制御部とを備える事を特徴とするロボット制御装置である。
【０００５】
上述の構成によれば、データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布を解析し、この解析結果に基づいて感情種類と、前記感情種類毎の感情レベルなどからなる感性データを算出する。そして、算出した前記感性データを出力し、その感性データに基づいて、ロボット制御部がロボットの動作を制御する。これにより、再生される音楽の感性に合った動きでロボットの動作を制御することができる。
【０００６】
また、請求項２に記載の発明は、分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部を備えたロボット制御装置におけるロボット制御方法であって、前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布を解析し、この解析結果に基づいて感情種類と、前記感情種類毎の感情レベルなどからなる感性データを算出する感性データ算出過程と、前記感性データ算出過程によって算出された前記感性データを出力する感性データ出力過程と、前記感性データ出力過程で出力した前記感性データに基づいて、ロボットの動作の制御を行うロボット制御過程とを備える事を特徴とするロボット制御方法である。
【０００７】
また、請求項３に記載の発明は、分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部を備えたロボット制御装置のコンピュータにおけるロボット制御プログラムであって、前記コンピュータに、前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布を解析し、この解析結果に基づいて感情種類と、前記感情種類毎の感情レベルなどからなる感性データを算出する感性データ算出処理と、前記感性データ算出処理によって算出された前記感性データを出力する感性データ出力処理と、前記感性データ出力処理で出力した前記感性データに基づいて、ロボットの動作の制御を行うロボット制御処理とを実行させるためのプログラムである。
【０００８】
【発明の実施の形態】
以下、本発明の一実施形態によるロボット制御装置を図面を参照して説明する。
図１は、同実施形態による感性データ算出方法を応用したロボット制御装置の構成を示すブロック図である。このロボット制御装置は、ＭＰ３（ＭＰＥＧ１ Ａｕｄｉｏ Ｌａｙｅｒ３）の形式で記録された音楽（聴覚データ）を再生するとともに、この音楽を基に感性データを算出するものである。
【０００９】
図１において、符号４は、ＭＰ３形式の音楽データを記憶するＭＰ３データ記憶部である。１は、ＭＰ３データ記憶部４から読み出された音楽データを基に感性データを算出して出力するスペクトラム解析部である。２は、スペクトラム解析部１によって算出された感性データを蓄積する感性データ蓄積部である。３は、感性データ蓄積部２に蓄積された感性データを順次読み出し、ロボット制御部へ出力する感性データ出力部である。
【００１０】
また、５は、ＭＰ３データ記憶部４から読み出された音楽データをデコードして時系列的な音圧レベルのデジタル信号（デジタルオーディオ信号）を出力するＭＰ３デコーダ部である。６は、ＭＰ３デコーダ部５から出力されたデジタル信号を変換してアナログオーディオ信号を出力するＤ／Ａ（デジタル／アナログ）変換部である。７は感性データ出力部３が出力した制御信号に基づいたロボットの制御を行うロボット制御部である。
【００１１】
ＭＰ３データ記憶部４に記憶されている音楽データは、所定のサンプリング周波数（例えば、４４１００Ｈｚ（ヘルツ））でサンプリングされ量子化された音圧レベルが、所定のフレーム長（例えば、約０．０２６１秒）を１フレームとするフレーム単位で、所定数（例えば、５７６本）に分割された周波数帯域ごとの音圧値に変換され、さらに圧縮されたものである。
【００１２】
スペクトラム解析部１は、このような音楽データを時系列的に順次読み出し、読み出したデータをまず伸長してから、後述する所定の手順により解析を行い、その結果を感性データとして順次出力していく。スペクトラム解析部１によって出力される感性データも時系列的なデータであり、順次、感性データ蓄積部２に蓄積されていく。
【００１３】
感性データ出力部３は、感性データ蓄積部２に蓄積した感性データをロボット制御部７に出力するものである。そして、ロボット制御部７は感性データ出力部３が感性データ蓄積部２から読み取って送信した感性データに基づいて、ロボットの腕や口などの動きを制御する。
【００１４】
そして、再生される音楽の進行と感性データ出力部３が出力する感性データのタイミングが合うように、スペクトラム解析部１と感性データ出力部３とＭＰ３デコーダ５との間で互いに同期を取るようにする。
また、スペクトラム解析部１による感性データ算出の演算に時間がかかっても音楽と感性データ出力部３が出力する感性データとのタイミングがずれないように、音楽の再生が指示された後にスペクトラム解析部１による感性データ算出を先行して行い、数秒から数十秒程度遅れて後追いの形で、ＭＰ３デコータ５による音楽の再生と感性データ出力部３からの制御信号の出力とを行うようする。但し、スペクトラム解析部１による感性データ算出の演算が充分に速く行える場合には、上記の遅延を設けずにリアルタイムで再生するようにしても良い。
【００１５】
ＭＰ３データ記憶部４は、磁気ディスクやＣＤ−ＲＯＭ（コンパクトディスクを用いた読み出し専用メモリ）あるいはＣＤ−Ｒ（CD Recordable ）やＤＶＤ（Digital Versatile Disk）や光磁気ディスクや半導体メモリなどといった記録媒体とそれを読み取る読取装置によって実現する。
【００１６】
スペクトラム解析部１は、コンピュータを用いて実現する。つまり、後述する感性データ算出等の処理の手順をコンピュータプログラムの形式でコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータの中央処理装置が読み取ってその命令を実行することにより感性データ算出等の機能を実現する。ここで、コンピュータ読み取り可能な記録媒体とは、例えば、磁気ディスクや、ＣＤ−ＲＯＭあるいはＣＤ−Ｒや、半導体メモリなどである。あるいは、専用ロジックを搭載した集積回路としてスペクトラム解析部１を実現するようにしても良い。あるいは、コンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録しておく代わりに、通信を用いて配信するようにして、配信を受けたコンピュータの中央処理装置がこのプログラムを実行するようにしても良い。
感性データ蓄積部２は、半導体メモリや磁気ディスクなど、高速に書換え可能な記録媒体を用いて実現する。
【００１７】
次に、スペクトラム解析部１の内部生成、およびその処理の詳細について説明する。図１に示すように、スペクトラム解析部１は、伸長部１１と感性データ算出部１２とを備えている。伸長部１１は、ＭＰ３データ記憶部から読み取られた音楽データを伸長する。つまり、図１のＡの部分では、圧縮された状態のデータが伝達される。また、図１のＢの部分では、前述の周波数帯域（音域）ごとの音圧値の情報が伸長済みの状態で伝達される。感性データ算出部１２は、さらに、感情解析部１３とリズム解析部１４とを備えている。
【００１８】
次に、感情解析部１３とリズム解析部１４の詳細な処理手順について説明する。
【００１９】
図２は、感情解析部１３による処理の手順を示すフローチャートである。図２に示すように、感情解析部１３は、まずステップＳ１において入力されるデータを基に５つの音域への分割の処理を行い、ステップＳ２においてこれら５つの音域の音圧値を基に感情パラメータを算出する処理を行い、ステップＳ３において算出された感情パラメータを基に判定を行う。判定結果として、インデックス、感情種類、感情レベル、継続時間、補間フラグを１組とした時系列データが出力される。
【００２０】
上記インデックスは、０から始まるシーケンシャルな値である。
上記感情種類は、「無表情（default ）」、「快感（pleasure）」、「驚き（surprise）」、「怯え（fear）」、「嬉しい（happy ）」、「哀しい（sad ）」のいずれかである。
感情種類が「快感」、「驚き」、「怯え」、「嬉しい」、「哀しい」のいずれかであるとき、上記感情レベルは１以上５以下のいずれかの整数の値を取る。また、感情種類が「無表情」のとき、感情レベルの値は「なし」である。
上記継続時間は、秒単位の数値であり、１以上の値を取る。
上記補間フラグは、０（「ＯＦＦ」を表わす）あるいは１（「ＯＮ」を表わす）のいずれかの値を取る。
【００２１】
時系列の音楽データを処理する際の初期値は、インデックス＝０、感情種類＝「無表情」、感情レベル＝「なし」、継続時間＝「１」、補間フラグ＝「１」とする。
【００２２】
以下に、処理をさらに詳細に説明する。
図２の符号Ｄ１は、感情解析部１３に入力される周波数帯域ごとの音圧値情報である。この段階では、５７６本の周波数帯域それぞれの音圧値情報が保持されている。また、元のＭＰ３データのサンプリング周波数は４４１００Ｈｚである。つまり、分割された周波数帯域ごとの音圧値として音を表現したデジタルデータを入力として、周波数帯域ごとの音圧値の分布を以下の方法で解析することにより、前記の音に関連する感性データを算出する。
【００２３】
ステップＳ１においては、音圧値情報（Ｄ１）を基に、次の５段階の音域ごとの平均音圧値を算出し、音圧値情報（Ｄ２）として出力する。その５段階の音域とは、低音部（０Ｈｚ〜７６．５６２５Ｈｚ）、中低音部（２２９．６８７５Ｈｚ〜１９９０．６２５Ｈｚ）、中高音部（７００５．４６９Ｈｚ〜１００２９．６９Ｈｚ）、高音部（１００２９．６９Ｈｚ〜１４９６７．９７Ｈｚ）、最高音部（１５００６．２５Ｈｚ〜１７９９２．１９Ｈｚ）の５つである。
つまり、ここでは、周波数帯域全体を、５個の周波数帯域グループに分割し、この周波数帯域グループごとの音圧値を用いた解析を行う。
【００２４】
また、ステップＳ１においては、音階分割により、長音要素と短音要素の抽出を行う。この抽出のために、まず、０Ｈｚ〜４９７．６５６３Ｈｚの帯域を１３の領域に均等分割し、４９７．６５６３Ｈｚ〜２２０５０Ｈｚの帯域を６３の領域に音階分割する。そして、そのうちの４９７．６５６３Ｈｚ〜２０２８．９０６Ｈｚの２オクターブ分の２４個の音階領域の音圧値が所定の閾値より大きいかどうかを判断する。
【００２５】
上記２４個の音階領域のうち、１番目、３番目、５番目、８番目、１０番目、１２番目、１３番目、１５番目、１７番目、２０番目、２２番目、２４番目の領域が長音要素である。これらの長音要素のうち、１番目と１３番目とは１オクターブ離れた領域であるため、この２つの領域の音圧値が共に閾値より大きければ、長音要素を＋１としてカウントする。また同様に、３番目と１５番目の領域、５番目と１７番目の領域、８番目と２０番目の領域、１０番目と２２番目の領域、１２番目と２４番目の領域がそれぞれ互いに１オクターブ離れた領域であり、２つの領域の音圧値が共に閾値より大きい場合に、それぞれ長音要素を＋１としてカウントする。
また、上記２４個の音階領域のうち、２番目と１４番目、４番目と１６番目、６番目と１８番目、７番目と１９番目、９番目と２１番目、１１番目と２３番目がそれぞれ互いに１オクターブ離れた領域のペアであり、ペアごとに、２つの領域の音圧値が共に閾値より大きい場合に、それぞれ短音要素を＋１としてカウントする。
この抽出の処理の結果、長音要素および短音要素は、それぞれ０以上６以下のいずれかの整数の値を取る。
【００２６】
次に、ステップＳ２では、音圧値情報Ｄ２を基に感情パラメータを算出する処理を行う。感情パラメータには優先順位が設定されており、「快感」の優先度が１、「驚き」の優先度が２、「怯え」の優先度が３、「嬉しい」および「哀しい」の優先度がともに４となっている。
なお、上記５種類の感情パラメータ値がすべて「０」のときは、「無表情」に該当する。
【００２７】
また、ステップＳ３では、算出された感情パラメータに基づく判定を行い、感性データを求める処理を行う。また、この判定においては、図１に示したリズム解析部１４によるリズム解析の結果も一部で用いられる。リズム解析の結果とは、例えば、ビート間の時間間隔がどの程度の長さかといったことである。
なお、感情パラメータ値算出の際には、音圧値がＬ１以下の音を無視する。
【００２８】
「快感（Pleasure）」に関する処理は、次の通りである。
［条件１］ ビート間の時間間隔がＴ３以上で、かつ、中低音部から高音部までのいずれかの音圧のピークが高音方向に時間的にＴ４以上移動した場合は、「快感」の感情パラメータのカウントを＋１する。この条件に合致するとき、当該感情は、対象の音が鳴り始めてから時間Ｔ４経過時点から、対象の音が鳴りやんでから時間Ｔ２経過時点まで継続するものとする。つまり、本実施形態においては、この継続時間の間は、「快感」データに基づく制御信号が出力される。
［条件２］ 低音域の音圧値がＬ７以上で、かつ、高音部の平均音圧値がＬ４以上である場合で、平均音圧値がＬ６以上の時、前回までのビート間の平均時間間隔から今回のビート間の時間間隔を差し引いた値がＴ１以上である、または、前回の判定結果が「驚き」の場合は「快感」の感情パラメータのカウントを＋２する。この条件に合致するとき、当該感情は、対象の音が鳴り始めてから時間Ｔ４が経過した時点から始まるものとする。
【００２９】
つまり、上記条件２が適用される場合には、分割された周波数帯域グループごとの平均音圧値に基づいて感性データが算出される。
また、上記条件１が適用される場合には、周波数帯域グループ内において、音圧値のピークとなる周波数帯域が時間的にどのように推移するかに基づいて感性データが算出される。
また、上記条件１が適用される場合には、元のデジタルデータに基づき音に含まれるリズムの単位時間あたりの拍数が求められ、この単位時間あたり拍数に基づいて感性データが算出される。上記の「ビート間の時間間隔」は単位時間あたり拍数の逆数から求められる。
なお、「快感」の感情の優先順位は最も高い「１」であるため、上記の条件１あるいは条件２のいずれかにあてはまる場合は、他の感情を無視する。
【００３０】
「驚き（Surprise）」に関する処理は、次の通りである。
上述した「快感」の条件に該当しない場合は、下記の条件により「驚き」に該当するかどうかをチェックする。
【００３１】
［条件１］ 全音域の平均音圧値がＬ３以下の音が無い状態から、低音部のピークの音圧値がＬ７以上の音を最初に取得した場合は、「驚き」の感情パラメータのカウントを＋４し、その音が鳴りつづけた時間を継続時間とする。ただし、下記の条件２を満たす場合は無視をする。
［条件２］ 全音域の平均音圧値がＬ２以下の音が無い状態から、低音部のピークの音圧値がＬ７以上の音を最初に取得した場合は、「驚き」の感情パラメータのカウントを＋５し、その音が鳴りつづけた時間を継続時間とする。
【００３２】
［条件３］ 全音域の平均音圧値がＬ３以下の音が無い状態から、低音部以外のピークの音圧値がＬ７以上の音を最初に取得した場合は、「驚き」の感情パラメータのカウントを＋１し、その音が鳴りつづけた時間を継続時間とする。ただし、下記の条件４を満たす場合は無視をする。
［条件４］ 全音域の平均音圧値がＬ２以下の音が無い状態から、低音部以外のピークの音圧値がＬ７以上の音を最初に取得した場合は、「驚き」の感情パラメータのカウントを＋２し、その音が鳴りつづけた時間を継続時間とする。
［条件５］ 最高音部の音が時間Ｔ４以上続いた場合、または最高音部の音が存在し、かつ中高音部の平均音圧値がＬ４以下の場合は、「驚き」の感情パラメータのカウントを＋３し、その音が鳴りつづけた時間を継続時間とする。
なお、「驚き」の感情の優先順位は「快感」のそれに次ぐ「２」であるため、上記の条件１から５までのいずれかにあてはまる場合は、他の優先順位の低い感情を無視する。
【００３３】
「怯え（Fear）」に関する処理は、次の通りである。
上述した「快感」あるいは「驚き」のいずれの条件にも該当しない場合は、下記の条件により「怯え」に該当するかどうかをチェックする。
【００３４】
［条件１］ 中低音部から高音部までのいずれかの音圧値のピークが低音方向に時間的にＴ４以上移動した場合は、「怯え」の感情パラメータのカウントを＋１する。
［条件２］ 中低音部から高音部までのいずれかの音圧値のピークが低音方向に時間的にＴ４以上移動し、続けて高音方向に時間的にＴ４以上移動した場合は、「怯え」の感情パラメータのカウントを＋４する。
［条件３］ 中低音部から高音部までのいずれかの音圧値のピークが低音方向に移動中に高音方向に揺れた回数Ｎが４２以上の場合、「怯え」の感情パラメータのカウントを＋（Ｎ／１６）する。
【００３５】
なお、「怯え」データに基づく制御信号の出力の始点は対象の音が鳴り始めてから時間Ｔ４経過後とし、同じく制御信号の終点は対象の音が鳴りやんでから時間Ｔ２経過後とする。
なお、「怯え」の感情の優先順位は「驚き」のそれに次ぐ「３」であるため、上記の条件１から３までのいずれかにあてはまる場合は、他の優先順位の低い感情を無視する。
【００３６】
上述した「快感」、「驚き」、「怯え」のいずれの条件にも該当しない場合は、下記の条件により「嬉しい」または「哀しい」に該当するかどうかをチェックする。
【００３７】
「嬉しい（Happy）」に関する処理は、次の通りである。
［条件１］ ビートがある場合は、「嬉しい」の感情パラメータのカウントを＋１する。
［条件２］ ビート間の時間間隔がＴ７以下の場合は、「嬉しい」の感情パラメータのカウントを＋１する。
［条件３］ 高音部の平均音圧値がＬ４以上の場合は、「嬉しい」の感情パラメータのカウントを＋１する。
［条件４］ 上記の条件３を満たし、かつ、中低音部の音圧値のピークが５つ以上あった場合は、「嬉しい」の感情パラメータのカウントを＋２する。
［条件５］ 上記の条件３を満たし、かつ、上記の条件４をみたし、かつ、低音部の平均音圧値がＬ５以下の場合は、「嬉しい」の感情パラメータのカウントを＋２をする。
［条件６］ 抽出された長音要素−短音要素の数値が２以上の場合は、「嬉しい」の感情パラメータのカウントを＋１する。
【００３８】
なお、「嬉しい」データに基づく制御信号出力の始点の時間的な誤差は±Ｔ２とする。また、同じく制御信号出力の終点の時間的な誤差も±Ｔ２とする。
【００３９】
「哀しい（Sad）」に関する処理は、次の通りである。
［条件１］ ビート間の時間間隔がＴ５以上である場合は、「哀しい」の感情パラメータのカウントを＋１する。
［条件２］ ビートがない場合は、「哀しい」の感情パラメータのカウントを＋２する。
［条件３］ 中低音部に時間Ｔ４以上続く音圧値のピークがあった場合は、「哀しい」の感情パラメータを＋１し、音が鳴り続けている時間を継続時間とする。ただし、下記の条件４を満たす場合は無視をする。
［条件４］ 中低音部に時間Ｔ６以上続く音圧値のピークがあった場合は、「哀しい」の感情パラメータを＋２し、音が鳴り続けている時間を継続時間とする。
【００４０】
［条件５］ 高音部に音圧値のピークが３つ以上あった場合は、「哀しい」の感情パラメータを＋１する。
［条件６］ 全領域の平均音圧値がＬ３以上の音が無い状態の場合は、「哀しい」の感情パラメータを＋１する。
［条件７］ 全領域の平均音圧値がＬ３以上の音が時間Ｔ２以上無い場合は、「哀しい」の感情パラメータを＋１する。
［条件８］ 中高音部と高音部の平均音圧値がＬ３以下であり、中低音部の音のみを取得した場合は、「哀しい」の感情パラメータを＋２する。
［条件９］ 短音要素−長音要素の数値が２以上の場合は、「哀しい」の感情パラメータを＋１する。
【００４１】
なお、「哀しい」データに基づく制御信号出力の始点の時間的な誤差は±Ｔ２とする。また、同じく制御信号出力の終点の時間的な誤差も±Ｔ２とする。
【００４２】
以上述べたように、「快感」、「驚き」、「怯え」、「嬉しい」、「哀しい」の感情について、それぞれ定義された条件でのチェックが行われる。
そして、優先順位の高い感情から順に、「快感」、「驚き」、「怯え」のいずれかのカウント結果が１以上である場合に、その感情が感情種類として判定される。また、そのときのカウント値が感情レベルとされるので、感情レベルはレベル１〜レベル５（Ｌｖ（レベル）＝１〜５）となる。但し、カウントが５を超える場合は、感情レベルを５とする。
【００４３】
なお、感情種類が「怯え」で、かつ同一の感情レベルである状態が時間Ｔ５以上継続した場合には、時間Ｔ５ごとに再チェックを行う。
また、感情種類が「快感」のまま、感情レベルが２から１へ移行した場合は、以後の感情レベルも２とみなし、感情レベル２を継続させるものとする。
【００４４】
「快感」、「驚き」、「怯え」のカウント値がいずれも０である場合で、「嬉しい」あるいは「哀しい」のカウント値の少なくとも一方が１以上である場合には、次に述べる方法で「嬉しい」および「哀しい」のカウント値を比較する。まず、前回の「嬉しい」のカウント値と現在の「嬉しい」のカウント値とから、これらの平均値を求める。次に、前回の「哀しい」のカウント値と現在の「哀しい」のカウント値とから、これらの平均値を求める。そして、「嬉しい」の平均値と「哀しい」の平均値とを比較する。
【００４５】
上記の「嬉しい」の平均カウント値のほうが大きい場合には、感情種類を「嬉しい」とするとともに、「嬉しい」の平均カウント値から「哀しい」の平均カウント値を引いた値を感情レベルとする。逆に、「哀しい」の平均カウント値のほうが大きい場合には、感情種類を「哀しい」とするとともに、「哀しい」の平均カウント値から「嬉しい」の平均カウント値を引いた値を感情レベルとする。
「嬉しい」の平均カウント値と「哀しい」の平均カウント値とが等しい場合には、前回のカウント値同士を比較し、大きい方のカウント値を持つほうを感情種類として選択するとともに、この場合の感情レベルを１とする。
【００４６】
但し、「嬉しい」と「哀しい」のカウント値を用いた判定に関して、上記の規則に関わらず、次の２つの例外パターンに該当する場合には、これを適用するものとする。
第１の例外パターンは、「嬉しい」のカウント値が５で、かつ、「哀しい」のカウント値が５である場合であり、このときは、感情種類を「快感」とし、感情レベルを２とする。
第２の例外パターンは、「怯え」のカウント値が３以上で、かつ、「哀しい」のカウント値が４以上の場合であり、このときは、感情種類を「哀しい」とし、感情レベルを５とする。
【００４７】
なお、上記５種類のいずれの感情についても、カウント値の結果がすべて０である場合には、感情種類は「無表情」であると判定される。
【００４８】
次に、補間フラグに関する判定方法を説明する。補間フラグのデフォルト値は１（ＯＮ）であるが、次の２通りのいずれかに該当する場合に限り、補間フラグを０（ＯＦＦ）とする。第１に、同じ感情種類が時間Ｔ６以上継続した場合には補間フラグを０とする。第２に、前回の感情種類が「嬉しい」または「哀しい」であり、そこから感情種類「快感」に遷移する場合には補間フラグを０とする。
【００４９】
上述した感情パラメータの算出および感情の判定等の処理において、時間Ｔ１〜Ｔ６については、Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５＜Ｔ６の関係を満たす適切な値を用いることとする。なお、Ｔ１はほぼ数百ミリ秒程度、Ｔ６はほぼ数千ミリ秒程度である。また、音圧値レベルＬ１〜Ｌ７については、Ｌ１＜Ｌ２＜Ｌ３＜Ｌ４＜Ｌ５＜Ｌ６＜Ｌ７の関係を満たす適切な値を用いることとする。一例としては、Ｌ１は−５０ｄＢ（デシベル）程度、Ｌ７は−２０ｄＢ程度の値を用いる。
【００５０】
次に、図１に示したリズム解析部１４における処理について説明する。
リズム解析部１４には、伸長部によって伸長されたデータが入力される。この入力データは、前述のように、周波数領域ごとの音圧値情報を時系列的に持つものである。このような入力データを基に、リズム解析部１４は音楽のリズムを解析し、その音楽のｂｐｍ値（beats per minute，１分あたりビート数，単位時間あたり拍数）を算出して出力する。
【００５１】
リズム解析の処理においては、次の事項を前提とする。第１に、少なくとも一定時間以上は曲のリズムは一定のｂｐｍ値で正確に刻まれることとする。第２に、１拍あたり２回、ノイズ系の音が含まれることとする。例えば、曲が４分の４拍子である場合には、４拍の間に８回ノイズ系の音が含まれる。ここで、ノイズ系の音とは、例えばシンバル等の音である。
ノイズ系の音は、ほぼ全周波数帯域に渡って音圧変化があることが特徴である。従って、周波数帯域ごとにフレーム間の音圧変化量を求め、全周波数にわたって連続的に音圧変化量が所定の閾値以上となる場合にこれをノイズ系の音として検出できる。
【００５２】
そして、ノイズ系の音はリズムに応じて所定のタイミングの箇所に多く集中するという傾向があることから、このノイズ系の音を検出し、この検出間隔をフレーム（１フレームは約０．０２６１秒）単位で求める。この段階では、検出される間隔は、一定ではなく、フレーム数ごとの度数の分布として得られる。得られた分布を基に、補正を加えて、拍の間隔を決定することによってｂｐｍ値を求めることとする。
つまり、前記第２の前提によると１拍あたり２回のノイズ系の音が含まれるため、求められたノイズ間隔Ｆ（フレーム単位）を用いると、ｂｐｍ値は、次の式で得られる。すなわち、
ｂｐｍ値＝60 [秒/分] / (2*F [フレーム] *0.0261 [秒/フレーム])
【００５３】
図３は、上述したロボット制御装置におけるデータの流れを示す概略図である。図示するように、音声データ２１を基に、これを各周波数帯域に分解する処理（３１）を行うことによって、分解された音声のデータ２２が得られる。そしてこのデータを基に、感性データを算出する処理（３２）を行うことによって感性データ２３が得られる。そして、この感性データ２３をロボット制御部７に出力（３３）すると、感性データ２３に基づいて、ロボット制御部７がロボットを動作（３４）させる。例えば、ロボット制御部７は、ロボットの腕や口などの動きを制御する。
【００５４】
次に、本実施形態のロボット制御装置が人間の形をしたロボットの制御に適用される例について説明する。
図４はロボット制御装置が制御するロボットの概略を示す図である。この図において、４１及び４２はそれぞれロボットの右目まぶた及び左目まぶたであり、ロボット制御装置のロボット制御部７が右目まぶた４１、左目まぶた４２を上下させて目の大きさを制御する。尚、通常は両目のまぶたは半分だけ開いている。
また４３及び４４はそれぞれ右眼球及び左眼球であり、ロボット制御部７が右眼球４３、左眼球４４を左右に動かすことで眼球の向きを制御する。
また、４５は下唇であり、ロボット制御部７が下唇を上下に動かす事により、口の開閉を制御する。
また、４６及び４７はそれぞれ右肩関節及び左肩関節であり、ロボット制御部７は右肩関節４６、左肩関節４７を中心とした回転運動をさせることによって、それぞれ右腕、左腕を前後方向に振る。また右肩関節４６、左肩関節４７は胴体の左右の上部に位置しているが、その位置から下方に動くように設計されている。これにより、ロボット制御部７が肩の位置を下方に下げることで肩を落とす制御を行う。また右肩関節４６は右腕を右方向へ、左肩関節４７は左腕を左方向へ動かし、頭部の脇まで腕を持ち上げることができる。
また、４８は首部であり、ロボット制御部７が首部４８を回転させることができる。また、４９は腰部であり、ロボット制御部７は腰部４９を制御してロボットの上半身を前に倒す制御を行う。
尚、図１のロボット制御装置は、図４のロボットの内部に全て格納されても良いし、また、ロボット制御部７のみを図４のロボット内部に格納し、図１のロボット制御部７以外の各処理部を図４のロボットの外部に設置して、感性データ出力部３とロボット制御部７との感性データの送受信を、無線送受信装置を用いて行うようにしても良い。
【００５５】
図５は感性データに基づくロボット制御部７の処理を示す表である。
図５より、ロボット制御部７が感性データ出力部３から受信した感性データが「嬉しい」の「Ｌｖ＝１」であった場合、ロボット制御部７は、首部４８を左右に振る制御を行う。
また、感性データが「嬉しい」の「Ｌｖ＝２」であった場合、ロボット制御部７は下唇４５少し下げる制御をおこなうことでロボットの口を小さく開ける。また、首部４８を左右に振る制御を行う。
また、感性データが「嬉しい」の「Ｌｖ＝３」であった場合、ロボット制御部７は下唇４５少し下げる制御をおこなうことでロボットの口を小さく開ける。また、右肩関節４６、左肩関節４７を制御して右腕、左腕を肩の位置まで持ち上げ、両手を横に広げる。
また、感性データが「嬉しい」の「Ｌｖ＝４」であった場合、ロボット制御部７は下唇４５を大きく下げる制御を行うことでロボットの口を大きく開ける。また、首部４８を回転させる制御を行う。
また、感性データが「嬉しい」の「Ｌｖ＝５」であった場合、ロボット制御部７は下唇４５を大きく下げる制御を行うことでロボットの口を大きく開ける。また、右肩関節４６、左肩関節４７を制御して右腕、左腕を頭部の脇まで持ち上げ、首部４８を回転させる制御を行う。
【００５６】
また、ロボット制御部７が感性データ出力部３から受信した感性データが「哀しい」の「Ｌｖ＝１」であった場合、ロボット制御部７は、腰部４９を制御して胴体を前に少し倒し、ロボットが下を向くようにする。
また、感性データが「哀しい」の「Ｌｖ＝２」であった場合、ロボット制御部７は右まぶた４１、左まぶた４２を下げて、ロボットの目を細める制御を行い、また、ロボット制御部７は、腰部４９を制御して胴体を前に少し倒し、ロボットが下を向くようにする。
また、感性データが「哀しい」の「Ｌｖ＝３」であった場合、ロボット制御部７は右まぶた４１、左まぶた４２を少し下げてロボットが目を細める制御を行い、また、ロボット制御部７は、腰部４９を制御して胴体を前に少し倒し、ロボットが下を向くようにする。さらにロボット制御部７は、右肩関節４６、左肩関節４７の位置を下方に動かして、ロボットが肩を落とす制御を行う。
また、感性データが「哀しい」の「Ｌｖ＝４」であった場合、ロボット制御部７は右まぶた４１、左まぶた４２をいっぱいに下げて、ロボットが目を閉じる制御を行う。そして、ロボット制御部７は腰部４９を制御して胴体を前に少し倒し、ロボットが下を向くようにする。また、ロボット制御部７は首部４８を左右に振って、さらに、右肩関節４６、左肩関節４７の位置を下方に動かして、ロボットが肩を落とす制御を行う。
また、感性データが「哀しい」の「Ｌｖ＝５」であった場合、ロボット制御部７は右まぶた４１、左まぶた４２をいっぱいに下げて、ロボットが目を閉じる制御を行い、また、腰部４９を制御して胴体を前に少し倒し、ロボットが下を向ようにする。さらに、ロボット制御部７は首部４８を回転させ、そして、右肩関節４６、左肩関節４７の位置を下方に動かして、ロボットが肩を落とす制御を行う。
【００５７】
また、ロボット制御部７が感性データ出力部３から受信した感性データが「驚き」の「Ｌｖ＝１」であった場合、ロボット制御部７は、下唇４５を制御して口を小さく開けっ放しにする。
また、感性データが「驚き」の「Ｌｖ＝２」であった場合、ロボット制御部７は、下唇４５を制御して口を大きく開けっ放しにする。
また、感性データが「驚き」の「Ｌｖ＝３」であった場合、ロボット制御部７は、右まぶた４１、左まぶた４２を限界まで開き、口を小さく開けっ放しにする制御を行う。
また、感性データが「驚き」の「Ｌｖ＝４」であった場合、ロボット制御部７は、右まぶた４１、左まぶた４２を限界まで開き、口を大きく開けっ放しにする制御を行う。
また、感性データが「驚き」の「Ｌｖ＝５」であった場合、ロボット制御部７は、右まぶた４１、左まぶた４２を限界まで開き、口を大きく開けっ放しにする制御を行う。さらに、右肩関節４６、左肩関節４７を制御して右腕、左腕を頭部の脇まで持ち上げる。
【００５８】
また、ロボット制御部７が感性データ出力部３から受信した感性データが「怯え」の「Ｌｖ＝１」であった場合、ロボット制御部７は、下唇４５を小さく開閉する制御を行い、ロボットの口をパクパクさせる。
また、感性データが「怯え」の「Ｌｖ＝２」であった場合、ロボット制御部７は、下唇４５を大きく開閉する制御を行い、ロボットの口をパクパクさせる。
また、感性データが「怯え」の「Ｌｖ＝３」であった場合、ロボット制御部７は、下唇４５を小さく開閉する制御を行い、ロボットの口をパクパクさせる。また、ロボット制御部７は首部４８を左右に振る制御を行う。
また、感性データが「怯え」の「Ｌｖ＝４」であった場合、ロボット制御部７は、下唇４５を大きく開閉する制御を行い、ロボットの口をパクパクさせる。また、ロボット制御部７は首部４８を左右に振る制御を行う。
また、感性データが「怯え」の「Ｌｖ＝５」であった場合、ロボット制御部７は、下唇４５を大きく開閉する制御を行い、ロボットの口をパクパクさせる。また、ロボット制御部７は首部４８を左右に振り、そして、右肩関節４６、左肩関節４７を中心とした回転運動をさせることによって、ロボットの腕を前後に大きく振る制御を行う。
【００５９】
また、ロボット制御部７が感性データ出力部３から受信した感性データが「快感」の「Ｌｖ＝１」であった場合、ロボット制御部７は、右まぶた４１、左まぶた４２を限界まで開く制御を行い、また、右肩関節４６、左肩関節４７を制御して右腕、左腕を頭部の脇まで持ち上げる。そして、腰部４９を制御して胴体を前に倒したり、起こしたりする。
また、ロボット制御部７が感性データ出力部３から受信した感性データが「快感」の「Ｌｖ＝２」であった場合、ロボット制御部７は、右まぶた４１、左まぶた４２を限界まで開く制御を行い、また、右肩関節４６、左肩関節４７を中心とした回転運動をさせることによって、ロボットの右腕と左腕をぐるぐると回転させる。
【００６０】
以上、本発明の実施の形態について説明したが、上述のロボット制御装置は内部に、コンピュータシステムを有している。そして、図１に示す各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、図１に示す各処理部に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６１】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、上記プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６２】
【発明の効果】
以上説明したように、この発明によれば、データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布を解析し、この解析結果に基づいて感情種類と、前記感情種類毎の感情レベルなどからなる感性データを算出する。そして、算出した前記感性データを出力し、その感性データに基づいて、ロボット制御部がロボットの動作を制御する。これにより、再生される音楽の感性に合った動きでロボットの動作を制御することができる。
【図面の簡単な説明】
【図１】 本実施形態による感性データ算出方法を応用したロボット制御装置の構成を示すブロック図である。
【図２】 本実施形態の感情解析部１３による処理の手順を示すフローチャートである。
【図３】 本実施形態のロボット制御装置におけるデータの流れを示す概略図である。
【図４】 本実施形態のロボット制御装置が制御するロボットの概略を示す図である。
【図５】 本実施形態の感性データに基づくロボット制御部７の処理を示す表である。
【符号の説明】
１ スペクトラム解析部
２ 感性データ蓄積部
３ 感性データ出力部
４ ＭＰ３データ記憶部
５ ＭＰ３デコーダ部
６ Ｄ／Ａ変換部
７ ロボット制御部
１１ 伸長部
１２ 感性データ算出部
１３ 感情解析部
１４ リズム解析部

Claims (6)

1. 分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部と、
   前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布の時間的な推移を解析し、また前記デジタルデータを基に前記周波数帯域ごとに時間的な音圧変化量を算出し当該算出された前記音圧変化量が全周波数帯域にわたって所定の閾値以上となる領域の分布を解析することにより、感情種類と当該感情種類の感情レベルなどからなる感性データを算出する感性データ算出部と、
   前記感性データ算出部によって算出された前記感性データを出力する感性データ出力部と、
   前記感性データ出力部から受信した前記感性データに基づいてロボットの動作の制御を行うロボット制御部と、
   を備える事を特徴とするロボット制御装置。
2. 分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部と、
   前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布の時間的な推移を解析するとともに、音階分割された各周波数帯域に基づいて長音要素と短音要素を抽出し、長音要素の各１オクターブ離れた２つの領域の音圧値が共に閾値より大きい場合に長音要素を１カウントし、短音要素の各１オクターブ離れた２つの領域の音圧値が共に閾値より大きい場合に短音要素を１カウントし、前記解析した結果と、前記長音要素のカウント値と前記短音要素のカウント値とに基づいて、感情種類毎の感情パラメータを算出し、その感情パラメータに基づいて、感情種類と当該感情種類の感情レベルなどからなる感性データを算出する感性データ算出部と、
   前記感性データ算出部によって算出された前記感性データを出力する感性データ出力部と、
   前記感性データ出力部から受信した前記感性データに基づいてロボットの動作の制御を行うロボット制御部と、
   を備える事を特徴とするロボット制御装置。
3. 分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部を備えたロボット制御装置におけるロボット制御方法であって、
   前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布の時間的な推移を解析し、また前記デジタルデータを基に前記周波数帯域ごとに時間的な音圧変化量を算出し当該算出された前記音圧変化量が全周波数帯域にわたって所定の閾値以上となる領域の分布を解析することにより、感情種類と当該感情種類の感情レベルなどからなる感性データを算出する感性データ算出過程と、
   前記感性データ算出過程によって算出された前記感性データを出力する感性データ出力過程と、
   前記感性データ出力過程によって出力された前記感性データに基づいて、ロボットの動作の制御を行うロボット制御過程と、
   を有する事を特徴とするロボット制御方法。
4. 分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部を備えたロボット制御装置におけるロボット制御方法であって、
   前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布の時間的な推移を解析するとともに、音階分割された各周波数帯域に基づいて長音要素と短音要素を抽出し、長音要素の各１オクターブ離れた２つの領域の音圧値が共に閾値より大きい場合に長音要素を１カウントし、短音要素の各１オクターブ離れた２つの領域の音圧値が共に閾値より大きい場合に短音要素を１カウントし、前記解析した結果と、前記長音要素のカウント値と前記短音要素のカウント値とに基づいて、感情種類毎の感情パラメータを算出し、その感情パラメータに基づいて、感情種類と当該感情種類の感情レベルなどからなる感性データを算出する感性データ算出過程と、
   前記感性データ算出過程によって算出された前記感性データを出力する感性データ出力過程と、
   前記感性データ出力過程によって出力された前記感性データに基づいて、ロボットの動作の制御を行うロボット制御過程と、
   を有する事を特徴とするロボット制御方法。
5. 分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部を備えたロボット制御装置のコンピュータに実行させるロボット制御プログラムであって、
   前記コンピュータに、
   前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布の時間的な推移を解析し、また前記デジタルデータを基に前記周波数帯域ごとに時間的な音圧変化量を算出し当該算出された前記音圧変化量が全周波数帯域にわたって所定の閾値以上となる領域の分布を解析することにより、感情種類と当該感情種類の感情レベルなどからなる感性データを算出する感性データ算出処理と、
   前記感性データ算出処理によって算出された前記感性データを出力する感性データ出力処理と、
   前記感性データ出力処理によって出力された前記感性データに基づいて、ロボットの動作の制御を行うロボット制御処理と、
   を実行させるためのプログラム。
6. 分割された周波数帯域毎の音圧値として音を表現したデジタルデータを記憶するデータ記憶部を備えたロボット制御装置のコンピュータに実行させるロボット制御プログラムであって、
   前記データ記憶部から読み出された前記デジタルデータを基に前記周波数帯域毎の音圧値の分布の時間的な推移を解析するとともに、音階分割された各周波数帯域に基づいて長音要素と短音要素を抽出し、長音要素の各１オクターブ離れた２つの領域の音圧値が共に閾値より大きい場合に長音要素を１カウントし、短音要素の各１オクターブ離れた２つの領域の音圧値が共に閾値より大きい場合に短音要素を１カウントし、前記解析した結果と、前記長音要素のカウント値と前記短音要素のカウント値とに基づいて、感情種類毎の感情パラメータを算出し、その感情パラメータに基づいて、感情種類と当該感情種類の感情レベルなどからなる感性データを算出する感性データ算出処理と、
   前記感性データ算出処理によって算出された前記感性データを出力する感性データ出力処理と、
   前記感性データ出力処理によって出力された前記感性データに基づいて、ロボットの動作の制御を行うロボット制御処理と、
   を実行させるためのプログラム。

Images