JP4919467B2 - 活動支援装置 - Google Patents

Description

本発明は、複雑な運動や音楽演奏等の活動を快適な速度でより楽しく行なわせることのできる活動支援装置に関するものである。

従来、人間は無意識のうちに相手の動作（例えば、歩行、手拍子など）や音楽などにつられて動作してしまうという引き込み現象が知られている。この引き込み現象の効果を利用して、人の運動や行動を安定した速度で行わせる装置が提案されている。
例えば、特許文献１には、使用者が現在行っている運動の速度を検出し、この運動の速度を使用者の脈拍数と目標脈拍数との差分に基づいて補正し、補正後の運動速度に合わせて音楽データを再生することにより、より楽しく、快適に、かつ安全に、使用者に運動を行わせる健康増進装置が開示されている。
特開２００１−２７５９９９号公報

しかしながら、特許文献１に開示されている技術は、歩行運動などのように単調な運動を対象としたものであり、ダンスのような複雑な運動を対象とする場合には、所望の速度で運動させることができないという問題があった。

本発明は、上記問題を解決するためになされたもので、複雑な運動や音楽演奏等の活動を快適な速度でより楽しく行なわせることのできる活動支援装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、ユーザから視認可能な位置に設けられた表示手段と、目標速度に合わせて、前記表示手段に表示させるキャラクタの挙動を制御する挙動制御手段と、ユーザの動作速度を検出する動作速度検出手段と、前記目標速度に対する前記ユーザの動作速度のずれ量を算出するずれ量算出手段と、前記ユーザの動作速度に近づくように、前記ずれ量に基づいて前記目標速度を繰り返し調整する目標速度調整手段とを備え、前記挙動制御手段は、前記目標速度調整手段により前記目標速度が調整された場合に、調整後の前記目標速度に合わせて前記キャラクタの挙動を制御する活動支援装置を提供する。

このような構成によれば、ユーザから視認可能な位置に設けられた表示手段には、目標速度に応じて動作するキャラクタが表示される。このキャラクタの動作速度は、ユーザの活動速度と目標速度とのずれ量に応じて調整される。例えば、ユーザの活動速度がその時点での目標速度よりも遅ければ、キャラクタの動作速度は遅めに調整され、ユーザの活動速度がその時点での目標速度よりも速ければ、キャラクタの動作速度は速めに調整される。このように、ユーザの活動速度に応じた速度で動作するキャラクタを表示手段に表示させることとしたので、視覚による引き込み効果を利用して、ユーザの活動速度をキャラクタの動作速度に同調させることが可能となる。この結果、ユーザは、快適な速度で活動を行うことができる。更に、ユーザは、キャラクタが自分と同調して動作する様子を見ながら、楽しく活動できる。

本発明は、ロボット本体と、目標速度に合わせて、前記ロボット本体の挙動を制御する挙動制御手段と、ユーザの動作速度を検出する動作速度検出手段と、前記目標速度に対する前記ユーザの動作速度のずれ量を算出するずれ量算出手段と、前記ユーザの動作速度に近づくように、前記ずれ量に基づいて前記目標速度を繰り返し調整する目標速度調整手段とを備え、前記挙動制御手段は、前記目標速度調整手段により前記目標速度が調整された場合に、調整後の前記目標速度に合わせて前記ロボット本体の挙動を制御する活動支援装置を提供する。

このような構成によれば、ユーザから視認可能な位置には、目標速度に合わせて動作するロボット本体が設けられる。このロボット本体の動作速度は、ユーザの活動速度と目標速度とのずれ量に応じて調整される。例えば、ユーザの活動速度がその時点での目標速度よりも遅ければ、ロボット本体の動作速度も遅めに調整され、ユーザの活動速度がその時点での目標速度よりも速ければ、ロボット本体の動作速度は速めに調整される。このように、ユーザの活動速度に応じてロボット本体の動作速度を変化させることとしたので、視覚による引き込み効果を利用して、ユーザの活動速度をキャラクタの動作速度に同調させることが可能となる。この結果、ユーザは、快適な速度で活動を行うことができる。更に、ユーザは、ロボットが自分と同調して動作する様子を見ながら、楽しく活動できる。

上述の活動支援装置において、前記目標速度に合わせて音楽を再生する音楽再生手段を備えることとしても良い。

このような構成によれば、ユーザの活動速度に応じて調整される目標速度に基づいて音楽が再生されることとなる。これにより、上述のキャラクタまたはロボットの動作という視覚による引き込み効果、および、音楽という聴覚による引き込み効果の双方を期待することができるので、ユーザの活動を更に安定させることが可能となる。また、音楽を聴きながら更に楽しく活動を行わせることができる。

上述の活動支援装置は、拍単位で動作パターンが登録されたパターン蓄積手段を備え、前記挙動制御手段は、拍単位の前記動作パターンの組み合わせに基づいて前記キャラクタまたはロボット本体の挙動を制御することとしても良い。

このような構成によれば、パターン蓄積手段には、拍単位で動作パターンが登録されており、この拍単位の動作パターンの組み合わせによりキャラクタまたはロボットの動作が決定されることとなる。このように、拍単位で動作パターンが登録されているので、どのような音楽にも対応することが可能となる。更に、動作パターンの組み合わせを毎回変えることにより、動きのバリエーションを豊富に持つことができるので、毎回異なる動きをさせることができ、ユーザをあきさせずに、楽しく活動させることが可能となる。

上述の活動支援装置に係る前記パターン蓄積手段において、前記動作パターンは曲調を決定する音楽の要素毎に登録されており、前記挙動制御手段は、前記音楽再生手段により再生される音楽の曲調に応じた動作パターンを用いて前記キャラクタまたは前記ロボット本体を制御することとしても良い。

このような構成によれば、パターン蓄積手段に登録されている動作パターンは、曲調を決定する音楽の要素毎に分類されて登録されている。これにより、再生されている音楽の曲調に合った動作をキャラクタやロボットにさせることができる。例えば、明るく元気の良い曲であれば、元気な動作をさせることが可能となり、また、暗く速度の遅い曲であれば、ゆっくりで陰りのある動作をさせることが可能となる。
上記音楽の要素の一例としては、例えば、短調、長調などのように明暗を決定づけるような音楽の要素、速い遅いなどのように演奏の速度を決定付ける要素、ジャズ、ポップスなどのように曲のジャンルを決定付ける要素などが挙げられる。

上述の活動支援装置は、拍単位の動作パターンが小節単位で組み合わせられた小節動作パターンが登録されたパターン蓄積手段を備え、前記挙動制御手段は、前記小節動作パターンの組み合わせにより前記キャラクタまたはロボット本体の挙動を制御することとしても良い。

このような構成によれば、パターン蓄積手段には、拍単位の動作パターンが小節単位で組み合わせられた小節動作パターンが登録されており、この小節動作パターンの組み合わせにより、キャラクタまたはロボットの動作が決定されることとなる。このように、小節単位で動作パターンが登録されているので、小節内におけるキャラクタまたはロボットの動作を円滑に行わせることが可能となる。更に、動作パターンの組み合わせを毎回変えることにより、動きのバリエーションを豊富に持つことができるので、毎回異なる動きをさせることができ、ユーザをあきさせずに、楽しく活動させることが可能となる。

上述の活動支援装置に係る前記パターン蓄積手段において、前記小節動作パターンは曲調を決定する音楽の要素毎に登録されており、前記挙動制御手段は、前記音楽再生手段により再生される音楽の曲調に応じた動作パターンを用いて前記キャラクタまたは前記ロボット本体を制御することとしても良い。

このような構成によれば、パターン蓄積手段に登録されている小節動作パターンは、曲調を決定する音楽の要素毎に分類されて登録されている。これにより、再生されている音楽の曲調に合った動作をキャラクタやロボットにさせることができる。

上述の活動支援装置において、前記動作速度検出手段は、例えば、ユーザの演奏速度を検出する演奏速度検出手段を備えていても良い。

このような構成によれば、動作速度検出手段は、ユーザの演奏速度を検出する演奏速度検出手段を備えているので、ユーザはキャラクタまたはロボットの動作と同調して音楽演奏を行うことが可能となる。ここでいう「音楽演奏」には、ギターやピアノなどの楽器を演奏する行為だけでなく、歌う行為も含まれる。

上述の活動支援装置において、前記挙動制御手段は、例えば、前記キャラクタまたはロボットに指揮者の動作をさせることとしても良い。

このような構成によれば、キャラクタまたはロボットが指揮者の動作をするので、ユーザは自然な環境で音楽演奏を行うことができる。

上述の活動支援装置において、前記動作速度検出手段は、ユーザの運動速度を検出する運動速度検出手段を備えていてもよい。

このような構成によれば、動作速度検出手段は、ユーザの運動速度を検出する運動速度検出手段を備えているので、ユーザはキャラクタまたはロボットの動作と同調して運動、例えば、ダンスや体操等を行うことが可能となる。

本発明によれば、複雑な運動や音楽演奏等の活動を快適な速度でより楽しく行なわせることができるという効果を奏する。

以下に、本発明に係る活動支援装置の一実施形態について、図面を参照して説明する。
〔第１の実施形態〕
以下、本発明の第１の実施形態に係る活動支援装置について説明する。この活動支援装置は、ユーザによる音楽演奏（歌唱を含む）を快適な速度で行わせるための活動支援装置である。
図１は、本実施形態に係る活動支援装置５０の概略構成を示したブロック図である。この図に示すように、活動支援装置５０は、ユーザから視認可能な位置に設けられた表示装置（表示手段）５１と、目標速度に合わせて、表示装置５１に表示させるキャラクタＣを動作させる挙動制御部（挙動制御手段）５２と、目標速度に合わせて音楽データを再生する音楽再生部（音楽再生手段）５３と、ユーザの運動速度を検出する演奏速度検出部（演奏速度検出手段）５４と、演奏速度検出部５４により検出されたユーザの運動速度と目標速度とのずれ量を算出するずれ量算出部（ずれ量算出手段）５５と、ずれ量に基づいて目標速度を調整するとともに、調整後の目標速度を挙動制御部５２および音楽再生部５３に出力する目標速度調整部（目標速度調整手段）５６と、拍単位で動作パターンが登録されたパターン蓄積部（パターン蓄積手段）５７とを備えている。

音楽再生部５３は、楽曲の音楽データが蓄積されている音楽データ蓄積部（図示せず）を有しており、ユーザによって指定された楽曲に対応する音楽データを再生する。
演奏速度検出部５４は、ユーザが音階を演奏した時刻を記録するとともに、ユーザによる演奏と現在演奏している楽曲の楽譜（予め演奏速度検出部５４が備えている）とを照合して、１小節（例えば、４分の４拍子であれば４泊で１小節を構成する。）を演奏するのに要した時間（以下、「１小節の演奏時間Ｆｈ（ｔ）」という。）を計算するとともに、この１小節の演奏時間Ｆｈ（ｔ）を、１小節を構成する拍数で割ることによって１泊分の演奏速度（演奏テンポ）Ｖｈ（ｔ）を算出する。

ずれ量算出部５５は、挙動制御部５２や音楽再生部５３が基準としている目標速度Ｖｒ（ｔ）と、演奏速度検出部５４により検出されたユーザの演奏速度Ｖｈ（ｔ）との差分ΔＶｒ（ｔ）を算出するとともに、ユーザによる１小節の演奏時間Ｆｈ（ｔ）に対する目標速度Ｖｒ（ｔ）に基づく１小節の音楽再生時間Ｆｒ（ｔ）のずれ量ΔＦｒ（ｔ）を算出する。１小節の音楽再生時間Ｆｒ（ｔ）は、目標速度Ｖｒ（ｔ）に、１小節を構成する拍数を乗ずることにより得ることができる。

目標速度調整部５６は、１小節の音楽再生時間Ｆｒ（ｔ）および演奏時間のずれ量ΔＦｒ（ｔ）に基づいて、あるいは、演奏速度の差分ΔＶｒ（ｔ）および演奏小節の差分ΔＦｒ（ｔ）に基づいて、現在、挙動制御部５２が基準としている目標速度Ｖｒ（ｔ）を調整する。
具体的には、目標速度Ｖｒ（ｔ）を遅くしたり、速くしたりすることで調整して、調整後の目標速度Ｖｒ（ｔ＋１）を挙動制御部５２および音楽再生部５３に出力する。目標速度調整部５６は、例えば、以下の（１）式または（２）式に示すような、演奏時間の差分ΔＦｒ（ｔ）を変数とした関数式を有しており、この関数式に演奏時間の差分ΔＦｒ（ｔ）を代入することにより、目標速度Ｖｒ（ｔ）を調整する。

Ｖｒ（ｔ＋１）＝Ｆｒ（ｔ＋１）／１小節の拍数
＝（Ｆｒ（ｔ）＋ΔＦｒ（ｔ））／１小節の拍数 （１）

Ｖｒ（ｔ＋１）＝Ｆｒ（ｔ＋１）／１小節の拍数
＝（Ｆｒ（ｔ）＋ｇ（ΔＦｒ（ｔ））／１小節の拍数 （２）
上記（２）式において、ｇは関数であり、例えば、ｇ（ｘ）＝Ｋｓｉｎ（ｘ）あるいはｇ（ｘ）＝Ｋｘを用いることができる。

挙動制御部５２は、目標速度調整部５６から入力された目標速度に合わせて表示装置５１に表示させるキャラクタＣの挙動の変化速度を制御する。このとき、挙動制御部５２は、パターン蓄積部５７に蓄積されているキャラクタＣの小節動作パターンを用いてキャラクタＣを目標速度に合わせて動作させる。
パターン蓄積部５７には、図２に示すように、拍単位の動作パターンが小節単位で組み合わせられた小節動作パターンが登録されている。具体的には、パターン蓄積部５７には、拍単位の動作パターンが異なる複数の小節動作パターンが拍子別にそれぞれ登録されている。拍子とは、４分の４拍子、３分の３拍子、８分の６拍子、２分の２拍子などである。

挙動制御部５２は、ユーザが演奏する曲の拍子に応じた小節動作パターンをパターン蓄積部５７から抽出し、これらの小節動作パターンを組み合わせて一連のキャラクタＣの挙動パターンを作成し、この挙動パターンに基づいて、かつ、目標速度に合わせて、キャラクタＣの挙動を制御する。

次に、上述した構成を備える活動支援装置５０の作用について説明する。
まず、ユーザにより演奏楽曲およびその目標速度が指定されると、音楽再生部５３は指定された楽曲の音楽データを読み出して、再生準備を行うとともに、挙動制御部５２は、指定された楽曲の拍子に対応する小節動作パターンをパターン蓄積部５７から抽出し、この小節動作パターンを組み合わせてキャラクタの挙動パターンを生成する。ここでは、一例として、指揮パターンを生成する場合について説明する。

続いて、ユーザにより演奏開始の指示が出されると、音楽再生部５３および挙動制御部５２は同期して作動を開始する。これにより、音楽再生部５３は目標速度に合わせて音楽を再生するとともに、挙動制御部５２は目標速度に合わせて挙動パターンを実行することにより、キャラクタＣの挙動を目標速度に合わせて制御する。
これにより、音楽再生部５３が備えるスピーカから目標速度（目標テンポ）で音楽が流れるとともに、表示装置５１には目標速度に合わせて指揮動作を行うキャラクタＣが表示される。

上記音楽再生開始およびキャラクタＣの指揮開始とともに、ユーザも楽曲の演奏を開始する。このとき、ユーザは、音声再生部４により再生される音楽を聴きながら、かつ、表示装置３に表示されているキャラクタＣによる指揮をみながら、楽曲の演奏を実施することとなる。

ユーザによって演奏された音は、演奏速度検出部５４に入力され、解析されることにより、ユーザの演奏速度Ｖｈ（ｔ）および１小節の演奏時間Ｆｈ（ｔ）が検出され、この検出結果がずれ量算出部５５に出力される。
ずれ量算出部５５には、演奏速度検出部５４により検出されたユーザの演奏速度Ｖｈ（ｔ）および１小節の演奏時間Ｆｈ（ｔ）が入力されるとともに、現在の目標速度Ｆｒ（ｔ）および１小節の音楽再生時間Ｆｒ（ｔ）が目標速度調整部５６から入力される。

ずれ量算出部５５は、ユーザによる１小節の演奏時間Ｆｒ（ｔ）に対する１小節の音楽再生時間Ｆｒ（ｔ）のずれ量ΔＦｒ（ｔ）を算出し、この算出結果を目標速度調整部５６に出力する。目標速度調整部５６では、ずれ量算出部５５から入力されたずれ量ΔＦｒ（ｔ）および１小節の音楽再生時間Ｆｒ（ｔ）に基づいて、現在の目標速度Ｖｒ（ｔ）の調整が行われる。具体的には、上述した（１）式、または、（２）式に基づいて、目標速度Ｖｒ（ｔ）の調整が行われる。目標速度調整部５６による調整後の目標速度Ｖｒ（ｔ＋１）は、音楽再生部５３及び挙動制御部５２に出力されるとともに、ずれ量算出部５５に出力される。

これにより、音楽再生部５３により調整後の目標速度Ｖｒ（ｔ＋１）に合わせた音楽再生が実行されるとともに、挙動制御部５２により調整後の目標速度Ｖｒ（ｔ＋１）に合わせたキャラクタＣの指揮動作の制御が行われる。
また、ずれ量算出部５５では、調整後の目標速度Ｖｒ（ｔ＋１）が次回のずれ量算出時に現在の目標速度Ｖｒ（ｔ）として用いられることとなる。

そして、上述した目標速度Ｖｒ（ｔ）の調整が随時行われることにより、ユーザの演奏速度に合わせた目標速度で音楽が再生されるとともに、この音楽の速度に合わせた指揮動作を行うキャラクタＣが表示装置２に表示されることとなる。

以上説明してきたように、本実施形態に係る活動支援装置５０によれば、ユーザから視認可能な位置に設けられた表示装置５１には、目標速度に応じて動作するキャラクタが表示される。このキャラクタの動作速度は、ユーザの演奏速度と目標速度とのずれ量に応じて調整されるので、視覚による引き込み効果を利用して、ユーザの演奏速度をキャラクタの動作速度に同調させることが可能となる。この結果、ユーザは、快適な速度で活動を行うことができる。更に、ユーザは、キャラクタが自分と同調して動作する様子を見ながら活動をすることとなるので、楽しく活動を行うことができる。

なお、上述した実施形態では、パターン蓄積部５７内に、拍子毎に複数の小節動作パターンを登録する場合について説明したが、更に、その下位の階層において、短調、長調、速度、リズムなどの曲調を決定する要素毎に小節動作パターンを登録することとしても良い。これにより、曲調に応じた動作パターンでキャラクタＣを動作させることが可能となる。例えば、長調で比較的遅い楽曲であり４分の４拍子であった場合には、挙動制御部５２は、「４分の４拍子」の小節動作パターンの中から、更に、「長調」、「遅い」という条件を満たす小節動作パターンをパターン蓄積部５７から抽出し、抽出した小節動作パターンの組み合わせによりキャラクタＣを動作させる。
なお、上記実施形態においては、小節動作パターンは、拍子別に少なくとも１つ登録されていれば足りる。

次に、本実施形態に係る活動支援装置の効果について図３乃至図５を参照して説明する。
一般的に、人が快適に（自然に）同調して演奏をしていることを図る尺度として１／ｆのゆらぎ評価が知られている。このゆらぎ評価として、例えば、ＤＦＡ（Detrended Ｆluctuation Analysis）解析が知られている。ＤＦＡ解析とは、例えば、法学大学多摩研究報告（２００３）抜粋、「イセエビ心拍間隔ゆらぎのスケーリング解析」（勝山 智男著 外４名）に、詳述されている。

図３は、二人の人間が演奏を行った場合において、両者の演奏のずれ量の時系列データをＤＦＡ解析した結果を示した図である。図４は本実施形態に係る活動支援装置５０の音楽再生部５３により再生された音楽と、活動支援装置５０を用いてユーザが演奏を行った場合の再生音楽とユーザ演奏とのずれ量の時系列データをＤＦＡ解析した結果を示した図である。図５は目標速度で演奏された音楽とその音楽を聴きながらユーザが演奏を行った場合の再生音楽とユーザ演奏とのずれ量の時系列データをＤＦＡ解析した結果を示した図である。
つまり、図４は、キャラクタＣの動作という視覚による引き込み効果と、音楽再生という聴覚による引き込み効果の双方を用いた場合のＤＦＡ解析結果、図５は、音楽再生という聴覚による引き込み効果のみを用いた場合のＤＦＡ解析結果を表している。

この解析では、２者間の演奏のずれ量、或いは、再生音楽とユーザの演奏のずれ量（以下、「演奏ずれ量」という。）を一定間隔Ｔｎごとに時系列にプロットして、演奏ずれ量対実時間データを得、この演奏ずれ量対実時間データをフーリエ解析することにより、図３乃至図５に示すようなパワースペクトル特性を得ている。パワースペクトルは、時間とともに演奏ずれ量がどのように変動しているかを示す特性である。図３乃至図５において、実線はパワースペクトルを示しており、また、破線は、パワースペクトルを直線近似した直線（以下「近似直線」という。）をそれぞれ示している。

図３では、近似直線が一本で表され、二人の人間が理想的な状態で演奏を行っていることがわかる。一方、図４及び図５においては、パワースペクトルの勾配が途中で大きく変化していることから、二本の近似直線で表されることとなる。

図３乃至図５から、図４に示した本実施形態に関するパワースペクトルの近似直線の指数「０．８９６９」、「０．６５６９」は、図５に示したパワースペクトルの近似直線の指数「１．１３」、「０．６９５」に比べて、図３に示した理想的なパワースペクトルの近似直線の指数「０．７５３４」に近くなっていることがわかる。更に、２本の近似直線の勾配の差分も、図５よりも図４の方が小さいことがわかる。
このことから、本実施形態に係る生活支援装置では、ユーザとキャラクタＣと再生音楽とが同調して快適な演奏を行っていることがわかる。

〔第２の実施形態〕
上述した第１の実施形態では、ユーザが行う活動として音楽演奏を例に挙げて説明したが、本実施形態においては、ユーザが行う活動として体操を例に挙げて説明する。ここでは、説明の便宜上、ユーザがラジオ体操を行う場合について説明する。

本実施形態では、ユーザの演奏速度ではなく、ユーザがどのような運動を行っているのかを検出する必要があることから、図１に示した演奏速度検出部５４に代えて、図６に示すように、ユーザの運動速度状態を検出する運動速度検出部（運動速度検出手段）５８を備えている。
運動速度検出部５８は、具体的には、ユーザの頭、手、腰、足などに装着され、各部の運動速度および方向を計測する加速度センサ５８１、ユーザの動きを撮影する撮影手段としてのビデオカメラ５８２、ビデオカメラ５８２からの画像信号を解析することにより、ユーザの姿勢計測を行う画像処理部５８３、加速度センサ５８１からの計測結果および画像処理部５８３からの姿勢情報に基づいて、ユーザの運動状態（例えば、頭、手、足の上下動、左右動など）を検出する状態認識部５８４、および状態認識部５８４により認識される運動状態に基づいて、ユーザがラジオ体操を構成する深呼吸、屈伸などの各要素体操を行うのに要する時間（以下、この時間を「フレーズ時間Ｆｈ（ｔ）」という。）および運動速度Ｖｈ（ｔ）を算出する算出部５８５を備えている。

このような構成を備える活動支援装置においては、まず、ユーザにより演奏される楽曲およびその目標速度が指定されると、音楽再生部５３は指定された楽曲の音楽データを読み出して、再生準備を行うとともに、挙動制御部５２は、指定された楽曲の特徴に応じた小節動作パターンをパターン蓄積部５７から抽出する。

例えば、ユーザにより楽曲としてラジオ体操が指定された場合、音楽再生部５３はラジオ体操の音楽データを再生するとともに、挙動制御部５２は、パターン蓄積部５７からラジオ体操の拍子に対応する小節動作パターンを抽出し、この小節動作パターンの組み合わせによりキャラクタＣの挙動パターンを作成する。なお、この挙動制御部５２の作動は、上述した第１の実施形態と同様としても良いし、また、本実施形態のように、ラジオ体操などの予め特定の動作を行うものである場合には、ラジオ体操専門の動作パターンをパターン蓄積部５７に用意しておくこととしても良い。このように、専用の動作パターンを用意しておくことで、ユーザが行うラジオ体操と同様の動作をキャラクタＣに行わせることが可能となる。以下、ラジオ体操専用の動作パターンを挙動制御部５２が使用する場合について述べる。

続いて、ユーザにより体操開始の指示が出されると、音楽再生部５３および挙動制御部５２は同期して作動を開始する。これにより、音楽再生部５３から目標速度に合わせた音楽が出力されるとともに、表示装置５１には目標速度でラジオ体操を行うキャラクタＣが表示されることとなる。これにより、キャラクタＣを音楽に同調して体操させることが可能となる。
上記音楽再生開始およびキャラクタＣの指揮開始とともに、ユーザもラジオ体操を開始する。このとき、ユーザは、音声再生部４により再生される音楽を聴きながら、かつ、表示装置３に表示されているキャラクタＣの体操動作をみながら、体操を実施することとなる。

ユーザの運動状態は、運動速度検出部５８により検出され、その運動速度Ｖｈ（ｔ）とフレーズ時間Ｆｈ（ｔ）とが算出されてずれ量算出部５５に出力される。
ずれ量算出部５５には、運動速度検出部５８により検出されたユーザの演奏速度Ｖｈ（ｔ）およびフレーズ時間Ｆｈ（ｔ）が入力されるとともに、現在の目標速度Ｖｒ（ｔ）および音楽再生フレーズ時間Ｆｒ（ｔ）が目標速度調整部５６から入力される。ここで、音楽再生フレーズ時間Ｆｒ（ｔ）は、目標速度Ｖｒ（ｔ）に、ラジオ体操における１フレーズを構成する拍数を乗じた値となる。

ずれ量算出部５５は、ユーザによるフレーズ時間Ｆｒ（ｔ）に対する音楽再生フレーズ時間Ｆｒ（ｔ）のずれ量ΔＦｒ（ｔ）を算出し、この算出結果を目標速度調整部５６に出力する。
目標速度調整部５６では、ずれ量算出部５５から入力されたずれ量ΔＦｒ（ｔ）に基づいて、現在採用している目標速度Ｖｒ（ｔ）の調整が行われる。具体的には、上述した（１）式、または、（２）式に基づいて、目標速度Ｖｒ（ｔ）の調整が行われる。目標速度調整部５６による調整後の目標速度Ｖｒ（ｔ＋１）は、音楽再生部５３及び挙動制御部５２に出力されるとともに、ずれ量算出部５５に出力される。
これにより、音楽再生部５３により調整後の目標速度Ｖｒ（ｔ＋１）に合わせた音楽再生が実行されるとともに、挙動制御部５２により調整後の目標速度Ｖｒ（ｔ＋１）に合わせたキャラクタＣの体操動作が実現される。また、ずれ量算出部５５では、調整後の目標速度Ｖｒ（ｔ＋１）が次回のずれ量算出時に現在の目標速度Ｖｒ（ｔ）として用いられることとなる。

以上説明してきたように、本実施形態に係る活動支援装置によれば、ユーザから視認可能な位置に設けられた表示装置５１には、目標速度に応じて動作するキャラクタが表示される。このキャラクタの動作速度は、ユーザの運動速度と目標速度とのずれ量に応じて調整されるので、視覚による引き込み効果を利用して、ユーザの運動速度をキャラクタの動作速度に同調させることが可能となる。この結果、ユーザは、快適な速度で運動を行うことができる。更に、ユーザは、キャラクタが自分と同調して動作する様子を見ながら運動をすることとなるので、楽しく運動を行うことができる。

なお、上述した実施形態では、運動の一例としてラジオ体操をあげて説明したが、これに限られず、エクササイズ、ダンス、その他の動作であっても良い。
また、上述した実施形態においては、運動として、予め動作が決められているラジオ体操を例に挙げて説明したが、予め動作が決められていない運動、例えば、音楽に合わせて自由に体を動かすダンスなどに適用する場合、パターン蓄積部５７に登録されている動作パターンを音楽の拍単位で登録しておき、この拍単位の動作パターンを自由に組み合わせてキャラクタを動作させることとしても良い。このように、動作パターンを音楽の拍単位で登録することにより、あらゆる楽曲に対応することが可能となる。

更に、上記動作パターンに、速度、リズム、ダンスの種別などの動きの特徴を表す要素を付帯情報として付加しても良い。これにより、ユーザが所望する運動に応じて適切な動作パターンまたは小節動作パターンを組み合わせることが可能となり、より運動のジャンルにあわせた動作をキャラクタに行わせることができる。
また、上述した第１の実施形態のパターン蓄積部５７のように、拍子毎に小節動作パターンを登録することとしても良い。
また、本発明の活動支援装置は、上述した第１の実施形態および第２の実施形態に係る構成を兼ね備えていても良い。このような構成により、音楽演奏、運動等のさまざまなユーザの活動に適用することが可能となる。

〔第３の実施形態〕
次に、本発明の第３の実施形態に係る活動支援装置について説明する。
本実施形態に係る活動支援装置は、実物のロボットがユーザの視認可能な場所において目標速度に合わせて動作を行う点で上述した第１及び第２の実施形態と異なる。
以下、本実施形態に係る活動支援装置について、第１の実施形態と共通する点については説明を省略し、異なる点についてのみ説明する。

まず、本実施形態に係る活動支援装置が備えるロボット本体について図７を参照して説明する。図７は、本実施形態に係るロボット本体の正面図、図８は、図７に示したロボット本体の左側面図である。
図７および図８に示すように、ロボット本体１は、頭部２と、この頭部２を下方から支持する胸部３と、この胸部３の右側に設けられた右腕部４ａ、胸部３の左側に設けられた左腕部４ｂと、胸部３の下方に接続された腰部５と、この腰部５の下方に接続されたスカート部６と、このスカート部６の下方に接続された脚部７とを備えている。

頭部２には、頭頂部近傍に全方位カメラ１１が一つ設けられている。この全方位カメラ１１の外周に沿って複数の赤外線ＬＥＤ１２が所定の間隔で円環上に配置されている。
頭部２の前面の中央近傍には、図７に示すように、前方を撮像するための前方カメラ１３が正面視して右側に一つ、マイクロフォン１４が正面視して左側に一つ、それぞれ設けられている。

胸部３の前面の中央近傍には、モニタ１５が一つ設けられている。このモニタ１５の上方には、人を検知するための超音波距離センサ１６が一つ設けられている。モニタ１５の下方には、電源スイッチ１７が一つ設けられている。超音波距離センサ１６の上方には、２つのスピーカ１７が左右に一つずつ設けられている。また、図８に示すように、胸部３の背面には、荷物を収納することができるランドセル部１８が設けられている。ランドセル部１８には、上部に設けたヒンジ周りに回動可能な開閉扉１８ａが設けられている。図７に示すように、胸部３の左右の肩部には、タッチセンサ１９がそれぞれ一つずつ設けられている。

右腕部４ａおよび左腕部４ｂには、多関節構造が採用されている。右腕部４ａ、左腕部４ｂにおいて、胸部３との接続部近傍には、体や物の挟み込みを検知して腕の動作を止めるための脇スイッチ２０がそれぞれ設けられている。図７に示すように、右腕部４ａの手のひら部分には、マンマシンインターフェースとして機能する握手スイッチ２１が内蔵されている。これら脇スイッチ２０や握手スイッチ２１には、例えば、押圧センサが採用される。

腰部５の前面の中央近傍には、人を検知するための超音波距離センサ２２が左右に一つずつ設けられている。これら超音波距離センサ２２の下方には、複数の赤外センサ２３を配列されたセンサ領域２４が設けられている。これら赤外線センサ２２は、ロボット本体１の下方前方にある障害物等を検出するためのものである。図７および図８に示すように、腰部５の下方には、前面および背面において、音源方向を検出するためのマイクロフォン２５が左右に一つずつ、計４つ設けられている。図８に示すように、腰部５の側面の左右には、本体を持ち上げるときに使用する取手部２６がそれぞれ一つずつ設けられている。取手部２６は、凹所とされており、操作者の手が挿入できるようになっている。

スカート部６の前面下方には、段差を検出するための赤外線センサ２７が、中央および左右に計３つ設けられている。図８に示すように、スカート部６の背面には、充電コネクタ２８が設けられている。

図７に示すように、脚部７の前面には、側方の距離を検出するための赤外線センサ２９が左右に一つずつ設けられている。これら赤外線センサ２９は、主に段差検出に用いられるものである。
図８に示すように、脚部７の背面には、充電スタンドにロボット本体１を位置固定するためのフック３０が設けられている。脚部７は、走行用車輪３１および４つのボールキャスタ３２を備えた台車とされている。

上記ロボット本体の内部には、マイクロコンピュータ等を備える制御装置が内蔵されている。制御装置には、図７および図８に示した各種カメラや各種センサ等が接続されており、カメラからの画像情報やセンサからのセンサ検出情報を取得し、これらの情報に基づいて各種プログラムを実行することにより、会話機能や本実施形態に係る生活支援機能などの各種機能を実現させる。
なお、ロボット本体１の形状としては、図７および図８に示した形状に限られず、愛玩用に動物を模したものなど、種々のものを採用することが可能である。

図９は、本実施形態に係る活動支援装置の概略構成を示した図である。
図９に示すように、活動支援装置は、ロボット本体１の各部を駆動することにより、ロボットの挙動を変化させる駆動機構６１と、目標速度に合わせてロボット本体１の挙動を制御するべく、駆動機構６１を制御する挙動制御部（挙動制御手段）６２と、目標速度に合わせて音楽データを再生する音楽再生部（音楽再生手段）６３と、ユーザの演奏速度を検出する演奏速度検出部（音楽速度検出手段）６４と、演奏速度検出部６４により検出されたユーザの演奏速度と目標速度とのずれ量を算出するずれ量算出部６５と、ずれ量に基づいて目標速度を調整する目標速度調整部６６と、拍単位の動作パターンが小節単位で組み合わされた小節動作パターンが登録されているパターン蓄積部６７とを備えている。

上記挙動制御部６２、音楽再生部６３、活動速度検出部６４、ずれ量算出部６５、目標速度調整部６６、およびパターン蓄積部６７は、例えば、ロボット本体１に内蔵される制御装置に搭載されている。
また、パターン蓄積部６７に蓄積されている動作パターンは、各関節等の角度軌跡データとして記述されている。

駆動装置６１は、ロボット本体１が備える頭部２の顔表情を変化させるために用いられる頭部用駆動機構７１、頭部２と胸部３との間の首関節、胸部３と右腕部４ａ間、胸部３と左腕部４ｂ間の肩関節、右腕部４ａ、左腕部４ｂ内の肘関節、手首関節等を駆動することにより、ロボット全身の挙動を変化させる関節用駆動機構７２、および、脚部７に装備された走行用車輪３１を駆動することにより、自動操舵および自動走行を可能とする走行駆動機構７３を備えている。

このような生活支援装置において、ユーザによって楽曲およびその目標速度が指定されると、音楽再生部６３は指定された楽曲の音楽データを読み出して、再生準備を行うとともに、挙動制御部６２は、指定された楽曲の拍子に対応する小節動作パターンをパターン蓄積部６７から抽出し、これらの小節動作パターンを組み合わせることによりロボット本体１各部の挙動を制御するための挙動パターンを作成する。この挙動パターンは、各駆動機構７１乃至７３に対応してそれぞれ作成される。

続いて、ユーザにより演奏開始の指示が出されると、音楽再生部６３および挙動制御部６２は同期して作動を開始する。具体的には、音楽再生部６３は、目標速度に合わせて音楽データを再生するとともに、挙動制御部６２は、各駆動機構７１乃至７３を上記挙動パターンに基づいて目標速度で制御する。これにより、音楽再生部６３から目標速度の音楽が流れるとともに、ロボット本体１による目標速度にあわせた動作、例えば、指揮動作が行われる。

上記音楽再生開始およびロボット本体１の指揮開始とともに、ユーザも楽曲の演奏を開始する。このとき、ユーザは、音声再生部６３により再生される音楽を聴きながら、かつ、ロボット本体１による指揮動作をみながら楽曲の演奏を実施することとなる。

ユーザによって演奏された音は、演奏速度検出部６４に入力され、解析されることにより、ユーザの演奏速度Ｖｈ（ｔ）および１小節の演奏時間Ｆｈ（ｔ）が検出され、この検出結果がずれ量算出部６５に出力される。ずれ量算出部６５では、演奏速度検出部６４により検出されたユーザの１小節の演奏時間Ｆｈ（ｔ）に対する現在の１小節の音楽再生時間Ｆｒ（ｔ）のずれ量ΔＦｒ（ｔ）が算出され、この算出結果が目標速度調整部６６に出力される。目標速度調整部６６では、ずれ量算出部６５から入力されたずれ量ΔＦｒ（ｔ）に基づいて、現在採用している目標速度Ｖｒ（ｔ）の調整が上述の（１）式あるいは（２）式に基づいて行われ、調整後の目標速度Ｖｒ（ｔ＋１）が音楽再生部６３及び挙動制御部６２に出力されるとともに、ずれ量算出部６５に出力される。

これにより、音楽再生部６３により調整後の目標速度Ｖｒ（ｔ＋１）に合わせた音楽再生が実行されるとともに、挙動制御部６２により駆動装置６１の各駆動機構７１乃至７３が調整後の目標速度Ｖｒ（ｔ＋１）に応じて制御されることにより、調整後の目標速度Ｖｒ（ｔ＋１）に合わせたロボット本体１の指揮動作が実現される。また、ずれ量算出部５５５では、調整後の目標速度Ｖｒ（ｔ＋１）が次回のずれ量算出時に現在の目標速度Ｖｒ（ｔ）として用いられることとなる。

以上説明してきたように、本実施形態に係る活動支援装置によれば、ユーザから視認可能な位置に設けられたロボット本体１の指揮動作の速度は、ユーザの演奏速度と目標速度とのずれ量に応じて調整されるので、視覚による引き込み効果を利用して、ユーザの演奏速度をロボットの指揮動作に同調させることが可能となる。この結果、ユーザは、快適な速度で活動を行うことができる。更に、ユーザは、ロボット本体が自分と同調して指揮を行う様子を見ながら音楽演奏を行うこととなるので、楽しく音楽演奏を行うことができる。

〔第４の実施形態〕
次に、本発明の第４の実施形態に係る活動支援装置について説明する。
本実施形態に係る活動支援装置は、上述の第３の実施形態と同様、実物のロボットがユーザの視認可能な場所において目標速度に合わせて動作を行うものである。上述した第３の実施形態では、ユーザが行う活動として音楽演奏を例に挙げて説明したが、本実施形態においては、ユーザが行う活動として体操を例に挙げて説明する。
ここでは、説明の便宜上、ユーザがラジオ体操を行う場合について説明する。

本実施形態では、ユーザの演奏速度ではなく、ユーザがどのような運動を行っているのかを検出する必要があることから、図１０に示すように、演奏速度検出部６４に代えて運動速度検出部（運動速度検出手段）６８を備えている。
運動速度検出部６８は、例えば、図６に示した第２の実施形態に係る運動速度検出部５８と同様の機能を有するものである。ここで、図６に示したビデオカメラ５８２として、ロボット本体１に設けられた前方カメラ１３を用いても良い。また、この運動速度検出部５８を構成する各処理部、例えば、画像処理部５８３、状態認識部５８４、および算出部５８５は、ロボット本体１に内蔵されている制御装置に実装されている。

このような構成を備える活動支援装置においては、まず、ユーザにより演奏される楽曲およびその目標速度が指定されると、音楽再生部６３は指定された楽曲の音楽データを読み出して、再生準備を行うとともに、挙動制御部６２は、指定された楽曲の特徴に応じた小節動作パターンをパターン蓄積部６７から抽出する。なお、パターン蓄積部６７に、ラジオ体操の一連動作からなるラジオ体操の専用動作パターンが蓄積されていた場合には、このラジオ体操用の動作パターンを抽出する。ここで、ラジオ体操用の動作パターンは、各駆動機構７１乃至７３毎に登録されている。以下、このラジオ体操用の動作パターンが登録されていた場合について説明する。

続いて、ユーザにより体操開始の指示が出されると、音楽再生部６３および挙動制御部６２は同期して作動を開始する。これにより、音楽再生部６３から目標速度に合わせた音楽が出力されるとともに、挙動制御部６２によって頭部用駆動機構７１、関節用駆動機構７２、走行駆動機構７３が各ラジオ体操用の動作パターンに従って目標速度で制御されることにより、ロボット本体１が目標速度で体操を開始することとなる。

上記音楽再生開始およびロボットの体操開始とともに、ユーザもラジオ体操を開始する。このとき、ユーザは、音声再生部６３により再生される音楽を聴きながら、かつ、ロボット本体１の動作をみながら、体操を実施することとなる。

ユーザの運動状態は、運動速度検出部６８により検出され、その運動速度Ｖｈ（ｔ）とフレーズ時間Ｆｈ（ｔ）とが算出されてずれ量算出部６５に出力される。ずれ量算出部６５では、ユーザのフレーズ時間Ｆｒ（ｔ）に対する音楽再生フレーズ時間Ｆｒ（ｔ）のずれ量ΔＦｒ（ｔ）が算出され、この算出結果が目標速度調整部６６に出力される。目標速度調整部６６では、ずれ量算出部６５から入力されたずれ量ΔＦｒ（ｔ）に基づいて、現在採用している目標速度Ｖｒ（ｔ）が上述した（１）式、または、（２）式に基づいて調整され、調整後の目標速度Ｖｒ（ｔ＋１）が、音楽再生部６３及び挙動制御部６２に出力されるとともに、ずれ量算出部６５に出力される。
これにより、音楽再生部６３により調整後の目標速度Ｖｒ（ｔ＋１）に合わせた音楽再生が実行されるとともに、挙動制御部６２により調整後の目標速度Ｖｒ（ｔ＋１）に合わせたロボット本体１の体操動作が実現される。また、ずれ量算出部６５では、調整後の目標速度Ｖｒ（ｔ＋１）が次回のずれ量算出時に現在の目標速度Ｖｒ（ｔ）として用いられることとなる。

以上説明してきたように、本実施形態に係る活動支援装置によれば、ユーザから視認可能な位置に設けられたロボット本体１の動作の速度は、ユーザの運動速度と目標速度とのずれ量に応じて調整されるので、視覚による引き込み効果を利用して、ユーザの運動速度をロボットの動作速度に同調させることが可能となる。この結果、ユーザは、快適な速度で運動を行うことができる。更に、ユーザは、ロボット本体１とともに体操を行うことにより、楽しく体操を行うことができる。

なお、上述した実施形態においては、運動として、予め動作が決められているラジオ体操を例に挙げて説明したが、予め動作が決められていない運動、例えば、音楽に合わせて自由に体を動かすダンスなどに適用する場合、パターン蓄積部５７に登録されている動作パターンを音楽の拍単位で登録しておき、この拍単位の動作パターンを自由に組み合わせてロボット本体１を動作させることとしても良い。この場合においても、動作パターンは、各駆動機構７１乃至７３に対応してそれぞれ登録されている。
このように、動作パターンを音楽の拍単位で登録することにより、あらゆる楽曲に対応することが可能となる。

更に、上記動作パターンに、速度、リズム、ダンスの種別などの動きの特徴を表す要素を付帯情報として付加しても良い。これにより、ユーザが所望する運動に応じて適切な動作パターンまたは小節動作パターンを組み合わせることが可能となり、より運動のジャンルに合わせた動作をロボット本体１に行わせることができる。
また、本発明の活動支援装置は、上述した第３の実施形態および第４の実施形態に係る構成を兼ね備えていても良い。このような構成により、音楽演奏、運動等のさまざまなユーザの活動に適用することが可能となる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述したキャラクタＣおよびロボット本体の形状は一例であり、この例に限られない。
また、ユーザの活動を検出する活動検出手段については、上述した演奏検出部、運動検出部に限られることなく、その他のユーザの活動を検出する手段を適宜採用することが可能である。

本発明の第１の実施形態に係る活動支援装置の概略構成を示したブロック図である。 パターン蓄積部に蓄積されている小節動作パターンについて説明するための図である。 二人の人間が演奏を行った場合において、両者の演奏のずれ量の時系列データをＤＦＡ解析した結果を示した図である。 本発明の第１の実施形態に係る活動支援装置の音楽再生部により再生された音楽と、活動支援装置を用いてユーザが演奏を行った場合の再生音楽とユーザ演奏とのずれ量の時系列データをＤＦＡ解析した結果を示した図である。 目標速度で演奏された音楽とその音楽を聴きながらユーザが演奏を行った場合の再生音楽とユーザ演奏とのずれ量の時系列データをＤＦＡ解析した結果を示した図である。 本発明の第２の実施形態に係る活動支援装置の概略構成を示したブロック図である。 本発明の第３の実施形態に係る活動支援装置が備えるロボット本体の正面図を示した図である。 図である。 図７に示したロボット本体の左側面図である。 本発明の第３の実施形態に係る活動支援装置の概略構成を示したブロック図である。 本発明の第４の実施形態に係る活動支援装置の概略構成を示したブロック図である。

符号の説明

５０ 活動支援装置
５１ 表示装置
５２、６２ 挙動制御部
５３、６３ 音楽再生部
５４、６４ 演奏速度検出部
５５、６５ ずれ量算出部
５６、６６ 目標速度調整部
５７、６７ パターン蓄積部
５８、６８ 運動速度検出部
６１ 駆動装置
７１ 頭部用駆動機構
７２ 関節用駆動機構
７３ 走行駆動機構

Claims (10)

1. ユーザから視認可能な位置に設けられた表示手段と、
   目標速度に合わせて、前記表示手段に表示させるキャラクタの挙動を制御する挙動制御手段と、
   ユーザの動作速度を検出する動作速度検出手段と、
   前記目標速度に対する前記ユーザの動作速度のずれ量を算出するずれ量算出手段と、
   前記ユーザの動作速度に近づくように、前記ずれ量に基づいて前記目標速度を繰り返し調整する目標速度調整手段と
   を備え、
   前記挙動制御手段は、前記目標速度調整手段により前記目標速度が調整された場合に、調整後の前記目標速度に合わせて前記キャラクタの挙動を制御する活動支援装置。
2. ロボット本体と、
   目標速度に合わせて、前記ロボット本体の挙動を制御する挙動制御手段と、
   ユーザの動作速度を検出する動作速度検出手段と、
   前記目標速度に対する前記ユーザの動作速度のずれ量を算出するずれ量算出手段と、
   前記ユーザの動作速度に近づくように、前記ずれ量に基づいて前記目標速度を繰り返し調整する目標速度調整手段と
   を備え、
   前記挙動制御手段は、前記目標速度調整手段により前記目標速度が調整された場合に、調整後の前記目標速度に合わせて前記ロボット本体の挙動を制御する活動支援装置。
3. 前記目標速度に合わせて音楽を再生する音楽再生手段を備える請求項１または請求項２に記載の活動支援装置。
4. 拍単位で動作パターンが登録されたパターン蓄積手段を備え、
   前記挙動制御手段は、拍単位の前記動作パターンの組み合わせに基づいて前記キャラクタまたはロボット本体の挙動を制御する請求項１から請求項３のいずれかに記載の活動支援装置。
5. 前記パターン蓄積手段において、前記動作パターンは曲調を決定する音楽の要素毎に登録されており、
   前記挙動制御手段は、前記音楽再生手段により再生される音楽の曲調に応じた動作パターンを用いて前記キャラクタまたは前記ロボット本体を制御する請求項４に記載の活動支援装置。
6. 拍単位の動作パターンが小節単位で組み合わせられた小節動作パターンが登録されたパターン蓄積手段を備え、
   前記挙動制御手段は、前記小節動作パターンの組み合わせに基づいて前記キャラクタまたはロボット本体の挙動を制御する請求項１から請求項３のいずれかに記載の活動支援装置。
7. 前記パターン蓄積手段において、前記小節動作パターンは曲調を決定する音楽の要素毎に登録されており、
   前記挙動制御手段は、前記音楽再生手段により再生される音楽の曲調に応じた動作パターンを用いて前記キャラクタまたは前記ロボット本体を制御する請求項６に記載の活動支援装置。
8. 前記動作速度検出手段は、ユーザの演奏速度を検出する演奏速度検出手段を備える請求項１から請求項７のいずれかに記載の活動支援装置。
9. 前記挙動制御手段は、前記キャラクタまたは前記ロボット本体に指揮者の動作をさせる請求項８に記載の活動支援装置。
10. 前記動作速度検出手段は、ユーザの運動速度を検出する運動速度検出手段を備える請求項１から請求項７のいずれかに記載の活動支援装置。

Images