JP3621020B2 - 音楽反応型ロボットおよび発信装置 - Google Patents
音楽反応型ロボットおよび発信装置 Download PDFInfo
- Publication number
- JP3621020B2 JP3621020B2 JP2000136717A JP2000136717A JP3621020B2 JP 3621020 B2 JP3621020 B2 JP 3621020B2 JP 2000136717 A JP2000136717 A JP 2000136717A JP 2000136717 A JP2000136717 A JP 2000136717A JP 3621020 B2 JP3621020 B2 JP 3621020B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- robot
- music
- motion
- dance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Toys (AREA)
- Manipulator (AREA)
Description
【０００１】
【発明の属する技術】
本発明は、発信側において、音楽や音声を音響信号として空間に送出し、受信側において、該音響信号に埋め込まれているロボット動作信号を抽出し、これによってロボットの動作を制御する技術およびその応用に関するものである。
【０００２】
【従来の技術】
音楽に合わせて踊るロボット玩具は、従来から存在する。例えば、通常ダンシングフラワーと呼ばれる玩具は、見かけ上音楽に合わせて踊っているかのごとく見える。すなわち、音楽に対応して造花や人形が体を揺り動かす。
【０００３】
これは、音楽などを、造花や人形に内蔵されたマイクロフォンで受けて電気信号に変換し、その振幅に対応してダンシングフラワー内のアクチュエータを駆動することにより造花や人形を運動させる構造に依っている。そのため、このようなものは、音楽のメロディーやリズムなどには関係なく、体を揺り動かすだけであり、ワンパターンの動作を単調に繰り返すだけであった。
【０００４】
【発明が解決しようとする課題】
ロボットの踊りというパフォーマンスを芸術的な領域まで高めるには、音楽のメロディーとリズムに代表される曲調に合わせ、きめ細かい体の動作、すなわち振りを指定する必要がある。
【０００５】
従来このような要求に対しては、舞踊音楽とは別に、振りの情報を電波や有線等を用いてロボットに伝達する必要があった。従って、情報のチャンネルが２つ必要になり、その分だけ装置全体の構成が複雑化するという課題があった。このことは、音楽だけでは無く、人の言葉の意味に応じて、動作したり、音声を発するようなロボットを実現する場合にも同様であった。
【０００６】
本発明は、このような従来の課題に鑑み、簡潔な構成の伝達手段によって、舞踊音楽や音声と同時にロボットを制御する情報を送信することが可能で、そのため、経済的に実現することが可能な音楽反応型ロボットあるいは音声反応型ロボットを実現することを目的としている。
【０００７】
また、音声をロボットに直接伝えるのではなく、テレビ放送などを通じて、テレビ受像機からの音声出力によって伝えることにより、ロボットを動作させたり、音声を発声させたりすることの可能なロボットを実現することを目的とする。そして、このようなロボットにおいて、更に、テレビ放送などの視聴者がロボットを通じて自己の意思を放送局側にフィードバックすることのできるシステムの実現を目的とする。
【０００８】
【課題を解決するための手段】
本発明によれば、上述の課題は前記特許請求の範囲に記載した手段によって実現される。すなわち、請求項１の発明は、楽音信号（１）と該楽音信号（１）のリズムの各拍に対応する予め定められた舞踊動作パターンを表現する舞踊動作信号であるロボット動作信号（２）とをロボット動作信号（２）が楽音信号（１）より先行して送出されるように電気的に合成する信号合成手段と、該信号合成手段により生成された合成電気信号を外界に音響信号として出力する発信装置から出力された音響信号を受信して合成電気信号に変換する変換手段と、
【０００９】
該変換手段により得られた合成電気信号からロボット動作信号（２）を抽出する信号抽出手段とを備えた受信装置と、該受信装置の信号抽出手段で抽出されたロボット動作信号（２）を解読して機械動作信号に変換する制御装置とを有し、該機械動作信号に従って動作する音楽反応型ロボットである。
なお、ロボット動作信号（２）は楽音信号（１）のテンポに同期した舞踊動作信号であり、発信側において、ロボット動作信号（２）を楽音信号（１）より先行させて送出するように構成したものである。舞踊動作信号は舞踊動作パターンを表現するように構成したものである。
【００１０】
請求項２の発明は、前記請求項１記載の音楽反応型ロボットにおいて、受信装置の音響信号を電気信号に変換する手段はマイクロフォンであるように構成したものである。
【００１１】
請求項３の発明は、前記請求項１又は請求項２に記載の音楽反応型ロボットにおいて、楽音信号（１）と、ロボット動作信号（２）とを、電気的に合成する手段として、データ・ハイディング技術を用いるように構成したものである。
【００１２】
請求項４の発明は、前記請求項１〜請求項３のいずれか１項に記載の音楽反応型ロボットにおいて、ロボット動作信号（２）は楽音信号（１）のテンポに同期した舞踊動作信号であるように構成したものである。
【００１３】
請求項５の発明は、前記請求項４記載の音楽反応型ロボットにおいて、舞踊動作信号は舞踊動作パターンを表現するコード信号であるように構成したものである。
【００１４】
請求項６の発明は、前記請求項４又は請求項５に記載の音楽反応型ロボットにおいて、ロボット動作信号（２）は楽音信号（１）のテンポに同期した舞踊動作信号であり、発信側において、ロボット動作信号（２）を楽音信号（１）より先行させて送出するように構成したものである。
【００１５】
請求項４の発明は、前記請求項１〜請求項３のいずれか１項に記載の音楽反応型ロボットにおいて、楽音信号（１）は、ＭＩＤＩ信号であり、ロボット動作信号（２）は該楽音信号（１）に付随するＭＩＤＩイベント信号であるように構成したものである。
【００１６】
請求項５の発明は、音響信号を受信して合成電気信号に変換し、該合成電気信号からロボット動作信号（２）を抽出し、該ロボット動作信号（２）から変換された該機械動作信号に従って動作する音楽反応型ロボットに対し、前記音響信号を発信する発信装置であって、楽音信号（１）と該楽音信号（１）のリズムの各拍に対応する予め定められた舞踊動作パターンを表現する舞踊動作信号であるロボット動作信号（２）とをロボット動作信号（２）が楽音信号（１）より先行して送出されるように電気的に合成する信号合成手段と、該信号合成手段により生成された合成電気信号を外界に音響信号として出力する手段とを備えた発信装置である。
【００１７】
請求項６の発明は、前記請求項５記載の発信装置において、合成電気信号を外界に音響信号として出力する手段はスピーカーであるように構成したものである。
【００１８】
請求項７の発明は、前記請求項５又は請求項６に記載の発信装置において、楽音信号（１）と、ロボット動作信号（２）とを、電気的に合成する手段として、データ・ハイディング技術を用いるように構成したものである。
【００１９】
請求項８の発明は、前記請求項５〜請求項７のいずれか１項に記載の発信装置において、楽音信号（１）は、ＭＩＤＩ信号であり、ロボット動作信号（２）は該楽音信号（１）に付随するＭＩＤＩイベント信号であるように構成したものである。
【００２３】
上述のように、本発明においては、踊り用の楽音とその振りの情報を例えば、データハイディング技術（日経エレクトロニクス，Ｎｏ．６８３（１９９７），ｐｐ．９９−１６２参照）を用いて一元化し、合成音として、これをスピーカーから流して、受信側ではマイクでその音を受け取り、振りの情報を抽出して、ロボット動作を制御させるものである。
【００２４】
本発明は、また、楽音だけでは無くその他の音声、例えば人の声に２値信号を合成して合成電気信号を生成し、これをスピーカーから流して、受信側ではマイクでその音を受け取り、振りの情報を抽出して、ロボット動作を制御することもできる。
【００２５】
そして、上記合成電気信号で、無線周波数の搬送波を変調してこれをアンテナから例えばテレビ電波として送出し、受信側では、これをテレビ受像機で、受信し、検波して合成電気信号を再生してスピーカーから流し、マイクでその音を受け取り、２値信号を抽出して解読し、その内容に応じてロボット動作を制御することもできる。
【００２６】
更に、ロボットに、例えばタッチセンサやマイクロスイッチなどの簡単な入力手段を備え、テレビ受像機から放送される音声に応じて、視聴者がこの入力手段を用いて意思表示を行い、これが、放送局側で埋め込んだ２値信号と対応付けられて放送局側にフィードバックされ、放送局側でこれを集計して表示するようにしている。
【００２７】
この系によれば、放送内容に対する視聴者の反応をリアルタイムで知ることができる。前記放送局側で埋め込む２値信号としては、放送局や番組の識別のためのＩＤ、視聴者の入力が放送内容のどの部分に対応するものであるかを識別するための情報などがある。
【００２８】
【発明の実施の形態】
図１は本発明の実施の形態の第１の例を示す図であって、（ａ）は送信側、（ｂ）は受信側を示している。この実施の形態の例は請求項１の発明に対応している。同図（ａ）において、数字符号１は楽音信号、２は舞踊動作信号、３は合成音電気信号を表している。
【００２９】
また、４は合成装置、５は増幅器（図ではＡＭＰと記載している）、６はスピーカー、７は合成音、８は人間を表している。同図（ｂ）において、数字符号９はマイクロホン、１０は抽出装置、１１はロボット制御部、１２はアクチュエータ指令信号、１３は人型ロボット、１４はロボットの動作機構部を表しており、その他の数字符号は（ａ）の場合と同様である。
【００３０】
図１（ｂ）に示す受信側の構成図では、各部を人型ロボット１３と分離して描いているが、これら受信側の各構成部は人型ロボット１３の体内に内蔵させたり、又は、人型ロボット１３が乗る台（図示せず）の中に収容したりすることができることは言うまでもない。
【００３１】
次に図１における信号の大まかな流れを説明する。まず、送信側では、楽音信号１と、伝達すべき該楽音信号１とは別の舞踊動作信号２とを、例えばデータハイディング技術を用いることにより、舞踊動作信号２の聴覚的存在を人間には知覚し得ない状態で電気的に合成し、増幅器５を通してスピーカー６から合成音として空中に放射する。
【００３２】
この合成音を近傍の人間８は自分の耳で聴く。一方受信側では、放射された音をマイクロホン９で収音し、増幅器５を通して合成音電気信号３に変換する。この合成音電気信号３から舞踊動作信号２が抽出される。
【００３３】
次にその舞踊動作信号２は、ロボット制御部に入力されてロボット内各アクチュエータ指令信号（または指令値）が生成され、その指令値に従って人型ロボットは動作を行う。その様子を周りの人間が目で見て、耳で舞踊音楽を聞くことにより、ロボットの舞踊パフォーマンスを楽しむことができるのである。
【００３４】
次に、楽音（音楽）と振りを対応させる方法について説明する。すなわち、これは、楽音１と舞踊動作信号２の時系列的な対応関係を定義することである。ここでは一例として、図２における楽譜で表現される楽音を用いて、図１の人型ロボットを、図３の４つの舞踊動作パターンの組み合わせで舞踊させる場合について説明する。
【００３５】
この曲のリズムは４ビートであるので、１小節当たり４つの舞踊動作を定義する場合を考えるものとする。第ｉ小節の第ｊ拍に対応する舞踊動作コードをＣｉｊと表現すれば、この曲の舞踊動作コードの流れ、すなわちコードシーケンスは第１小節より順に、Ｃ１１Ｃ１２Ｃ１３Ｃ１４Ｃ２１Ｃ２２Ｃ２３Ｃ２４……のように表現される。
【００３６】
次にロボットの舞踊動作の姿勢、すなわち舞踊動作パターンの例として、図３のような４つの姿勢Ａ，Ｂ，Ｃ，Ｄを考える。すなわち、Ａは両腕を上げた姿勢、Ｂは両腕を下げた姿勢、Ｃは右手をあげて左手を下げた姿勢、Ｄは左手をあげて右手を下げた姿勢である。
【００３７】
以下では説明の簡略化のため、一例として、第２小節での動作について説明する。例えば、Ｄ，Ｃ，Ｂ，Ａの順に踊らせたい場合には、“数１”のように設定すれば良い。
【００３８】
【数１】
【００３９】
楽音１とこれらの舞踊動作コードは、合成装置で合成されるが、このとき、先に、本願発明者によって提案され、本願出願人によって出願された特願平１１−３２９９１４号の技術を用いれば、容易に合成音電気信号を生成することができる。
【００４０】
受信側では、上記“数１”と同一の舞踊動作コードが抽出され、ロボットコントローラはこのコードを順に受け取り、人型ロボットにこのコードに対応したアクチュエータ指令値を送る。なお、曲のテンポが相対的に速い場合、ロボット制御動作の遅れや伝送時間の遅れにより、振りが音楽に遅れて見えてしまう場合も考えられる。
【００４１】
このような場合は、舞踊動作コードシーケンス全体を、音楽のテンポよりも早めに対応させた複合音を合成すれば良い。こうすることにより受信側では、音楽が流れているある時刻において、その時刻に対応すベき本来の動作パターンコードが、既にロボット制御部に伝達されているので、時間遅れの問題を生ずることなく、音楽に完全に同期したロボット舞踊動作が実現される。
【００４２】
図４は本発明の実施の形態の合成装置の構成の例を示す図であって、数字符号１は楽音信号（この場合は音楽）、２は舞踊動作信号（ここでは舞踊動作コード）、３は合成音、１５は音楽動作編集部、１６はコード埋め込み処理部を表している。
【００４３】
同図において、音楽１と舞踊動作コード２は、音楽動作編集部１５において編集され、コード埋め込み処理部１６で合成されて合成音電気信号３として出力される。以下、この合成装置の動作について４／４拍子の場合を例にとって説明する。
【００４４】
Ｎを総小節数、また記号「；」、「｛ ｝」は時系列を表すものとすると、楽音信号波形は“数２”のように表せる。
【００４５】
【数２】
【００４６】
また、舞踊動作信号のベクトルは“数３”のように表せる。
【００４７】
【数３】
【００４８】
更に、合成された楽音信号波形は“数４”のように表せる。
【００４９】
【数４】
【００５０】
ＰｉｊへのＣｉｊの合成信号波形を“数５”のように表記すると、
【００５１】
【数５】
【００５２】
前記“数４”中の「ｍｈｙｐｅｒ（ｉ）（ｔ）」は“数６”のように表せる。
【００５３】
【数６】
【００５４】
上記“数５”の生成方法は、図４のコード埋め込み処理部１６によって実現される。そしてこの生成方法は、先にも述べた特願平１１−３２９９１４号にも詳細に述べられている。
【００５５】
“数２”で示した楽音信号波形Ｍｏｒｇ （ｔ）と“数３”で示した舞踊動作信号ベクトルとから“数４”で示した合成された楽音信号波形Ｍｈｙｐｅｒ （ｔ）を求める処理を「処理１」とすると、その論理は図５に示す流れ図のようになる。同図中の（Ｓ−１）〜（Ｓ−９）の表示は、処理のステップを表すもので、下記説明中の同じ表示と対応している。
【００５６】
同図において、先ず、ｉを初期値１に設定する（Ｓ−１）。次にｊを初期値１に設定する（Ｓ−２）。Ｐｉｊ（ｔ）へのＣｉｊの合成信号波形を生成する（Ｓ−３）。ｊが４を越えたか否かを調べる（Ｓ−４）。若しｊが４より小さければｊに“１”を加算して（Ｓ−３）の処理に戻る（Ｓ−５）。
【００５７】
次に、ｉがＮを越えたか否かを調べる（Ｓ−６）。若しｉがＮより小さければｉに“１”を加算して（Ｓ−２）の処理に戻る（Ｓ−７）。そしてＭｈｙｐｅｒ （ｔ）を出力して（Ｓ−８）処理を終了する。または、（Ｓ−９）に示すように、１小節ごとにｍｈｙｐｅｒ（ｉ）（ｔ） を出力することも可能であり、そうすることにより、埋め込みと送出を実時間で行える。
【００５８】
図６は本発明の受信側の構成の例を示す図であって、抽出装置、ロボット制御部、ロボットの機械動作部の一部を含む構成を示している。同図において、数字符号２は舞踊動作信号（この場合は舞踊動作コード）、３は合成音電気信号、５は増幅器（図では略号にてＡＭＰと表示）、７は合成音、９はマイクロホン、１０は抽出装置、１９は舞踊動作コード／関節角度変換部を表している。
【００５９】
また、２０は音楽テンポ取得部、２１は音楽テンポ信号、２２−１はθ１ 目標値信号、２２−２はθ２ 目標値信号、２３−１はモータ１の回転角サーボ機構、２３−２はモータ２の回転角サーボ機構、２４−１はモータ１、２４−２はモータ２、２５−１、２５−２はモータ駆動電流、１３は人型ロボット、１４はロボット動作機構部、２６−１は人型ロボット１３の右腕角度（θ１ ）、２６−２は人型ロボット１３の左腕角度（θ２ ）を表している。
【００６０】
同図において、送信側からの合成音７は、マイクロホン９で集音され、増幅器５で増幅されて、その出力である合成音電気信号３が抽出装置１０に入力される。また、該合成音電気信号３は音楽テンポ取得部２１にも入力される。抽出装置１０は、合成音電気信号３から舞踊動作コード２を抽出して出力する。
【００６１】
音楽テンポ取得部２０は合成音電気信号３から音楽テンポ信号２１を生成して出力する。舞踊動作コード／関節角度変換部１９は、舞踊動作コード２からθ１ 目標値信号２２−１、θ２ 目標値信号２２−２を生成して、音楽テンポ信号２１に同期して出力する。
【００６２】
上記θ１ は同図中に示した人型ロボット１３の右腕角度２６−１であり、θ２ は同図中に示した人型ロボット１３の左腕角度２６−２である。モータ１の回転角サーボ機構２３−１は、上記θ１ の目標値信号２２−１を受けてモータ１（２４−１）の回転角を制御する。モータ２の回転角サーボ機構２３−２は、上記θ２ の目標値信号２２−２を受けてモータ２（２４−２）の回転角を制御する。
【００６３】
前記ロボット動作機構部１４は、主として上述のモータ１の回転角サーボ機構２３−１、モータ２の回転角サーボ機構２３−２、モータ１（２４−１）、モータ２（２４−２）によって構成される機械的動作部である。
【００６４】
以上説明した実施の形態の例では、送信側でスピーカーにより送出した合成音を受信側でマイクロホンで受けて、その合成音電気信号から人型ロボットの動作信号を抽出する例について述べているが、送信側から有線伝送路を用いて受信側に合成音電気信号を転送し、受信側で該合成音電気信号から人型ロボットの動作信号を抽出するするようにしても目的を達成できるものであることは言うまでもない。
【００６５】
図７は本発明の実施の形態の第２の例を説明する図である。この例は合成音をテレビ放送を通じて伝送する例である。同図において、数字符号３０はテレビ受像機、３１はテレビの画面、３２はテレビの画面上のタレントの顔、３３はテレビ受像機から出力される音声、３５はロボット、３６はロボットから出力される音声、３７はロボットの動作を表している。
【００６６】
図８は、図７に示したロボットの機能ブロック図であって、数字符号４１はマイクロホン、４２は情報抽出装置、４３は運動制御装置、４４はロボット動作コマンド対応表、４５は駆動機構、４６は音声制御装置、４７はロボットセリフコマンド対応表、４８はスピーカーを表している。図７、図８は請求項９の発明に対応する。
【００６７】
以下、これらの図に基づいて、本発明の実施の形態の第２の例について説明する。この場合のテレビ受像機から出力される音声３３は、テレビに登場するタレントの声であり、「元気ですか」という自然言語である。このテレビ受像機から出力される音声３３は、実は合成音電気信号であり、この「元気ですか」という自然言語には、元々のタレントの声（情報１）にロボットの制御信号（情報２）が埋め込まれている。
【００６８】
そして、テレビ受像機から出力される音声３３のタレントの言葉にあたかも応えるような言葉と動作の情報を情報２として、情報１に埋め込み、ロボットに伝えるのである。この例では、情報２は「元気だよ」という言葉情報と「右手を振る」という動作情報とする。
【００６９】
ロボットには、予め表１に示すような「コマンドと動作の対応表」と、表２に示すような「コマンドとセリフの対応表」、が準備されている。すなわち、表１は、コマンドを示す記号“Ａ”または“Ｂ”によってロボットがどのような動作をするかを示す対応表である。表２は、コマンドを示す記号“０”または“１”によってロボットがどのような発声をするかを示す対応表である。これらの対応表は実際にはロボット内にテーブルとして記憶されている。
【００７０】
【表１】
【００７１】
【表２】
【００７２】
上の例の場合のようにロボットに「元気だよ」という発声と「右手を振る」という動作を行わせる場合には、放送局側で、タレントの「元気ですか」という声の中に、情報２を“Ａ”“０”として埋め込んで放送する。受信側では、テレビ受像機３０でこれを受信し、タレントの「元気ですか」という音声を出力する。
【００７３】
ロボット３５は、この音声出力をマイクロフォン４１で受けてこれを合成音電気信号として出力する。情報抽出装置４２では、この合成音電気信号に埋め込まれている２値信号を抽出し、運動制御装置４３と音声制御装置４６に渡す。運動制御装置４３では該２値信号から“Ａ”または“Ｂ”が検出されたら、これに基づいてロボット動作コマンド対応表４４をサーチして動作の内容（この場合の動作は「右手を振る」）を知り、当該動作に対応する信号を駆動機構４５に渡す。駆動機構４５はこれに基づいてロボットの「右手を振る」動作を行う。
【００７４】
音声制御装置４６では該２値信号から“０”または“１”が検出されたら、これに基づいてロボットセリフコマンド対応表４７をサーチして発声する音声の内容を知り、該当する音声を合成してスピーカーから音声信号として出力する。別の例として、ロボットに「元気だよ」と共に左手を振らせたい場合には、情報２を“Ｂ”“０”とすれば良い。
【００７５】
上記記述では、表２が予めロボットに登録されていることとして説明しているが、これとは別に、このような表を用いずに、セリフテキストを直接情報２として埋め込む方法も有り得る。上の例では、情報２として“Ａ”“ＧＥＮＫＩＤＡＹＯ”とすれば良い。この場合、ロボットは“ＧＥＮＫＩＤＡＹＯ”を抽出した後、音声合成により「元気だよ」と発音させる。
【００７６】
図９は本発明の実施の形態の第３の例を説明する図である。同図において、数字符号３０〜３２，３５，３７は図７と同様であり、３４はテレビ受像機から出力される音声、３８はロボットから出力される音声３９ａ，３９ｂはタッチセンサを表している。図１０は、図９に示したロボットの機能ブロック図であって、数字符号４１〜４８は図８と同様であり、４９は入力装置、５０は制御装置、５１は通信制御装置を表している。
【００７７】
図１１は通信・放送融合システムを実現するための、放送とネットワークの関係を示すブロック図であって、数字符号５２はロボット、５３はネットワーク、５４は通信制御装置、５５は集計装置、５６は表示装置、５７は出演者、５８は放送設備、５９はテレビ受像機を表している。
【００７８】
以下これらの図を参照して本発明の実施の形態の第３の例について説明する。この例において、情報１は、ＴＶに登場するタレントの声であり、「この意見に賛成の人、右手を押して、反対の人、左手を押して」という自然言語である。このタレントの言葉にあたかも応えるような言葉と動作の情報を情報２として、情報１に埋め込んで、ロボットに伝えるのである。この例では、情報２は「どっち」という言葉情報と両手を振る動作情報とする。
【００７９】
ロボットには、予め表３、表４のデータが準備されている。表３は、ロボット動作コマンドとその記号の対応表である。表４は、ロボットセリフコマンドとその記号の対応表である。この例のように、ロボットに「どっち」という言葉を発声させ、両手を振る動作を行わせるには、情報２を「Ａ」「０」とすれば良い。これらの対応表は実際にはロボット内にテーブルとして記憶されていることは先に述べたとおりである。
【００８０】
【表３】
【００８１】
【表４】
【００８２】
別の例として、ロボットに「こんにちは」と発声させると共に挨拶をさせたい場合には、情報２を「Ｂ」「１」とすれば良い。上の例では、表４が予めロボットに登録されている場合であるが、これとは別に、このような表を用いずに、セリフテキストを直接情報２として埋め込む方法も有り得る。、上の例では、情報２として「Ａ」『ＤＯＣＣＨＩ］とすれば良い。
【００８３】
この場合、ロボットは［ＤＯＣＣＨＩ」を抽出した後、音声合成により「どっち」と発音させるようにすれば良い。その後、ロボットは、両手に設けられたタッチセンサ３９ａ，３９ｂ（機能ブロック図では入力装置４９）の入力を受け付けるようになる。視聴者は、番組の内容に併せて、ロボットの右手、もしくは左手のタッチセンサ３９ａあるいは３９ｂを押す。
【００８４】
その入力は、制御装置５０によって、情報抽出装置４２の出力の一部の情報と対応付けが成されて通信制御装置５１を経て、ネットワーク５３に送出される。前記情報抽出装置４２の出力の一部の情報とは、ネットワークのアドレス（電話番号など）および放送局や、番組あるいは、該当する出演者の言葉などを識別することのできる情報である。すなわち、視聴者の入力が放送のどの部分に対して行われたかを判断するための情報である。
【００８５】
このようにして、多くの視聴者から入力されてネットワーク５３に送出された情報は、集計装置５５にて集計され、表示装置５６にその結果が表示される。テレビ番組の出演者５７や、テレビ番組の担当者などは、表示装置５６に提示された数値を見て、視聴者とのコミュニケーションを図ることができる。
【００８６】
【発明の効果】
以上説明したように、本発明によれば、信号を伝送する手段として可聴音信号を用いるので発信手段はスピーカーを用いれば良く、また、受信側はマイクでこれを受信すれば良いので、無線装置あるいは、赤外線送受信装置等の音以外のメディアによる通信手段は不必要であり、装置を簡潔なものとすることができる。
【００８７】
従って、特別な発信装置が無くてもスピーカーで音を出すだけで、予めプログラムされた木目細かい舞踊を行う舞踊ロボットが実現することができる。また、一度複合音を合成し録音すれば、ラジオ、テレビ、テープレコーダ、ＣＤプレイヤーなど様々な音楽再生装置が、そのまま送信装置として利用可能である。
【００８８】
そしてそれらのコンテンツは、放送、インターネット等の公衆網を使って配信が可能であるし、その際、合成音電気信号にＭＰ３等の圧縮技術を適用することもできる。ＣＤやＭＤ等のメディアを使って物理的な流通も容易である。
【図面の簡単な説明】
【図１】本発明の実施の形態の第１の例を示す図である。
【図２】楽音信号と舞踊動作コードと楽譜の時系列的な関係の例を示す図である。
【図３】ロボットの舞踊動作の姿勢とそれに対応する舞踊動作コードを示す図である。
【図４】本発明の合成装置の構成の例を示す図である。
【図５】本発明の合成装置の処理の例を示す流れ図である。
【図６】本発明の受信側の構成の例を示す図である。
【図７】本発明の実施の形態の第２の例を説明する図である。
【図８】ロボットの機能ブロック図である。
【図９】本発明の実施の形態の第３の例を説明する図である。
【図１０】ロボットの機能ブロック図である。
【図１１】通信・放送融合システムを実現するための、放送とネットワークの関係を示すブロック図である。
【符号の説明】
１ 楽音信号
２ 舞踊動作信号
３ 合成音電気信号
４ 合成装置
５ 増幅器
６ スピーカー
７ 合成音
８ 人間
９ マイクロホン
１０ 抽出装置
１１ ロボット制御部
１２ アクチュエータ指令信号
１３ 人型ロボット
１４ ロボット動作機構部
１５ 音楽動作編集部
１６ コード埋め込み処理部
１９ 舞踊動作コード／関節角度変換部
２０ 音楽テンポ取得部
２１ 音楽テンポ信号
２２−１ θ１ 目標値信号
２２−２ θ２ 目標値信号
２３−１ モータ１の回転角サーボ機構
２３−２ モータ２の回転角サーボ機構
２４−１ モータ１
２４−２ モータ２
２５−１ モータ１駆動電流
２５−２ モータ２駆動電流
２６−１ 人型ロボット１３の右腕角度（θ１ ）
２６−２ 人型ロボット１３の左腕角度（θ２ ）
３０ テレビ受像機
３１ テレビの画面
３２ テレビの画面上のタレントの顔
３３，３４ テレビ受像機から出力される音声
３５ ロボット
３６，３８ ロボットから出力される音声
３７ ロボットの動作
３９ａ，３９ｂ タッチセンサー
４１ マイクロホン
４２ 情報抽出装置
４３ 運動制御装置
４４ ロボット動作コマンド対応表
４５ 駆動機構
４６ 音声制御装置
４７ ロボットセリフコマンド対応表
４８ スピーカー
４９ 入力装置
５０ 制御装置
５１ 通信制御装置
５２ ロボット
５３ ネットワーク
５４ 通信制御装置
５５ 集計装置
５６ 表示装置
５７ 出演者
５８ 放送設備
５９ テレビ受像機
【発明の属する技術】
本発明は、発信側において、音楽や音声を音響信号として空間に送出し、受信側において、該音響信号に埋め込まれているロボット動作信号を抽出し、これによってロボットの動作を制御する技術およびその応用に関するものである。
【０００２】
【従来の技術】
音楽に合わせて踊るロボット玩具は、従来から存在する。例えば、通常ダンシングフラワーと呼ばれる玩具は、見かけ上音楽に合わせて踊っているかのごとく見える。すなわち、音楽に対応して造花や人形が体を揺り動かす。
【０００３】
これは、音楽などを、造花や人形に内蔵されたマイクロフォンで受けて電気信号に変換し、その振幅に対応してダンシングフラワー内のアクチュエータを駆動することにより造花や人形を運動させる構造に依っている。そのため、このようなものは、音楽のメロディーやリズムなどには関係なく、体を揺り動かすだけであり、ワンパターンの動作を単調に繰り返すだけであった。
【０００４】
【発明が解決しようとする課題】
ロボットの踊りというパフォーマンスを芸術的な領域まで高めるには、音楽のメロディーとリズムに代表される曲調に合わせ、きめ細かい体の動作、すなわち振りを指定する必要がある。
【０００５】
従来このような要求に対しては、舞踊音楽とは別に、振りの情報を電波や有線等を用いてロボットに伝達する必要があった。従って、情報のチャンネルが２つ必要になり、その分だけ装置全体の構成が複雑化するという課題があった。このことは、音楽だけでは無く、人の言葉の意味に応じて、動作したり、音声を発するようなロボットを実現する場合にも同様であった。
【０００６】
本発明は、このような従来の課題に鑑み、簡潔な構成の伝達手段によって、舞踊音楽や音声と同時にロボットを制御する情報を送信することが可能で、そのため、経済的に実現することが可能な音楽反応型ロボットあるいは音声反応型ロボットを実現することを目的としている。
【０００７】
また、音声をロボットに直接伝えるのではなく、テレビ放送などを通じて、テレビ受像機からの音声出力によって伝えることにより、ロボットを動作させたり、音声を発声させたりすることの可能なロボットを実現することを目的とする。そして、このようなロボットにおいて、更に、テレビ放送などの視聴者がロボットを通じて自己の意思を放送局側にフィードバックすることのできるシステムの実現を目的とする。
【０００８】
【課題を解決するための手段】
本発明によれば、上述の課題は前記特許請求の範囲に記載した手段によって実現される。すなわち、請求項１の発明は、楽音信号（１）と該楽音信号（１）のリズムの各拍に対応する予め定められた舞踊動作パターンを表現する舞踊動作信号であるロボット動作信号（２）とをロボット動作信号（２）が楽音信号（１）より先行して送出されるように電気的に合成する信号合成手段と、該信号合成手段により生成された合成電気信号を外界に音響信号として出力する発信装置から出力された音響信号を受信して合成電気信号に変換する変換手段と、
【０００９】
該変換手段により得られた合成電気信号からロボット動作信号（２）を抽出する信号抽出手段とを備えた受信装置と、該受信装置の信号抽出手段で抽出されたロボット動作信号（２）を解読して機械動作信号に変換する制御装置とを有し、該機械動作信号に従って動作する音楽反応型ロボットである。
なお、ロボット動作信号（２）は楽音信号（１）のテンポに同期した舞踊動作信号であり、発信側において、ロボット動作信号（２）を楽音信号（１）より先行させて送出するように構成したものである。舞踊動作信号は舞踊動作パターンを表現するように構成したものである。
【００１０】
請求項２の発明は、前記請求項１記載の音楽反応型ロボットにおいて、受信装置の音響信号を電気信号に変換する手段はマイクロフォンであるように構成したものである。
【００１１】
請求項３の発明は、前記請求項１又は請求項２に記載の音楽反応型ロボットにおいて、楽音信号（１）と、ロボット動作信号（２）とを、電気的に合成する手段として、データ・ハイディング技術を用いるように構成したものである。
【００１２】
請求項４の発明は、前記請求項１〜請求項３のいずれか１項に記載の音楽反応型ロボットにおいて、ロボット動作信号（２）は楽音信号（１）のテンポに同期した舞踊動作信号であるように構成したものである。
【００１３】
請求項５の発明は、前記請求項４記載の音楽反応型ロボットにおいて、舞踊動作信号は舞踊動作パターンを表現するコード信号であるように構成したものである。
【００１４】
請求項６の発明は、前記請求項４又は請求項５に記載の音楽反応型ロボットにおいて、ロボット動作信号（２）は楽音信号（１）のテンポに同期した舞踊動作信号であり、発信側において、ロボット動作信号（２）を楽音信号（１）より先行させて送出するように構成したものである。
【００１５】
請求項４の発明は、前記請求項１〜請求項３のいずれか１項に記載の音楽反応型ロボットにおいて、楽音信号（１）は、ＭＩＤＩ信号であり、ロボット動作信号（２）は該楽音信号（１）に付随するＭＩＤＩイベント信号であるように構成したものである。
【００１６】
請求項５の発明は、音響信号を受信して合成電気信号に変換し、該合成電気信号からロボット動作信号（２）を抽出し、該ロボット動作信号（２）から変換された該機械動作信号に従って動作する音楽反応型ロボットに対し、前記音響信号を発信する発信装置であって、楽音信号（１）と該楽音信号（１）のリズムの各拍に対応する予め定められた舞踊動作パターンを表現する舞踊動作信号であるロボット動作信号（２）とをロボット動作信号（２）が楽音信号（１）より先行して送出されるように電気的に合成する信号合成手段と、該信号合成手段により生成された合成電気信号を外界に音響信号として出力する手段とを備えた発信装置である。
【００１７】
請求項６の発明は、前記請求項５記載の発信装置において、合成電気信号を外界に音響信号として出力する手段はスピーカーであるように構成したものである。
【００１８】
請求項７の発明は、前記請求項５又は請求項６に記載の発信装置において、楽音信号（１）と、ロボット動作信号（２）とを、電気的に合成する手段として、データ・ハイディング技術を用いるように構成したものである。
【００１９】
請求項８の発明は、前記請求項５〜請求項７のいずれか１項に記載の発信装置において、楽音信号（１）は、ＭＩＤＩ信号であり、ロボット動作信号（２）は該楽音信号（１）に付随するＭＩＤＩイベント信号であるように構成したものである。
【００２３】
上述のように、本発明においては、踊り用の楽音とその振りの情報を例えば、データハイディング技術（日経エレクトロニクス，Ｎｏ．６８３（１９９７），ｐｐ．９９−１６２参照）を用いて一元化し、合成音として、これをスピーカーから流して、受信側ではマイクでその音を受け取り、振りの情報を抽出して、ロボット動作を制御させるものである。
【００２４】
本発明は、また、楽音だけでは無くその他の音声、例えば人の声に２値信号を合成して合成電気信号を生成し、これをスピーカーから流して、受信側ではマイクでその音を受け取り、振りの情報を抽出して、ロボット動作を制御することもできる。
【００２５】
そして、上記合成電気信号で、無線周波数の搬送波を変調してこれをアンテナから例えばテレビ電波として送出し、受信側では、これをテレビ受像機で、受信し、検波して合成電気信号を再生してスピーカーから流し、マイクでその音を受け取り、２値信号を抽出して解読し、その内容に応じてロボット動作を制御することもできる。
【００２６】
更に、ロボットに、例えばタッチセンサやマイクロスイッチなどの簡単な入力手段を備え、テレビ受像機から放送される音声に応じて、視聴者がこの入力手段を用いて意思表示を行い、これが、放送局側で埋め込んだ２値信号と対応付けられて放送局側にフィードバックされ、放送局側でこれを集計して表示するようにしている。
【００２７】
この系によれば、放送内容に対する視聴者の反応をリアルタイムで知ることができる。前記放送局側で埋め込む２値信号としては、放送局や番組の識別のためのＩＤ、視聴者の入力が放送内容のどの部分に対応するものであるかを識別するための情報などがある。
【００２８】
【発明の実施の形態】
図１は本発明の実施の形態の第１の例を示す図であって、（ａ）は送信側、（ｂ）は受信側を示している。この実施の形態の例は請求項１の発明に対応している。同図（ａ）において、数字符号１は楽音信号、２は舞踊動作信号、３は合成音電気信号を表している。
【００２９】
また、４は合成装置、５は増幅器（図ではＡＭＰと記載している）、６はスピーカー、７は合成音、８は人間を表している。同図（ｂ）において、数字符号９はマイクロホン、１０は抽出装置、１１はロボット制御部、１２はアクチュエータ指令信号、１３は人型ロボット、１４はロボットの動作機構部を表しており、その他の数字符号は（ａ）の場合と同様である。
【００３０】
図１（ｂ）に示す受信側の構成図では、各部を人型ロボット１３と分離して描いているが、これら受信側の各構成部は人型ロボット１３の体内に内蔵させたり、又は、人型ロボット１３が乗る台（図示せず）の中に収容したりすることができることは言うまでもない。
【００３１】
次に図１における信号の大まかな流れを説明する。まず、送信側では、楽音信号１と、伝達すべき該楽音信号１とは別の舞踊動作信号２とを、例えばデータハイディング技術を用いることにより、舞踊動作信号２の聴覚的存在を人間には知覚し得ない状態で電気的に合成し、増幅器５を通してスピーカー６から合成音として空中に放射する。
【００３２】
この合成音を近傍の人間８は自分の耳で聴く。一方受信側では、放射された音をマイクロホン９で収音し、増幅器５を通して合成音電気信号３に変換する。この合成音電気信号３から舞踊動作信号２が抽出される。
【００３３】
次にその舞踊動作信号２は、ロボット制御部に入力されてロボット内各アクチュエータ指令信号（または指令値）が生成され、その指令値に従って人型ロボットは動作を行う。その様子を周りの人間が目で見て、耳で舞踊音楽を聞くことにより、ロボットの舞踊パフォーマンスを楽しむことができるのである。
【００３４】
次に、楽音（音楽）と振りを対応させる方法について説明する。すなわち、これは、楽音１と舞踊動作信号２の時系列的な対応関係を定義することである。ここでは一例として、図２における楽譜で表現される楽音を用いて、図１の人型ロボットを、図３の４つの舞踊動作パターンの組み合わせで舞踊させる場合について説明する。
【００３５】
この曲のリズムは４ビートであるので、１小節当たり４つの舞踊動作を定義する場合を考えるものとする。第ｉ小節の第ｊ拍に対応する舞踊動作コードをＣｉｊと表現すれば、この曲の舞踊動作コードの流れ、すなわちコードシーケンスは第１小節より順に、Ｃ１１Ｃ１２Ｃ１３Ｃ１４Ｃ２１Ｃ２２Ｃ２３Ｃ２４……のように表現される。
【００３６】
次にロボットの舞踊動作の姿勢、すなわち舞踊動作パターンの例として、図３のような４つの姿勢Ａ，Ｂ，Ｃ，Ｄを考える。すなわち、Ａは両腕を上げた姿勢、Ｂは両腕を下げた姿勢、Ｃは右手をあげて左手を下げた姿勢、Ｄは左手をあげて右手を下げた姿勢である。
【００３７】
以下では説明の簡略化のため、一例として、第２小節での動作について説明する。例えば、Ｄ，Ｃ，Ｂ，Ａの順に踊らせたい場合には、“数１”のように設定すれば良い。
【００３８】
【数１】
楽音１とこれらの舞踊動作コードは、合成装置で合成されるが、このとき、先に、本願発明者によって提案され、本願出願人によって出願された特願平１１−３２９９１４号の技術を用いれば、容易に合成音電気信号を生成することができる。
【００４０】
受信側では、上記“数１”と同一の舞踊動作コードが抽出され、ロボットコントローラはこのコードを順に受け取り、人型ロボットにこのコードに対応したアクチュエータ指令値を送る。なお、曲のテンポが相対的に速い場合、ロボット制御動作の遅れや伝送時間の遅れにより、振りが音楽に遅れて見えてしまう場合も考えられる。
【００４１】
このような場合は、舞踊動作コードシーケンス全体を、音楽のテンポよりも早めに対応させた複合音を合成すれば良い。こうすることにより受信側では、音楽が流れているある時刻において、その時刻に対応すベき本来の動作パターンコードが、既にロボット制御部に伝達されているので、時間遅れの問題を生ずることなく、音楽に完全に同期したロボット舞踊動作が実現される。
【００４２】
図４は本発明の実施の形態の合成装置の構成の例を示す図であって、数字符号１は楽音信号（この場合は音楽）、２は舞踊動作信号（ここでは舞踊動作コード）、３は合成音、１５は音楽動作編集部、１６はコード埋め込み処理部を表している。
【００４３】
同図において、音楽１と舞踊動作コード２は、音楽動作編集部１５において編集され、コード埋め込み処理部１６で合成されて合成音電気信号３として出力される。以下、この合成装置の動作について４／４拍子の場合を例にとって説明する。
【００４４】
Ｎを総小節数、また記号「；」、「｛ ｝」は時系列を表すものとすると、楽音信号波形は“数２”のように表せる。
【００４５】
【数２】
また、舞踊動作信号のベクトルは“数３”のように表せる。
【００４７】
【数３】
更に、合成された楽音信号波形は“数４”のように表せる。
【００４９】
【数４】
ＰｉｊへのＣｉｊの合成信号波形を“数５”のように表記すると、
【００５１】
【数５】
前記“数４”中の「ｍｈｙｐｅｒ（ｉ）（ｔ）」は“数６”のように表せる。
【００５３】
【数６】
上記“数５”の生成方法は、図４のコード埋め込み処理部１６によって実現される。そしてこの生成方法は、先にも述べた特願平１１−３２９９１４号にも詳細に述べられている。
【００５５】
“数２”で示した楽音信号波形Ｍｏｒｇ （ｔ）と“数３”で示した舞踊動作信号ベクトルとから“数４”で示した合成された楽音信号波形Ｍｈｙｐｅｒ （ｔ）を求める処理を「処理１」とすると、その論理は図５に示す流れ図のようになる。同図中の（Ｓ−１）〜（Ｓ−９）の表示は、処理のステップを表すもので、下記説明中の同じ表示と対応している。
【００５６】
同図において、先ず、ｉを初期値１に設定する（Ｓ−１）。次にｊを初期値１に設定する（Ｓ−２）。Ｐｉｊ（ｔ）へのＣｉｊの合成信号波形を生成する（Ｓ−３）。ｊが４を越えたか否かを調べる（Ｓ−４）。若しｊが４より小さければｊに“１”を加算して（Ｓ−３）の処理に戻る（Ｓ−５）。
【００５７】
次に、ｉがＮを越えたか否かを調べる（Ｓ−６）。若しｉがＮより小さければｉに“１”を加算して（Ｓ−２）の処理に戻る（Ｓ−７）。そしてＭｈｙｐｅｒ （ｔ）を出力して（Ｓ−８）処理を終了する。または、（Ｓ−９）に示すように、１小節ごとにｍｈｙｐｅｒ（ｉ）（ｔ） を出力することも可能であり、そうすることにより、埋め込みと送出を実時間で行える。
【００５８】
図６は本発明の受信側の構成の例を示す図であって、抽出装置、ロボット制御部、ロボットの機械動作部の一部を含む構成を示している。同図において、数字符号２は舞踊動作信号（この場合は舞踊動作コード）、３は合成音電気信号、５は増幅器（図では略号にてＡＭＰと表示）、７は合成音、９はマイクロホン、１０は抽出装置、１９は舞踊動作コード／関節角度変換部を表している。
【００５９】
また、２０は音楽テンポ取得部、２１は音楽テンポ信号、２２−１はθ１ 目標値信号、２２−２はθ２ 目標値信号、２３−１はモータ１の回転角サーボ機構、２３−２はモータ２の回転角サーボ機構、２４−１はモータ１、２４−２はモータ２、２５−１、２５−２はモータ駆動電流、１３は人型ロボット、１４はロボット動作機構部、２６−１は人型ロボット１３の右腕角度（θ１ ）、２６−２は人型ロボット１３の左腕角度（θ２ ）を表している。
【００６０】
同図において、送信側からの合成音７は、マイクロホン９で集音され、増幅器５で増幅されて、その出力である合成音電気信号３が抽出装置１０に入力される。また、該合成音電気信号３は音楽テンポ取得部２１にも入力される。抽出装置１０は、合成音電気信号３から舞踊動作コード２を抽出して出力する。
【００６１】
音楽テンポ取得部２０は合成音電気信号３から音楽テンポ信号２１を生成して出力する。舞踊動作コード／関節角度変換部１９は、舞踊動作コード２からθ１ 目標値信号２２−１、θ２ 目標値信号２２−２を生成して、音楽テンポ信号２１に同期して出力する。
【００６２】
上記θ１ は同図中に示した人型ロボット１３の右腕角度２６−１であり、θ２ は同図中に示した人型ロボット１３の左腕角度２６−２である。モータ１の回転角サーボ機構２３−１は、上記θ１ の目標値信号２２−１を受けてモータ１（２４−１）の回転角を制御する。モータ２の回転角サーボ機構２３−２は、上記θ２ の目標値信号２２−２を受けてモータ２（２４−２）の回転角を制御する。
【００６３】
前記ロボット動作機構部１４は、主として上述のモータ１の回転角サーボ機構２３−１、モータ２の回転角サーボ機構２３−２、モータ１（２４−１）、モータ２（２４−２）によって構成される機械的動作部である。
【００６４】
以上説明した実施の形態の例では、送信側でスピーカーにより送出した合成音を受信側でマイクロホンで受けて、その合成音電気信号から人型ロボットの動作信号を抽出する例について述べているが、送信側から有線伝送路を用いて受信側に合成音電気信号を転送し、受信側で該合成音電気信号から人型ロボットの動作信号を抽出するするようにしても目的を達成できるものであることは言うまでもない。
【００６５】
図７は本発明の実施の形態の第２の例を説明する図である。この例は合成音をテレビ放送を通じて伝送する例である。同図において、数字符号３０はテレビ受像機、３１はテレビの画面、３２はテレビの画面上のタレントの顔、３３はテレビ受像機から出力される音声、３５はロボット、３６はロボットから出力される音声、３７はロボットの動作を表している。
【００６６】
図８は、図７に示したロボットの機能ブロック図であって、数字符号４１はマイクロホン、４２は情報抽出装置、４３は運動制御装置、４４はロボット動作コマンド対応表、４５は駆動機構、４６は音声制御装置、４７はロボットセリフコマンド対応表、４８はスピーカーを表している。図７、図８は請求項９の発明に対応する。
【００６７】
以下、これらの図に基づいて、本発明の実施の形態の第２の例について説明する。この場合のテレビ受像機から出力される音声３３は、テレビに登場するタレントの声であり、「元気ですか」という自然言語である。このテレビ受像機から出力される音声３３は、実は合成音電気信号であり、この「元気ですか」という自然言語には、元々のタレントの声（情報１）にロボットの制御信号（情報２）が埋め込まれている。
【００６８】
そして、テレビ受像機から出力される音声３３のタレントの言葉にあたかも応えるような言葉と動作の情報を情報２として、情報１に埋め込み、ロボットに伝えるのである。この例では、情報２は「元気だよ」という言葉情報と「右手を振る」という動作情報とする。
【００６９】
ロボットには、予め表１に示すような「コマンドと動作の対応表」と、表２に示すような「コマンドとセリフの対応表」、が準備されている。すなわち、表１は、コマンドを示す記号“Ａ”または“Ｂ”によってロボットがどのような動作をするかを示す対応表である。表２は、コマンドを示す記号“０”または“１”によってロボットがどのような発声をするかを示す対応表である。これらの対応表は実際にはロボット内にテーブルとして記憶されている。
【００７０】
【表１】
【表２】
上の例の場合のようにロボットに「元気だよ」という発声と「右手を振る」という動作を行わせる場合には、放送局側で、タレントの「元気ですか」という声の中に、情報２を“Ａ”“０”として埋め込んで放送する。受信側では、テレビ受像機３０でこれを受信し、タレントの「元気ですか」という音声を出力する。
【００７３】
ロボット３５は、この音声出力をマイクロフォン４１で受けてこれを合成音電気信号として出力する。情報抽出装置４２では、この合成音電気信号に埋め込まれている２値信号を抽出し、運動制御装置４３と音声制御装置４６に渡す。運動制御装置４３では該２値信号から“Ａ”または“Ｂ”が検出されたら、これに基づいてロボット動作コマンド対応表４４をサーチして動作の内容（この場合の動作は「右手を振る」）を知り、当該動作に対応する信号を駆動機構４５に渡す。駆動機構４５はこれに基づいてロボットの「右手を振る」動作を行う。
【００７４】
音声制御装置４６では該２値信号から“０”または“１”が検出されたら、これに基づいてロボットセリフコマンド対応表４７をサーチして発声する音声の内容を知り、該当する音声を合成してスピーカーから音声信号として出力する。別の例として、ロボットに「元気だよ」と共に左手を振らせたい場合には、情報２を“Ｂ”“０”とすれば良い。
【００７５】
上記記述では、表２が予めロボットに登録されていることとして説明しているが、これとは別に、このような表を用いずに、セリフテキストを直接情報２として埋め込む方法も有り得る。上の例では、情報２として“Ａ”“ＧＥＮＫＩＤＡＹＯ”とすれば良い。この場合、ロボットは“ＧＥＮＫＩＤＡＹＯ”を抽出した後、音声合成により「元気だよ」と発音させる。
【００７６】
図９は本発明の実施の形態の第３の例を説明する図である。同図において、数字符号３０〜３２，３５，３７は図７と同様であり、３４はテレビ受像機から出力される音声、３８はロボットから出力される音声３９ａ，３９ｂはタッチセンサを表している。図１０は、図９に示したロボットの機能ブロック図であって、数字符号４１〜４８は図８と同様であり、４９は入力装置、５０は制御装置、５１は通信制御装置を表している。
【００７７】
図１１は通信・放送融合システムを実現するための、放送とネットワークの関係を示すブロック図であって、数字符号５２はロボット、５３はネットワーク、５４は通信制御装置、５５は集計装置、５６は表示装置、５７は出演者、５８は放送設備、５９はテレビ受像機を表している。
【００７８】
以下これらの図を参照して本発明の実施の形態の第３の例について説明する。この例において、情報１は、ＴＶに登場するタレントの声であり、「この意見に賛成の人、右手を押して、反対の人、左手を押して」という自然言語である。このタレントの言葉にあたかも応えるような言葉と動作の情報を情報２として、情報１に埋め込んで、ロボットに伝えるのである。この例では、情報２は「どっち」という言葉情報と両手を振る動作情報とする。
【００７９】
ロボットには、予め表３、表４のデータが準備されている。表３は、ロボット動作コマンドとその記号の対応表である。表４は、ロボットセリフコマンドとその記号の対応表である。この例のように、ロボットに「どっち」という言葉を発声させ、両手を振る動作を行わせるには、情報２を「Ａ」「０」とすれば良い。これらの対応表は実際にはロボット内にテーブルとして記憶されていることは先に述べたとおりである。
【００８０】
【表３】
【表４】
別の例として、ロボットに「こんにちは」と発声させると共に挨拶をさせたい場合には、情報２を「Ｂ」「１」とすれば良い。上の例では、表４が予めロボットに登録されている場合であるが、これとは別に、このような表を用いずに、セリフテキストを直接情報２として埋め込む方法も有り得る。、上の例では、情報２として「Ａ」『ＤＯＣＣＨＩ］とすれば良い。
【００８３】
この場合、ロボットは［ＤＯＣＣＨＩ」を抽出した後、音声合成により「どっち」と発音させるようにすれば良い。その後、ロボットは、両手に設けられたタッチセンサ３９ａ，３９ｂ（機能ブロック図では入力装置４９）の入力を受け付けるようになる。視聴者は、番組の内容に併せて、ロボットの右手、もしくは左手のタッチセンサ３９ａあるいは３９ｂを押す。
【００８４】
その入力は、制御装置５０によって、情報抽出装置４２の出力の一部の情報と対応付けが成されて通信制御装置５１を経て、ネットワーク５３に送出される。前記情報抽出装置４２の出力の一部の情報とは、ネットワークのアドレス（電話番号など）および放送局や、番組あるいは、該当する出演者の言葉などを識別することのできる情報である。すなわち、視聴者の入力が放送のどの部分に対して行われたかを判断するための情報である。
【００８５】
このようにして、多くの視聴者から入力されてネットワーク５３に送出された情報は、集計装置５５にて集計され、表示装置５６にその結果が表示される。テレビ番組の出演者５７や、テレビ番組の担当者などは、表示装置５６に提示された数値を見て、視聴者とのコミュニケーションを図ることができる。
【００８６】
【発明の効果】
以上説明したように、本発明によれば、信号を伝送する手段として可聴音信号を用いるので発信手段はスピーカーを用いれば良く、また、受信側はマイクでこれを受信すれば良いので、無線装置あるいは、赤外線送受信装置等の音以外のメディアによる通信手段は不必要であり、装置を簡潔なものとすることができる。
【００８７】
従って、特別な発信装置が無くてもスピーカーで音を出すだけで、予めプログラムされた木目細かい舞踊を行う舞踊ロボットが実現することができる。また、一度複合音を合成し録音すれば、ラジオ、テレビ、テープレコーダ、ＣＤプレイヤーなど様々な音楽再生装置が、そのまま送信装置として利用可能である。
【００８８】
そしてそれらのコンテンツは、放送、インターネット等の公衆網を使って配信が可能であるし、その際、合成音電気信号にＭＰ３等の圧縮技術を適用することもできる。ＣＤやＭＤ等のメディアを使って物理的な流通も容易である。
【図面の簡単な説明】
【図１】本発明の実施の形態の第１の例を示す図である。
【図２】楽音信号と舞踊動作コードと楽譜の時系列的な関係の例を示す図である。
【図３】ロボットの舞踊動作の姿勢とそれに対応する舞踊動作コードを示す図である。
【図４】本発明の合成装置の構成の例を示す図である。
【図５】本発明の合成装置の処理の例を示す流れ図である。
【図６】本発明の受信側の構成の例を示す図である。
【図７】本発明の実施の形態の第２の例を説明する図である。
【図８】ロボットの機能ブロック図である。
【図９】本発明の実施の形態の第３の例を説明する図である。
【図１０】ロボットの機能ブロック図である。
【図１１】通信・放送融合システムを実現するための、放送とネットワークの関係を示すブロック図である。
【符号の説明】
１ 楽音信号
２ 舞踊動作信号
３ 合成音電気信号
４ 合成装置
５ 増幅器
６ スピーカー
７ 合成音
８ 人間
９ マイクロホン
１０ 抽出装置
１１ ロボット制御部
１２ アクチュエータ指令信号
１３ 人型ロボット
１４ ロボット動作機構部
１５ 音楽動作編集部
１６ コード埋め込み処理部
１９ 舞踊動作コード／関節角度変換部
２０ 音楽テンポ取得部
２１ 音楽テンポ信号
２２−１ θ１ 目標値信号
２２−２ θ２ 目標値信号
２３−１ モータ１の回転角サーボ機構
２３−２ モータ２の回転角サーボ機構
２４−１ モータ１
２４−２ モータ２
２５−１ モータ１駆動電流
２５−２ モータ２駆動電流
２６−１ 人型ロボット１３の右腕角度（θ１ ）
２６−２ 人型ロボット１３の左腕角度（θ２ ）
３０ テレビ受像機
３１ テレビの画面
３２ テレビの画面上のタレントの顔
３３，３４ テレビ受像機から出力される音声
３５ ロボット
３６，３８ ロボットから出力される音声
３７ ロボットの動作
３９ａ，３９ｂ タッチセンサー
４１ マイクロホン
４２ 情報抽出装置
４３ 運動制御装置
４４ ロボット動作コマンド対応表
４５ 駆動機構
４６ 音声制御装置
４７ ロボットセリフコマンド対応表
４８ スピーカー
４９ 入力装置
５０ 制御装置
５１ 通信制御装置
５２ ロボット
５３ ネットワーク
５４ 通信制御装置
５５ 集計装置
５６ 表示装置
５７ 出演者
５８ 放送設備
５９ テレビ受像機
Claims (8)
- 楽音信号（１）と該楽音信号（１）のリズムの各拍に対応する予め定められた舞踊動作パターンを表現する舞踊動作信号であるロボット動作信号（２）とをロボット動作信号（２）が楽音信号（１）より先行して送出されるように電気的に合成する信号合成手段により生成された合成電気信号を外界に音響信号として出力する発信装置から出力された音響信号を受信して合成電気信号に変換する変換手段と、
該変換手段により得られた合成電気信号からロボット動作信号（２）を抽出する信号抽出手段とを備えた受信装置と、
該受信装置の信号抽出手段で抽出されたロボット動作信号（２）を機械動作信号に変換する制御装置とを有し、
該機械動作信号に従って動作することを特徴とする音楽反応型ロボット。 - 受信装置の音響信号を電気信号に変換する手段はマイクロフォンである請求項１記載の音楽反応型ロボット。
- 楽音信号（１）とロボット動作信号（２）とを電気的に合成する手段として、データ・ハイディング技術を用いる請求項１又は請求項２に記載の音楽反応型ロボット。
- 楽音信号（１）はＭＩＤＩ信号であり、ロボット動作信号（２）は該楽音信号（１）に付随するＭＩＤＩイベント信号である請求項１〜請求項３のいずれか１項に記載の音楽反応型ロボット。
- 音響信号を受信して合成電気信号に変換し、該合成電気信号からロボット動作信号（２）を抽出し、該ロボット動作信号（２）から変換された該機械動作信号に従って動作する音楽反応型ロボットに対し、前記音響信号を発信する発信装置であって、
楽音信号（１）と該楽音信号（１）のリズムの各拍に対応する予め定められた舞踊動作パターンを表現する舞踊動作信号であるロボット動作信号（２）とをロボット動作信号（２）が楽音信号（１）より先行して送出されるように電気的に合成する信号合成手段と、
該信号合成手段により生成された合成電気信号を外界に音響信号として出力する手段とを備えた発信装置。 - 合成電気信号を外界に音響信号として出力する手段はスピーカーである請求項５に記載の発信装置。
- 楽音信号（１）とロボット動作信号（２）とを電気的に合成する手段として、データ・ハイディング技術を用いる請求項５又は請求項６に記載の発信装置。
- 楽音信号（１）はＭＩＤＩ信号であり、ロボット動作信号（２）は該楽音信号（１）に付随するＭＩＤＩイベント信号である請求項５〜請求項７のいずれか１項に記載の発信装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000136717A JP3621020B2 (ja) | 1999-12-24 | 2000-05-10 | 音楽反応型ロボットおよび発信装置 |
| US09/712,945 US6947893B1 (en) | 1999-11-19 | 2000-11-16 | Acoustic signal transmission with insertion signal for machine control |
| US11/200,225 US20060020467A1 (en) | 1999-11-19 | 2005-08-08 | Acoustic signal transmission method and acoustic signal transmission apparatus |
| US11/200,288 US7657435B2 (en) | 1999-11-19 | 2005-08-08 | Acoustic signal transmission method and apparatus with insertion signal |
| US12/372,735 US7949519B2 (en) | 1999-11-19 | 2009-02-17 | Information communication apparatus, transmission apparatus and receiving apparatus |
| US13/071,401 US8635072B2 (en) | 1999-11-19 | 2011-03-24 | Information communication using majority logic for machine control signals extracted from audible sound signals |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-366345 | 1999-12-24 | ||
| JP36634599 | 1999-12-24 | ||
| JP2000136717A JP3621020B2 (ja) | 1999-12-24 | 2000-05-10 | 音楽反応型ロボットおよび発信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001239485A JP2001239485A (ja) | 2001-09-04 |
| JP3621020B2 true JP3621020B2 (ja) | 2005-02-16 |
Family
ID=26581779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000136717A Expired - Fee Related JP3621020B2 (ja) | 1999-11-19 | 2000-05-10 | 音楽反応型ロボットおよび発信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3621020B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3632644B2 (ja) | 2001-10-04 | 2005-03-23 | ヤマハ株式会社 | ロボット、および、ロボットの動作パターン制御プログラム |
| FR2839176A1 (fr) * | 2002-04-30 | 2003-10-31 | Koninkl Philips Electronics Nv | Systeme d'animation pour robot comprenant un ensemble de pieces mobiles |
| JP4537982B2 (ja) * | 2006-08-10 | 2010-09-08 | 株式会社バンダイ | 運動体制御システム、運動体及びそのプログラム |
| JP5494314B2 (ja) * | 2010-07-16 | 2014-05-14 | 日産自動車株式会社 | 生産設備制御システムおよび生産設備制御方法 |
| JP5561263B2 (ja) * | 2011-09-26 | 2014-07-30 | ヤマハ株式会社 | 楽音再生装置及びプログラム |
| JP5747974B2 (ja) * | 2013-11-08 | 2015-07-15 | ヤマハ株式会社 | 情報処理装置及びプログラム |
| JP6616231B2 (ja) * | 2016-04-25 | 2019-12-04 | 株式会社Ｓｏｋｅｎ | 動作制御装置 |
| JP6457478B2 (ja) | 2016-12-27 | 2019-01-23 | ファナック株式会社 | 産業用ロボット制御装置 |
| JP7343268B2 (ja) * | 2018-04-24 | 2023-09-12 | 培雄 唐沢 | 任意信号挿入方法及び任意信号挿入システム |
-
2000
- 2000-05-10 JP JP2000136717A patent/JP3621020B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001239485A (ja) | 2001-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5270480A (en) | Toy acting in response to a MIDI signal | |
| JP4595555B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
| US5636994A (en) | Interactive computer controlled doll | |
| JP4779264B2 (ja) | 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 | |
| US7949519B2 (en) | Information communication apparatus, transmission apparatus and receiving apparatus | |
| JP4247626B2 (ja) | 再生装置および再生方法 | |
| WO2014169700A1 (zh) | 一种电子乐器、音乐演奏方法 | |
| CN101983403A (zh) | 演奏相关信息输出装置、具有演奏相关信息输出装置的系统、以及电子乐器 | |
| CN101693371A (zh) | 跟踪音乐节拍跳舞的机器人 | |
| JP2006323161A (ja) | 音響信号への制御コード埋込装置、および音響信号を用いた時系列駆動装置の制御システム | |
| JP3621020B2 (ja) | 音楽反応型ロボットおよび発信装置 | |
| TW201434600A (zh) | 具有可因應不同聲音信號產生相對應肢體動作之機器人 | |
| CN102172433A (zh) | 通过超声波控制的电动玩具及其控制方法 | |
| CN106465008A (zh) | 终端混音系统和播放方法 | |
| CN104378695A (zh) | 卡拉ok互动节拍特效系统 | |
| JP7095767B2 (ja) | 信号処理装置、信号処理方法及びコンピュータプログラム | |
| KR20080075275A (ko) | 음악에 따라 춤을 추는 로봇 | |
| JP2006114174A (ja) | コンテンツ再生方法およびコンテンツ再生装置 | |
| TWI402784B (zh) | Music detection system based on motion detection, its control method, computer program products and computer readable recording media | |
| US20200164522A1 (en) | Mobile terminal and music play-back system comprising mobile terminal | |
| JP2003010558A (ja) | 音声出力玩具 | |
| JP5486941B2 (ja) | 聴衆に唱和をうながす気分を楽しむカラオケ装置 | |
| JP4531916B2 (ja) | 情報提供システム及び発声人形 | |
| JP4983012B2 (ja) | 楽曲再生において立体音響効果を付加する装置およびプログラム | |
| CN113450748A (zh) | 一种基于midi技术的电子口哨 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041116 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3621020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |