WO2017195390A1

WO2017195390A1 - 楽音・映像発生システム

Info

Publication number: WO2017195390A1
Application number: PCT/JP2016/080487
Authority: WO
Inventors: 小黒　正樹; 太吾楠; 正吾武田; 秀昭佐合
Original assignee: ＤｍｅｔＰｒｏｄｕｃｔｓ株式会社
Priority date: 2016-05-13
Filing date: 2016-10-14
Publication date: 2017-11-16
Also published as: TWI618048B; US20180286366A1; TW201740365A; WO2017195343A1

Abstract

動作検出装置を内蔵し、動作対象物に設置された移動通信端末と、該移動通信端末と無線で接続された通信装置を有する楽音・映像発生器からなる楽音・映像発生システムであって、前記移動通信端末は、前記動作検出装置が略直交する３軸の方向において検出した動きデータの大きさの絶対値を加算する演算部を有し、前記楽音・映像発生システムは、前記演算部による演算結果から所定量の動きが検出されたか否かを判断する判断部を有し、前記楽音・映像発生器は、前記判断部による判断結果に従って、楽音および映像の少なくとも一つを発生する楽音・映像発生部を有する。

Description

楽音・映像発生システム

　本発明は、動作検出装置を内蔵し、動作対象物に設置された移動通信端末と、該移動通信端末と無線で接続された通信装置を有する楽音・映像発生器からなり、動作対象物の運動を検出して予め設定された楽音および映像の少なくとも一方を再生する、またはランダムに再生する楽音・映像発生システムである。

　従来、ユーザーの体に取り付ける乃至は手持ちでも持ち運ぶ動作検出装置を内蔵した移動通信端末の例えば加速度のＸ方向、Ｙ方向、Ｚ方向への値のそれぞれの大小関係より、縦方向切り動作、横方向切り、動作斜め切り動作、回し動作などを解析し、それに基づきスラー、スタッカートなど演奏させる楽曲に音楽性を持たせることを主眼に、楽音を制御することができる演奏インターフェイスがある（特許文献１）。

　しかしながらこのような方式は、例えばダンサーの腕や足に動作検出装置を内蔵した移動通信端末を取り付けた場合、わずかばかりの意図しない動きでも音が鳴ってしまい、身動きが取れなくなってしまう。ストレスの塊でダンスに集中できない。

　また、主としておもちゃを想定した演奏インターフェイスの場合、どうしても不特定多数の子どもの平均値を"楽音を鳴らす、鳴らさない"の基準値として採用することになり、子どもの年齢差、体格差、筋力の有る無しを考慮していない。したがって、同じように動作させているのに、ある子どもは楽音が鳴るが、別の子どもは鳴らない。つまり、使う側に動作を習熟させる、もっと強く振るなどと覚えさせないと遊べないことになる（特許文献２）。

　また、Ｘ軸方向およびＺ軸方向の加速度値を加算してストローク値を算出し、ストローク値の変化が予め定められた複数の閾値と所定の関係になったことに応じて、弦の操作位置を推定し、音出力を制御する音出力制御装置がある（特許文献３）。また、演奏装置本体のＣＰＵが、第１の加速度センサ値のＸ軸、Ｙ軸、Ｚ軸の成分の値の二乗の総和の平方根で算出したセンサ合成値が（１＋ａ）Ｇに相当する値より大きいかを判断し、楽音を発生する演奏装置がある（特許文献４）。さらに、スティック部がモーションセンサ情報に基づいてショット検出処理とアクション検出処理を行う演奏装置がある（特許文献５）。

　さらに従来技術では、動作検出装置を内蔵した移動通信端末が、動作検出センサー（加速度、角速度、地磁気など）の情報をすべて、楽音発生器側に送り、該楽音発生器内の演算装置で判断させる方式をとる。この場合、単数または少ない数の複数であれば、処理上の問題は出ないが、たとえば大勢のダンサーが各自両腕両足に動作検出装置を内蔵した移動通信端末をつけて、一斉に動作検出センサー情報を送り出した場合、楽音発生器側の演算装置では処理しきれない。

特開２００１－１９５０５９号公報国際公開ＷＯ２０１５／１７７８３５号特開２００７－２９８５９８号公報特開２０１２－０１８３３４号公報特開２０１４－０６２９４９号公報

　前述したように、人は自分の３次元の位置（Ｘ，Ｙ，Ｚ）を感覚的に把握できない。それなのに、Ｘ方向、Ｙ方向、Ｚ方向を基準に構築したアルゴリズムを基本とした演奏インターフェイスでは、意図しないところで楽音が鳴ってしまう。人体またはそれを含む動作対象物は、それ独特の動きがあり、そこに取り付けられた動作検出装置を内蔵した移動通信端末は、個々に検出レベルを調整できなければならない。動作検出装置を内蔵した多くの移動通信端末が、同時に楽音発生要求を出した場合、高々１台の楽音発生器でその要求に答えなければならない。

　また、特許文献３に記載された音出力制御装置では、Ｘ軸方向およびＺ軸方向の２軸の加速度値を加算した値に基づいて音出力を制御するが、コントローラのストローク値によって表される、弦の操作位置を算出するものであって、動作検出装置の動きの程度を検出し楽音を発生することを目的としていない。

　また、特許文献４に記載された演奏装置本体は、加速度センサー値のＸ軸、Ｙ軸、Ｚ軸の各成分の値の二乗の総和の平方根を算出して得られるセンサー合成値に基づいて楽音を発生するが、前述した特許文献１と同様に、二乗和を用いるため、演算量が多く、意図しないところで楽音が鳴ってしまうことがある。

　また、特許文献５に記載された演奏装置は、モーションセンサ情報に基づいてショット検出処理とアクション検出処理を行うが、加速度センサの信号の処理方法は具体的に開示されていない。

　本発明は、上記の課題を解決することを目的としたものである。

　本発明の一実施形態では、動作検出装置を内蔵し、動作対象物に設置された移動通信端末と、該移動通信端末と無線で接続された通信装置を有する楽音・映像発生器からなる楽音・映像発生システムであって、前記移動通信端末は、前記動作検出装置が略直交する３軸の方向において検出した動きデータの大きさの絶対値を加算する演算部を有し、前記楽音・映像発生システムは、前記演算部による演算結果から所定量の動きが検出されたか否かを判断する判断部を有し、前記楽音・映像発生器は、前記判断部による判断結果に従って、楽音および映像の少なくとも一つを発生する楽音・映像発生部を有する。

　本発明の一実施形態によると、検出された動きに忠実に楽音および映像の少なくとも一つを発生できる。

本発明の一実施形態における楽音・映像発生システムと応用例を示す図。本発明の一実施例による楽音・映像発生システム全体の概略的な構成図。本発明の一実施例による移動通信端末の概略的な構成図。動作検出装置を内蔵した移動通信端末の外観の一例の図。楽音・映像発生器構成要素、ドングルの概略的な構成図。ドングルの外観の一例の図。ダンサー２人が、両腕、両足にそれぞれ移動通信端末をつけた例を示す図。楽音・映像スイッチャーによる楽音群の切り替え例を示す図。楽音・映像スイッチャーによる楽音群及び映像群の切り替え例を示す図。３次元加速度センサーを腕に取り付け、１０回上下にヒットした場合のＸ、Ｙ、Ｚ方向の各値をプロットした図。３次元加速度センサーのＸ、Ｙ、Ｚ方向の各値を式（１）を用いて計算しプロットした図。３次元加速度センサーのＸ、Ｙ、Ｚ方向の各値を式（２）を用いて計算しプロットした図。３次元ジャイロセンサーを腕に取り付け、腕を上下に上げ下ろしした場合のＸ、Ｙ、Ｚ方向の各値をプロットした図。３次元ジャイロセンサーのＸ、Ｙ、Ｚ方向の各値を式（１）を用いて計算しプロットした図。３次元ジャイロセンサーのＸ、Ｙ、Ｚ方向の各値を式（２）を用いて計算しプロットした図。動作検出装置を内蔵した移動通信端末内のＣＰＵの基本処理の図。３次元加速度センサーによる別の検出例を示す図。

　上述した課題を解決し目的を達成するための手段を以下に述べる。
まず説明のために、３次元の加速度センサーを例とする。３次元センサーの直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）の加速度を、ａｘ、ａｙ、ａｚとすると、
ａｘ＜ａｚ　かつａｙ＜ａｚ　の場合、突き動作
ａｚ＜ａｘ　かつａｚ＜ａｙ　の場合、切り動作
ａｚ＜ａｘ　かつａｚ＜ａｙでさらにａｘ＜ａｙ　なら、横切り動作
ａｚ＜ａｘ　かつａｚ＜ａｙでさらにａｙ＜ａｘ　なら、縦切り動作
等々
のように、従来からある判断方式を止め、もっと単純な方法で動きの有無を計算させる。なお、３軸は直交していることが望ましいが、異なる方向の動きを検出できる方向であればよく、すなわち、ダンサーのどのような動きでもいずれかの軸で検出できる方向を組み合わせればよい。

　また別の課題を解決するため、動作対象物に装着された動作検出装置を内蔵した移動通信端末を、個別に動かして検出レベル閾値を確認し、その値を該移動通信端末内に記憶させる手段を用意する。

　従来技術では、動作検出装置を内蔵した移動通信端末が、動作検出センサー（加速度、角速度、地磁気など）の情報をすべて、楽音・映像発生器側に送り、そこの演算装置で判断させる方式をとるが、たとえば大勢のダンサーが各自両腕両足に動作検出装置を内蔵した移動通信端末をつけて、一斉に動作検出センサー情報を送り出した場合、楽音・映像発生器側の演算装置では処理しきれない。

　そこで本発明では、個々の動作検出装置を内蔵した移動通信端末内で検出レベル閾値を超えたかどうか判断させ、その判断結果を楽音・映像発生器に送り、楽音・映像発生器側では、指示に従いあらかじめ設定された（またはランダムな）楽音を発生させる。この実現のため、検出装置を内蔵した移動通信端末内で自立して検出レベル閾値超えを判断するためのハードウェア、ファームウェアを用意する。

　また、楽音・映像発生器内の演算処理の負担を下げるため、個々の該移動通信端末内で個別に演算処理を行い、その演算結果だけを楽音・映像発生器に送り、該楽音・映像発生器内の演算装置にて、各々の検出レベル閾値を超えたかどうか判断させる実施例でもよい。

　図１に、本発明の一実施形態における楽音・映像発生システムを示す。
楽音・映像発生システムは、動作検出装置を内蔵した移動通信端末１０と楽音・映像発生器４０で構成される。（ａ）～（ｈ）で示される応用例と、（ｉ）～（ｍ）で示される楽音・映像発生器とのさまざまな組み合わせで実現される。

　〔動作検出装置を内蔵した移動通信端末の装着例〕
　図１（ａ）は、ダンサーが装着した応用例を示す。両手首、両足首にそれぞれ装着している。腰など装着位置は特に指定しない。ダンスは、本来音楽に合わせて踊るものだが、本発明においては、音楽がなくとも、ダンサーが自らのパフォーマンスで音を奏でられる。音楽とダンサーが奏でる音とのコラボーレーションも可能である。これにより、より能動的なダンス構成を実現でき、芸術性を高めることができる。

　図１（ｂ）は、ＢＭＸ（Ｂｉｃｙｃｌｅ　Ｍｏｔｏｃｒｏｓｓ）での応用例を示す。ジャンプする、回転するなどの演技、演技の節目で、効果音を鳴らすことができ、観客にアピールすることができる。同様に、モトクロスバイクを使ったレースや、空中回転のようなアクロバット演技でも使える。

　図１（ｃ）は、スケートボードへの装着例を示す。空中を飛んだ時、着地した時、ブレーキをかけて止まった時など、効果音を出してアピールできる。

　図１（ｄ）は、サーフィンでの応用を示す。波にうまく乗った時、回転した時、波を乗り越えた時など、浜辺で見ている観客に技量を効果音でアピールすることができる。

　さらに、本発明においては、"音を鳴らす"、"鳴らさない"のレベルを砂浜にいる協力者が調整することが出来るので、波の大きい日、小さい日に合わせ、意図しないところで効果音がならないように微調整ができる。

　塩分を含んだ海水内で該移動通信端末１０で直接レベル調整することは、電子製品上好ましくなく、また楽音・映像発生器をサーフィンに積んで演技するのは、実際的ではない。同様に雪上における、ハーフパイプのような競技でも効果音でアピールできる。

　図１（ｅ）は、バスケットボールにおける応用例を示す。選手が腕に装着しておけば、シュート寸前の腕の振り上げで、観客を盛り上げる効果音が、またボールに内蔵させておけば、ゴールリングをくるくる回っているときは、ゴロゴロゴロのような音を出したり、ネットを落ちれば、スポッというような効果音を出して、観客を楽しませることができる。フリースタイルバスケットボールでは、ボールの回転、バウンドなどで効果音を出せば、通りを歩く観客にアピールできる。例えば、サッカーのリフティングの場合、けった瞬間や上がった高さに応じて効果音を出す。また、リフティングした回数を、楽音・映像発生システム側でＯｎｅ，Ｔｗｏ，Ｔｈｒｅｅ，，のように発生させればゲーム効果が増す。

　図１（ｆ）では、ジャグリングへの応用例を示す。ボールやクラブ内に動作検出装置を内蔵した移動通信端末を組み込んでおき、衝撃、回転、高さに応じて効果音を出せば、面白い。

　図１（ｇ）は、野球における応用例である。ボールの中に動作検出装置を内蔵した移動通信端末を組み込んでおき、投げたスピード、回転数、回転方向に応じて音色を変える。スローボールを投げても、豪速球を投げたかのような効果音を鳴らしたり、ミットに入った衝撃を感じて、時速１５０ｋｍのプロ野球投手並みの重い球を受けた時の音を鳴らすなど、エンターテインメント性が増す。さらに、音により右回転、左回転、縦回転などがわかるので、変化球練習の確認ができる。また搭載するセンサーにより、実際の球速も測定できるので、有意性が増す。

　図１（ｈ）は、おもちゃにおける応用例を示す。けん玉であれば、玉の中に内蔵させ、空中に飛び出すとき、回転音、うまくお皿に乗った時にファンファーレを鳴らすなど、おもちゃならでは遊びができる。ヨーヨーも同様に、効果音で楽しめる。

　〔楽音・映像発生器の例〕
　楽音・映像発生器４０は、ホストコンピュータ３０である（ｉ）タブレットＰＣ、（ｊ）スマートフォン、（ｋ）ノートＰＣ、（ｌ）デスクトップＰＣ，（ｍ）専用機である等の形態で提供される。

　動作検出装置を内蔵した移動通信端末１０と送受信通信するための回路が、上記（ｉ）～（ｌ）に内蔵されていない場合（専用機（ｍ）は通信回路内蔵）は、外付け送受信回路２０（以降ドングル２０）を使用し、例えばＵＳＢ（Ｕｎｉｖａｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、マイクロＵＳＢコネクタ等を介し、ホストコンピュータ（ｉ）～（ｌ）に接続される。

　ホストコンピュータ（ｉ）～（ｍ）に内蔵されているスピーカーの音量が小さい場合は、図のように外付けのスピーカーまたは、アンプ付スピーカーを使用する。

　〔システム全体の構成〕
　図２は、本発明の一実施例による楽音・映像発生システム全体の概略的な構成図である。

　動作検出装置を内蔵した移動通信端末１０が、１からｎ個存在し、１台の楽音・映像発生器３０で、ｎ個の端末に予め設定しておいた楽音を再生する。商品企画次第では、ランダムに楽音を再生してもよい。

　移動通信端末１０＿ｎは、動作センサーＭＳｎ、演算部ＣＬｎ、判断部ＪＤｎおよび送受信部ＴＲＶｎで構成され、アンテナＡＮＴｎを通して、楽音・映像発生器４０を構成するドングル２０と通信する。他の移動通信端末１０＿１…も同じ構成を有する。無線通信は、ＷｉＦｉ、ＢｌｕｅＴｏｏｔｈ、ＺｉｇＢｅｅ（いずれも登録商標）またはその他の無線方式に従って行う。楽音・映像発生器４０にこれらの無線通信装置が内蔵されている場合は、ドングル２０は不要である。

　本発明の実施例では、移動通信端末１０＿ｎ内の動作センサーＭＳｎが動作を感知し、楽音・映像発生器４０が楽音を発生するまでの時間の関係から、応答速度の速いＺｉｇＢｅｅ、Ｂｌｕｅｔｏｏｔｈを使用している。

　ドングル２０は、送受信アンテナＡＮＴＤ，送受信部ＴＲＤとプロトコル変換部ＰＣで構成され、コネクタＣ１を介して、楽音・映像発生器４０内のホストコンピュータ３０とコネクタＣ２でつながっている。一般的には、ＵＳＢ接続が使われるため、ドングル２０内のインターフェイスは、ＵＳＢインターフェイスである。

　ホストコンピュータ３０は、演算処理装置ＣＰＵとＧＵＩ（Ｇｒａｐｈｉｃ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を備えており、これを使ってユーザーが各移動通信端末１０＿ｎの楽音割り当てなどを行う。ホストコンピュータ内の記憶装置（図示せず）には楽音データＭＤおよび映像データＶＤが保管されている。映像データＶＤは、動画データでも静止画データでもよい。

　各移動通信端末１０＿ｎより楽音・映像発生の指示が、上記経路を通してホストコンピュータ３０に届いた場合は、上記ＧＵＩを使って予め設定しておいた楽音をホストコンピュータ内のスピーカー（図示せず）または、外部接続のスピーカーＳＰ、あるいはアンプ付のスピーカーＳＰから発生させる。

　各移動通信端末１０＿ｎより映像発生の指示が、上記経路を通してホストコンピュータ３０に届いた場合は、上記ＧＵＩを使って予め設定しておいた映像をホストコンピュータのディスプレイまたは、外部接続のディスプレイやプロジェクタ（図示省略）から発生させる。

　楽音や映像は、予め設定しておくか、ランダムに楽音や映像を選ぶようにするかは、商品企画次第である。また、楽音および映像の両方とダンサーの動作を対応付けても、楽音または映像の一方とダンサーの動作を対応付けてもよい。ダンサーの手の動きを検出すると楽音を発生させ、足の動きを検出すると映像を発生させてもよく、右手または右足の動きを検出すると楽音を発生させ、左手または左足の動きを検出すると映像を発生させてもよい。

　前述のように、動作検出レベルの閾値を調整する場合は、前記ホストコンピュータのＧＵＩを使って、閾値を変え、所望の移動通信端末１０＿ｎを動かしながら、実際に楽音が発生されるかを確認する。

　この場合、ホストコンピュータのコネクタＣ２，ドングル２０のコネクタＣ１を介してデータが流れ、ドングル２０内の送受信部ＴＲＤを通り、送受信アンテナＡＮＴＤから電波として流される。

　所望の移動通信端末１０＿ｎには個別識別番号があるため、自分に対しての通信だと認識した該移動通信端末１０＿ｎの送受信部ＴＲＶｎはデータを受信。判断部ＪＤｎの動作検出レベルの閾値を比較値として記憶させる（図示せず）。

　〔動作検出装置を内蔵した移動通信端末の構成〕
　図３は、本発明の一実施例による動作検出装置を内蔵した移動通信端末１０の概略的な構成図である。

　前述のとおり、本発明では該移動通信端末が主体的に動作検出レベルの閾値と比較して、楽音の発生指示を行うため、演算処理を行うためのＣＰＵ１が必要となる。

　前記の手続きにより決定された動作検出レベルの閾値は、ＣＰＵ１の設定部により外部またはＣＰＵ内部のメモリＭＥＭに記憶される。ＣＰＵ１の判断部は、動作センサーＭＳ１より得られたデータをもとに演算部にて所定の演算を行い、メモリＭＥＭに保存された動作検出レベルの閾値と比較して、"楽音を発生する"または"楽音を発生しない"を判断する。

　楽音を発生させる判断をＣＰＵ１の判断部が判断した場合は、使用する無線方式のプロトコルに従ってデータ列を構成し、ＲＦスイッチＲＦ１を出力側に切り替えたのち、送信部ＴＲ１を通して、該データ列をアンテナＡＮＴ１から送信する。

　また、前述したように、ＣＰＵ１の演算部にて所定の演算を行い、その結果のみを楽音・映像発生器４０のホストコンピュータ３０に送り、該ホストコンピュータ３０内のＣＰＵにて所定の閾値と比較して、"楽音を発生する"または"楽音を発生しない"を判断させてもよい。

　ＲＦスイッチＲＦ１は、送信時以外は入力側に切り替わっており、アンテナＡＮＴ１から受信部ＲＶ１を通して、ＣＰＵ１に使用する無線方式のプロトコルに従ったデータ列を入力している。ＣＰＵ１は、定常的にそのデータ列の中から、個別識別番号の監視を続け、自分の番号と一致した場合は、楽音・映像発生器４０のドングル２０より新しい動作検出レベルの閾値が送られてきたと理解し、該閾値をＣＰＵ１内の設定部により外部またはＣＰＵ内部のメモリＭＥＭに記憶させる。

　動作センサーＭＳ１は、前記のとおり、加速度センサー、ジャイロセンサー、地磁気センサー等であり、商品企画によって単独または複数種類搭載される。１次元（Ｘ方向）、２次元（Ｘ方向、Ｙ方向）、３次元（Ｘ方向、Ｙ方向、Ｚ方向）各種存在するが、既に３次元方式のものが多数、安価に流通しているので、３次元方式についてのみ記述すれば、必要にして十分である。

　ＳＷ１は、移動通信端末１０＿ｎと楽音・映像発生器３０内のホストコンピュータとペアリングをとるためのコミッションスイッチである。これにより、移動通信端末１０＿ｎの個別識別番号が、ホストコンピュータ内に保存記憶され、前記ホストコンピュータ３０のＧＵＩを使って、どの楽音を発生させるのか、動作検出レベルの閾値をどの値にするのかなどの設定を行うことができる。

　ＬＥＤ１は、前記データ列の送受信時に動作確認のために点灯させる表示器である。移動通信端末１０＿ｎは、図１に示されたように、様々なところに装着されるため、バッテリー駆動が必須である。ＳＷ２は電源スイッチでこれを介して、各回路に電源が供給される。

　使用されるバッテリーは、商品企画により様々である。充電池を用いた場合は、商品企画により移動通信端末１０ｎ内部に充電回路を有する場合もある（図示せず）。

　図４に動作検出装置を内蔵した移動通信端末１０の外観の一例を示す。
前記コミッションスイッチＳＷ１，電源スイッチＳＷ２、送受信時の通信モニター表示器ＬＥＤ１を示す。

　〔ドングルの構成〕
　図５は、楽音・映像発生器４０の構成要素、ドングル２０の概略的な構成図である。

　コネクタＣ１は、前述のとおり一般的にはＵＳＢを使用する。ＵＳＢは、１コネクタ当たり、＋５Ｖ、５００ｍＡの電源をホストコンピュータから取り出すことができるので、ドングル２０全体の電力を賄うのに十分である。コネクタＣ１から直接電源を取り出し、ドングル内の各部に供給する。ホストコンピュータが動作しているときのみ、役割があるドングルのため電源スイッチは設けない。

　ＬＥＤ２は、電源が供給されていることを表示するために設けた。

　ホストコンピュータから流れてくるデータ列は、ＵＳＢプロトコルに従って構成されており、ＵＳＢケーブルを介してＵＳＢインターフェイスＩＮＴを通り、ＣＰＵ２に渡される。このドングル２０は、使用する電波通信方式のプロトコルにデータ列を変換する役割を持つ。

　すなわち、ＣＰＵ２は、送受信に従い、プロトコル変換部により
送信時　ＵＳＢプロトコル　→　電波通信方式プロトコル
受信時　電波通信方式プロトコル　→　ＵＳＢプロトコル
に変換する。

　アンテナＡＮＴ２、ＲＦスイッチＲＦ２、受信部ＲＶ２、送信部ＴＲ２の動作は、前述と同様なので割愛する。

　図６にドングル２０の外観の一例を示す。

　ドングル２０は、電源表示ＬＥＤ２、コネクタＣ１（図６では見えない）、ケーブルを有する。

　〔さらなる応用例〕
　図７は、ダンサー２人が、両腕、両足にそれぞれ動作検出装置を内蔵した移動通信端末をつけた例である。この場合、計８個の移動通信端末の個別識別番号を、前述した方法で、楽音・映像発生器４０内のホストコンピュータ３０内に保存記憶され、前記ホストコンピュータ３０のＧＵＩを使って、どの楽音を発生させるのか、動作検出レベルの閾値をどの値にするのかなどの設定を行う。

　ここで、図３の動作センサーＭＳ１を単純なスイッチに置き換えた例を考える。これを楽音・映像スイッチャーと名付ける。この楽音・映像スイッチャーは、見かけ上、動作検出装置を内蔵した移動通信端末と同様であるが、無線方式のプロトコルに従ったデータ列の中の高々１ビットを使って、移動通信端末か楽音・映像スイッチャーかを識別させればよい。

　楽音・映像スイッチャーのホストコンピュータ３０へのペアリングは、前述した移動通信端末１０＿ｎの個別識別番号をホストコンピュータに記憶させる手順を取ればよい。すなわち、コミッションスイッチにより、楽音・映像スイッチャーの個別識別番号が、ホストコンピュータ内に保存記憶され、前記無線方式のプロトコルに従ったデータ列の中の高々１ビットにより、これが楽音・映像スイッチャーであることが認識される。

　図８Ａに、楽音群の切り替え例を示す。楽音・映像スイッチャーのスイッチを押すたびに、楽音群１→楽音群２→楽音群３→楽音群１→…と切り替わる応用例である。ダンサーは、床や地面にセットされた楽音・映像スイッチャーのスイッチを足で踏むことにより、楽音群を切り替える。この楽音・映像スイッチャーにより、ダンサーはより多彩なパフォーマンスを構成することができる。図８Ａの例では、楽音群１→楽音群２の切り替えで、ダンサーＡとダンサーＢの音がきれいに入れ替わっている。

　図８Ｂに、楽音群および映像群の切り替え例を示す。楽音・映像スイッチャーのスイッチを押すたびに、（楽音群１および映像群１）→（楽音群２および映像群２）→（楽音群３および映像群３）→（楽音群１および映像群１）→…と切り替わる応用例である。ダンサーは、床や地面にセットされた楽音・映像スイッチャーのスイッチを足で踏むことにより、楽音群および映像群を切り替える。この楽音・映像スイッチャーにより、ダンサーは映像および楽音による多彩なパフォーマンスを構成することができる。図８Ｂの例では、楽音群１→楽音群２の切り替えで、ダンサーＡとダンサーＢの音が入れ替わっているが、映像は入れ替わらず、別の映像に変わっている。

　なお、図８Ａを用いて楽音を切り替える例、図８Ｂを用いて楽音と映像を切り替える例を説明したが、本実施例の楽音・映像発生システムでは、映像のみを切り替えることもできる。

　楽音・映像発生器４０内のホストコンピュータ３０のアプリケーションソフトの商品企画により、楽音切り替え方式は多彩である。例えば、楽音・映像スイッチャーを押すたびに、ダンサーＡとダンサーＢの楽音が切り替わる例では、ダンサーＡが攻撃側、ダンサーＢが守勢側というようなストーリー仕立てのダンスを構成した場合、床に置いた楽音・映像スイッチャーのスイッチを操作し（例えば、足で踏んで）一気に攻守交代のような演技も可能となる。また例えば、ダンサーＡがダンサーＢを指さすタイミングで、スイッチを操作するたびに、それぞれの移動通信端末の設定音が入れ替わっていく演出もでき、面白い。

　楽音・映像スイッチャーは、一つである必要はなく、ダンサーＡ用、ダンサーＢ用のように演者それぞれに固有の楽音・映像スイッチャーを用意してもよい。

　〔動作センサーデータによる動き検出計算方法〕
　本発明の請求項１によれば、動作センサーデータの大きさを加算する演算部を有することを特徴とする。

　ここでは、加速度センサーを例に説明する、従来の、加速度のＸ方向、Ｙ方向、Ｚ方向の各成分を重要視する方式では、まず絶対加速度、すなわち加速度の絶対値｜α｜を、次の式によって求める。

　人の動きを、Ｘ方向、Ｙ方向、Ｚ方向で解析しようとした場合、その動きの波形は疑似ピークを多数含む複雑な波形であることが知られている。そのため上記式（１）の加速度絶対値から、不要な高周波成分を除去するため、例えば１２次の移動平均デジタルフィルターなどを通す必要がある。

　図９は、３次元加速度センサーを腕に取り付け、１０回上下にヒットした場合のＸ方向、Ｙ方向、Ｚ方向の値をプロットしたものである。

　縦軸の値は、重力加速度ｍｇ（ミリｇ）を表す。プロットしたした点の時間間隔は、測定に使ったマイコンソフトのメインループ１周分の時間である。即ち、メインループ内で１回、３次元加速度センサーの値を読み取っている。左側の下に大きく振れた部分は、腕を下側に強くヒットした場合であり、以後、下、下、上、…のように値が振れているのがわかる。

　図１０は、図９の各成分の値を式（１）を用いて計算し、プロットしたものである。図１１は、本発明で用いた式（２）を用いて計算し、プロットしたものである。

　図１０と図１１を見比べてみると、図１０が比較的おとなしいグラフになっているのに対して、図１１は振幅が大きく変化がよりはっきりしていると言える。しかし、図１０と図１１のグラフ波形に振幅以外の顕著な差はない。

　図１２は、３次元ジャイロセンサーを腕に取り付け、腕を上下に上げ下ろしした場合のＸ方向、Ｙ方向、Ｚ方向の値をプロットしたものである。

　縦軸の値は、ｄｐｓ（Ｄｅｇｒｅｅ　ｐｅｒ　Ｓｅｃｏｎｄ）を表す。プロットしたした点の時間間隔は、前述と同じく、測定に使ったマイコンソフトのメインループ一周分の時間である。即ち、メインループ内で一回、３次元ジャイロセンサーの値を読み取っている。Ｚ方向成分が、特に上下に大きく動いているのがわかる。

　図１３は、図１２の各成分の値を式（１）を用いて計算し、プロットしたものである。図１４は、本発明で用いた式２の演算結果をもとにプロットしたものである。

　図１３と図１４を見比べてみると、図１３が比較的おとなしく、振幅が小さいグラフになっているのに対して、図１４は振幅が大きく変化がよりはっきりしていると言える。しかし、図１３と図１４のグラフ波形に振幅以外の顕著な差はない。

　上記のように実際に実験して、計算結果をそれぞれグラフにしてみると、複雑な平方根計算や乗算器を必要とする２乗計算などせずとも、単純に絶対値の足し算だけで必要とするデータが得られることがわかる。

　図１（ａ）のように動作検出装置を内蔵した移動通信端末１０を複数個使うような応用例では、該移動通信端末の市場価格が安価であること要求される。前述したように、式（１）を実行するため２乗計算や平方根計算を駆使して得られた加速度絶対値から、不要な高周波成分を除去するため、さらに例えば１２次の移動平均デジタルフィルターなどを通す必要がある。

　式（１）を移動通信端末１０で実行するには、図３のＣＰＵ１を複雑な平方根計算や乗算ができる高価なマイコンを採用するしかない。これでは、上記のように移動通信端末を安価に市場に提供できる余地がなくなる。

　それでは、図２のホストコンピュータ３０でその複雑な平方根計算や乗算を実行させる形式にすると、前述したように、動作検出装置を内蔵した移動通信端末１０が、動作検出センサー（加速度、角速度、地磁気など）の情報をすべて、楽音・映像発生器側に送る仕様となる。これでは、たとえば大勢のダンサーが各自両腕両足に動作検出装置を内蔵した移動通信端末をつけて、一斉に動作検出センサー情報を送り出した場合、楽音・映像発生器側の演算装置では処理しきれない。

　そこで、複雑な平方根計算や乗算、さらには高次のデジタルフィルターを前提とした式（１）を用いた方式ではなく、本発明の請求項１のように、加算だけで実現できる式（２）を用いる。そして個々の該移動通信端末内で検出レベル閾値を超えたかどうか判断させ、その判断結果のみを楽音・映像発生器４０に送る、または加算したデータそのものを楽音・映像発生器４０に送り、楽音・映像発生器４０内のホストコンピュータ３０にて判断させる。ホストコンピュータ３０は、指示に従いあらかじめ設定された（またはランダムな）楽音を発生させる。

　本発明によれば、図３のＣＰＵ１は、数世代前の非常に安価なビット数の少ないマイコンを使用できるので、移動通信端末を市場に安価に提供することが可能となる。

　すなわち、平方根や２乗計算を実行するには、浮動小数点演算が必須であり、さらに１２次のデジタルフィルターまで用意するとなると、高価な３２ｂｉｔマイコンが必要となる。これではユーザーに安価に携帯型端末を提供することが難しくなる。一方、本発明においては、単純な整数の足し算と整数値の大小比較だけなので、非常に安価な４世代くらい前の８ｂｉｔマイコンで十分である。本発明により、安価な携帯型端末をユーザーに提供することができる。

　上記の浮動小数点演算を携帯型端末で行わず、楽音・映像発生器のホストコンピュータで上記演算をさせる従来技術の場合、携帯型端末内の、例えば３次元加速度センサーのｘ方向、ｙ方向、ｚ方向の値そのものを送信している。しかし、これでは多数の携帯型端末から一斉にデータが届いた場合、ホストコンピュータの処理が間に合わず、楽音が発生されたり、発生されなかったり、発生が遅れたりと不具合を起こす。本発明では、このような課題を解決することができる。

　〔動作検出装置を内蔵した移動通信端末のより具体的な構成〕
　動作検出装置を内蔵した移動通信端末１０は、前述したようにバッテリー駆動が必須である。バッテリーで駆動される移動通信端末の動作可能時間を増やすためには、消費電力を抑えることが重要となる。

　一般的に移動通信端末で電力を多く消費する部分は、電波送受信部であることが広く知られている。すなわち、この電波送受信部不使用時には電源を落とし（スタンバイモード）、必要とするときのみ電源を入れるようにすれば、総合的に消費電力を抑えることができる。

　動作検出装置を内蔵した移動通信端末のより具体的な構成では、図３の送信部ＴＲ１、受信部ＲＶ１、ＲＦスイッチＲＦ１さらには送受信アンテナＡＮＴ１までが、ひとつのユニットになった集合部品ＸＢが使われる。この該集合部品を使用した場合、移動通信端末１０は、動作センサーＭＳ１、ＣＰＵ１と該集合部品ＸＢの３つが主要パーツとなる。

　〔移動通信端末内のＣＰＵの基本動作〕
　図１５に該移動通信端末１０内のＣＰＵ１の基本処理フローチャートの一閾値を示す。図３、図４の電源スイッチＳＷ２が入ると、ＣＰＵ１が動き出し、図１５のフローチャートの順に処理を始める。

　まず、動作センサーＭＳ１の初期設定（ステップＳ０１）、動作検出レベルの閾値の初期設定（ステップＳ０２）、集合部品ＸＢのスタンバイモード設定（ステップＳ０３）を行う。ここまでが、初期設定である。

　上記初期設定の後、メインループに入り、一連の処理を行う。ここでは、３次元加速度センサーを搭載した例を説明する。

　まず３次元加速度センサーＭＳ１のＸ方向、Ｙ方向、Ｚ方向のそれぞれの値を読み込む（ステップＳ０４）。そのあと、演算部にて、式（２）を用いて計算し（ステップＳ０５）、その計算結果を判断部にて動作検出レベルの閾値と比較する（ステップＳ０６）。

　計算結果が閾値を越えたと判断部が判断した場合は、集合部品ＸＢのスタンバイモードを解除し（ステップＳ０７）、楽音・映像発生指示の送信を行う（ステップＳ０８）。ここで、集合部品ＸＢは、送信と同時に楽音・映像発生器４０内のホストコンピュータ３０からのデータを受信している。データを受信した場合（ステップＳ０９）、それが閾値データであれば（ステップＳ１０）、設定部にて新たな閾値データを図３のメモリＭＥＭに格納する（ステップＳ１１）。その後、再び省エネのため集合部品ＸＢをスタンバイモードに設定し（ステップＳ１２）、再び３次元加速度センサーＭＳ１の値を読み込む（ステップＳ０４）に戻る。以上で、メインループが構成される。

　〔登録処理〕
　前述したように、登録処理はコミッションスイッチＳＷ１を押すことにより開始される。ＣＰＵ１は、該ＳＷ１が押されたことを認識すると、使用する無線方式のプロトコルに従ったデータ列の中に、移動通信端末１０の個別識別番号をはめ込み、楽音・映像発生器４０に送信する。楽音・映像発生器４０内のホストコンピュータ３０は、その個別識別番号を保存記憶し、ＧＵＩ表示にてその旨をユーザーに知らせる。

　〔閾値データ送受信処理〕
　楽音・映像発生の判断基準となる閾値データは、ホストコンピュータ３０のＧＵＩ操作等によって行われる。ユーザーは、ＧＵＩ画面を操作して閾値データ設定画面に切り替え、閾値を決定する。その閾値データは、対象とする移動通信端末の個別識別番号と共に、使用する無線方式のプロトコルに従ったデータ列に組み込まれ、図２のドングル２０の送受信アンテナＡＮＴＤ、移動通信端末１０＿ｎの送受信アンテナＡＮＴｎを通じて入力される。

　移動通信端末１０＿ｎは、送られてきた個別識別番号が自己のものと一致するか確認し、該閾値をＣＰＵ１内の設定部により外部またはＣＰＵ内部のメモリＭＥＭに記憶させる。

　〔楽音・映像発生処理〕
　前述したように、図３のＣＰＵ１の判断部は、動作センサーＭＳ１より得られたデータをもとに演算部にて所定の演算を行い、メモリＭＥＭに保存された動作検出レベルの閾値と比較して、"楽音を発生する"または"楽音を発生しない"を判断する。映像を再生する場合は、"映像を発生する"または"映像を発生しない"を判断する。その判断結果は、個別識別番号と共に使用する無線方式のプロトコルに従ったデータ列に組み込まれ、送受信アンテナＡＮＴ１より送信される。

　送信されたデータは、図２の楽音・映像発生器４０のドングル２０にて受信され、プロトコル変換ＰＣを通して、ホストコンピュータ３０に送られる。ホストコンピュータ３０は、送られてきた個別識別番号に楽音および映像が設定済みかどうかを確認し、該当する楽音および映像を発生させる。

　前述したように、ＣＰＵ１の演算部にて所定の演算を行い、その結果のみを楽音・映像発生器４０のホストコンピュータ３０に送り、該ホストコンピュータ３０内のＣＰＵにて"楽音を発生する"または"楽音を発生しない"を判断させる方式でもよい。映像を再生する場合は、"映像を発生する"または"映像を発生しない"を判断させる方式でもよい。

　〔動作センサーデータによる動き検出の別の計算方法〕
　次に加速度の別の検出例を説明する。前述した実施例では、３軸の加速度値の絶対値の和で、人の動きを検出したが、以下に説明する変形例では加速度の変化量によって人の動きを検出する。

　具体的には、加速度のＸ方向、Ｙ方向、Ｚ方向の各成分を検出する場合、３軸加速度センサの出力値から加速度ａｘ、ａｙ、ａｚの絶対値の和の所定時間（例えば、１ミリ秒など、ＣＰＵ）の変化量を式（３）を用いて計算し、計算された値を所定の動作検出レベル閾値と比較し、加速度の絶対値の合計値の変化量が所定の閾値を超えた場合に"楽音を発生する"と判断する。

　図１６に、Ｘ軸方向の加速度の変化を示す。図１６に示すように、ピークＢはピークＡより大きく、ピークＢは閾値Ｃを超えるが、ピークＡは閾値Ｃを超えない。ピークＡ及びピークＢの立ち上がり部分を比較すると、ピークＢの立ち上がり部Ｂ'は、ピークＡの立ち上がり部Ａ'より、単位時間当たりの加速度の変化が大きい。このため、所定時間の加速度の絶対値の和の変化量を所定の動作検出レベル閾値と比較することによって早いタイミングで"楽音を発生する"と判断でき、少ない遅延で楽音や映像を発生できる。

　また、加速度の変化量を用いる場合、各軸の加速度の合成値を二乗和の平方根で算出し、その合成値によって"楽音を発生する"かを判断してもよい。具体的には、式（４）を用いて計算した合成値の所定時間（例えば、１ミリ秒）の変化量を所定の動作検出レベル閾値と比較し、加速度の合成値の変化量が所定の閾値を超えた場合に"楽音を発生する"と判断する。

　以上に説明したように、本変形例では、加速度の変化量を用いることによって、３軸の加速度の絶対値の和が所定の閾値に達する前でも、楽音を発生すべき動きを検出できるので、少ない遅延で楽音や映像を発生できる。

　この変形例は加速度で説明したが、角速度、地磁気などの変化量を用いて人の動きを検出してもよい。また、楽音の発生タイミングを判断せず映像の発生タイミングを判定してもよい。楽音の発生タイミングの判断と共に映像の発生タイミングを判断してもよい。

　以上に説明したように、本発明の実施例によると、略直行する３軸の方向において検出した動きデータによって動作対象物（人など）の動きを判断するので、特許文献３に記載された２軸の加速度を用いて弦の操作位置を算出するものとは解決しようとする課題が異なり、技術思想が異なるものである。

　また、本発明の実施例によると、略直行する３軸の方向において検出した動きデータの大きさの絶対値を加算した結果を用いて所定量の動きが検出されたかを判断するので、加速度値のＸ軸、Ｙ軸、Ｚ軸の各成分の値の二乗の総和の平方根を算出して得られる値を用いる従来技術と異なり、演算量が少なくなり、多くの動作対象物（人など）の動きを遅延なく処理できる。また、動きの判定に用いる値の変化量が大きくなり、閾値の設定が容易になり、誤動作を低減できる。

　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　例えば、判断部を移動通信端末に実装したが、ホストコンピュータ（楽音・映像発生器）に実装してもよい。この場合、移動通信端末は、動きの検出値（加速度センサーの出力）の各成分の和をホストコンピュータに送信し、ホストコンピュータの判断部が、計算結果が閾値を越えたかを判断する。

Claims

　動作検出装置を内蔵し、動作対象物に設置された移動通信端末と、該移動通信端末と無線で接続された通信装置を有する楽音・映像発生器からなる楽音・映像発生システムであって、
　前記移動通信端末は、前記動作検出装置が略直交する３軸の方向において検出した動きデータの大きさの絶対値を加算する演算部を有し、
　前記楽音・映像発生システムは、前記演算部による演算結果から所定量の動きが検出されたか否かを判断する判断部を有し、
　前記楽音・映像発生器は、前記判断部による判断結果に従って、楽音および映像の少なくとも一つを発生する楽音・映像発生部を有する楽音・映像発生システム。
　請求項１に記載の楽音・映像発生システムであって、
　前記判断部は、加速度、角速度及び地磁気の少なくとも一つにおいて検出された動きデータの大きさの絶対値の和が所定の基準値を超えたことによって、前記所定量の動きが検出されたかを判断することを特徴とする楽音・映像発生システム。
　請求項１に記載の楽音・映像発生システムであって、
　前記移動通信端末は、
　前記判断部と、
　前記判断部による判断結果を送信する送信部とを有し、
　前記楽音・映像発生器は、前記移動通信端末から判断結果を受信する受信部を有することを特徴とする楽音・映像発生システム。
　請求項３に記載の楽音・映像発生システムであって、
　前記移動通信端末は、前記判断部による判断の基準値を設定する設定部を有し、
　前記楽音・映像発生器は、前記設定部に設定される基準値の入力を受け付け、前記移動通信端末に送信することを特徴とする楽音・映像発生システム。
　請求項３又は４に記載の楽音・映像発生システムであって、
　各々が一意の識別情報が付与された複数の前記移動通信端末を含み、
　前記送信部は、前記判断結果と共に前記識別情報を送信し、
　前記楽音・映像発生部は、前記判断部による判断結果に従って、前記識別情報に対応して設定された楽音を発生することを特徴とする楽音・映像発生システム。
　請求項１に記載の楽音・映像発生システムであって、
　前記判断部は、検出された加速度、角速度及び地磁気の少なくとも一つにおいて検出された動きデータの所定の時間における絶対値の和の変化量が所定の基準値を超えたことによって、前記所定量の動きが検出されたかを判断することを特徴とする楽音・映像発生システム。