JP4618053B2 - 自動演奏装置 - Google Patents

Description

本発明は、楽器に対する自動演奏に対し、人間の演奏操作を関与させることができる自動演奏装置に関する。

機械によって自動的に楽器を演奏する技術は広く知られており、例えば、自動的に演奏を行う自動オルガンや自動ピアノなどは古くから生産されている。近年においては、鍵盤楽器だけでなく、吹奏楽器を自動的に演奏する機械も開発されており、特許文献１では金管楽器を自動的に演奏するロボットが開示されている。
特開２００４−２５８４４３号公報

ところで、特許文献１に記載の技術においては、全ての演奏を機械が自動的に行うものであるため、利用者は演奏を聴くだけであった。一方、演奏技術が未熟であっても演奏をした気分を味わいたいという人も多く、上述した装置による自動演奏に自分の演奏操作を関与させることができれば好適である。
しかしながら、上述した従来の技術においては、自分の演奏操作を自動演奏に関与させることはできなかった。

本発明は上述した背景に鑑みてなされたものであり、ある楽器（特に、自然楽器）を自動的に演奏するとともに、その自動演奏に対して人の演奏操作の影響を加味させることができる自動演奏装置を提供することを目的としている。

上記課題を解決するため、本発明は、楽器の演奏に関する演奏者の操作量を検出する演奏操作量検出手段と、演奏対象となる楽器の演奏操作に対応した演奏パラメータを楽曲の進行に応じて記憶する記憶手段と、前記演奏パラメータに対する前記操作量の影響の度合を示す関与度を設定する設定手段と、前記記憶手段から読み出された演奏パラメータを前記演奏操作量検出手段で検出された前記操作量に応じて修正する際、当該演奏パラメータに対する前記関与度で当該操作量を当該演奏パラメータの修正に関与させて修正演奏パラメータを生成する修正演奏パラメータ生成手段と、前記演奏対象となる楽器に取り付けられ、前記修正演奏パラメータ生成手段が生成した修正演奏パラメータに基づいて、前記楽器に対する演奏操作を行う演奏操作手段とを具備することを特徴とする自動演奏装置を提供する。

本発明の好ましい態様において、前記演奏対象となる楽器は金管楽器であり、前記演奏操作手段は、前記金管楽器のマウスピースを複数の可撓性部材で覆う人工唇と、前記人工唇を駆動してアンブシュアを変える人工唇アクチュエータと、前記人工唇を介して前記マウスピース内に加圧気体を吹き込む加圧気体吹込機構とを有し、前記修正演奏パラメータに基づいて前記人工唇アクチュエータおよび前記加圧気体吹込機構の加圧気体吹き込み量を制御するようにしてもよい。
本発明の更に好ましい態様において、前記演奏操作量検出手段は、演奏者が唇をつけて息を吹き込むマウスピースに取り付けられたセンサを有し、前記センサは前記マウスピースに対する演奏者のアンブシュアを検出し、前記操作量は前記アンブシュアを含むようにしてもよい。
また、本発明の更に好ましい態様において、前記演奏操作量検出手段は、演奏者が唇をつけて息を吹き込むマウスピースに取り付けられて前記息の息圧を検出する息圧センサを有し、前記操作量は前記息圧を含むようにしてもよい。
また、本発明の更に好ましい態様において、前記演奏対象となる楽器は金管楽器であり、前記演奏操作手段は前記金管楽器のマウスピースに取り付けられた振動子を有し、前記振動子を前記修正演奏パラメータに基づいて励振させるようにしてもよい。

本発明の別の好ましい態様において、前記演奏対象となる楽器はマウスピースにリード片が取り付けられる木管楽器であり、前記演奏操作手段は、前記リードに取り付けられる振動子を有し、前記振動子を前記修正演奏パラメータに基づいて励振させるようにしてもよい。
また、本発明の別の好ましい態様において、前記演奏対象となる楽器はエアーリードによって発音する木管楽器であり、前記演奏操作量検出手段は、前記木管楽器の吹き込み口に取り付けられ、演奏者によって吹き込まれる息のジェット流速、ジェット長さ、ジェット幅を検出するセンサを有し、前記操作量は前記センサが検出する前記ジェット流速、前記ジェット長さ、前記ジェット幅を含み、前記演奏操作手段は、前記木管楽器の吹き込み口に取り付けられる振動子を有し、前記振動子を前記修正演奏パラメータに基づいて励振させるようにしてもよい。

また、本発明の好ましい態様において、前記演奏対象となる楽器は、音高を決定する音高操作子を有し、前記演奏操作手段は、前記音高操作子を前記修正パラメータに基づいて駆動するようにしてもよい。
また、本発明の好ましい態様において、前記演奏操作量検出手段は擦弦楽器の指板に取り付けられ運指を検出する指板センサと、前記擦弦楽器の弦を弾く弓の前記弦に対する圧力、前記弓の角度、および前記弓の移動の速さを各々検出するセンサを有し、これらのセンサからの出力信号を前記操作量に含み、前記演奏操作手段は演奏対象となる擦弦楽器の弦を押さえる押弦アクチュエータと、前記擦弦楽器の弦を弾く弓を駆動する弓アクチュエータを有し、前記修正パラメータに基づいて前記押弦アクチュエータおよび前記弓アクチュエータを駆動するようにしてもよい。

本発明によれば、楽器の演奏に関する演奏者の操作量が演奏操作検出手段によって検出され、自動演奏用の演奏パラメータに対し、前記演奏操作量検出手段が検出した操作量を所定の関与度に応じて影響させ、これにより修正された修正演奏パラメータを生成する。そして、前記演奏対象となる楽器に取り付けられ、前記修正演奏パラメータ生成手段が生成した修正演奏パラメータに基づいて、前記楽器に対する演奏操作を行う演奏操作手段が具備されているので、所定の楽器に対する自動演奏に人の演奏操作を関与させることができ、これにより、演奏者は演奏に未熟であっても、演奏に参加している気分を味わうことができる。また、自動演奏も画一したものでなく、人の演奏操作に応じた変化に富んだ趣のあるものとなる。

［第１実施形態］
図１はこの発明の第１の実施形態である楽器演奏装置１の構成を示す図である。図において、２はトランペットであり、３はトランペット２に装着されるマウスピースである。４は演奏者の唇である。１１は、例えば演奏者の唇の緊張（スティッフィネス）や唇の開口（アパチュア）サイズ等、演奏者の唇の構えに関する物理情報（以下、アンブシュアと呼ぶ）を検出し、その物理情報を表す信号を生成するアンブシュア検出センサである。

ここで、アパチュアとスティッフィネスとの具体的な算出方法の一例について以下に説明する。アパチュアについては、例えばアンブシュア検出センサ１１の唇４と接する面に光センサを設けてこの検出値から算出する。演奏者の口の開口面積によって、光センサが検知する光量が変動する。この光センサが検知した光量を示す情報に基づいてアパチュアを算出する。

スティッフィネスは、口の廻りの筋肉（口輪筋）の緊張の度合いであるから、直接検出することは困難である。しかし、唇を弛緩させて平板に軽く押圧した状態を考えると、その押圧力が比較的小さい場合においても平板における唇の接触面積が比較的大きいのに対し、唇を緊張させた場合には接触面積が小さくなることが経験上明らかである。また、唇の緊張度を一定に保ったまま唇の押圧力を大とすると、平板における唇の接触面積も大となることも明らかである。

以上の原理により、本実施形態においては、アンブシュア検出センサ１１に接触面積センサと圧力センサとを設け、これらの検出値に基づいてスティッフィネスを算出する。接触面積センサは平板状に形成され、その一面に演奏者の唇４が接触すると、その接触面積を検出して出力する。また、圧力センサは、上記接触面積センサの多面に設けられ、唇４によって接触面積センサを介して押圧されると、その押圧力を検出して出力する。

次に、１３はアンブシュア検出センサ１１から供給される信号からアンブシュア（物理情報）を生成するアンブシュア検出部であり、予め記憶された関数あるいはテーブルを用いてアンブシュア検出センサ１１の出力信号をアンブシュアに変換する。Ｄ１は予め楽器演奏装置１に記憶されたアンブシュア自動演奏データであり、楽曲の自動演奏を行うためのアンブシュアを示すデータである。１４はアンブシュア自動演奏データＤ１を修正して修正アンブシュア信号を生成するアンブシュア修正部である。

図２はアンブシュア修正部１４の電気回路を示す図である。図において、Ｓａはアンブシュア自動演奏データであり、Ｓｂはアンブシュア検出部１３から供給されるアンブシュアである。また、ｒは、予め楽器演奏装置１に設定された関与度である。図示のように、アンブシュア修正部１４は、アンブシュアＳａとアンブシュア自動演奏データＳｂとに対して関与度ｒに応じた処理を施し、演奏補正の内容を示す修正アンブシュア信号を生成する。関与度ｒは、０≦ｒ≦１の値をとるパラメータであり、初期設定された固定値であってもよく、適宜変更してもよい。
アンブシュア修正部１４は、具体的には、Ｓａ×（１−ｒ）＋Ｓｂ×ｒという演算を行ってその演算結果を修正アンブシュア信号として出力する。

図１の説明に戻る。１２は、演奏者の息圧を検出してその息圧を表す信号を生成する息圧検出センサである。演奏者の呼気は図中の矢印Ａ方向に流出し、この息圧を息圧センサ１２が検出する。なお、呼気の流出経路については後述する。
次に、１５は、息圧センサ１２からの信号に基づいて息圧情報を生成する息圧検出部である。Ｄ２は、予め楽器演奏装置１に記憶された息圧自動演奏データであり、楽曲の自動演奏を行うための息圧を示すデータである。１６は、息圧自動演奏データＤ２と息圧検出部１５から供給される息圧情報と関与度ｒ２とに基づいて修正息圧信号を生成する息圧修正部である。なお、息圧修正部１６の電気回路構成および修正息圧信号の生成方法は、図２に示したアンブシュア修正部１４のそれと同様であり、ここではその説明を省略する。

１７はアンブシュアアクチュエータ駆動部であり、１８はアンブシュアアクチュエータである。アンブシュアアクチュエータ駆動部１７は、アンブシュア修正部１４から供給される修正アンブシュア信号に基づいてアンブシュアアクチュエータ１８を駆動する。１９は可撓性を有するゴム、プラスチックなどの素材で構成された人工唇である。人工唇１９はマウスピース３の口を当てる部分に図示せぬ取付部材によって固定されている。アンブシュアアクチュエータ１８は、人工唇１９の上下に設けられており、アンブシュアアクチュエータ駆動部１７の制御の下、人工唇１９に対する押圧力の大きさや方向を変化させることにより、唇の緊張や唇の開口サイズ等を制御する。アンブシュアアクチュエータ１８は、例えば、電磁アクチュエータや圧電アクチュエータなどを複数組み合わせて、人工唇１９の周囲を覆うようにして設けられる。

次に、図１に示す２０は息圧アクチュエータ駆動部であり、２１はトランペット２に空気を流入させる息圧アクチュエータである。息圧アクチュエータ２１は、図示せぬ空気タンクを備えており、この空気タンクから加圧された空気を流出させる。息圧アクチュエータ駆動部２０は、息圧修正部１６から供給される修正息圧信号に基づいて息圧アクチュエータ２１を駆動し、これにより加圧された空気の流量を調整する。２５は筒状の支持体であり、トランペット２の管路と軸線を共通にして、人工唇１９とともにマウスピース３に取り付けられている。なお、支持体２５をトランペット２に取り付ける取付部材については図示省略した。また、支持体２５の中央部には側壁２６が設けられ、中空部を左側と右側に隔てている。これにより、支持体２５の右側の中空部と人工唇１９によって囲まれる空間は、トランペット２の管路に対しては連通するが、それ以外の部分については密閉された状態になっている。上述した息圧アクチュエータ２１は、支持体２５の右側の上部を貫通して取り付けられおり、これにより、息圧アクチュエータ２１から送り出される空気は、図中の矢印Ｂに示すように、人工唇１９およびマウスピース３を順次介してトランペット２の管体内に流入する。

また、前述した息圧センサ１２は、支持体２５の左側の上部を貫通して配置され、支持体２５の左側の中空部に露出している。また、支持体２５の左側の下部には、呼気が矢印Ａ方向に抜けるための経路が設けられる経路形成部材２７が設けられている。前述したアンブシュア検出センサ１１は環状に形成されて支持体２５の左端面に固定されている。アンブシュア検出センサ１１は、一般的なマウスピースのカップと同等の形状になっており、このため、演奏者は一般的なマウスピースに唇を着けるのと同様の感覚で、アンブシュア検出センサ１１の中央開口部に息を吹き込むことができる。

次に、２９はトランペット２に設けられた擬似ピストンバルブであり、演奏者の運指を検出するためのセンサが設けられたダミーのピストンバルブである。３０は擬似ピストンバルブ２９における演奏者の運指を検出する運指検出部である。Ｄ３は、予め楽器演奏装置１に記憶された運指自動演奏データであり、楽曲の自動演奏を行うための運指を示すデータである。３１は、運指自動演奏データＤ３と運指検出部３０から供給される運指情報と関与度ｒ３とに基づいて修正運指信号を生成する運指修正部である。なお、運指修正部３１の電気回路構成および修正運指信号の生成方法は、図２に示したアンブシュア修正部１４のそれと同様であり、ここではその説明を省略する。
アンブシュア自動演奏データＤ１、息圧自動演奏データＤ２および運指自動演奏データＤ３は、一つの曲に対応するデータとしてそれぞれが生成されており、読み出される際には、図示せぬ読み出し制御部によって同期して読み出されるようになっている。

３２は運指アクチュエータ駆動部であり、３３は運指アクチュエータである。運指アクチュエータ駆動部３２は、運指修正部３１から供給される修正運指信号に基づいて運指アクチュエータ３３を駆動する。運指アクチュエータ３３は、トランペット２のピストンバルブの上部に位置する箇所にピストン用ソレノイド（図示略）を備えており、このピストン用ソレノイドを動作させることによって運指を行う。

上述した構成によるこの実施形態の動作は以下のとおりである。演奏者がアンブシュア検出センサ１１に唇４を着け、唇リードを形成させて息を吹き込むと、このときのアンブシュアと息圧が、それぞれアンブシュア検出センサ１１および息圧センサ１２によって検出される。これにより、息圧検出部１５が息圧を検出し、息圧修正部１６は、息圧自動演奏データに対して、検出した息圧情報を関与度ｒ２に対応する量だけ加味して修正息圧信号を生成する。息圧アクチュエータ駆動部２０は、修正息圧信号に応じて息圧アクチュエータ２１を駆動し、これにより、トランペット２の管路には、修正息圧信号に応じた量の圧縮空気が流入する。

一方、アンブシュア検出部１３がアンブシュアを検出すると、アンブシュア修正部１４は、アンブシュア自動演奏データに対して、アンブシュアを関与度ｒに対応する量だけ修正データを加味して修正アンブシュア信号を生成する。アンブシュアアクチュエータ駆動部１７は、修正アンブシュア信号に応じてアンブシュアアクチュエータ１８を駆動するから、人工唇１９は修正アンブシュア信号に応じたアンブシュアをマウスピース３に与える。

また、演奏者が擬似ピストンバルブ２９によって運指を行うと、運指検出部３０が運指を検出し、運指修正部３１は、運指自動演奏データに対して、検出した運指情報を関与度ｒ３に対応する量だけ加味して修正運指信号を生成する。運指アクチュエータ駆動部３２は、修正運指信号に応じて運指アクチュエータ３３を駆動する。
以上の動作により、トランペット２からは、運指アクチュエータ３３による運指と人工唇１９のアンブシュアと息圧アクチュエータ２１から流入する空気流に応じた音が発音される。この発音は、人工唇１９のリップリードに基づく音であり、トランペット２の管路の気柱共鳴の音となる。これにより、楽器演奏装置１は、演奏者の演奏行為を関与度ｒ，ｒ２，ｒ３に従って関与させた自動演奏をトランペット２に行わせることができる。

例えば、アンブシュア検出センサ１１によって検出されたアンブシュアが、アンブシュア自動演奏データの示すアンブシュアよりも唇の緊張度が大きいことを示すものである場合は、アンブシュア修正部１４は、関与度ｒに応じてアンブシュア自動演奏データを修正してアンブシュアアクチュエータ駆動部１７に供給する。アンブシュアアクチュエータ駆動部１７は、供給された修正アンブシュア信号に応じて人工唇１９をより緊張させるようにアンブシュアアクチュエータ１８を制御し、これにより、自動演奏による音色を硬い音色とすることができる。

また、例えば、息圧センサ１２によって検出された息圧が、息圧自動演奏データの示す息圧よりも大きい場合は、息圧修正部１６は、関与度ｒ２に応じて息圧自動演奏データを修正して息圧アクチュエータ駆動部２０に供給する。これにより、息圧自動演奏データによる自動演奏よりも、より大きな音で自動演奏が行われる。

本実施形態においては、アンブシュア修正部１４および息圧修正部１６で用いる関与度ｒ，ｒ２，ｒ３は、その値が大きいほど演奏者による演奏行為の影響が大きくなり、その値が小さいほど演奏者による演奏行為の影響は少なくなる。すなわち、関与度の値が小さいほど自動演奏に近い楽音がトランペット２から発音される。関与度に設定される値を変更すれば、演奏者の演奏行為の関与を調節することができる。具体的には、例えば、息圧修正部１６で参照される関与度ｒ２の値を大きめに設定し、その他の関与度ｒ，ｒ３をゼロに設定すれば、自動演奏に対して息圧だけを関与させるようにすることもできる。

また、この場合、図２に破線で示すように、関与度設定部１４ｃを設け、演奏者の操作により任意の関与度を設定できるようにすると好適である。

［第２実施形態］
次に、この発明の第２の実施形態について説明する。
図３はこの発明の第２の実施形態である楽器演奏装置２００の構成を示す図である。この楽器演奏装置２００が、図１に示した第１の実施形態である楽器演奏装置１と異なる点は、演奏者の演奏行為を検出するためのアンブシュア検出センサ１１、息圧センサ１２および擬似ピストンバルブ２９が、トランペット２とは別のトランペット６に設けられている点である。なお、以下の説明においては、第１実施形態と同様の構成要素については同じ符号を付してその説明を省略する。

この実施形態の動作は以下のとおりである。演奏者がトランペット６に設置されたアンブシュア検出センサ１１に唇４を着け、唇リードを形成させて息を吹き込むと、このときのアンブシュアと息圧が、それぞれアンブシュア検出センサ１１および息圧センサ１２によって検出される、これにより、息圧検出部１５が息圧を検出し、息圧修正部１６は、息圧自動演奏データに対して、検出した息圧情報を関与度ｒ２に対応する量だけ加味して修正息圧信号を生成する。息圧アクチュエータ駆動部２０は、修正息圧信号に応じて、トランペット２に設置された息圧アクチュエータ２１を駆動し、これにより、トランペット２の管路には、修正息圧信号に応じた量の圧縮空気が流入する。

一方、アンブシュア検出部１３がアンブシュアを検出すると、アンブシュア修正部１４は、アンブシュア自動演奏データに対して、検出されたアンブシュアを関与度ｒに対応する量だけ加味して修正アンブシュア信号を生成する。アンブシュアアクチュエータ駆動部１７は、修正アンブシュア信号に応じてアンブシュアアクチュエータ１８を駆動するから、人工唇１９は修正アンブシュア補正信号に応じたアンブシュアをマウスピース３に与える。

また、演奏者がトランペット６に設けられた擬似ピストンバルブ２９によって運指を行うと、運指検出部３０が運指を検出し、運指修正部３１は、運指自動演奏データに対して、検出した運指情報を関与度ｒ３に対応する量だけ加味して修正運指信号を生成する。運指アクチュエータ駆動部３２は、修正運指信号に応じて運指アクチュエータ３３を駆動する。
以上の動作により、トランペット２からは、運指アクチュエータ３３による運指と人工唇１９のアンブシュアと息圧アクチュエータ２１から流入する空気流に応じた音が発音される。この発音は、人工唇１９のリップリードに基づく音であり、トランペット２の管路の気柱共鳴の音となる。これにより、楽器演奏装置２００は、トランペット６における演奏者の演奏行為を、関与度ｒ，ｒ２，ｒ３に従って自動演奏に関与させることができる。

例えば、ヒューマノイド型の演奏ロボットが、手や指を模したロボット機構で運指を伴うといった大規模な自動演奏操作を行っている場合は、上述した第１の実施形態である楽器演奏装置１では、楽器を手軽に動かしたり移動したりするといったことが難しく、また、演奏者の運指を検出するためのダミーのピストンバルブを配置しなければならず、このような関与の為の機構の実現や、演奏自体が難しいことが考えられる。この実施形態においては、上述したように、演奏者による演奏行為の検知機構を自動演奏用のトランペット２とは別のトランペット６上に設置することによって、トランペット２から離れた位置においてトランペット６を操作することができ、トランペット６における演奏者の演奏行為をトランペット２の自動演奏に関与させることが可能となる。

なお、自動演奏を行う楽器と演奏者の演奏行為を検知するための楽器とは必ずしも同じ種類の楽器でなくてもよい。例えば、トランペットの自動演奏に対して関与を行う際に、鍵盤楽器を用いて演奏者による演奏データを生成してもよい。例えば、鍵盤楽器の押鍵タイミング、離鍵タイミング、押鍵速度、離鍵速度あるいは押鍵加速度などに基づいてアンブシュアや息圧の演奏データを生成してもよい。

［第３実施形態］
次に、この発明の第３の実施形態について説明する。
図４はこの発明の第３の実施形態である楽器演奏装置３００の構成を示す図である。この楽器演奏装置３００が、図１に示した第１の実施形態である楽器演奏装置１と異なる点は、演奏者の演奏行為を検出するためのアンブシュア検出センサ１１、息圧センサ１２、擬似ピストンバルブ２９、アンブシュア検出部１３、息圧検出部１５および運指検出部３０が設けられていない点と、ビデオカメラ３０１、動画画像解析部３０２、ピッチ変化抽出部３０３、ダイナミクス変化抽出部３０４、音符長さ抽出部３０５、打点タイミング抽出部３０６が設けられている点である。なお、以下の説明においては、第１実施形態と同様の構成要素については同じ符号を付してその説明を省略する。

ビデオカメラ３０１はトランペット２に設けられており、図５に示すように、指揮者Ｓ１の身体の動きや指揮棒Ｓ２の動きを動画画像で撮影する。動画画像解析部３０２は、ビデオカメラ３０１で撮影された動画画像を解析し、指揮者Ｓ１の身体の動きや指揮棒Ｓ２の動きの速さ、向き、タイミングなどを抽出する。

人間の指揮などのジェスチャーは、リアルタイムの動画画像の解析により、打点のタイミングの抽出が可能である。また、動作の特徴量を対応させることにより、音符の長さ、ダイナミクス変化、ピッチ変化に関連付けるようにしてもよい。また、例えば、指揮者の左手の動きをダイナミクス変化に対応させたり、指揮棒のスピードを音符の長さ（デュレーション）に対応させたり、顔の上下の動きをピッチに対応させるようにしてもよい。

次に、ピッチ変化抽出部３０３は動画画像解析部３０２の解析結果からピッチ変化を抽出する。ピッチ変化抽出部３０３は抽出したピッチ変化をアンブシュアに変換してアンブシュア修正部１４に供給する。ダイナミクス変化抽出部３０４は動画画像解析部３０２の解析結果からダイナミクス変化を抽出する。このダイナミクス変化抽出部３０４は、抽出したダイナミクス変化を息圧変化に変換し、息圧情報を生成して息圧修正部１６に供給する。音符長さ抽出部３０５は動画画像解析部３０２の解析結果から音符の長さを抽出する。この音符長さ抽出部３０５は、抽出した音符の長さから息圧情報とアンブシュアを生成して、アンブシュア修正部１４と息圧修正部１６にそれぞれ供給する。打点タイミング抽出部３０６は動画画像解析部３０２の解析結果から打点タイミングを抽出する。打点タイミング抽出部３０６は、抽出した打点タイミングを息圧情報とアンブシュアと運指情報に変換し、それらをアンブシュア修正部１４と息圧修正部１６と運指修正部３１にそれぞれ供給する。

上述した構成によるこの実施形態の動作は以下のとおりである。指揮者Ｓ１が指揮棒Ｓ２を用いて指揮をする動作を行うと、ビデオカメラ３０１が指揮者Ｓ１と指揮棒Ｓ２とを撮影する。動画画像解析部３０２は撮影された動画画像を解析し、ピッチ変化抽出部３０３、ダイナミクス変化抽出部３０４、音符長さ抽出部３０５、打点タイミング抽出部３０６が動画画像解析部３０２の解析結果から、ピッチ変化、ダイナミクス変化、音符長さ、打点タイミングをそれぞれ抽出し、それらを息圧情報またはアンブシュアまたは運指情報に変換して、息圧修正部１６、アンブシュア修正部１４、運指修正部３１にそれぞれ供給する。息圧修正部１６は、息圧自動演奏データＤ２に対して、供給された息圧情報を関与度ｒ２に対応する量だけ加味して修正息圧信号を生成する。息圧アクチュエータ駆動部２０は、修正息圧信号に応じて息圧アクチュエータ２１を駆動し、これにより、トランペット２の管路には、修正息圧信号に応じた量の圧縮空気が流入する。アンブシュア修正部１４も同様に修正アンブシュア信号を生成してアンブシュアアクチュエータ駆動部１７に修正アンブシュア信号を供給する。また、運指修正部３１も同様に修正運指信号を生成して運指アクチュエータ駆動部３２に供給する。これにより、楽器演奏装置３００は、指揮者Ｓ１と指揮棒Ｓ２の動作を関与度ｒ，ｒ２，ｒ３に従って関与させた自動演奏をトランペット２に行わせることができる。

なお、上述した実施形態においては、指揮者Ｓ１と指揮棒Ｓ２の動きをビデオカメラ３０１で撮影するようにしたが、指揮棒Ｓ２の中に加速度センサ、速度センサ、方向センサなどを組み込み、これらのセンサからの出力信号に基づいてアンブシュアや息圧の模範データを生成するようにしてもよい。

または、ビデオカメラ３０１に代えて、トランペット２に赤外線センサを設け、演奏者の身体の近づく度合いなどを検出して、ピッチ変化に対応関連付けるようにしてもよい。

なお、上述の実施形態において、ダイナミクス、打点タイミング、音符の長さについて、共通の関与度で関与を実現するようにしたが、それぞれで別々の関与度を定義して個別の関与を実現するようにしてもよい。

［第４実施形態］
次に、この発明の第４の実施形態について説明する。図６はこの発明の第４の実施形態である楽器演奏装置４００の構成を示す図である。この楽器演奏装置４００が、図４に示した楽器演奏装置３００と異なる点は、ビデオカメラ３０１に代えて、マイクロフォン４０１を備えている点と、動画画像解析部３０２に変えて、波形解析部４０２を備えている点である。なお、以下の説明においては、第３実施形態と同様の構成要素については同じ符号を付してその説明を省略する。

マイクロフォン４０１はトランペット２に設けられており、図７に示すように、演奏者Ｓ３がトランペット７を演奏することによって発音される演奏音を集音する。波形解析部４０２は、マイクロフォン４０１が集音する演奏音を解析する。ピッチ変化抽出部３０３，ダイナミクス変化抽出部３０４、音符長さ抽出部３０５、打点タイミング抽出部３０６は、波形解析部４０２の解析結果に応じて、ピッチ変化、ダイナミクス変化、音符長さ、打点タイミングをそれぞれ抽出する。

このように、この実施形態においては、マイクロフォン４０１で集音した演奏音から楽曲の打点のタイミング、ダイナミクス、音符の長さ、ピッチ変化などを抽出することによって、関与度ｒ，ｒ２，ｒ３に従って、自動演奏の演奏行為のこれらを修正することが可能となる。

［第５実施形態］
次に、この発明の第５の実施形態について説明する。図８はこの発明の第５の実施形態である楽器演奏装置５００の構成を示す図である。この楽器演奏装置５００が、この発明の第１実施形態である楽器演奏装置１と異なる点は、息圧やアンブシュアを検出してそれらを修正するのに加えて、振動波形を検出してその振動波形を示す波形データから音量やピッチを算出して、それらの値に応じて息圧アクチュエータやアンブシュアアクチュエータを駆動させる点である。なお、図８において、第１の実施形態と同様の構成要素については同じ符号を付与して適宜その説明を省略する。図８において、５０１は音を収音してその振動波形を表す信号を生成するマイクロフォンである。５０２は振動波形検出部であり、マイクロフォン５０１で生成される信号から振動波形を検出する。５０３は振動波形検出部５０２から検出される振動波形を、音量を示す音量データとピッチを示すピッチデータとに変換する音量／ピッチ変換部である。５０４は音量／ピッチ変換部５０３で変換された音量データとピッチデータから息圧情報とアンブシュア（以下、物理演奏情報）を生成する物理演奏情報変換部である。５０５は物理演奏情報変換部５０４で生成された物理演奏情報を、関与度ｒに応じて修正する物理演奏情報修正部である。この物理演奏情報修正部５０５は第１実施形態の図２に示した電気回路と同様のものを備えており、この電気回路によって、関与度ｒに応じて物理演奏情報自動演奏データを修正する。

５１３は物理演奏情報検出部であり、この物理演奏情報検出部５１３は、第１実施形態におけるアンブシュア検出部１３と息圧検出部１５とに相当するものである。５１４は物理演奏情報修正部５１４であり、第１実施形態におけるアンブシュア修正部１４と息圧修正部１６とに相当するものである。Ｄ１２は物理演奏情報自動演奏データであり、第１実施形態におけるアンブシュア自動演奏データＤ１と息圧自動演奏データＤ２とに相当するものである。５１７はアクチュエータ駆動部であり、アンブシュアアクチュエータ駆動部１７と息圧アクチュエータ駆動部２０を、物理演奏情報によって直接駆動するものである。すなわち、息圧アクチュエータ２１とアンブシュアアクチュエータ１８は、物理演奏情報によって直接駆動されるようにその特性が設定されている。

上述した構成によるこの実施形態の動作は以下のとおりである。まず、演奏者がアンブシュア検出センサ１１に唇４を着け、唇リードを形成させて息を吹き込むと、このときのアンブシュアと息圧が、それぞれアンブシュア検出センサ１１および息圧センサ１２によって検出される。一方、演奏者の息によって発生する振動波形がマイクロフォン５０１によって検出される。振動波形検出部５０２と音量／ピッチ変換部５０３によってマイクロフォン５０１が生成した信号が音量データとピッチデータに変換され、これらは物理演奏情報変換部５０４によって物理演奏情報に変換される。物理演奏情報修正部５０５，５１４は、物理演奏情報自動演奏データに対して、関与度ｒに対応する量だけ検出データを加味して修正物理演奏情報を生成し、アクチュエータ駆動部５１７に生成した修正物理演奏情報を供給する。アクチュエータ駆動部５１７は、供給される修正物理演奏情報に応じて息圧アクチュエータ２１とアンブシュアアクチュエータ１８を駆動する。これにより、トランペット２の管路には、修正息圧信号に応じた量の圧縮空気が流入するとともに、人工唇１９は修正アンブシュア信号に応じたアンブシュアをマウスピース３に与える。

上述した構成においては、演奏者のアンブシュアから得られる物理演奏情報を用いて、物理演奏情報自動演奏データに対して直接修正を行い、修正後の物理演奏情報で息圧アクチュエータ２１とアンブシュアアクチュエータ１８を駆動する。すなわち、物理演奏情報によって直接的な駆動を行う。この結果、息圧アクチュエータ２１とアンブシュアアクチュエータ１８を駆動するための駆動波形を生成する波形生成回路（電子音源）が不要である。

なお、図８に示す構成において、物理演奏情報修正部５０５に代えて、音量／ピッチ修正部５０６と音量／ピッチ自動演奏データＤ４（図８に鎖線で図示）を備えるようにしてもよい。音量／ピッチ修正部５０６は、音量／ピッチ変換部５０３で生成された音量データとピッチデータを用いて、関与度ｒに応じて音量／ピッチ自動演奏データＤ４を修正する。この音量／ピッチ修正部５０６は、第１実施形態の図２に示した電気回路と同様のものを備えており、この電気回路によって、関与度ｒと自動演奏データとに応じて音量データとピッチデータとを修正する。

［第６実施形態］
次に、この発明の第６の実施形態について説明する。図９はこの発明の第６の実施形態である楽器演奏装置６００の構成を示す図である。この楽器演奏装置６００が、第５実施形態である楽器演奏装置５００と異なる点は、アンブシュアアクチュエータや息圧アクチュエータを備えていない点と、振動アクチュエータを備えており、振動波形を発生させて演奏補助を行う点である。以下の説明においては、第５実施形態との相違点を中心に説明することとし、第５実施形態と同様の構成要素については同じ符号を付して適宜その説明を省略する。

図において、６０１は、物理演奏情報修正部５１４から供給される修正物理演奏情報と、音量／ピッチ修正部５０６から供給される修正音量データとから発音音量を決定する発音音量決定部である。６０２は、物理演奏情報修正部５１４から供給される修正物理演奏情報と、音量／ピッチ修正部５０６から供給される修正ピッチデータとから発音音程を決定する発音音程決定部である。６０３は、発音音量決定部６０１から供給される発音音量と、発音音程決定部６０２から供給される発音音程とから駆動波形を生成する駆動波形生成部である。６０４は振動アクチュエータであり、駆動波形生成部６０３の制御の下に振動波形を生成させて発音を行う。

振動アクチュエータ６０４から発音される音声はトランペット２の開口部から出力され、これにより、演奏者の演奏による音量や音程を関与度に応じて自動演奏データに関与させることができる。

なお、上述した実施形態においては、息圧センサ１２とアンブシュア検出センサ１１によって物理演奏情報を検知すると共に、マイクロフォン５０１によって振動波形を検知し、検知された物理演奏情報と振動波形の両方を用いて発音音量や発音音程を決定するようにしたが、物理演奏情報または振動波形のいずれか一方から発音音量や発音音程を決定するようにしてもよい。具体的には、例えば、息圧センサ１２とアンブシュア検出センサ１１を備えるようにせず、マイクロフォン５０１を備えて、マイクロフォン５０１で検知される振動波形から発音音程と発音音量とを決定するようにしてもよい。

また、上述した実施形態において、発音音量決定部６０１と発音音程決定部６０２と音量／ピッチ修正部５０６とに代えて、物理演奏情報変換部５０４および物理演奏情報修正部５０５を設けて（図９に鎖線で図示）、音量データとピッチデータとを物理演奏情報に変換して駆動波形生成部６０３に供給するようにしてもよい。この場合、駆動波形生成部６０３は、物理演奏情報修正部５１４，５０５から供給される物理演奏情報に応じて駆動波形を生成し、振動アクチュエータ６０４を駆動する。

また、上述した実施形態において、運指検出部６０５で検知される運指情報も関与させて発音音程決定部６０２で発音音程を決定するようにしてもよい（図９に鎖線で図示）。このようにすることで、アクチュエートに用いる振動波形の音色の質とピッチ精度を上げることができ、楽器から放射される音色やピッチ精度を向上させることができる。
管楽器においては、運指が同じでも異なる音程が出せるので、運指と物理演奏情報の両方を使用して発音音程を決定することが好ましい。

なお、唇の発音音程と、アクチュエータが発生する音の音程は一般的に異なり、変調を避けるために側壁２６を設ける必要があるが、演奏者が演奏する際に唇を緊張させるだけで音を鳴らさなければ、側壁２６を設ける必要はない。
また、唇の固有振動数を平均律の離散化した音程で鳴らすようにしてもよい。

［第７実施形態］
次に、この発明の第７の実施形態について説明する。図１０はこの発明の第７の実施形態である楽器演奏装置７００の構成を示す図である。この楽器演奏装置７００は、検出したアンブシュアから演奏者の唇の固有振動数を算出し、算出した固有振動数を自動演奏データに反映させるものである。

図において、７０１は、アンブシュア検出部１３が検出したアンブシュア（スティッフィネスとアパチュア）から演奏者の唇４の固有振動数を算出する唇固有振動数決定部である。Ｄ５は予め楽器演奏装置７００に記憶された唇固有振動数自動演奏データであり、楽曲の自動演奏を行うための唇の固有振動数を示すデータである。７０２は、唇固有振動数自動演奏データを修正して固有振動数補助信号を生成する唇固有振動数修正部である。唇固有振動数修正部７０２は、唇固有振動数決定部７０１から供給される固有振動数と関与度ｒ４とに応じて唇固有振動数自動演奏データＤ５を修正する。

なお、上述した実施形態において、運指検出部３０で検知される運指情報も関与させて発音音程決定部６０２で発音音程を決定するようにしてもよい（図１０に点線で図示）。このようにすることで、アクチュエートに用いる振動波形の音色の質とピッチ精度を上げることができ、楽器から放射される音色やピッチ精度を向上させることができる。

また、上述した第６の実施形態と同様に、唇の発音音程と、アクチュエータが発生する音の音程は一般的に異なり、変調を避けるために側壁２６を設ける必要があるが、演奏者が演奏する際に唇を緊張させるだけで音を鳴らさなければ、側壁２６を設ける必要はない。

［第８実施形態］
次に、この発明の第８の実施形態について説明する。図１１はこの発明の第８の実施形態である楽器演奏装置８００の構成を示す図である。この楽器演奏装置８００が、図１０に示した第７の実施形態である楽器演奏装置７００と異なる点は、マイクロフォン８０１を備えている点と、マイクロフォン８０１で生成する振動波形から演奏者の唇の固有振動数を算出する点である。

マイクロフォン８０１は、演奏者の唇の振動によって生じる空気振動の音程を検出するものや、演奏者の唇に接触してその振動を直接得るコンタクトマイクなど、唇の固有振動数を算出できるものであればどのようなものであってもよい。唇固有振動数決定部７０１は、マイクロフォン８０１で生成された振動波形から演奏者の唇の固有振動数を算出する。

［第９実施形態］
次に、この発明の第９の実施形態を説明する。図１２はこの発明の第９の実施形態である楽器演奏装置９００の構成を示す図である。なお、図１２において、上述した第１乃至第８の実施形態と同様の構成要素については同様の符号を付して適宜その説明を省略する。

図において、９は例えばクラリネットやサックス等のシングルリードの木管楽器であり、４は演奏者の唇である。９０１はマウスピースである。９０３はリードであり、リード９０３にはアンブシュア検出センサ９０４が設けられている。第１乃至第８実施形態においては、アンブシュアとしてスティッフィネスとアパチュアを検出するようにしたが、シングルリードの木管楽器９を用いる本実施形態においては、アンブシュア検出センサ９０４は、リード変位、リードを噛む位置およびリードと唇の接触面積をアンブシュアとして検出する。

９０５は、木管楽器９に設けられた運指センシング用キーであり、演奏者の運指を検出するためのセンサが設けられたダミーのキーである。９０６は、木管楽器９を自動演奏するためのアクチュエートキーである。９０７は、運指アクチュエータであり、運指アクチュエータ駆動部３２の制御の下、アクチュエート用キー９０６によって木管楽器９の運指を行う。

上述した構成によるこの実施形態の動作は以下のとおりである。まず、演奏者がマウスピース９０１に唇４を着け、運指を行いつつ息を吹き込むと、このときのアンブシュアと息圧が、それぞれアンブシュア検出センサ９０４および息圧センサ１２によって検出される。これにより、息圧検出部１５が息圧を検出し、息圧修正部１６が関与度ｒ２に対応する量だけ検出した息圧データを息圧自動演奏データに加味して修正息圧信号を生成する。一方、アンブシュア検出部１３がアンブシュアを検出し、アンブシュア修正部１４が関与度ｒに対応する量だけ検出したアンブシュアをアンブシュア自動演奏データに加味して修正アンブシュア信号を生成する。

演奏者が運指センシング用キー９０５を用いて運指を行うと、運指検出部３０が演奏者の運指を検出する。運指修正部３１は、関与度ｒ３に対応する量だけ、検出した運指情報を運指自動演奏データに加味して修正運指信号を生成する。運指アクチュエータ駆動部３２は、修正運指信号に基づいて運指アクチュエータ９０７を制御し、アクチュエート用キー９０６の運指を行う。また、発音音程決定部６０２は、運指修正部３１によって生成された修正運指信号に応じて発音音程を決定する。駆動波形生成部６０３は、修正息圧信号、修正アンブシュア信号および発音音程から駆動波形を生成し、振動アクチュエータ６０４を制御して音声を発音させる。振動アクチュエータ６０４から発音される音声は木管楽器９から出力され、これにより、自動演奏を演奏者の演奏行為に応じて修正することができる。

シングルリードの木管楽器の場合は、フラジオのような特殊奏法を使用する以外は、発音音程は運指により一意に決まる性質があり、本実施形態はこの性質を利用して自動演奏への演奏者の演奏行為の関与を実現している。
リードの直下部分や、マウスピース内の発音波形の波形に極力似せるために、アンブシュアと息圧とから駆動波形を生成する。リードの振動波形や、マウスピース直下部分の音圧波形を生成し、リード上に配備されたアクチュエータ、またはマウスピース内に配備された小型スピーカなどのアクチュエータで加振してやれば、楽器のトーンホールやベルから、本物に近い楽器音が得られる。

［第１０実施形態］
次に、この発明の第１０の実施形態を説明する。図１３はこの発明の第１０の実施形態である楽器演奏装置１０００の構成を示す図である。なお、図１３において、上述した第９の実施形態と同様の構成要素については同様の符号を付して適宜その説明を省略する。

図において、１０は例えばフルートやリコーダー等のエアーリードの木管楽器である。１００１はマウスピースであり、マウスピース１００１にはアンブシュア検出センサ１００２が設けられている。アンブシュア検出センサ１００２は、演奏者の演奏によるジェット長、ジェット幅を検出する。

１０１２は、演奏者の息速を検出し、その息速を表す信号を生成する息速検出センサである。１０１５は、息速検出センサ１０１２からの信号に基づいて息速情報を生成する息速検出部である。Ｄ６は、予め楽器演奏装置１０００に記憶された息速自動演奏データであり、楽曲の自動演奏を行うための息速を示すデータである。１０１６は息速検出部１０１５から供給される息速情報に基づいて修正息速信号を生成する息速修正部である。なお、息速修正部１０１６の電気回路構成および修正息圧信号の生成方法は、第１実施形態に係る図２に示したアンブシュア修正部１４のそれと同様であり、ここではその説明を省略する。

上述した構成によれば、発音音程決定部６０２は、修正アンブシュア信号（ジェット長）と修正息速信号によって音程を決定し、駆動波形生成部６０３は、発音音程決定部６０２が決定した音程、修正息速信号、および修正アンブシュア信号（ジェット幅およびジェット長）に基づいて振動アクチュエータ６０４の駆動波形を生成する。エアーリードの木管楽器の場合、金管楽器と同様に、運指だけでは決まらず、運指と息のスピード、アンブシュアで音程が決まるという性質があり、本実施形態ではこの性質を用いて自動演奏への演奏者の演奏行為の関与を実現している。

［第１１実施形態］
次に、この発明の第１１の実施形態を説明する。図１４はこの発明の第１１の実施形態である楽器演奏装置１１００の構成を示す図である。図において、１１０，１２０は例えばバイオリン等の弦楽器である。楽器演奏装置１１００は弦楽器１１０を用いて自動演奏を行う。一方、弦楽器１２０は演奏者の演奏行為を検知するために用いられる。１１ａ，１２ａはそれぞれ弦楽器１１０，１２０の弓である。１１１１は弓１２ａの弓毛にかかる圧力を検出して弓圧を示す信号を生成する弓圧センサであり、１１１２は弓１２ａの弓の速度を検出して弓速を示す信号を生成する弓速センサである。１１１３は演奏者の運指を検出して運指を示す信号を生成する運指センサである。弓圧センサ１１１１，弓速センサ１１１２，運指センサ１１１３は弦楽器１２０に設けられており、演奏者が弦楽器１２０を用いて演奏を行うと、これらの弓圧センサ１１１１，弓速センサ１１１２，運指センサ１１１３が弓圧と弓速と運指をそれぞれ検出する。この場合、弓圧センサ１１１１は、弓毛の張設方向のテンションを検出する圧力センサとスチックの角度を検出する角度センサなどによって構成され、例えば、スチックの根本部分に内蔵される。弓速センサ１１１２は弓の張設方向の速度を検出する速度センサなどによって構成され、スチックの根本部分に内蔵される。また、運指センサ１１１３は、指板上に設けられた多数の圧力センサによって構成され、演奏者の指がどの位置のセンサを押圧しているかを検出することにより、どの弦のどの位置が押さえられているかを検出する。また、運指センサ１１１３は、指の押圧力についても検出する。

１１１４は、弓圧センサ１１１１から供給される信号を処理（レベル変換や正規化などの所定の処理）して弓圧情報を生成する弓圧検出部であり、１１１５は、弓速センサ１１１２から供給される信号を処理（レベル変換や正規化などの所定の処理）して弓速情報を生成する弓速検出部である。また、１１１６は運指センサ１１１３から供給される信号を処理（レベル変換や正規化などの所定の処理）して運指情報を生成する運指検出部である。

Ｄ１１１は予め楽器演奏装置１１００に記憶された弓圧自動演奏データであり、楽曲の自動演奏を行うための弓圧およびスチックの角度を示すデータである。Ｄ１１２は予め楽器演奏装置１１００に記憶された弓速自動演奏データであり、楽曲の自動演奏を行うための弓速を示すデータである。また、Ｄ１１１３は予め楽器演奏装置１１００に記憶された運指自動演奏データであり、楽曲の自動演奏を行うための運指を示すデータである。ここで、弓圧自動演奏データＤ１１１、弓速自動演奏データＤ１１２および運指自動演奏データＤ１１３は、同一の曲に対応して生成されており、読み出されるときは同期して読み出されるようになっている。

１１１７は、弓圧自動演奏データに対して、弓圧検出部１１１４から供給される弓圧情報を関与度ｒ６に対応する量だけ加味して修正弓圧信号を生成する弓圧修正部である。１１１８は、弓速自動演奏データに対して、弓速検出部１１１５から供給される弓速情報を関与度ｒ５に対応する量だけ加味して修正弓速信号を生成する弓速修正部である。１１１９は、運指自動演奏データに対して、運指検出部１１１６から供給される運指情報を関与度ｒ７に対応する量だけ加味して修正運指信号を生成する運指修正部である。なお、これらの弓圧修正部１１１７、弓速修正部１１１８、運指修正部１１１９の電気回路構成および息圧補助信号の生成方法は、第１実施形態に係る図２に示したアンブシュア修正部１４のそれと同様であり、ここではその説明を省略する。

１１２０ａ、１１２０ｂは、弓用アクチュエータ駆動部であり、１１２１は弓１１ａを引く弓用アクチュエータである。弓用アクチュエータ１１２１は、弓１１ａのスチックを把持して弓毛方向にスチックを往復動させる。弓用アクチュエータ駆動部１１２０ａは、弓圧修正部１１１７から供給される修正弓圧信号に基づいて弓用アクチュエータ１１２１を駆動する。これにより、弓用アクチュエータ１１２１は、修正弓圧信号に応じた弓圧とスチックの角度に応じて、弓１１ａを弦に押し当てる。このとき、スチックの角度に応じて、どの弦に対して弓毛が押し当てられるかが切り替わる。また、弓用アクチュエータ駆動部１１２０ｂは、弓速修正部１１１８から供給される修正弓速信号に基づいて弓用アクチュエータ１１２１を駆動し、これにより、弓１１ａは修正弓速信号に応じた速さで往復動する。このようにして、弓１１ａは、押圧力、角度そして往復動の速さが制御される。

１１２２は、運指用アクチュエータ駆動部であり、１１２３は弦楽器１２０の指板に対して弦を押さえて運指を行う運指用アクチュエータである。運指用アクチュエータ１１２３は、人の手のひら状の形状を有したロボットハンドのようなアクチュエータであり、指に相当する部分が弦を指板に押圧する。運指用アクチュエータ駆動部１１２２は、運指修正部１１１９から供給される修正運指信号に基づいて運指用アクチュエータ１１２３を駆動する。運指用アクチュエータ１１２３は、運指用アクチュエータ１１２３の制御の下、修正運指信号に対応した弦について、修正運指信号に対応した位置を押圧する。この運指用アクチュエータ１１２３と弓用アクチュエータ１１２１が連携して動作することにより、弦楽器１１０を用いた自動演奏が行われる。

上述した構成によるこの実施形態の動作は以下のとおりである。演奏者が弦楽器１２０を用いて演奏を行うと、弦楽器１２０に設けられた弓圧センサ１１１１，弓速センサ１１１２，運指センサ１１１３が、弓圧と弓速と運指をそれぞれ検出する。検出された弓圧と弓速と運指は、弓速修正部１１１８、弓圧修正部１１１７、運指修正部１１１９でそれぞれ自動演奏データに加味され、修正された演奏データに基づいて、弓用アクチュエータ１１２１と運指用アクチュエータ１１２３がそれぞれ駆動される。弓用アクチュエータ１１２１と運指用アクチュエータ１１２３とが連携して動作し、これにより、演奏者の演奏行為を関与させた自動演奏が弦楽器１１０で行われる。

なお、上述した実施形態においては、自動演奏用の弦楽器１１０と演奏者の演奏行為を検出するための弦楽器１２０との２つの弦楽器を用いて、演奏者の演奏行為を関与させた自動演奏を行うようにしたが、１台の弦楽器で上述した実施形態に係る機能を実現するようにしてもよい。具体的には、１台の弦楽器上に、演奏者の演奏行為を検出するための各種センサを設けるとともに、自動演奏用のアクチュエータを設置するようにすればよい。

また、上述した実施形態においては、物理演奏情報（弓圧、弓速、運指）を用いてアクチュエータを駆動させるようにしたが、振動波形を用いてアクチュエートするようにしてもよい。例えば、自動演奏用の弦楽器において、弦が駒と接する直下の部分に、振動波形を生成して発音を行う振動アクチュエータ（例えば、小型スピーカ等）を備えるようにしてもよい。この場合には、弓の駆動は不要になるので、弓用アクチュエータ１１２１を省略してもよい。運指用アクチュエータ１１２３が押さえた弦と押さえ位置に応じた振動が振動アクチュエータによって発生されると、その弦が共鳴して振動するので、自然な弦の振動音も合わせて発生することができる。

［変形例］
以上、この発明の実施形態について説明したが、この発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、図２に示す電気回路を用いて、関与度ｒに応じて補助信号を生成するようにしたが、補助信号を生成するための回路構成はこれに限定されるものではない。例えば、図１５に示すように、検出演奏データに対してハイパスフィルタをかけてもよい。このような構成にすると、検出演奏データの微分値が自動演奏データに対して強い影響を与えるようになるので、例えば、検出演奏データの立ち上がりや立ち下がりの部分で、自動演奏データへの影響が大きくなる。また、図１６に示すように、検出演奏データにローパスフィルタをかけた後ハイパスフィルタをかけるようにしてもよい。このように構成すると、ローパスフィルタによって検出演奏データの立ち上がりを鈍化させて大まかな変化をとらえ、その大まかな変化の中の上昇部分や下降部分をハイパスフィルタよって強調し、これにより自動演奏データに影響を与えるようにしてもよい。

また、図１７に示すような自動演奏データを持つようにしてもよい。この図に示す発音音程に対応する自動演奏データを記憶したデータベースを、検出される２つの物理演奏情報に応じて２セット設けた例である。すなわち、データベースＤＢ１は物理演奏情報１に対応し、データベースＤＢ２は物理演奏情報２に対応している。発音音程決定手段は、検出される演奏データである運指データ、物理演奏情報１、物理演奏情報２を元に発音音程を決定する。この場合、運指データはなくてもよい場合もある。また、物理演奏情報１，物理演奏情報２は、各々異なる物理演奏情報であって例えば、アンブシュアと息圧などである。演奏データ修正部Ｃ１，Ｃ２は、図２に示す回路と同様に構成されており、関与度ｒに応じた線形補正演算を行って、それぞれ物理演奏情報１，２を用いて自動演奏データの修正を行う。

（２）上述した実施形態は、管楽器や木管楽器、弦楽器に本発明を適用した例を示したが、本発明は、他の楽器にも適用することができる。
例えば、鍵盤楽器については、押鍵の強さを検出し、これと自動演奏データとを比較することにより、演奏補助データを生成し、この演奏補助データによって鍵を駆動するソレノイドを駆動して、自動演奏を行うようにしてもよい。このような構成は、鍵盤にソレノイドが設けられている自動ピアノに付加すれば容易に実現することができる。また、演奏者の演奏行為の関与は、鍵盤だけでなく、ペダルについても同様の構成で行うことができる。

また、ギターなどの撥弦楽器についても、上述した第１１の実施形態と同様にして、指板を押さえるアクチュエータと弦を弾く駆動機構を撥弦楽器に取り付け、もう一台の撥弦楽器を検出用楽器として、これに対する演奏者の指板への押圧力や、指の動き（あるいはピックの動き）をセンサで検出して、これを演奏補助信号してアクチュエータや駆動機構を駆動することもできる。

（３）上述した各実施形態においては、楽器の演奏に関する演奏者の操作量として、以下の検出値を使用した。すなわち、唇の緊張と唇の開口を操作量として検出し、これに基づいてアンブシュアを求めたり、息圧、運指、ジェット流速、ジェット長さ、ジェット幅などという検出を使用した。また、以下の実施形態では、操作量としてさらに他の値を検出している。すなわち、第３実施形態においては、人間の指揮などの様子の動画解析の結果として得られる打点のタイミングや動作の特徴量を操作量として検出し、これらを音符の長さ、ダイナミクス変化、ピッチ変化などに変換し、さらに、これらをアンブシュアや息圧に変換して制御に用いた。また、第４実施形態においては、実際の演奏から、ピッチ変換、ダイナミクス変化、音符長さ、打点タイミングを操作量として検出し、第５、６実施形態においては、演奏者による音の振動波形を操作量として検出した。また、実施形態７，８においては、演奏者の唇の固有振動数を操作量として検出し、実施形態９においては、リード変位、リードを噛む位置およびリードと唇の接触面積を操作量として検出し、これらをアンブシュアに変換した。第１１実施形態においては、弓の速度、角度および弓毛の張力を操作量としてなど検出した。
以上のように操作量は、演奏者の演奏に関与する量として検出されるものであり、上述した以外にも楽器の特性に応じて種々の検出値が操作量となり得ることは勿論である。

本発明の第１の実施形態である楽器演奏装置の構成を示す図である。 同実施形態のアンブシュア修正部の電気回路を示す図である。 本発明の第２の実施形態である楽器演奏装置の構成を示す図である。 本発明の第３の実施形態である楽器演奏装置の構成を示す図である。 同実施形態の外観を示す図である。 本発明の第４の実施形態である楽器演奏装置の構成を示す図である。 同実施形態の外観を示す図である。 本発明の第５の実施形態である楽器演奏装置の構成を示す図である。 本発明の第６の実施形態である楽器演奏装置の構成を示す図である。 本発明の第７の実施形態である楽器演奏装置の構成を示す図である。 本発明の第８の実施形態である楽器演奏装置の構成を示す図である。 本発明の第９の実施形態である楽器演奏装置の構成を示す図である。 本発明の第１０の実施形態である楽器演奏装置の構成を示す図である。 本発明の第１１の実施形態である楽器演奏装置の構成を示す図である。 本発明の変形例に係る電気回路を示す図である。 本発明の変形例に係る電気回路を示す図である。 本発明の変形例に係る電気回路を示す図である。

符号の説明

１，２００，３００，４００，５００，６００，７００，８００，９００，１０００，１１００…楽器演奏装置、２，６…トランペット、３…マウスピース、４…演奏者の唇、１１…アンブシュア検出センサ、１２…息圧センサ、１３…アンブシュア検出部、１４…アンブシュア修正部、１５…息圧検出部、１６…息圧修正部、１７…アンブシュアアクチュエータ駆動部、１８…アンブシュアアクチュエータ、１９…人口唇、２０…息圧アクチュエータ駆動部、２１…息圧アクチュエータ、２５…支持体、３０…運指検出部、３１…運指修正部、３２…運指アクチュエータ駆動部、３３…運指アクチュエータ、３０１…ビデオカメラ、３０２…動画画像解析部、３０３…ピッチ変化抽出部、３０４…ダイナミクス変化抽出部、３０５…音符長さ抽出部、３０６…打点タイミング抽出部、４０１，５０１，８０１…マイクロフォン、４０２…波形解析部、５０２…振動波形検出部。

Claims (9)

1. 楽器の演奏に関する演奏者の操作量を検出する演奏操作量検出手段と、
   演奏対象となる楽器の演奏操作に対応した演奏パラメータを楽曲の進行に応じて記憶する記憶手段と、
   前記演奏パラメータに対する前記操作量の影響の度合を示す関与度を設定する設定手段と、
   前記記憶手段から読み出された演奏パラメータを前記演奏操作量検出手段で検出された前記操作量に応じて修正する際、当該演奏パラメータに対する前記関与度で当該操作量を当該演奏パラメータの修正に関与させて修正演奏パラメータを生成する修正演奏パラメータ生成手段と、
   前記演奏対象となる楽器に取り付けられ、前記修正演奏パラメータ生成手段が生成した修正演奏パラメータに基づいて、前記楽器に対する演奏操作を行う演奏操作手段と
   を具備することを特徴とする自動演奏装置。
2. 前記演奏対象となる楽器は金管楽器であり、前記演奏操作手段は、前記金管楽器のマウスピースを複数の可撓性部材で覆う人工唇と、前記人工唇を駆動してアンブシュアを変える人工唇アクチュエータと、前記人工唇を介して前記マウスピース内に加圧気体を吹き込む加圧気体吹込機構とを有し、前記修正演奏パラメータに基づいて前記人工唇アクチュエータおよび前記加圧気体吹込機構の加圧気体吹き込み量を制御することを特徴とする請求項１記載の自動演奏装置。
3. 前記演奏操作量検出手段は、演奏者が唇をつけて息を吹き込むマウスピースに取り付けられたセンサを有し、前記センサは前記マウスピースに対する演奏者のアンブシュアを検出し、前記操作量は前記アンブシュアを含むことを特徴とする請求項１または２に記載の自動演奏装置。
4. 前記演奏操作量検出手段は、演奏者が唇をつけて息を吹き込むマウスピースに取り付けられて前記息の息圧を検出する息圧センサを有し、前記操作量は前記息圧を含むことを特徴とする請求項１から３いずれかに記載の自動演奏装置。
5. 前記演奏対象となる楽器は金管楽器であり、前記演奏操作手段は前記金管楽器のマウスピースに取り付けられた振動子を有し、前記振動子を前記修正演奏パラメータに基づいて励振させることを特徴とする請求項１から４いずれかに記載の自動演奏装置。
6. 前記演奏対象となる楽器はマウスピースにリード片が取り付けられる木管楽器であり、前記演奏操作手段は、前記リードに取り付けられる振動子を有し、前記振動子を前記修正演奏パラメータに基づいて励振させることを特徴とする請求項１記載の自動演奏装置。
7. 前記演奏対象となる楽器はエアーリードによって発音する木管楽器であり、前記演奏操作量検出手段は、前記木管楽器の吹き込み口に取り付けられ、演奏者によって吹き込まれる息のジェット流速、ジェット長さ、ジェット幅を検出するセンサを有し、前記操作量は前記センサが検出する前記ジェット流速、前記ジェット長さ、前記ジェット幅を含み、
   前記演奏操作手段は、前記木管楽器の吹き込み口に取り付けられる振動子を有し、前記振動子を前記修正演奏パラメータに基づいて励振させることを特徴とする請求項１記載の自動演奏装置。
8. 前記演奏対象となる楽器は、音高を決定する音高操作子を有し、
   前記演奏操作手段は、前記音高操作子を前記修正パラメータに基づいて駆動することを特徴とする請求項１記載の自動演奏装置。
9. 前記演奏操作量検出手段は擦弦楽器の指板に取り付けられ運指を検出する指板センサと、前記擦弦楽器の弦を弾く弓の前記弦に対する圧力、前記弓の角度、および前記弓の移動の速さを各々検出するセンサを有し、これらのセンサからの出力信号を前記操作量に含み、
   前記演奏操作手段は演奏対象となる擦弦楽器の弦を押さえる押弦アクチュエータと、前記擦弦楽器の弦を弾く弓を駆動する弓アクチュエータを有し、前記修正パラメータに基づいて前記押弦アクチュエータおよび前記弓アクチュエータを駆動することを特徴とする請求項１記載の自動演奏装置。

Images