JP6915910B2 - 解析装置、演奏支援システム、解析方法及びプログラム - Google Patents

Description

本発明は、解析装置、演奏支援システム、解析方法及びプログラムに関する。

オーケストラなど複数の楽器を使用するコンサートにおいて、各楽器の演奏者と客席との距離、会場の形状などに起因して、客席での合奏音の聴こえ方が会場によって異なる。しかしながら、客席での合奏音の聴こえ方は会場が異なる場合であっても、同一であることが望ましい。
特許文献１には、関連する技術として、右手パートと左手パートそれぞれのパート評価値を算出し、算出したパート評価値から総合評価値を求めて演奏を評価する技術が開示されている。

国際公開第２０１９／０９２７８４号

ところで、異なる会場において、客席での合奏音の聴こえ方をできるだけ同一にするためには、リハーサル時の練習で各楽器を演奏するタイミングを調整する必要がある。しかしながら、会場の利用時間や演奏者の都合などにより、リハーサルの回数には制限がある。
そのため、練習時に各楽器間の演奏タイミングを効率よく調整することのできる技術が求められている。

本発明の各態様は、上記の課題を解決することのできる解析装置、演奏支援システム、解析方法及びプログラムを提供することを目的としている。

上記目的を達成するために、本発明の一態様によれば、解析装置、演奏支援システム、解析方法及びプログラムは、複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出する算出手段と、複数の前記楽器についての前記差の統計量を算出し、前記算出手段の算出した前記差が、前記統計量に基づいて定まる範囲内にあるか否かを判定する判定手段と、を備える。

上記目的を達成するために、本発明の別の態様によれば、演奏支援システムは、上記の解析装置、演奏支援システム、解析方法及びプログラムと、前記解析装置、演奏支援システム、解析方法及びプログラムが算出した前記差を通知する通知装置と、を備える。

上記目的を達成するために、本発明の別の態様によれば、解析方法は、複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出することと、複数の前記楽器についての前記差の統計量を算出し、算出した前記差が、前記統計量に基づいて定まる範囲内にあるか否かを判定することと、を含む。

上記目的を達成するために、本発明の別の態様によれば、プログラムは、コンピュータに、複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出することと、複数の前記楽器についての前記差の統計量を算出し、算出した前記差が、前記統計量に基づいて定まる範囲内にあるか否かを判定することと、を実行させる。

本発明の各態様によれば、練習時に各楽器間の演奏タイミングを効率よく調整することができる。

本発明の一実施形態による演奏支援システムの構成の一例を示す図である。 本発明の一実施形態による音ズレ解析装置の構成の一例を示す図である。 本発明の一実施形態によるズレ判定部による判定を説明するための図である。 本発明の一実施形態による通知装置が通知する楽譜の一例を示す図である。 本発明の一実施形態による演奏支援システムの処理フローの一例を示す図である。 本発明の別の実施形態によるズレ判定部による判定を説明するための図である。 本発明の実施形態による音ズレ解析装置の最小構成を示す図である。 本発明の実施形態による最小構成の音ズレ解析装置の処理フローの一例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

以下、図面を参照しながら実施形態について詳しく説明する。
＜実施形態＞
本発明の一実施形態による演奏支援システム１は、複数の楽器を用いて演奏するコンサートのリハーサル時の合奏音を収集し、その合奏音における各楽器の音のタイミングと基準とのズレを解析して、そのズレが大きい場合にそのズレの大きい楽器の演奏者に直ちに通知するシステムである。演奏支援システム１は、図１に示すように、集音装置１０、音ズレ解析装置２０（解析装置の一例）、通知装置３０を備える。

集音装置１０は、複数の楽器による合奏音を客席で収集する装置である。集音装置１０は、マイクを備える。集音装置１０は、例えば、コンサートホールなどの客席に設けられ、リハーサル時に合奏音を客席で収集する。

音ズレ解析装置２０は、集音装置１０が収集した合奏音を楽器ごとの音に分離し、分離した音のタイミングを解析する装置である。音ズレ解析装置２０は、図２に示すように、音分離部２０１、音解析部２０２（算出手段の一例）、ズレ判定部２０３（判定手段の一例）、通知部２０４（通知制御手段の一例）を備える。

音分離部２０１は、合奏音を楽器ごとの音に分離する。
例えば、音分離部２０１は、国際公開第２００８／１３３０９７号に記載の音源分離方法を用いて、集音装置１０が収集した合奏音を楽器ごとの音に分離する。

音解析部２０２は、音分離部２０１が分離した楽器ごとの音の立ち上がりのタイミングと、タイミングの基準とのズレを解析する。本実施形態に係るタイミングの基準は、楽器のうち任意に決定した１つの楽器の音のタイミングである。すなわち、音解析部２０２は、予め指揮者等によって基準となる楽器の指定を受け付け、音分離部２０１によって分離された楽器ごとの音のうち、指定された楽器の音のタイミングを、タイミングの基準として決定する。つまり、音解析部２０２は、任意に決定した１つの楽器の音のタイミングと、それ以外の楽器の音のタイミングとの差を算出する。

ズレ判定部２０３は、音解析部２０２による解析結果に基づいて、各楽器の音のタイミングがズレの許容範囲内にあるか否かを判定する。
例えば、ズレ判定部２０３は、音解析部２０２による解析結果を用いて、楽譜上同一のタイミングで演奏される全楽器について、各楽器の音のタイミングと、タイミングの基準との差を算出する。そして、ズレ判定部２０３は、各楽器について算出した差の平均値（統計量の一例）を算出し、そのタイミングの基準に算出した差の平均値を加算したタイミングをしきい値とする。ズレ判定部２０３は、各楽器について、楽器の音のタイミングと、しきい値とを比較する。ズレ判定部２０３は、楽器の音のタイミングが、タイミングの基準としきい値との間にあると判定した場合、その楽器の音のタイミングがズレの許容範囲内にあると判定する。また、ズレ判定部２０３は、楽器の音のタイミングが、タイミングの基準としきい値との間にないと判定した場合、その楽器の音のタイミングがズレの許容範囲外にあると判定する。

ここで、ズレ判定部２０３による判定について図３を用いて説明する。なお、本発明の各実施形態における楽譜は、通知装置３０に通知される電子楽譜であり、一般的な楽譜と異なり、横軸に時間の概念を導入した楽譜である。また、楽器はバイオリン、トランペット、クラリネットであり、それらの楽器は図３におけるオリジナルの楽譜に従って演奏するものとして、ズレ判定部２０３による判定について説明する。
図３は、バイオリン、トランペット、クラリネットの演奏された音が客席に到達したタイミングの一例を示す図である。
図３の（ａ）の部分は、オリジナルの楽譜における音符ｏ１、ｏ２、ｏ３を示している。図３の（ｂ）の部分は、音解析部２０２による解析結果のうち、バイオリンの音のタイミングｔｖ１、ｔｖ２、ｔｖ３を示している。図３の（ｃ）の部分は、音解析部２０２による解析結果のうち、トランペットの音のタイミングｔｔ１、ｔｔ２、ｔｔ３を示している。また、図３の（ｄ）の部分は、音解析部２０２による解析結果のうち、クラリネットの音のタイミングｔｃ１、ｔｃ２、ｔｃ３を示している。タイミングｔｖ１、ｔｔ１、ｔｃ１のそれぞれは、音符ｏ１に対応するタイミングである。タイミングｔｖ２、ｔｔ２、ｔｃ２のそれぞれは、音符ｏ２に対応するタイミングである。タイミングｔｖ３、ｔｔ３、ｔｃ３のそれぞれは、音符ｏ３に対応するタイミングである。
なお、タイミングの基準となる楽器は、バイオリンである。タイミングの基準ｔｖ１に対応するしきい値はｔｔｈ１である。また、タイミングｔｖ２に対応するしきい値はｔｔｈ２である。また、タイミングｔｖ３に対応するしきい値はｔｔｈ３である。
また、図３に示すように、タイミングｔｔ１とタイミングの基準ｔｖ１との差をａ１、タイミングｔｃ１とタイミングの基準ｔｖ１との差をｂ１、しきい値ｔｔｈ１とタイミングの基準ｔｖ１との差をｃ１とすると、差ｃ１について（差ｃ１）＝（差ａ１＋差ｂ１）÷２と表すことができる。
また、同様に、図３に示すように、タイミングｔｔ２とタイミングの基準ｔｖ２との差を−ａ２、タイミングｔｃ２とタイミングの基準ｔｖ２との差をｂ２、しきい値ｔｔｈ２とタイミングの基準ｔｖ２との差をｃ２、タイミングｔｔ３とタイミングの基準ｔｖ３との差をａ３、タイミングｔｃ３とタイミングの基準ｔｖ３との差をｂ３、しきい値ｔｔｈ３とタイミングの基準ｔｖ３との差をｃ３とする。この場合、差ｃ２について（差ｃ２）＝（差−ａ２＋差ｂ２）÷２と表すことができ、差ｃ３について（差ｃ３）＝（差ａ３＋差ｂ３）÷２と表すことができる。

ズレ判定部２０３は、タイミングｔｔ１がタイミングｔｖ１とタイミングｔｔｈ１との間にあるか否かを判定する。ズレ判定部２０３は、タイミングｔｔ１がタイミングｔｖ１とタイミングｔｔｈ１との間にあると判定した場合、ズレの許容範囲内にあると判定する。また、ズレ判定部２０３は、タイミングｔｔ１がタイミングｔｖ１とタイミングｔｔｈ１との間にないと判定した場合、ズレの許容範囲外にあると判定する。なお、図３の（ｃ）の部分に示す音符の場合、ズレ判定部２０３は、タイミングｔｔ１がタイミングｔｖ１とタイミングｔｔｈ１との間にあり、ズレの許容範囲内にあると判定する。
同様に、ズレ判定部２０３は、タイミングｔｃ１がタイミングｔｖ１とタイミングｔｔｈ１との間にあるか否かを判定する。また、ズレ判定部２０３は、タイミングｔｔ２、ｔｃ２のそれぞれについて、タイミングｔｖ２とタイミングｔｔｈ２との間にあるか否かを判定する。また、ズレ判定部２０３は、タイミングｔｔ３、ｔｃ３のそれぞれについて、タイミングｔｖ３とタイミングｔｔｈ３との間にあるか否かを判定する。

通知部２０４は、楽器の音のタイミングを、通知装置３０を介してその楽器の演奏者に通知する。
例えば、通知部２０４は、ＷｉＦｉ（登録商標）などの無線通信やケーブルを用いた有線通信を行うことにより、図４の（ａ）、（ｂ）の部分に示すように、オリジナルの楽譜と共に、タイミングの基準からのズレに応じた長さの矢印を通知装置３０に表示させて、そのズレを演奏者に通知する。
このとき、通知部２０４は、ズレ判定部２０３がズレの許容範囲外にあると判定した音について、図４の（ｂ）の部分に示すように、タイミングのズレが大きいことをわかり易くするために、音符に色を付けたり、音符を点滅させたりするなど、視覚的に目立つ表示（つまり、認識し易い表示）を通知装置３０にさせる。

通知装置３０は、客席におけるタイミングの基準からの演奏音のズレを通知する装置である。通知装置３０は、演奏者が目視できる位置に設けられる。

次に、演奏支援システム１が行う処理について説明する。ここでは、図５に示す処理フローについて説明する。

集音装置１０は、合奏音の一定時間の音（例えば０．１秒）を繰り返し収集する（ステップＳ１）。
音分離部２０１は、集音装置１０が収集した合奏音を楽器ごとの音に分離する（ステップＳ２）。

音解析部２０２は、音分離部２０１が分離した楽器ごとの音のタイミングと、タイミングの基準とのズレを解析する。
例えば、音解析部２０２は、音の立ち上がりと楽譜における音符との対応付けをした上で、任意に決定した１つの楽器の音のタイミングと、それ以外の楽器の音のタイミングとの差を算出する（ステップＳ３）。

ズレ判定部２０３は、音解析部２０２による解析結果に基づいて、各楽器の音のタイミングがズレの許容範囲内にあるか否かを判定する。
例えば、ズレ判定部２０３は、音解析部２０２による解析結果を用いて、楽譜上同一のタイミングで演奏される全楽器について、各楽器の音のタイミングと、タイミングの基準との差を算出する。そして、ズレ判定部２０３は、各楽器について算出した差の平均値を算出し（ステップＳ４）、そのタイミングの基準に算出した差の平均値を加算したタイミングをしきい値とする。ズレ判定部２０３は、各楽器について、楽器の音のタイミングと、しきい値とを比較する。そして、ズレ判定部２０３は、音解析部２０２による解析結果に基づいて、各楽器の音のタイミングがズレの許容範囲内にあるか否かを判定する（ステップＳ５）。

ズレ判定部２０３が、楽器の音のタイミングがズレの許容範囲内にあると判定した場合（ステップＳ５においてＹＥＳ）、通知部２０４は、タイミングの基準からのズレを通知装置３０に表示させる（ステップＳ６）。
また、ズレ判定部２０３が、楽器の音のタイミングがズレの許容範囲外にあると判定した場合（ステップＳ５においてＮＯ）、通知部２０４は、タイミングの基準からのズレを目立つように通知装置３０に表示させる（ステップＳ７）。
なお、上記ステップＳ１からステップＳ７の処理は、演奏が終了するまで繰り返し実行される。

以上、一実施形態による演奏支援システム１について説明した。
演奏支援システム１において、音解析部２０２は、複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出する。ズレ判定部２０３は、複数の前記楽器についての前記差の平均値を算出し、音解析部２０２の算出した前記差が、前記平均値に基づいて定まる範囲内にあるか否かを判定する。
こうすることにより、演奏支援システム１は、楽器間の音のズレを算出することができる。そして、演奏者がそのズレを知ることにより、練習時に各楽器間の演奏タイミングを効率よく調整することができる。
また、演奏者がそのズレを考慮して演奏することにより、指揮者が楽譜の指定と異なるテンポで指揮した場合であっても、客席において各楽器の音の揃った合奏音が再現される。

上述した実施形態では、平均値をしきい値とするが、これに限られず、中央値や標準偏差に基づいてしきい値を決定してもよい。
なお、上述した実施形態では、任意の１つの楽器をタイミングの基準とし、その基準に対して他の楽器の音のズレを算出する場合を例に、演奏支援システム１について説明した。他方、他の実施形態では、演奏支援システム１は、複数の楽器のタイミングの平均のタイミングを基準としてもよい。また、本発明の別の実施形態では、演奏支援システム１は、オリジナルの楽譜をタイミングの基準とし、その基準に対して各楽器の音のズレを算出するものであってもよい。
以下に、オリジナルの楽譜をタイミングの基準とした場合の処理の例を示す。

音解析部２０２は、オリジナルの楽譜における各音符をタイミングの基準とし、その基準と、各楽器の音のタイミングとの差を算出する。
そして、ズレ判定部２０３は、音解析部２０２による解析結果に基づいて、各楽器の音のタイミングがズレの許容範囲内にあるか否かを判定すればよい。
ここで、図６に示すように、オリジナルの楽譜のタイミングとバイオリンの音のタイミングとの差をａ４、オリジナルの楽譜のタイミングとトランペットの音のタイミングとの差をｂ４、オリジナルの楽譜のタイミングとクラリネットの音のタイミングとの差をｃ４とする。この場合、ズレ判定部２０３は、３つの楽器それぞれの音のオリジナルの楽譜のタイミングとのズレの平均値ｄ４は、ｄ４＝（ａ４＋ｂ４＋ｃ４）÷３と算出し、算出した平均値を用いて上述した実施形態と同様の判定を行えばよい。
こうすることにより、本願の一実施形態による演奏支援システム１とは異なり、ある楽器（例えば、本願の一実施形態においてタイミングの基準となるバイオリン）が演奏されない場合であっても、この場合の演奏支援システム１は、各楽器の音のタイミングのズレを容易に算出することができる。

なお、本発明の別の実施形態では、通知装置３０は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やリストバンドであってもよい。この場合、ズレ判定部２０３は、楽器の音のタイミングのズレを演奏者が所持するＬＥＤを点滅させたり、演奏者が装着するリストバンドを振動させたりして、演奏者に音のズレを通知するものであってもよい。

図７は、本発明の実施形態による音ズレ解析装置２０の最小構成を示す図である。
音ズレ解析装置２０は、算出手段２０ａ、判定手段２０ｂを備える。
算出手段２０ａは、複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出する。
判定手段２０ｂは、複数の前記楽器についての前記差の平均値を算出し、算出手段２０ａの算出した前記差が、前記平均値に基づいて定まる範囲内にあるか否かを判定する。

次に、本発明の実施形態による最小構成の音ズレ解析装置２０による処理について説明する。
ここでは、図８に示す処理フローについて説明する。
算出手段２０ａは、複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出する（ステップＳ１１）。
判定手段２０ｂは、複数の前記楽器についての前記差の平均値を算出し、算出手段２０ａの算出した前記差が、前記平均値に基づいて定まる範囲内にあるか否かを判定する（ステップＳ１２）。

以上、本発明の実施形態による最小構成の音ズレ解析装置２０について説明した。
この音ズレ解析装置２０により、練習時に各楽器間の演奏タイミングを効率よく調整することができる。

なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。

本発明の実施形態における記憶部、記憶装置、その他の記憶装置（レジスタ、ラッチを含む）のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、本発明の実施形態における記憶部、記憶装置、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。

本発明の実施形態について説明したが、上述の演奏支援システム１、集音装置１０、音ズレ解析装置２０、通知装置３０が備える制御装置、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図９に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の演奏支援システム１、集音装置１０、音ズレ解析装置２０、通知装置３０が備える制御装置、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。

ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。

１・・・演奏支援システム
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・集音装置
２０・・・音ズレ解析装置
２０ａ・・・算出手段
２０ｂ・・・判定手段
３０・・・通知装置
２０１・・・音分離部
２０２・・・音解析部
２０３・・・ズレ判定部
２０４・・・通知部

Claims (10)

1. 複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出する算出手段と、
   複数の前記楽器についての前記差の統計量を算出し、前記算出手段の算出した前記差が、前記統計量に基づいて定まる範囲内にあるか否かを判定する判定手段と、
   を備える解析装置。
2. 前記統計量は、前記差の平均値である、
   請求項１に記載の解析装置。
3. 分離した前記楽器ごとの音に基づいて前記タイミングの基準を決定する決定手段、
   を備える請求項１または請求項２に記載の解析装置。
4. 前記基準は、
   複数の前記楽器における任意の１つの楽器が演奏する音のタイミングである、
   請求項１から請求項３の何れか一項に記載の解析装置。
5. 複数の前記楽器が演奏するオリジナルの楽譜によって前記タイミングの基準を決定する決定手段、
   を備える請求項１または請求項２に記載の解析装置。
6. 横軸方向の音符の位置によって当該音符に係る音の実際の立ち上がりタイミングを示す楽譜において、前記差に基づいて前記横軸方向の音符の位置を決定することで、前記差を通知させる通知制御手段、
   を備える請求項１から請求項５の何れか一項に記載の解析装置。
7. 前記通知制御手段は、
   前記判定手段が前記範囲外にあると判定した前記差と、前記範囲内にあると判定した前記差とを異なる態様で通知する、
   請求項６に記載の解析装置。
8. 請求項１から請求項７の何れか一項に記載の解析装置と、
   前記解析装置が算出した前記差を通知する通知装置と、
   を備える演奏支援システム。
9. 複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出することと、
   複数の前記楽器についての前記差の統計量を算出し、算出した前記差が、前記統計量に基づいて定まる範囲内にあるか否かを判定することと、
   を含む解析方法。
10. コンピュータに、
    複数の楽器による合奏音を楽器ごとの音に分離した音のタイミングと、前記タイミングの基準との差を算出することと、
    複数の前記楽器についての前記差の統計量を算出し、算出した前記差が、前記統計量に基づいて定まる範囲内にあるか否かを判定することと、
    を実行させるプログラム。

Images