JP7290355B1

JP7290355B1 - 演奏データ表示システム

Info

Publication number: JP7290355B1
Application number: JP2021213119A
Authority: JP
Inventors: 浩紀三浦
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-12-27
Filing date: 2021-12-27
Publication date: 2023-06-13
Anticipated expiration: 2041-12-27
Also published as: JP2023097006A

Abstract

【課題】演奏データの音楽的特徴を高度に視覚的効果に反映するシステムを提供することで、音楽を音の表現として楽しむだけでなく、音と同時に、音と遜色ないクオリティで視覚的な表現としても楽しめるようにする。これは耳の不自由な人にも音楽の楽しさを味わう手段を提供できることにもなる。【解決手段】鍵盤による演奏データ、自動演奏による演奏データ、または鍵盤および自動演奏による演奏データがもつ音楽的特徴を検出し、検出された音楽的特徴に応じ視覚表示の表示態様を制御する。検出する音楽的特徴は、音の高低、音の長さ、音の強弱、コード、ダンパーペダル、ソフトペダル、ソステヌートペダル、スケール、アルペジオ、グリッサンド、ビート、ジャンル、ドミナント・モーション、フレーズ移調、フレーズの繰り返し、トリル、またはトレモロである。表示態様は、表示色、輝度、または表示パターンである。【選択図】図１

Description

本発明は、楽器の演奏データを表示するシステムに関するものである。

例えば特開２００３－９９０５６号公報（特許文献１）においては、楽器本体の背面に視聴者用の視覚表示器を設け、演奏データにより視覚表示器を点灯制御する電子楽器が記載されている。また、この電子楽器では、演奏データは分析され、演奏データがもつ音楽的特徴（調、音高変化方向、演奏パート）が検出されて、この検出された音楽的特徴に応じて視覚表示器の表示態様（表示色、輝度など）が変更制御される。

特開２００３－９９０５６号広報

上記の視覚表示器においては、演奏データがもつ音楽的特徴（調、音高変化方向、演奏パート）に応じて視覚表示器の表示態様（表示色、輝度など）が変更制御されることで、一定の視覚的効果を出すことができる。しかし、問題がないわけではない。

本発明は、演奏データがもつ音楽的特徴を、より深く多面的に捉えることで、音楽的特徴と視覚的効果を密接に結びつけることができる。本発明の目的は、演奏データの音楽的特徴を高度に視覚的効果に反映するシステムを提供し、音楽を音の表現として楽しむだけでなく、音と遜色ないクオリティで視覚的な表現としても楽しむ手段を提供することにある。これはすなわち、音の表現と視覚的表現を同時に楽しむことができるだけでなく、耳の不自由な人にも音楽の楽しさを味わう手段を提供することにもなる。

本実施の形態による演奏データ表示システムは、鍵盤による第１演奏データ、自動演奏による第２演奏データ、または鍵盤および自動演奏による第３演奏データにより、第１、第２、または第３演奏データがもつ音楽的特徴を検出し、検出された音楽的特徴に応じ視覚表示の表示態様を制御する。
本実施の形態による演奏データ表示システムの音楽的特徴は、音の高低、音の長さ、音の強弱、コード、ダンパーペダル、ソフトペダル、ソステヌートペダル、スケール、アルペジオ、グリッサンド、ビート、ジャンル、ドミナント・モーション、フレーズ移調、フレーズの繰り返し、トリル、またはトレモロである。また、表示態様は、表示色、輝度、または表示パターンである。

音楽的特徴を緻密に視覚表現へ反映することで、音と光を同時に操る芸術表現を可能にするとともに、光を演奏するという概念を提示し、光を演奏する芸術表現分野を創出することができる。また、耳が不自由な人でも、演奏者が意図した音楽表現を視覚的に感じることができ、自ら演奏する際にも、奏でている音を視覚的に感じながら表現することができる。

本実施の形態による視覚表示器を電子ピアノに実装した場合の斜視図である。鍵配列と視覚表示器についてC３からA4の音域を例として示した図である。コードの種類と構成音、およびそれに応じた色彩の割り当ての例を示す図である。視覚表示器の光が（ａ）→（ｂ）→（ｃ）へと０．５秒程度でと左から右へ波打つように点灯する様子を示した模式図である。本実施の形態の変形例１による電子ピアノと視覚表示器を示す斜視図であり（ａ）は両者の接合前、（ｂ）は両者の接合後を示す図である。本実施の形態の変形例２によるイルミネーションツリーに演奏データ表示システム反映する場合の斜視図である。本実施の形態の変形例３によるソフトウェア上の仮想空間に演奏データ表示システムを反映する場合の参考図である。

（従来技術の課題）
前記特許文献１に記載されている技術では、検出する音楽的特徴が、「調」「音高変化方法」および「演奏パート」となっているため、コード、およびヴォイシング（構成音）が紡ぎだす微妙なニュアンスや、コードチェンジによる雰囲気の変化を視覚的に表現することができない。それ以外にも音楽の３要素といわれる旋律、和音、リズムのすべてにおいて、音楽的要素を検出して視覚的に表現できる仕組みが不足している。つまり、演奏データがもたらす音楽の音としての豊かな表現に対し、視覚的表現が極端に貧弱である。
演奏データから音の高さや音の長さを検出し、それをリアルタイムに映像表現に反映するソフトウェアはすでに存在し、それを利用した動画もインターネット上に多く散見される。しかし、検出できる音楽的特徴が音の高さや長さにとどまっているため、演奏データがもたらす音楽の音としての豊かな表現に対し、視覚的表現が極端に貧弱である。実際の例では、楽曲のイメージに合った映像を事前に用意して、その映像にリアルタイムの演奏データから検出した視覚的表現を組み合わせることで、視覚的表現の貧弱さを補っているが、楽曲のイメージに合った映像を事前に用意しなくてはならないということは、映像を制作するスキルが要求されるため、演奏データに視覚的表現を加えることができる人や機会が限定され、一般のアマチュアの演奏愛好家が気軽にその仕組みを利用することはできない。もちろん、急に弾きたくなった曲をいきなり演奏する場合や、完全にアドリブで演奏する場合にも対応できない。また、実現手段としてプロジェクションマッピングやＡＲを用いているため、ＩＴ知識のない人間には扱うことが難しく、広く一般に普及しているとは言い難い。
コンピュータのソフトウェアとして、演奏する音の高さと演奏タイミングを示すバーが画面の上から降りてくるものがインターネット上の動画に多く散見される。しかし、元となる演奏データが事前に用意されていることが前提となっており、”指定されたタイミングで指定された音を演奏者に弾いてもらう”ことが主眼となっている。つまり、視覚的表現は音楽のもたらす芸術的な価値を視覚的表現に拡張するためのものではなく、あくまで演奏者に指示するための手段である。音楽的特徴を緻密に視覚的表現に反映することを前提には設計されていない。

（実施の形態）

（１）電子ピアノへの実装
図１は、本発明を電子ピアノに実装した場合の斜視図である。
楽器本体１には鍵盤１ａが配置され、鍵盤１ａの奥側の位置に視覚表示器１ｂが配置されている。
視覚表示器１ｂは、鍵盤の配列に対応させて横方向に配列された複数のカラー発光素子からなる。カラー発光素子の数は、電子ピアノが８８鍵である場合には、同様に８８個必要となる。

（２）視覚表示の表示態様の制御

（2-1）概要
鍵盤による第１演奏データ、自動演奏による第２演奏データ、または鍵盤および自動演奏による第３演奏データにより、第１、第２、または第３演奏データがもつ音楽的特徴を検出し、検出された音楽的特徴に応じ視覚表示の表示態様を制御する。
（2-2）検出する音楽的特徴
検出する音楽的特徴は、音の高低、音の長さ、音の強弱、コード、ダンパーペダル、ソフトペダル、ソステヌートペダル、スケール、アルペジオ、グリッサンド、ビート、ジャンル、ドミナント・モーション、フレーズ移調、フレーズの繰り返し、トリル、またはトレモロである。

（2-3）制御方法について
前記音楽的特徴に応じて、以下それぞれ表示態様を制御する。

（ａ）制御方法１：鍵盤の配列と視覚表示器の縦位置の一致する箇所
図２は鍵配列と視覚表示器について、８８鍵の内、C３からA4の音域を例として示した図である。鍵盤２ａのＣ３の鍵を押下すると、視覚表示器２ｂのＣ３の位置が点灯する、といったように鍵配列と視覚表示器の縦の位置が一致する箇所が点灯する。
各鍵を押下している間は、視覚表示器の縦の位置が一致する箇所は点灯し続け、離鍵時は消灯する。
各鍵を強く押下すると、視覚表示器の縦の位置が一致する箇所は強く点灯し、弱く押下すると、弱く点灯する。

（ｂ）制御方法２：コード
３つ以上の鍵が同時に押下されたことを検知すると、その和音の響きに応じた色彩で、視覚表示器全体が点灯する。
コードの種類それぞれに色彩を割り当てることで、コードが持つ雰囲気に合った光の色が自動的に反映される。
図３は、コードの種類と構成音、およびそれに応じた色彩の割り当ての例である。
演奏時のヴォイシング（構成音）により、１００種類以上の色彩を割り当てる。
初期設定では、一般的に明るい響きといわれるメジャー・コードは安全を示す時に用いられる青色、一般的に警戒感を感じさせる響きといわれるディミニッシュ・コードは危険を示す時に用いられる赤色等、昔から一般的に用いられ、色彩から受ける印象として、より自然に感じられる可能性の高い割り当てを初期設定とする。
基本的なコードは基本色を用い、複雑なコードやヴォイシング（構成音）の場合は中間色を用いる。これは複雑なコードやヴォイシング（構成音）ほど、基本的なコードに比べて含まれるテンション・ノート（基本的な和音の構成音に対して追加された音）が多い分、そのコードやヴォイシング（構成音）の響きはコード進行上の機能も曖昧になるため、その曖昧さを色彩の彩度の低さに呼応させるためである。これはあくまで色彩のバリエーションを機能的に反映させるための一つの手法である。
色彩の割り当てについて、初期設定が気に入らない場合はユーザーが自分好みに設定できる。

（ｃ）制御方法３：ダンパーペダル
ダンパーペダルを踏むと、図１の視覚表示器１ｂ全体が白っぽく光る。この機能により、ダンパーペダルが音にもたらす効果を視覚的に示すことができる。なお、一般的な電子ピアノにおける、ダンパーペダルの効果は、ダンパーペダルを踏んだ状態で鍵を押下すると、ダンパーペダルを踏んでいる間は、その音が持続することである。グランドピアノにおいては、ダンパーペダルを踏むと、弦の振動を止めているダンパーフェルトが持ち上がり、全ての弦が解放状態となる。そのため、ダンパーペダルを踏むことは、単に音を持続する効果だけでなく、弦同士の共振によって音に広がりが出るという効果も発生する。近年の電子ピアノもエフェクターによって、グランドピアノに近い効果を出せるようになってきている。ソフトウェアによって、グランドピアノの弦の共振をシミュレーションできるものも存在する。

（ｄ）制御方法４：ソフトペダル
ソフトペダルを踏むと、図１の視覚表示器１ｂの輝度が下がる。この機能により、ソフトペダルが音にもたらす効果を視覚的に示すことができる。なお、一般的な電子ピアノにおける、ソフトペダルの効果は、ソフトペダルを踏んだ状態で鍵を押下すると、ソフトペダルを踏んでいる間は、音量が下がることである。

（ｅ）制御方法５：ソステヌートペダル
ソステヌートペダルを踏むと、ソステヌートペダルを踏んだ時に押下していた鍵の音に対応する視覚表示器の点灯が、離鍵後もソステヌートペダルを戻すまで保持される。例えば、図２において、ソステヌートペダルを踏んだ状態で鍵盤２ａのC3の鍵を押下すると、視覚表示器２ｂのC3の位置が点灯し、鍵盤２ａのＣ３を離鍵しても、ソステヌートペダルを戻すまで視覚表示器２ｂのＣ３の点灯は保持される。この機能により、ソステヌートペダルペダルが音にもたらす効果を視覚的に示すことができる。なお、一般的な電子ピアノにおける、ソステヌートペダルの効果は、ソステヌートペダルを踏んだ状態である鍵を押下すると、ソステヌートペダルを踏んでいる間は、その鍵の音が保持されることである。

（ｆ）制御方法６：スケール
図４は、視覚表示器の光が（ａ）→（ｂ）→（ｃ）へと０．５秒程度でと左から右へ波打つように点灯する様子を示した模式図である。
スケールを検知すると、演奏を追いかけて、視覚表示器の光が波打つように、スケールが上行する場合は左から右へ、スケールが下降する場合は右から左へ連続して点灯する。
検知するスケールの種類は、メジャースケール、メロディックマイナースケール、ドリアンスケール、ミクソリディアンスケール、ロクリアン#2スケール、ハーモニックマイナー・パーフェクト5thビロウスケール、オルタードスケール、ディミニッシュスケール、ブルーノートスケール、リディアン7thスケール、ペンタトニックスケール、ホールトーンスケール、フリジアンスケール、およびリディアンスケールとする。

（ｇ）制御方法７：アルペジオ
アルペジオを検知すると、演奏を追いかけて、視覚表示器の光が波打つように、アルペジオが上行する場合は左から右へ、アルペジオが下降する場合は右から左へ連続して点灯する。前記スケールに比べて、点灯する箇所同士は鍵２つ以上の間隔を空けることで、スケールと光らせ方を認識できるようにする。
（ｈ）制御方法８：グリッサンド
鍵盤上で手を高速で滑らせると、グリッサンドであることを検知し、前記スケールよりも激しい動きで視覚表示器の光が連続して点灯する。激しい動きというのは、例えば、視覚表示器の光がランダムな位置に、同時に、かつ多数点滅を１～２秒繰り返す、という動きのことである。

（ｈ）制御方法９：ビート
数小節の演奏からビートを検出し、視覚表示器の一部分がビートを刻むように、そのビートの速さ（ＢＰＭ）で一瞬の点灯を繰り返す。

（ｉ）制御方法１０：ジャンル
数小節の演奏からＡＩによってジャンルを検知し、ジャンルにマッチする色彩や点灯パターンで視覚表示器が点灯する。例えば、沖縄民謡に特有のスケール、フレーズが多く含まれる演奏をすると、あらかじめ教師データとしてＡＩに学習させておいたＭＩＤＩ楽曲データとのパターン一致を試みて、沖縄民謡の属性として学習済みの楽曲データとのパターン一致率が高ければ、沖縄民謡と判定し、沖縄の建築物や民族衣装で多く用いられる色彩を施したパターンで視覚表示器が点灯する。

（ｊ）制御方法１１：ドミナント・モーション
「ドミナント・モーション」とは、トライトーン（増４度音程）を含んだ和音が長３度または長６度の音程を含んだ和音に変化することである。トライトーンは不協和音の１種であり、緊張感のある響きである。そこから明るく安定した響きである長３度または長６度の音程に変化すると、緊張、不安定さが解消したように感じられる。また、トライトーンは、ドミナント７ｔｈコードに含まれている音程である。そのため、コード進行の一般的な理論として、トライトーン（増４度音程）を含んだ和音から長３度または長６度を含んだ和音に変化することを、「ドミナント・モーション」と呼んでいる。このトライトーン（増４度音程）を含んだ和音から長３度または長６度の音程を含んだ和音に変化したことを検知して、視覚表示器が特有の点灯パターンを発動する。特有の点灯パターンは、例えば、視覚表示器の中央部分が点灯した後、そこから左右に光が流れていくなど、最低限、特有の光り方によってドミナント・モーションであることを識別できればよい。できれば光り方に美しさを感じられることが望ましい。

（ｋ）制御方法１２：フレーズの移調
フレーズが移調されたことを検知して視覚表示器が特有の点灯パターンを発動する。特有の点灯パターンは、例えば、視覚表示器の左半分が点灯した後、右半分が点灯するなど、最低限、特有の光り方によってフレーズの移調であることを識別できればよい。できれば光り方に美しさを感じられることが望ましい。

（ｌ）制御方法１３：フレーズの繰り返し
フレーズが繰り返されたことを検知して視覚表示器が特有の点灯パターンを発動する。特有の点灯パターンは、例えば、視覚表示器の左半分と右半分が交互に数回点灯するなど、最低限、特有の光り方によってフレーズの繰り返しであることを識別できればよい。できれば光り方に美しさを感じられることが望ましい。

（ｍ）制御方法１４：トリル
隣り合う２つの音、つまり半音または全音離れた２つの音を交互に高速で繰り返されたことを検知して視覚表示器が特有の点灯パターンを発動する。特有の点灯パターンは、例えば、押下した鍵に縦位置が近い視覚表示器が複数連続した位置で同時に点滅するなど、最低限、特有の光り方によってトリルであることを識別できればよい。できれば光り方に美しさを感じられることが望ましい。

（ｎ）制御方法１５：トレモロ
全音よりも離れた２つの音（和音を含む）を交互に高速で繰り返されたことを検知して視覚表示器が特有の点灯パターンを発動する。特有の点灯パターンは、例えば、押下した鍵に縦位置が近い視覚表示器が複数少し離れた位置で同時に点滅するなど、最低限、特有の光り方によってトレモロであることを識別できればよい。できれば光り方に美しさを感じられることが望ましい。

（変形例１）
図５は、本発明を電子ピアノと別のパーツとして実装する場合の接合前、および接合後の斜視図である。
図２が示す通り、視覚表示器は、電子ピアノ本体に備え付けである必要はなく、図示はしていないが、ＭＩＤＩ端子とＭＩＤＩケーブル、またはＵＳＢ端子とＵＳＢケーブルを介して、ＭＩＤＩ信号により電子ピアノと視覚表示器の間で演奏データを連携することができれば、視覚表示器は電子ピアノに接合して使用する外部パーツであっても構わない。データ連携の手段はＭＩＤＩ端子、ＭＩＤＩケーブル、またはＵＳＢ端子、ＵＳＢケーブルに限定する必要はなく、他の有線や無線の手段であっても構わない。

（変形例２）
図６は、本発明をイルミネーションツリー６ａに反映する場合の斜視図である。
図６が示す通り、視覚表示器は、電子ピアノの大きさに合わせる必要はなく、イルミネーションツリーやライブ会場の照明のような大きな装置であっても構わない。
視覚表示器が電子ピアノから物理的に切り離されている場合、音の高低、音の配列を認識しやすいよう、低い音ほど大きな視覚表示、高い音ほど小さな視覚表示にするのが望ましい。これはグランドピアノの低音ほど長い弦から音を発し、高音ほど短い弦から音を発するため、音の高低の物理的特性と視覚的特性を一致させ、音を視覚的表現として認識しやすくするためである。電子ピアノが８８鍵である場合は、イルミネーション、ライブ会場、その他大きな視覚表示器の照明装置の数も同様に８８個備えていることが望ましい。８８個以上の物体に視覚表示を反映することができれば、音楽的特徴の緻密な視覚表現が可能となるからである。８８個用意することができない場合は、電子ピアノの鍵の複数個に対して、視覚表示器の発光装置を１つ割り当てるような工夫が必要となる。

（変形例３）
図７は、本発明をソフトウェア上の仮想空間に反映する場合の参考図である。
図７が示す通り、ソフトウェア上の仮想空間において、視覚表示器７ａは、物理的制約を受けないため、例えばグランドピアノのグラフィックを用いて、弦を視覚表示器と見立て、低い音ほど弦が長く、高い音ほど弦が短いという物理的特徴を、グラフィック上で反映することが可能である。また、８８鍵のピアノの演奏情報を反映する対象は、グランドピアノに限らない。ソフトウェア上の仮想空間も、先述のイルミネーションツリーと同様に、８８個の物体に視覚表示を反映することができれば、音楽的特徴の緻密な視覚表現は可能である。８８個の視覚表示器は、動物、噴水、宝石、または時計仕掛けの人形、マトリョーシカ、およびこけしといった人形であってもよい。ソフトウェア上の仮想空間は、２次元であっても、３次元であっても構わない。

（変形例４）
例えば、東京タワーや東京スカイツリーなど、高層タワーのイルミネーションへ本データ表示システムを反映することも可能である。

（変形例５）
以下のような、プロジェクションマッピングやＡＲについても、あらかじめ用意された演出ではなく、リアルタイムの演奏の緻密な表現を、そのままプロジェクションマッピングやＡＲで重ね合わせた映像を用いた光り方にダイレクトに反映させることが可能である。
・電子ピアノの天板に投影するプロジェクションマッピングに本発明の演奏データ表示システムを活用する。
・お寺やビルの壁面に投影するプロジェクションマッピングに本発明の演奏データ表示システムを活用する。
・電車の中から、または外側から投影するプロジェクションマッピングに本発明の演奏データ表示システムを活用する。
・実在の電子ピアノに位置特定用のマーカーを設置し、スマートフォンなどのカメラで映した映像にＣＧの映像をリアルタイムに重ね合わせるＡＲ技術に本発明の演奏データ表示システムを活用する。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
例えば、鍵盤楽器について説明したが、ギター、ベースなどの鍵盤以外の楽器にも用いることができる。

１視覚表示器を搭載した電子ピアノ
１ａ鍵盤
１ｂ視覚表示器
２ａ鍵盤
２ｂ視覚表示器
６ａイルミネーションツリー
７ａソフトウェア上の仮想空間における視覚表示器の例

Claims

鍵盤による第１演奏データ、自動演奏による第２演奏データ、または鍵盤および自動演奏による第３演奏データにより、前記第１、前記第２、または前記第３演奏データにおいて、不協和音の１種であり、緊張感のある響きである「トライトーン（増４度音程）」を含んだ和音が明るく安定した響きである長３度または長６度の音程を含んだ和音に変化し緊張、不安定さが解消したように感じられる「ドミナント・モーション」を検知して、鍵盤の数だけ用意された視覚表示器が特有の点灯パターンを発動する演奏データ表示システム。
請求項１記載の演奏データ表示システムにおいて、
３つ以上の鍵が同時に押下されたことを検知すると、その和音の響きに応じた色彩で、鍵盤の数だけ用意された視覚表示器全体が点灯し、コードの種類それぞれに色彩を割り当てることで、コードが持つ雰囲気に合った光の色が自動的に反映され、演奏時のヴォイシング（構成音）により、１００種類以上の色彩を割り当て、初期設定では、一般的に明るい響きといわれるメジャー・コードに対し安全を示す時に用いられる青色、一般的に警戒感を感じさせる響きといわれるディミニッシュ・コードに対し危険を示す時に用いられる赤色等、昔から一般的に用いられ、色彩から受ける印象として、より自然に感じられる可能性の高い割り当てをし、基本的なコードは基本色を用い、複雑なコードやヴォイシング（構成音）の場合は中間色を用いることで、複雑なコードやヴォイシング（構成音）ほど、基本的なコードに比べて含まれるテンション・ノート（基本的な和音の構成音に対して追加された音）が多い分、そのコードやヴォイシング（構成音）の響きはコード進行上の機能も曖昧になることを色彩の彩度の低さに呼応させ、色彩の割り当てについて、初期設定が気に入らない場合はユーザーが自分好みに設定できる演奏データ表示システム。
請求項１または２記載の演奏データ表示システムにおいて、
ダンパーペダルを踏むと、鍵盤の数だけ用意された視覚表示器全体が白っぽく光り、グランドピアノにおいて、弦の振動を止めているダンパーフェルトが持ち上がり、全ての弦が解放状態となって弦同士の共振によって音に広がりが出るのと同様の効果を視覚的に示すことができる演奏データ表示システム。