JP3724246B2 - 音楽画像表示装置 - Google Patents

音楽画像表示装置 Download PDF

Info

Publication number
JP3724246B2
JP3724246B2 JP07754699A JP7754699A JP3724246B2 JP 3724246 B2 JP3724246 B2 JP 3724246B2 JP 07754699 A JP07754699 A JP 07754699A JP 7754699 A JP7754699 A JP 7754699A JP 3724246 B2 JP3724246 B2 JP 3724246B2
Authority
JP
Japan
Prior art keywords
image
drawing pattern
display
musical
rhythm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07754699A
Other languages
English (en)
Other versions
JP2000276137A (ja
Inventor
秀雄 鈴木
善政 磯崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP07754699A priority Critical patent/JP3724246B2/ja
Priority to US09/531,728 priority patent/US6225545B1/en
Publication of JP2000276137A publication Critical patent/JP2000276137A/ja
Application granted granted Critical
Publication of JP3724246B2 publication Critical patent/JP3724246B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/02Boards or like means for providing an indication of notes
    • G09B15/023Electrically operated
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • G09B15/02Boards or like means for providing an indication of notes
    • G09B15/04Boards or like means for providing an indication of notes with sound emitters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Auxiliary Devices For Music (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、電子楽器などとともに用いられ、発生する楽音の演奏情報に含まれる音楽的要素、すなわち、メロディ、ハーモニー、リズムに応じた画像をリアルタイムで表示することのできる音楽画像発生装置に関する。
【0002】
【従来の技術】
音楽の演奏とコンピュータグラフィックス(CG)などによる表示とを結びつけたものとして、SMF(Standard MIDI File)やMIDI入力に応じてCGによる表示画面を変化させるコンピュータソフトウエアや、マウスなどの動きに応じてCG画面を変化させるようにしたコンピュータソフトウエアが知られている。
【0003】
【発明が解決しようとする課題】
しかしながら、上述したものは、演奏データに対応して予め用意されたCGの描画を行なうものであり、鍵盤演奏など従来の楽器演奏から直接的かつリアルタイムに演奏に対応するCG合成制御を行なうものではなかった。また、テクノやアンビエントなどの特定のジャンル向けのものとされており、どのジャンルの音楽に対しても汎用的に利用することができるものではなかった。
【0004】
そこで本発明は、演奏情報からリアルタイムにCGを合成して描画することができる音楽画像表示装置を提供することを目的としている。
また、手軽かつ容易に、音と画像による新しいインタラクションを楽しむことのできる音楽画像表示装置を提供することを目的としている。
【0005】
【課題を解決するための手段】
上記目的を達成するために、本発明の音楽画像表示装置は、演奏情報をメロディ、ハーモニー及びリズムの各音楽的要素に分類して出力する解析手段と、前記各音楽的要素毎に描画パターンを記憶する描画パターン記憶手段と、前記描画パターン記憶手段から対応する音楽的要素の描画パターンを読み出し、該読み出された描画パターンを前記解析手段から出力されるその音楽的要素の演奏情報に応じて修飾することにより前記各音楽的要素に対応する画像情報を生成する画像演算手段と、前記画像演算手段で生成された各音楽的要素に対応する画像情報から1又は複数の音楽的要素に対応する画像情報を任意に選択するための選択手段と、前記選択手段で選択された画像情報を表示する画像表示手段と、前記選択手段で複数の音楽的要素に対応する画像情報が選択されたときに、該選択された複数の画像情報を組み合わせて表示するときの表示形態を設定するための表示形態設定手段と、前記選択された複数の画像情報を前記表示形態設定手段で設定された表示形態に従って合成して前記画像表示手段に出力する合成表示処理手段とを有するものである。
【0006】
また、前記描画パターンは幾何学的な模様あるいは文字であり、前記画像演算手段は、前記演奏情報に応じて対応する描画パターンの大きさ、形状、明度、色相、彩度などの属性を変化させる処理を行うものである。
さらに、外部機器との通信インターフェース回路を有し、該通信インターフェース回路を介して外部機器から入力される演奏情報を前記解析手段に入力することができるようになされているものである。
さらにまた、前記画像演算手段から出力される前記音楽的要素に対応する画像情報を装置外部に出力する外部出力手段を有するものである。
【0007】
【発明の実施の形態】
図1は、本発明の音楽画像表示装置の一実施の形態の構成を示すブロック図である。なお、ここでは、鍵盤を有する電子楽器に本発明の音楽画像表示装置を組み込んだ音楽画像表示機能付き電子楽器を例にとって説明するが、後述するようにシーケンサやドラムマシン、あるいは、汎用のパーソナルコンピュータにも本発明を適用することができる。
【0008】
図1において、1はこの音楽画像表示機能付き電子楽器全体の動作を制御する中央処理装置(CPU)、2は制御プログラムを記憶するプログラム記憶装置、3はリズムパターンやオートベースコードパターン等の各種自動演奏パターンが格納されたスタイルデータベース、楽曲の各音楽的要素(メロディ、ハーモニーおよびリズム)にそれぞれ対応する複数の描画パターンを格納するメロディ用描画パターンデータベース、ハーモニー用描画パターンデータベースおよびリズム用描画パターンデータベース、その他の各種データを記憶するとともに作業領域として使用されるROMおよびRAMなどからなる記憶装置、4は鍵盤(キーボード)および操作パネルに設けられた各種の操作子からなる操作スイッチ群である。5は音源部であり、複数チャンネル分の音階音およびリズム音の楽音信号を生成する。この音源部5は、波形メモリ方式、FM方式、物理モデル方式、高調波合成方式、フォルマント合成方式、VCO+VCF+VCAのアナログシンセサイザ方式等どのような方式のものであってもよい。また、専用のハードウエアを用いて構成された音源回路に限られることはなく、DSPとマイクロプログラムを用いて構成された音源回路や、あるいは、CPUとソフトウエアのプログラムにより構成されたものであってもよい。なお、この音源部5には、生成された楽音に対してビブラートやリバーブなど各種のエフェクトを施すためのエフェクト処理部も含まれている。また、6は前記音源部5から出力される楽音を増幅して放音するためのサウンドシステムである。
【0009】
7は楽曲の各音楽的要素に対応する描画パターンを表示するための画像データを演算出力する画像演算装置である。8は、画像表示装置(グラフィックディスプレイ)であり、この音楽画像表示機能付き電子楽器の動作状態や操作スイッチの操作状態を表示するとともに、楽曲の各音楽的要素に対応する画像情報(描画パターン)を表示する。
また、9はハードディスク、フロッピーディスク、CD−ROM、MO、DVD等の外部記憶装置、10は外部のMIDI機器との通信を行うためのMIDIインターフェース回路である。
さらに、11は外部に接続されたモニタ12に前記楽曲の各音楽的要素に対応する描画パターンを表示するためのビデオインターフェース回路、13は前記各構成要素間のデータ伝送を行うためのバスである。
【0010】
図2は、この音楽画像表示機能付き電子楽器の外観の一例を示す図である。この例においては、前記操作スイッチ群4として、鍵盤40、自動演奏の開始を指示するスタートスイッチ41、自動演奏の終了を指示するストップスイッチ42、自動演奏パターンの選択、音色の選択、および、メロディ、ハーモニーおよびリズムに対応して表示する描画パターンの選択をするためのスタイル選択スイッチ43、各音楽的要素に対応する描画パターンの表示を行わせるか否かを選択するためのメロディ表示スイッチ44、ハーモニー表示スイッチ45およびリズム表示スイッチ46、複数の音楽的要素に対応する描画パターンを表示させるときにそれらの表示形態を設定するためのタイル表示スイッチ47、重ね合わせ表示スイッチ48および時分割表示スイッチ49が設けられている。
【0011】
ここで、前記スタイル選択スイッチ43において、前記描画パターンの選択は、メロディ、ハーモニーおよびリズムの各要素ごとにそれぞれ専用のテンプレートが設けられており、その中から任意の描画パターンを選択することができるようになされている。
また、前記メロディ表示スイッチ44、ハーモニー表示スイッチ45およびリズム表示スイッチ46はいずれもトグル型のスイッチとされており、個別にその描画パターンの表示非表示を設定することができるようになされている。また、図示するように、各スイッチ44〜46の上方にはそれぞれのスイッチのオンオフ状態を表示するための表示ランプが設けられている。
【0012】
前記メロディ表示スイッチ44、ハーモニー表示スイッチ45およびリズム表示スイッチ46のうちの2以上のスイッチがオン状態とされているときには、前記タイル表示スイッチ47、重ね合わせ表示スイッチ48あるいは時分割表示スイッチ49により設定されている表示形態で前記オン状態とされている音楽的要素の描画パターンが表示される。タイル表示スイッチ47がオン状態とされているときには、前記画像表示装置8あるいは外部モニタ12の画面上を複数の領域に区分し、分割された区分上で前記スイッチ44〜46により表示することが選択されている音楽的要素の描画パターンが同時に表示される。なお、区分数は描画イベントがある要素数に応じて動的に切り替えるようにしてもよい。
【0013】
また、前記重ね合わせ表示スイッチ48がオン状態とされているときには、表示することが選択されている要素の描画パターンが表示画面上で重ね合わされて同時に表示される。この重ね合わせの順序は、通常、上からメロディ、リズム、ハーモニーとされているが、この順序を変更することができるようにしてもよい。また、重ね合わせの時に、各音楽的要素の描画パターンの透過率を任意に設定することができるようにしてもよい。
さらに、前記時分割表示スイッチ49がオン状態とされているときは、前記表示することが選択されている要素の描画パターンが定期的に切替えられて表示される。なお、表示される周期となったときにその音楽的要素にイベントがなく描画するものがないときには、次の要素の表示に移行するようにしてもよい。
なお、これら表示形態を選択するスイッチ47〜49のそれぞれの上方にも表示ランプが設けられており、どのスイッチが選択されているかを容易に認識することができるようになされている。
【0014】
次に、前記メロディ、ハーモニーおよびリズムの各要素における描画パターンの一例を図3に示す。
図3の(a)は、メロディ表現の一例を示す図であり、この例は、押鍵に応じた音名を示すアルファベットが表示される。押鍵に応じて、その音名を示すアルファベットが画面上方に表示され、図中矢印で示すように、時間の経過にしたがって画面下方に落下していき、画面の最下方に達する直前で落下速度にブレーキがかかるようになされている。ここで、落下速度は、ベロシティに比例している。ピッチベンドなどでピッチを上げると、画面右方向に流れ、ピッチを下げると左に流れる。また、通常は直線状に落下するが、サスティンを踏むと木の葉のようにひらひらと落ちるように表現される。
また、各アルファベットの表示フォントは、その音色に応じて異なっており、画面横方向の表示位置は、その押鍵位置、すなわち音高にほぼ対応した位置とされている。さらに、音名あるいは鍵域により、表示されるアルファベットの色調や明るさも異なるものとされている。
【0015】
図3の(b)は、メロディ表現の他の例を示しており、この例は、押鍵により表示され、残像効果をもって回転する直線状の棒によりメロディを表現するものである。各棒の表示される横方向の位置は押鍵位置とほぼ対応しており、また、ノートナンバーと棒の表示色とが対応している。そして、各棒はベロシティと対応する回転速度で回転され、表示色はグラデーションが付けられる。さらに、音色のカテゴリー(弦楽器系、金管楽器系など)により棒の長さが変化するようになされている。このカテゴリーはGMなどの音源規格によるプログラムチェンジ番号から判別することができる。
【0016】
図3の(c)はハーモニー用のCGの一例を示すものであり、この例は、コードタイプに対応した円盤状の表示色が広がっていくことにより、ハーモニーを表現するものである。ここで、円盤の色は広がるに連れて色調は保ったまま明るさが変化していくよう、あるいは、滲んでいくようになされている。円盤の横方向の表示位置は、コード検出された押鍵位置に対応している。また、縦方向の位置は、コード検出した押鍵のベロシティの平均値に対応している。さらに、円盤の広がる速度、明るさの変化の仕方は、発生したハーモニーのデュレーションに対応している。なお、円盤状に限らず四角形等の多角形でもよく、ハーモニーの音色に応じて、形状を変化させるようにしてもよい。ちなみに、前記図2においては、複数の色の異なる四角形により表示した例が示されている。
【0017】
図3の(d)はリズム用のCGの一例を示すものであり、この例は、各楽器毎にその楽器名を示す文字を表示するものである。ここで、各楽器名の表示位置はそれぞれの楽器毎に対応付けられており、また、文字の大きさおよび文字をいくつ表示するかはその押鍵速度や強度に応じて決定される。さらに、レゲエやジャズといったリズムスタイルにより、文字のフォントが異なるようになされている。さらにまた、楽器毎に文字の表示色を変え、リズムスタイルによりその色調を変えるようにしてもよい。例えば、ハイハットの色は基本的に青色とし、リズムスタイルがジャズのときはやや暗めの青、レゲエのときは明るい青とするようにしてもよい。なお、楽器名はカタカナなどで表示してもよい。
【0018】
図3の(e)はリズム用のCGの他の例を示す図であり、この場合には、各楽器名を示す文字を多角形や円などの図形とともに表示するようにしている。ここで、各楽器名の表示位置はそれぞれの楽器毎に対応付けられており、図形の大きさは押鍵速度に応じて決定される。また、リズムスタイルに応じて図形の形状や表示色が異なるようになされている。
なお、以上に示した例に限らず、各種の描画パターンを表示させることができる。
このように、本発明においては、メロディ、ハーモニーおよびリズムの各音楽的要素を、文字や幾何学的な模様の大きさ、形状、明度、色相、彩度を変化させるような描画パターンにより表現している。したがって、画像演算処理に格別の負荷をかけることなく、音楽的要素を視覚的に表現することが可能となり、音と画像による新しいインタラクティブ性をもたらすことができる。
【0019】
次に、この音楽画像表示機能付き電子楽器における処理について、図4に示す処理の概略を示す機能ブロック図を参照して説明する。
図4において、100は従来より知られているオートベースコード処理部(ABC処理部)である。すなわち、和音解析部51、リズム発生部52および伴奏パターン発生部53が設けられており、前記自動演奏スタートおよびストップスイッチ41および42により前記リズム発生部52および前記伴奏パターン発生部53の起動が制御され、前記スタイル選択スイッチ43のうちの自動演奏パターンの選択部により前記伴奏パターン発生部53において発生される伴奏パターンの選択が行われる。また、鍵盤40あるいは前記MIDIインターフェース回路10からの入力信号により前記和音解析部51においてコードが判別され、前記伴奏パターン発生部53が制御される。そして、前記鍵盤40、リズム発生部52および伴奏パターン発生部53からの音源制御パラメータが前記音源部5に入力され対応する楽音が生成されて、サウンドシステム6から出力される。
【0020】
また、前記鍵盤40あるいは前記MIDIインターフェース回路10からのMIDI信号による発音イベントはメロディー表現処理部61に供給され、後述するように、メロディーに対応する描画パターンを表示するための画像情報が生成され、合成表示処理部64に出力される。さらに、前記リズム発生部52からの発音イベントはリズム表現処理部62に供給され、ここで、リズムに対応する描画パターンを表示するための画像情報が生成される。さらにまた、前記和音解析部51からのコードタイプ情報などの音楽イベント情報はハーモニー表現処理部63に供給され、ハーモニーに対応する描画パターンを表示するための画像情報が生成される。前記メロディー表現処理部61、リズム表現処理部62およびハーモニー表現処理部63からの各要素に対応する描画パターンは、合成表示処理部64に供給され、前述した表示形態を選択するスイッチ47〜49により選択された表示形態にしたがって合成され、画像表示装置8に出力される。
ここで、前記メロディー表現処理部61、リズム表現処理部62、ハーモニー表現処理部63および合成表示処理部64は、前記図1における画像演算装置7により実現される。
【0021】
次に、前記メロディー表現処理部61、リズム表現処理部62、ハーモニー表現処理部63および合成表示処理部64として動作する前記画像演算装置7(図1)の動作について、図5のシステム構成図および図6のフローチャートを参照して説明する。
この画像処理部7には、前記図4に示したように、鍵盤40、MIDIインターフェース回路10、リズム発生部52および和音解析部51からの演奏情報などの音楽イベント情報が入力される。この各音楽イベント情報は、入力音楽イベント検出部71において検出される。すなわち、時系列的に発生する前記各音楽イベントを格納するバッファを設け、該バッファを所定の演算周期毎に読み出すようにする。
そして、該読み出した音楽イベントについて、イベント解析部72でメロディ、ハーモニーおよびリズムの各要素に分類し、それぞれ対応するイベントバッファ、すなわち、メロディイベントバッファ73、ハーモニーイベントバッファ76およびリズムイベントバッファ79に格納する。
【0022】
この分類は、例えば、パート毎に、メロディ、ハーモニー(バッキングなど)、リズムと決定することができる。あるいは、操作者がパートごとに自由に分類を設定することができるようにしてもよい。また、音色により決定するようにしてもよい。さらに、単一パートであっても、左手領域と右手領域とに鍵域分割し、左手領域はバッキング、右手領域はメロディイベントであるというように決定することもできる。
そして、前記音楽イベントのうち、鍵盤40あるいは前記MIDIインターフェース回路10を介して外部のMIDI機器から入力されるメロディパートに関する情報、すなわち、音高、音長、音数密度、レガートあるいはスタッカートであるかどうかの情報、音色などの情報をメロディイベントバッファ73に格納する。
また、鍵盤40のコード検出領域などからのコードバッキングパートやベースパートに関する情報、すなわち、メジャー、マイナー、ディミニッシュなどのコードタイプに関する情報、その音域、強度、デュレーション、音色等に関する情報は、ハーモニーイベントバッファ76に格納する。
さらに、リズムパートに関する情報、すなわち、リズムスタイル、楽器の種類(スネアドラム、ハイハットシンバル、バスドラムなど)、ビートタイミング、強度などに関する情報は、リズムイベントバッファ79に格納する。
【0023】
メロディ演算制御部75は、予め設定されている演算周期ごとに、メロディ用描画パターンデータベース74を参照して、前記メロディイベントバッファ73に格納された音楽イベント情報に対応する描画パターンの画像情報を生成する。図6の(a)は、このメロディ演算制御部75の動作を説明するためのフローチャートである。まず、ステップS11において、前記メロディイベントバッファ73に格納されているメロディに関するイベント情報を読み出す。そして、前記スタイル選択スイッチ43(図2)において選択されているメロディに関する描画パターンに対応する描画パラメータをメロディ用描画パターンデータベース74から読み出し、前記メロディイベントバッファ73から読み出した音楽イベント情報の各値に応じて、そのパターンの描画位置、色、形状、変化速度等を算出する。この処理を前記メロディイベントバッファ73に格納されているこの演算周期のメロディに関する音楽イベント情報すべてについて繰り返す(ステップS13)。次に、ステップS14に進み、今回前記ステップS12において算出した新イベントの各描画パラメータとともに、前回までの演算周期において生成した各描画パラメータについて今回の演算周期に対応させるための更新処理を行い、各描画パラメータに応じて書き換え描画処理を行う(ステップS15)。
【0024】
また、ハーモニー演算制御部78は、同様に、ハーモニー用描画パターンデータベース77を参照して、前記ハーモニーイベントバッファ76に格納されたイベントに対応する描画パターンの画像データを生成する。図6の(b)は、このハーモニー演算制御部78の処理フローを示す図であり、前記図6の(a)に示したメロディ演算制御部75と基本的に同一の処理を行う。
さらに、リズム演算制御部81も、同様に、リズム用描画パターンデータベース80を参照して、前記リズムイベントバッファ79に格納されたイベントに対応する描画パターンの画像データを生成する。図6の(c)は、このリズム演算制御部81の処理を示すフローチャートであり、前記図6の(a)及び(b)に示した処理と基本的に同一の処理を実行する。
このように、各演算制御部75、78および81はそれぞれ対応して設けられた描画パターンデータベース74、77および80を参照して、前記スタイル選択部43により選択された描画パターンを読み出し、それをそれぞれの音楽イベントにより修飾して対応する視覚的表現を描画するようにしている。
【0025】
以上説明した実施の形態は、鍵盤を有する電子楽器に本発明を適用した場合を例にとって説明したが、上述のように本発明はドラムマシンやシーケンサなどの他の電子楽器や汎用のパーソナルコンピュータなどにも適用することができる。図7は本発明の装置をパーソナルコンピュータ90に適用した実施の形態を示す図である。この実施の形態においては、通常のオートベースコード機能付きの電子楽器をパーソナルコンピュータ90のMIDI通信インターフェース回路に接続し、前記図1に示した構成における画像演算装置7、画像表示装置8および前記描画パターンデータベース74、77および80などの機能をパーソナルコンピュータ90側で実行させるようにすればよい。
このように、既存のオートベースコード機能を有する電子楽器、あるいは、自動演奏装置とMIDIインターフェース回路を介して接続することにより、既存の電子楽器でも本発明の音楽画像表示装置を利用することができる。
【0026】
【発明の効果】
以上説明したように、本発明によれば、コンサートのバックスクリーンに音に応じた画像を表示するのと同様な高品質の画像を、手軽かつ特別の機器を必要とすることなく楽しむことが可能となり、従来の音のみの電子楽器に比べ、音と画像による新しいインタラクションが可能となる。
また、メロディ、ハーモニー、リズムそれぞれの視覚的表現を、単独あるいは複数組み合わせて表示することが可能であるため、例えばポピュラーミュージック一般では3要素全てを表示し、クラシックではメロディのみ、ダンス系ではリズムのみ、メトロノームとしてリズムのみ、というふうに、様々な目的およびジャンルに対応することが可能となる。
さらに、メロディ、ハーモニー、リズムそれぞれに複数の描画パターンを有しており、その組み合わせにより様々な視覚的表現が可能となる。
さらにまた、複雑なレンダリング処理等は行わないため、CPUの機能を大きく占有することがなく、表示装置の解像度に依存しない描画品質を出すことができる。
【図面の簡単な説明】
【図1】 本発明の音楽画像表示装置の一実施の形態の構成を示すブロック図である。
【図2】 本発明が適用された音楽画像表示機能付き電子楽器の外観の一例を示す図である。
【図3】 本発明装置におけるメロディ、ハーモニーおよびリズムの各視覚的表現の一例を示す図である。
【図4】 本発明の装置において実行される処理の概略を示す図である。
【図5】 メロディー表現処理部、リズム表現処理部、ハーモニー表現処理部および合成処理部のシステム構成を示す図である。
【図6】 メロディー表現処理部、リズム表現処理部、ハーモニー表現処理部および合成処理部の動作を示すフローチャートである。
【図7】 本発明の装置をパーソナルコンピュータに適用した実施の形態の外観を示す図である。
【符号の説明】
1 CPU、2 プログラム記憶装置、3 記憶装置、4 入力操作子、5 音源部、6 サウンドシステム、7 画像演算装置、8 表示装置、9 外部記憶装置、10 MIDI通信インターフェース、11 ビデオインターフェース、12 外部モニタ、40 鍵盤、41 ABCスタートスイッチ、42 ABCストップスイッチ、43 スタイル選択スイッチ、44 メロディ表示スイッチ、45 ハーモニー表示スイッチ、46 リズム表示スイッチ、47 タイル表示スイッチ、48 重ね合わせ表示スイッチ、49 時分割表示スイッチ、51 和音解析部、52 リズム発生部、53 伴奏パターン発生部、61 メロディ表現処理部、62 リズム表現処理部、63 ハーモニー表現処理部、64合成表示処理部、71 入力音楽イベント検出部、72 イベント解析部、73 メロディイベントバッファ、74 メロディ用描画パターンデータベース、75 メロディ演算制御部、76 ハーモニーイベントバッファ、77 ハーモニー用描画パターンデータベース、78 ハーモニー演算制御部、79 リズムイベントバッファ、80 リズム用描画パターンデータベース、81 リズム演算制御部

Claims (4)

  1. 演奏情報をメロディ、ハーモニー及びリズムの各音楽的要素に分類して出力する解析手段と、
    前記各音楽的要素毎に描画パターンを記憶する描画パターン記憶手段と、
    前記描画パターン記憶手段から対応する音楽的要素の描画パターンを読み出し、該読み出された描画パターンを前記解析手段から出力されるその音楽的要素の演奏情報に応じて修飾することにより前記各音楽的要素に対応する画像情報を生成する画像演算手段と、
    前記画像演算手段で生成された各音楽的要素に対応する画像情報から1又は複数の音楽的要素に対応する画像情報を任意に選択するための選択手段と、
    前記選択手段で選択された画像情報を表示する画像表示手段と、
    前記選択手段で複数の音楽的要素に対応する画像情報が選択されたときに、該選択された複数の画像情報を組み合わせて表示するときの表示形態を設定するための表示形態設定手段と、
    前記選択された複数の画像情報を前記表示形態設定手段で設定された表示形態に従って合成して前記画像表示手段に出力する合成表示処理手段と
    を有することを特徴とする音楽画像表示装置。
  2. 前記描画パターンは幾何学的な模様あるいは文字であり、前記画像演算手段は、前記演奏情報に応じて対応する描画パターンの大きさ、形状、明度、色相、彩度などの属性を変化させる処理を行うことを特徴とする前記請求項1に記載の音楽画像表示装置。
  3. 外部機器との通信インターフェース回路を有し、該通信インターフェース回路を介して外部機器から入力される演奏情報を前記解析手段に入力することができるようになされていることを特徴とする前記請求項1又は2に記載の音楽画像表示装置。
  4. 前記画像演算手段から出力される前記音楽的要素に対応する画像情報を装置外部に出力する外部出力手段を有することを特徴とする前記請求項1〜のいずれかに記載の音楽画像表示装置。
JP07754699A 1999-03-23 1999-03-23 音楽画像表示装置 Expired - Fee Related JP3724246B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP07754699A JP3724246B2 (ja) 1999-03-23 1999-03-23 音楽画像表示装置
US09/531,728 US6225545B1 (en) 1999-03-23 2000-03-21 Musical image display apparatus and method storage medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07754699A JP3724246B2 (ja) 1999-03-23 1999-03-23 音楽画像表示装置

Publications (2)

Publication Number Publication Date
JP2000276137A JP2000276137A (ja) 2000-10-06
JP3724246B2 true JP3724246B2 (ja) 2005-12-07

Family

ID=13637020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07754699A Expired - Fee Related JP3724246B2 (ja) 1999-03-23 1999-03-23 音楽画像表示装置

Country Status (2)

Country Link
US (1) US6225545B1 (ja)
JP (1) JP3724246B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102193719B1 (ko) 2020-06-30 2020-12-21 안주영 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647359B1 (en) * 1999-07-16 2003-11-11 Interval Research Corporation System and method for synthesizing music by scanning real or simulated vibrating object
KR20010020900A (ko) * 1999-08-18 2001-03-15 김길호 화성법과 색음 상호변환을 이용하여 색채를 조화하는 방법및 장치
JP2002216149A (ja) * 2001-01-24 2002-08-02 Hayashi Telempu Co Ltd 模様作成方法と模様作成システム、および動画作成方法と動画作成システム
US6448483B1 (en) * 2001-02-28 2002-09-10 Wildtangent, Inc. Dance visualization of music
US6670537B2 (en) * 2001-04-20 2003-12-30 Sony Corporation Media player for distribution of music samples
DE10145360B4 (de) * 2001-09-14 2007-02-22 Jan Henrik Hansen Verfahren zur Umsetzung oder Aufzeichnung von Musik, Anwendung des Verfahrens und Anlagen hierfür
US7212213B2 (en) * 2001-12-21 2007-05-01 Steinberg-Grimm, Llc Color display instrument and method for use thereof
US20050190199A1 (en) * 2001-12-21 2005-09-01 Hartwell Brown Apparatus and method for identifying and simultaneously displaying images of musical notes in music and producing the music
US6632991B2 (en) * 2002-01-02 2003-10-14 Wei-Chih Chen Scale indicator for a keyboard instrument
JP2004127019A (ja) * 2002-10-03 2004-04-22 Sony Corp 情報処理装置および画像表示制御方法と画像表示制御プログラム
US7212295B2 (en) * 2002-11-04 2007-05-01 Hewlett-Packard Development Company, L.P. Keyboard for imaging devices
JP3982443B2 (ja) * 2003-03-31 2007-09-26 ソニー株式会社 テンポ解析装置およびテンポ解析方法
JP2007033622A (ja) * 2005-07-25 2007-02-08 Sony Corp 再生制御装置および方法、並びにプログラム
US7601904B2 (en) * 2005-08-03 2009-10-13 Richard Dreyfuss Interactive tool and appertaining method for creating a graphical music display
US7745713B2 (en) * 2006-03-28 2010-06-29 Yamaha Corporation Electronic musical instrument with direct print interface
JP2007271861A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 電子楽器およびプログラム
JP2008210382A (ja) * 2008-02-14 2008-09-11 Matsushita Electric Ind Co Ltd 楽曲データ処理装置
EP2136356A1 (en) * 2008-06-16 2009-12-23 Yamaha Corporation Electronic music apparatus and tone control method
ITRM20120506A1 (it) * 2012-10-19 2014-04-20 Massimiliano Ciogli Metodo per insegnare musica alle persone sorde e udenti.
CN103440137B (zh) * 2013-09-06 2016-02-10 叶鼎 一种同步显示演奏乐器位置的数字音频播放方法及其系统
CN108140369A (zh) * 2015-07-17 2018-06-08 乔凡尼技术公司 乐谱、系统和方法
US20180130247A1 (en) * 2016-11-10 2018-05-10 Zvi Yaniv Producing visual art with a musical instrument
JP7035486B2 (ja) * 2017-11-30 2022-03-15 カシオ計算機株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び、電子楽器
US11508393B2 (en) * 2018-06-12 2022-11-22 Oscilloscape, LLC Controller for real-time visual display of music
JP7338669B2 (ja) * 2019-03-08 2023-09-05 カシオ計算機株式会社 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP6977741B2 (ja) * 2019-03-08 2021-12-08 カシオ計算機株式会社 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
CN110444185B (zh) * 2019-08-05 2024-01-12 腾讯音乐娱乐科技(深圳)有限公司 一种音乐生成方法及装置
CN110910715B (zh) * 2019-12-13 2021-07-27 湖南文理学院 一种钢琴学习键位提示器及其安装结构
US11011071B1 (en) * 2020-03-30 2021-05-18 Mobilizar Technologies Pvt Ltd Interactive learning system and a method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3681866D1 (de) * 1985-03-20 1991-11-14 Roger M Paist Videoanzeige mit zweikanal-audiosignalen.
US5286908A (en) * 1991-04-30 1994-02-15 Stanley Jungleib Multi-media system including bi-directional music-to-graphic display interface
US5812688A (en) * 1992-04-27 1998-09-22 Gibson; David A. Method and apparatus for using visual images to mix sound
JP3668547B2 (ja) * 1996-01-29 2005-07-06 ヤマハ株式会社 カラオケ装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102193719B1 (ko) 2020-06-30 2020-12-21 안주영 음악의 시각화 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Also Published As

Publication number Publication date
JP2000276137A (ja) 2000-10-06
US6225545B1 (en) 2001-05-01

Similar Documents

Publication Publication Date Title
JP3724246B2 (ja) 音楽画像表示装置
US7212213B2 (en) Color display instrument and method for use thereof
US7674964B2 (en) Electronic musical instrument with velocity indicator
US5777251A (en) Electronic musical instrument with musical performance assisting system that controls performance progression timing, tone generation and tone muting
US6140565A (en) Method of visualizing music system by combination of scenery picture and player icons
US6555737B2 (en) Performance instruction apparatus and method
JP2000221976A (ja) 曲データ作成装置および曲データ作成プログラムを記録した記録媒体
US6175072B1 (en) Automatic music composing apparatus and method
US6211453B1 (en) Performance information making device and method based on random selection of accompaniment patterns
US20050016366A1 (en) Apparatus and computer program for providing arpeggio patterns
JP3728942B2 (ja) 楽音および画像生成装置
US6166313A (en) Musical performance data editing apparatus and method
JP6977741B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP3664126B2 (ja) 自動作曲装置
JPH1152949A (ja) 音階表示シートおよび音階表示装置
JP7338669B2 (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP2007163710A (ja) 演奏支援装置及びプログラム
JP2681570B2 (ja) 電子楽器の説明装置
JP4221757B2 (ja) 楽譜表示装置および楽譜表示方法を実現するためのプログラム
JP3117413B2 (ja) リアルタイム・マルチメディア・アート製作装置
JP3632487B2 (ja) 電子楽器等における和音検出装置
JP2002014670A (ja) 音楽情報表示装置及び音楽情報表示方法
Hall Pitchcircle3D: A Case Study in Live Notation for Interactive Music Performance
CN117877459A (zh) 记录介质、音响处理方法以及音响处理系统
JP6732216B2 (ja) 歌詞表示装置及び歌詞表示装置における歌詞表示方法、電子楽器

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050713

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050912

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090930

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100930

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100930

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110930

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120930

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130930

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees