JPH0434751B2

JPH0434751B2 -

Info

Publication number: JPH0434751B2
Application number: JP58003670A
Authority: JP
Inventors: Mamoru Inami; Yoshiaki Tanaka; Yoshiki Ootsuki
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1983-01-13
Filing date: 1983-01-13
Publication date: 1992-06-08
Also published as: JPS59128576A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、音声信号の音の高さと対応する表示
をデイスプレイ上の五線譜状の表示図形の対応す
る部分へ音符状の図形で表示させうるようにした
音符の表示装置に関する。

（従来例と問題点）楽器の演奏を行なつたときに、演奏中の曲が五
線譜上に直ちに表示されるようにすることができ
れば、作曲した曲を誰でもが楽譜上に記録するこ
とも容易となり、また、音楽教育上での利用も期
待できるので、演奏中の曲が五線譜状の表示面上
に音符として表示されるようにした表示装置につ
いては、従来から各種形式のものが試みられて来
ているが、従来装置において例えば鍵盤の押盤に
よつて動作するスイツチによつて五線譜状の表示
板上のランプを点灯させるように構成したもので
は、鍵盤楽器以外の楽器、すなわち、弦楽器や、
管楽器などには適用することができないという点
が問題となり、また、他の構成の従来装置、例え
ば、楽器の音を音響電気変換器で電気信号に変換
し、それを多数の帯域濾波器を用いて周波数分析
し、その分析結果によつて五線譜状の表示板上に
ランプを点灯させるようにした構成のものでは、
多数の帯域濾波器が必要とされるために、構成が
複雑なものになるという欠点があつた。

（問題点を解決するための手段）本発明は、音声信号をデジタル信号に変換して
周波数分析を行ない、その分析結果に基づいて音
声信号の音を判定し、音の判定結果によりデ
イスプレイの五線譜状の表示画面における対応す
る部分へ所要の図形による表示がなされるように
した音符の表示装置を提供するものである。

（実施例）以下、添付図面を参照しながら本発明の音符の
表示装置について詳細に説明する。第１図は本発
明の音符の表示装置の一実施態様のブロツク図で
あつて、この第１図において、１は左チヤンネル
（Ｌチヤンネル）の信号の入力端子、２は右チヤ
ンネル（Ｒチヤンネル）の信号の入力端子であ
り、Ｌチヤンネルの信号はバツフア増幅器BAlに
よつて増幅されてから、スイツチSWlと、加算器
ADDと減算器SUBとに与えられ、また、Ｒチヤ
ンネルの信号はバツフア増幅器BArによつて増
幅されてから、スイツチSWrと、加算器ADDと
減算器SUBとに与えられる。

第１図中の一点鎖線枠で示すSWは、前記した
各個別のスイツチSWl，SWr，SWa，SWbを備
えている選択スイツチであり、この選択スイツチ
SWは、それの各個別のスイツチの内の何れか１
つがオンの状態となされるときに、他のすべての
スイツチがオフの状態となされて、前記のオンの
状態にされた１つのスイツチで選択された信号が
後続する回路に与えられるようにする。選択スイ
ツチSWに対する切換制御信号は、操作制御部
CLDから与えられているが、操作制御部CLDは
操作部OP及び中央制御装置CPUから与えられる
情報によつて動作する。

図示の例においては、選択スイツチSWによつ
て、Ｌチヤンネルの信号と、Ｒチヤンネルの信号
と、Ｌチヤンネルの信号とＲチヤンネルの信号と
の和信号と、Ｌチヤンネルの信号とＲチヤンネル
の信号との差信号との４つの信号の内の１つの信
号が選択されるのである。

前記の選択スイツチSWによつて選択された信
号はグラフイツクイコライザGEQに与えられ、
前記のグラフイツクイコライザGEからの出力信
号は、アンチ・エイリアジング・フイルタAAF
を介して絶対値検出回路AVDと符号検出回路SD
とに与えられ、絶対値検出回路AVDからの出力
信号はアナログ・デジタル（以下、ADと略記す
る）変換器ADCに与えられ、また、符号検出回
路SDからの出力信号は中央制御装置CPUに与え
られる。

前記した絶対値検出回路AVDとしては、両波
整流器を用いることができ、また、符号検出回路
SDとしては、入力信号の正、負に応じてハイレ
ベルとローレベルの出力を出しうるように構成さ
れた比較器を用いることができる。

絶対値検出回路AVDの出力信号がAD変換器
ADCによつてAD変換されることによつて得られ
たデジタル信号と、符号検出回路SDから出力さ
れる１ビツトの信号とは１組のデジタル信号とし
て中央制御装置CPUの制御の下にメインメモリ
RAMに格納されてFFT演算のために使用される
のであるが、前記のように絶対値検出回路AVD
と符号検出回路SDとを使用すると、少ないビツ
ト数のAD変換器によつて広いダイナミツクレン
ジの入力信号のAD変換を行なうことができる。

また、前記したグラフイツクイコライザGEQ
は、楽器の種類に応じて、入力信号の周波数特性
を変更できるようにして、各種の楽器についての
周波数分析を良好に行なわれうるようにするため
のものであり、アンチ・エイリアジング・フイル
タAAFは、いわゆる折返し雑音が発生しないよ
うに信号の周波数帯域の制限を行うための低域通
過濾波器である。

前記したアンチ・エイリアジング・フイルタ
AAFの遮断周波数をfcとすると、AD変換器
ADCにおける標本化周波数fsは2fc以上となされ
るべきことは周知のとおりであり、また、AD変
換器ADCから出力されるデジタル信号を用いた
FFT演算によつて周波数分析が行なわれる場合
に、分析結果として得られるスペクトルの周波数
間隔ｆは、デジタル信号を得るために用いたAD
変換器ADCの標本化周波数fsと、FFT演算を行
なう際に用いたデジタル信号のデータの数Ｎとに
よつて、ｆ＝fs／Ｎのように示されることも周知のとおりである。

例えば、アンチ・エイリアジング・フイルタ
AAFの遮断周波数をfcが20KHz（fs＝2fc）とし、
FFT演算による分析結果として、スペクトル10
Hzの周波数間隔ｆで得たいとする場合には、
FFT演算に使用されるべきデジタル信号のデー
タ数Ｎは4000個となる。

前記したFFT演算は、演算に用いられるデー
タの数Ｎが多い程、周波数分析のために必要とさ
れる時間が長くなるから、データ数が多くて入力
信号の音のさの決定までの所要時間が長く、実
時間での音のさの表示が困難となるようなとき
は、FFT演算だけを乗算器によつて行なうよう
にして、入力信号の音のさが実時間に近い状態
で表示されるようになされることが望ましい。

さて、本発明の音符の表示装置は、入力された
音声信号の音のさを、デイスプレイCRTの表
示面上へ、例えば第４図に示すように、五線譜状
の表示図形の対応する部分へ順次に音符で表示さ
せたものを所定の繰返し周期での表示態様、また
は、スクロール表示態様での表示を行なわせるこ
とができるように、入力された音声信号をデジタ
ル信号に変換し、そのデジタル信号を用いて
FFT演算により周波数分析を行なつて、入力の
音声信号の音のさを判定し、その判定結果によ
つて定まるデイスプレイの表示面中の特定な位置
に、所定の図形を表示させるようにしたものであ
るが、前記した入力された音声信号の音のさの
判定の基準としては例えば12平均律の音名の音の
さが採用できる。

今、入力の音声信号の音のさをデイスプレイ
の表示面に表示される五線譜によつて表わされう
る３オクターブの音名、すなわち、F₂〜F₅と対
応する五線譜上で表示させようとする場合には、
周波数分析の結果として、入力の音声信号の基音
が、例えば440Hzであると判定されれば、その入
力の音声信号は音名のA₄音のさであるとして、
デイスプレイの五線譜のA₄の位置に音符の表示
を行ない、また例えば入力の音声信号に対する周
波数分析の結果として、入力の音声信号の基音が
146.83Hzであると判定されれば、その入力の音声
信号は音名D₃の音のさであるとして、デイス
プレイの五線譜のD₃の位置に音符の表示を行な
うというような表示態様での入力の音声信号の音
のさの表示が、音名F₂〜F₅までの各音名と対
応するさの音声信号が入力された際に行なわれ
うるのである。

ところで、本発明の音符の表示装置に対して入
力される音声信号は、主として各種の楽器や電子
楽器から出た音が音響電気変換されたものなので
あるが、楽器音は楽器の種類によつて基音に対す
る倍音の強さとの関係や、基音と倍音との組合わ
さり方が異なつている。

第５図のａ〜ｄは、色々な楽器の音の周波数分
析結果を示す図｛第５図のａはフルートの音、第
５図のｂはクラリネツトの音、第５図のｃはバイ
オリン（バイオリンのＧ線）の音、第５図のｄは
コントラバス（コントラバスノＥ線）の音｝であ
るが、例えば第５図のａ，ｂに示されているフル
ートやクラリネツトのような管楽器では、基音が
どの倍音よりも強く（ピアノ、ギターなども管楽
器と同じような傾向を示す）、また、バイオリン
やコントラバスの場合には基音よりも強い倍音が
存在しているというような周波数分析結果となつ
ている。

第５図のａ〜ｂに例示した各種の楽器音の周波
数分析結果をみても判かるように、楽器音を構成
する周波数成分は、第５図のａ，ｂに示されてい
るように、基音の強さが最大であるようなものだ
けではなく、第５図のｃ，ｂに示されているよう
に、基音よりも倍音の方が強いものもあるので、
入力の音声信号を周波数分析し、その分析結果と
して得られた各周波数成分の内で一番大きなもの
を取り出しても、それが基音であるとは限らない
ので、入力の音声信号を周波数分析した結果に基
づいて入力の音声信号基音のさを決定し、その
基音のさと対応する音符がデイスプレイの表示
面の五線譜の所定の位置へ表示されるようにする
ためには、入力の音声信号の周波数分析結果とし
て得た各周波数成分の強度の相対的な関連をみ
て、入力の音声信号の基音を決定することが必要
とされる。

そこで、第１図示の音符の表示装置では、入力
の音声信号をAD変換器ADCによつてデジタル信
号に変換して得たデジタルデータを用いてFFT
演算を行なつた後にパワースペクトル演算を行な
つて、入力の音声信号の各周波数成分が得られた
ならば、前記の周波数分析手段によつて得られた
すべての周波数成分の中で最も大きなスペクトル
値を示す周波数成分の周波数よりも低い周波数領
域に存在する周波数成分の内で、前記した最も大
きなスペクトル値を示す周波数成分のスペクトル
値よりも、予め定められた範囲内で小さなスペク
トル値を示す周波数成分を検出するようにし、前
記の検出手段によつて該当する周波数成分が検出
されなかつた場合には、前記した最も大きなスペ
クトル値を示す周波数成分の周波数を、入力の音
声信号の音のさ（基音）と判定し、また、前記
の検出手段によつて周波数成分が検出された場合
には検出された周波数成分の内で、最も低い周波
数を示す周波数成分の周波数を入力の音声信号の
音のさ（基音）と判定するようにして、入力の
音声信号の基音が決定されるようにしている。

前記した入力の音声信号の基音の判定の仕方に
よつて、入力の音声信号の基音が正しく見出せる
ということを第５図のａ〜ｄを参照して説明する
と次のとおりである。

入力の音声信号に対する周波数分析の結果が第
５図のａ，ｂのように、基音が最も強い場合に
は、基音が入力の音声信号の基音として判断され
ることは当然である。すなわち、基音は周波数分
析の結果として得られる多くの周波数成分の内で
最も周波数が低いものであるから、この場合に最
もスペクトル値が大きい基音よりも低い周波数領
域には周波数分析によつて生じる周波数成分は存
在せず、したがつて、周波数分析の結果として得
られた多くの周波数成分の内で、最も大きなスペ
クトル値を示す基音の周波数値が基音として判定
される。

また、入力の音声信号に対する入力の音声信号
に対する周波数分析の結果が、第５図のｃ，ｄの
ように、基音のスペクトル値よりも倍音のスペク
トル値の方が大きな場合には、周波数分析の結果
として得られた多くの周波数成分の内で最も大き
なもの｛第５図のｃに示されているバイオリンＧ
線の場合には３倍音（第３調波）、第５図のｄ
に示されているコントラバスＥ線の場合には２倍
音（第２調波）｝の周波数よりも低い周波数領
域に存在する周波数成分の内で、前記した最も大
きなスペクトル値を示す周波数成分のスペクトル
値よりも、予め定められた範囲内で小さなスペク
トル値を示す周波数成分の周波数を基音として判
定するのである。

第５図のｃに示すバイオリンのＧ線の音（開放
弦の音）の場合における、前記した「予め定めら
れた範囲」は、10dB程度とすればよく、また、
第５図のｄに示すコントラバスのＥ線の音（開放
弦）の場合における前記した「予め定められた範
囲」は30dB程度とすればよい。

そして、通常の楽器の楽器音で、基音のスペク
トル値よりも倍音のスペクトル値の方が大きいと
いう周波数分析結果が得られる場合における、最
もスペクトル値が大きな倍音のスペクトル値と基
音のスペクトル値とのレベル差は10dB以内に納
まつているのであり、第５図のｄに示すコントラ
バスのＥ線の音は例外である。

それで、基音の判定に当つて、最もスペクトル
値が大きな周波数成分の周波数値が、例えば100
Hz以下の場合だけは、その最もスペクトル値の号
大きな周波数成分の周波数よりも低い周波数領域
に、前記した最もスペクトル値が大きな周波数成
分のスペクトル値に比べて例えば30dB以内のレ
ベル差を示す周波数成分があるかどうかをみるよ
うにし、前記以外の場合、すなわち、最もスペク
トル値が大きな周波数成分の周波数値が、例えば
100Hz以上の場合には、その最もスペクトル値の
大きな周波数成分の周波数よりも低い周波数領域
に、前記した最もスペクトル値が大きな周波数成
分のスペクトル値に比べて例えば10dB以内のレ
ベル差を示す周波数成分があるかどうかをみるよ
うにすれば、前述した判定基準によつて入力の音
声信号における基音の判定は常に正しく行なわれ
ることになる。

ところで、音符の表示装置が先に設例として示
したように、音名F₂〜F₅までの音のさを表示
できるようなものとして構成されるような場合に
は、前記した表示の対象とされる音名中で最も音
のい音名F₅の音が入力されたときにも、表示
装置では音名F₅と対応する表示がなされなけれ
ばならないが、前述のように、入力の音声信号の
音のさ（基音）の判定に当つては、周波数分析
の結果として得られた最も大きなスペクトル値や
周波数成分のスペクトル値や周波数値が必要とさ
れるから、音符の表示装置で音名F₅の音が入力
の音声信号の周波数分析の結果に基づいて判定さ
れるためには、音名F₅の基音の周波数698.46Hzの
次調波（少なくとも３次調波）成分も周波
数分析によつて正しい値のものとして得られてい
なければならない。

それで、既述の設例のように音名F₅の音の表
示も行なわせる表示装置では、入力の音声信号の
周波数帯域を制限するアンチ・エイリアジング・
フイルタAAFとして、それの遮断周波数fcが、
音名F₅の周波数値698.46Hzの３倍以上に設定され
ているものが必要とされる。

実際の装置の構成に当つて、アンチ・エイリア
ジング・フイルタAAFとしては、他の条件が許
すかぎり遮断周波数fcがく設定されたものを使
用することが望ましい（アンチ・エイリアジン
グ・フイルタAAFの遮断周波数fcと、AD変換器
ADCにおける標本化周波数fsと、周波数分析結
果として得られるスペクトルの周波数間隔ｆと、
データの個数Ｎとの関係、ならびに、FFT演算
に要する時間との関係などについては既述したと
ころである）。

第１図において、AD変換器ADCから出力され
るデジタル信号と、符号検出回路SDから出力さ
れる１ビツトの信号とは、メインメモリRAMに
格納されて、FFT演算のために使用されること
は既述したとおりであり、中央制御装置CPUは
リードオンリーメモリROM₁に記憶されているプ
ログラムに従つて所定の制御動作や演算動作を行
なうとともに、ビデオ・デイスプレイ・プロセツ
サVDPを介して、ビデオ・ラムＶ・RAMに対し
てデータを与える。ROM₂はスペクトル分析用の
プログラムを記憶させてある速なリードオンリ
ーメモリであるが、FFT演算を中央制御装置
CPUで行なわず、乗算器で行なうようにする場
合には、第１図中のROM₂の部分が乗算器に変更
された構成となる。

第１図中のCRTはデイスプレイであり、以下
の説明ではデイスプレイは陰極線管を用いたもの
とされており、デイスプレイCRTの表示面には、
入力の音声信号の音のさの表示が、例えば第４
図示のようにしてなされるのである。

さて、デイスプレイCRTの表示面で行なわれ
る表示の態様は、表示面の左側から右側に向かつ
て音符の表示が所定と個数だけ行なわれ終る度毎
に、表示面がクリアされるような表示の態様、す
なわち、所定の繰返し周期での表示態様と、表示
面の左側から右側に向かつて音符の表示が所定の
個数だけ行なわれた後に、その一連の表示パター
ンが上方に並べて表示されている五線譜状の表示
パターンへ移されるようになされるスクロールの
表示態様、あるいは、表示面の左側から右側に向
かつて音符の表示が所定の個数だけ行なわれた後
における次々の音符の表示が常に表示面上の一番
右側へ表示されるようにし、それ以前に表示され
ていた音符の表示位置がそれぞれ一つづつ左側へ
移されるようなスクロールの表示態様、及び、任
意に指定された時刻における音声信号の音のさ
が表示されるようなホールトの表示態様、ならひ
に、デイスプレイの表示面に現われている表示の
内容をそのまま継続して表示させるようにするホ
ールドの表示態様などであるが、音符の表示装置
にどのような表示態様での表示動作を行なわせる
のかなどは、操作部OPに設けられているスイツ
チ、または押釦などのような入力手段の設定によ
つて行なわれるのである。

ビデオ・デイスプレイ・プロセツサVDPは、
それにデータバス４を介して接続されているビデ
オ・ラムＶ・RAMと中央制御装置CPUとの間で
インターフエースとして動作すると共に、前記し
たビデオ・ラムＶ・RAMに記憶されている各種
のデータによつて画像内容が定められ、かつ、予
め定められた標準方式に従う複合映像信号を発生
することができるようなものとして構成されてい
るものであつて、このビデオ・デイスプレイ・プ
ロセツサVDPとしては、例えば、日経マグロウ
ヒル社の「日経エレクトロニクス」1981年３月30
日号（第156頁〜第164頁）に紹介されている米国
テキサス・インスツルメント社のビデオ・デイス
プレイ・プロセツサ（VDP）を使用することが
できるのであり、以下の説明では前記したビデ
オ・デイスプレイ・プロセツサが使用されている
とされている。

第２図は、ビデオ・デイスプレイ・プロセツサ
にバス４を接続されているビデオ・ラムＶ・
RAMのメモリマツプの一例を示す図であつて、
この第２図に示すビデオ・ラムのメモリマツプで
は、０番地から1023番地までの1024バイトがスプ
ライト・ジエネレータ・テーブル（SGT）とし
て使われ、また、1024番地から1791番地までの
768バイトがパターン名称テーブル（PNT）とし
て使われ、さらに、1792番地から1919番地までの
128バイトがスプライト属性テーブル（SAT）と
して使われ、さらにまた、1920番地から1951番地
までの32バイトがカラーテーブル（CT）として
使われ、また、1952番地から2047番地までの96バ
イトは未使用で、2048番地から4095番地までの
2048バイトがパターン・ジエネレータ・テーブル
（PGT）として使用されている。

パターン・ジエネレータ・テーブルPGTは、
例えば各８バイトづつを使用して８画素×８画素
で１つの特定なパターンが記憶できるので、８×
８画素による256種類のパターンが記憶できる。
このパターン・ジエネレータ・テーブルPGTに
記憶されるパターンの情報は、中央制御装置
CPUの動作により、装置の初期状態においてリ
ードオンリーメモリROMから転送されるもので
あるが、パターン・ジエネレータ・テーブル
PGTがリード・オンリーメモリとなされていて
もよいことは勿論である。

パターン・ジエネレータ・テーブルPGTにお
ける各８バイトづつの記憶領域には、前述のよう
にそれぞれ８×８画素による特定なパターンが個
別に記憶されているが、それらの各特定なパター
ンは、それぞれの特定なパターンが記憶されてい
る各記憶領域毎につけたパターン名称によつて特
定なパターンを指定できるようにする。第２図示
の例のパターン・ジエネレータ・テーブルPGT
ではパターン名称＃０からパターン名称255まで
の256のパターン名称によつて256種類のパターン
を指定することができる。

次に、パターン名称テーブルPNTは、デイス
プレイCRTの表示面に想定された表示区画の
個々のものが、それぞれパターン・ジエネレー
タ・テーブルPGTにおけるどのパターン名称で
あるのかを示す情報を記憶するために、前記した
表示区画の総数と対応する記憶容量をもつてい
る。

第３図示の例において、表示面に設定される区
画の総数は、｛（32列）×（24行）｝＝768であり、ま
た１区画を示す情報量として１バイトを用いてい
るので前述のようにパターン名称テーブルPNT
は768バイトの記憶容量をもつものとされている。

前記のように、ビデオ・ラムＶ・RAMにおけ
るパターン・ジエネレータ・テーブルPGTに必
要数のパターンが記憶されており、また、それぞ
れのパターンと対応して付されているパターン名
称の所要のものが、パターン名称テーブルPNT
における表示面の各区画に記憶されているとき
は、ビデオ・デイスプレイ・プロセツサVDPが、
前記したビデオ・ラムＶ・RAMにおけるパター
ン名称テーブルPNTに記憶されている情報と、
パターン・ジエネレータ・テーブルPGTに記憶
されている情報と、それに、必要に応じてカラー
テーブルCTに記憶されている情報とによつて画
像内容が定められた特定な標準方式に従う複合映
像信号を発生してデイスプレイCRTに与え、デ
イスプレイCRTの表示面に特定なパターンが表
示されるのである。

これまでの説明は、パターン・ジエネレータ・
テーブルPGTに記憶させておいたパターンの特
定なものが、デイスプレイの表示面における768
個の区画の内の特定な区画に表示されるような表
示モード、いわゆるグラフイツクモードでパター
ンの表示が行なわれる場合に関するものである
が、このグラフイツクモードでのパターンの表示
は、パターン名称テーブルPNTによりパターン
の位置が指定されるため、表示面上である１つの
パターンを移動させようとした場合にはパターン
の移動のピツチは表示面における１区画（８画素
の距離）である。

それで、表示面上でのパターンの移動のピツチ
を小さくして、パターンに円滑な移動を行なわせ
るのには、スプライト・ジエネレータ・テーブル
SGTに記憶させておいたパターンを、座標の変
更によつて１画素のピツチで表示面内に移動させ
るようにする。

スプライト・ジエネレータ・テーブルSGTに
記憶されるパターンは、８画素×８画素のスプラ
イト・データとなされる場合と、16画素×16画素
のスプライト・データとなされる場合があるが、
スプライト・ジエネレータ・テーブルSGTに記
憶される各パターンについては、それぞれ個別に
＃０、＃１…＃Ｎのようにスプライト名称が付さ
れるが、各スプライト名称が付されたパターンと
対応するスプライト面は、スプライト名称が示す
数値の小さいもの程い優先度をもつようになさ
れている。

第２図に例示したビデオ・ラムＶ・RAMのメ
モリ・マツプにおいては、既述のようにスプライ
ト・ジエネレータ・テーブルSGTとして０番地
から1023番地までの1024バイトが使用されるもの
とされているから、この例の場合にはパターンが
８画素×８画素の場合には、128個のパターン
（スプライト名称＃０〜＃127）が記憶でき、ま
た、パターンが16画素×16画素の場合には32個の
パターン（スプライト名称＃０〜＃31）が記憶で
きる。ビデオ・ラムＶ・RAMにおいて、スプラ
イト・ジエネレータ・テーブルSGTに2048バイ
トが割当てられた場合には、スプライト・ジエネ
レータ・テーブルSGTに記憶されるパターンの
個数が前例の場合の２倍となることはいうまでも
ない。

スプライト属性テーブルSATには、１スプラ
イト毎に４バイトを使用して、スプライトの位置
（垂直位置と水平位置との指定のために各１バイ
ト）、表示スプライトの名称（１バイト）、カラー
コード及び表示スプライトの終了コード（１バイ
ト）などが設定されるから、スプライト属性テー
ブルSATとして128バイトが使用される場合に
は、このスプライト属性テーブルSATには32ス
プライト分の情報が記憶される。

スプライトの位置は、表示面における横方向
（Ｘ方向）256画点（８画素×32区画）と縦方向
（Ｙ方向）192画点（８画素×24区画）とで定まる
49152画点の座標を、垂直位置（縦方向で何番目
の画点であるのかを示す数値）と、水平位置（横
方向で何番目の画点であるのかを示す数値）とが
スプライト属性テーブルSATに書込まれること
により決定され（スプライトの基点はスプライト
の左上端とされている）、スプライトの移動は１
画素のピツチで行なわれ得るのである。

そして、本発明の音符の表示装置では、パター
ン・ジエネレータテーブルPGTとスプライト・
ジエネレータ・テーブルSGTとに複数種類のパ
ターンを記憶させておき、デイスプレイCRTの
表示面に表示すべきパターンの選択や、パターン
の移動の態様の指定などが、パターン名称テーブ
ルPNTやスプライト属性テーブルSATに書込ま
れたテータによつて行なわれるようにして、デイ
スプレイCRTの表示面に、例えば第４図示のよ
うな表示が行なわれるようにされているのであ
る。

デイスプレイCRTの表示面上の表示態様を示
す第４図において、五線譜、ト音記号、ヘ音記
号、その他の音楽記号の図形などは、予めリード
オンリーメモリROM₁に記憶させて用意しておい
てあるものであり、音符の表示装置の動作の開始
に当つて、前記のリードオンリーメモリROM₁に
記憶されている各種のパターンは、中央制御装置
CPUとビデオ・デイスプレイ・プロセツサVDP
を介して、ビデオ・ラムＶ・RAMにおけるパタ
ーン・ジエネレータ・テーブルPGTと、スプラ
イト・ジエネレータ・テーブルSGTとに転送記
憶されて、デイスプレイの表示面への表示動作の
ために使用されるのである。また、第４図中にお
ける五線譜上に示されている音符状のマークＳ
は、入力の音声信号の音のさと対応してデイス
プレイCRTの表示面へ表示されるものである。

中央制御装置CPUは第６図示のフローチヤー
トに示されているような動作を行なつて、入力の
音声信号の音のさを表示させるのに必要なデー
タを作り、それをビデオ・デイスプレイ・プロセ
ツサVDP、ビデオ・ラムＶ・RAMに与え、デイ
スプレイの表示面へ、第４図示のような音符によ
り音のさの表示が行なわれるようにする。

第６図示のフローチヤートにおいて、スタート
で電源投入が行なわれて音符の表示装置が始動さ
れ、ステツプ(1)で初期化（システム・イニシヤラ
イズ）が行なわれて、AD変換器ADC、メインメ
モリRAM、ビデオ・ラムＶ・RAMなどがクリ
アされるとともに、ビデオ・デイスプレイ・プロ
セツサVDPにおけるレジスタが設定されて、ビ
デオ・ラムＶ・RAMにおけるどの記憶領域が何
のテーブルに使用されるのかの使用領域の設定
や、動作モードの設定などが行なわれ、また、リ
ードオンリーメモリROM₁からパターン・ジエネ
レータ・テーブルPGTやスプライト・ジエネレ
ータ・テーブルSGTなどに対して、所定種類の
パターン情報（例えば、第４図中に示されている
各種の図形情報）をビデオ・デイスプレイ・プロ
セツサVDPを介して転送し、また、スプライト
属性テーブルSATに対してスプライト名称やＸ
座標ならびにカラーデータの転送が行なわれる。

そして、中央制御装置CPUは、第６図のフロ
ーチヤートに示す割込みが発生しない間はステツ
プ(2)からステツプ（18）までの各ステツプの各制
御動作を繰返して実行しているが、中央制御装置
CPU内に設けられている内部カウンタに設定さ
れた特定な標本化周期毎に割込みが発生すると、
中央制御装置CPUは、そのときに実行していた
制御動作を中断して、ステツプ（19）〜（21）に
示す制御動作を行ない、それが終了すると、先に
割込みの発生によつて中断されていた制御動作の
実行を続行する。

すなわち、中央制御装置CPUは、それがAD変
換器ADCに対する制御動作を行なう時間以外の
時間はステツプ(2)〜ステツプ（18）の制御動作を
行なうようになされている。

さて、中央制御装置CPUの内部に設けられて
いる内部カウンタが、AD変換器ADCの標本化周
期毎に割込みを発生させると、中央制御装置
CPUはAD変換器ADCにAD変換動作の開始パル
スを与え、ステツプ（19）でAD変換器ADCが
AD変換動作を行ない、出力のデジタル信号をメ
インメモリRAMに格納する。

ステツプ（20）でAD変換器ADCにおけるAD
変換動作が所定の回数だけ行なわれたかどうか
（所定個数のデジタルデータが得られたかどうか）
をみて、NOならばリターンし、また、YESなら
ばステツプ（21）に進み、ステツプ（21）で内部
カウンタを０にし（ADCをプリセツト）てリタ
ーンする。

ステツプ(2)で、スイツチスキヤンを行なつて、
操作部OPに設定されている入力条件をみてステ
ツプ(3)に進む。ステツプ(3)ではホールド表示の入
力が与えられているかどうかをみて、YESなら
ばホールド表示が続く間中にわたつて、現在の表
示内容を繰返し表示する。

ステツプ(3)での判定結果がNOならば、ステツ
プ(4)に進み、ステツプ(4)ではホールト表示の入力
が与えられているか否かをみる。ステツプ(4)の判
定結果がNOならばステツプ(8)へ進み、また、ス
テツプ(4)の判定結果がYESならばステツプ(5)へ
進む。

ステツプ(5)ではホールト消去の入力が与えられ
ているか否かを判定し、YESならばステツプ(6)
へ進んで１音消去を行なつてステツプ（17）へ進
み、また、ステツプ５での判定結果がNOなら
ば、ステツプ(7)でホールト指示の入力が与えられ
ているか否かを判定し、NOならばステツプ(2)へ
戻り、またYESならばステツプ(8)へ進む。

ステツプ(8)ではメインメモリRAMに格納され
ている所定の個数ｎのデジタルデータを用いて
FFT演算を行ない、その演算結果のｎ／２個の
スペクトルデータをメインメモリRAMに格納す
る。

FFT演算は、速に動作するリードオンリー
メモリROM₂に記憶させてあるプログラムに従つ
て、中央制御装置CPUが短時間で行なうように
しても、あるいは、乗算器を用いて短時間で行な
うようにしてもよい。前記したどちらの方法で
FFT演算が行なわれるようにするのかは、表示
装置による表示をどの程度までに実時間に近づけ
る必要があるのかに応じてきめればよい。

ステツプ(9)では前記のステツプ(8)で得たスペク
トルデータについて、パワースペクトル演算を行
なつて、その演算結果をメインメモリRAMに格
納する。次に、ステツプ(10)では音分析を行な
う。すなわち、ステツプ(10)では、まず、最も大き
なスペクトル値を求め、次いで前記の最も大きな
スペクトル値を示すスペクトルの周波数よりも低
い周波数領域中に存在し、かつ、前記した最も大
きなスペクトル値のスペクトルの大きさよりも予
め定められた範囲内で小さなスペクトル値を有す
るスペクトルの内で最も低い周波数値を示すスペ
クトルの周波数値を求めて、それを入力の音声信
号の音のさ（基音）と判定し、また、前記の条
件に該当するスペクトルが存在しない場合には、
前記した最も大きなスペクトル値を示すスペクト
ルの周波数値を入力の音声信号の音のさ（基
音）と判定してステツプ（11）に進む。

ステツプ（11）では、所定の周期での繰返え表
示を行なわせるための入力が与えられているか否
かを判定し、判定結果がYESならばステツプ
（12）に進み、判定結果がNOならばステツプ
（14）に進む。

ステツプ（12）では、デイスプレイの表示面上
に、所定の個数の音符の表示がなされている状態
かどうか（一杯かどうか）をみて、YESならば
ステツプ（13）へ進んで音符の表示がクリアさ
れ、また、ステツプ（12）の判定結果がNOなら
ばステツプ（16）へ進む。

また、前記したステツプ（14）では、データ転
送が必要かどうかの判定を行なつて、YESなら
ばステツプ（15）でデータの転送を行なつてから
ステツプ（16）へ進み、ステツプ（14）での判定
結果がNOならばステツプ（16）へ進む。

ステツプ（16）では音のさを示すデータ値と
対応して、パターン名称テーブルPNTに書込む
べきデータや、スプライト属性テーブルSATに
書込むべきデータを作り、次いで、ステツプ
（17）では前記のデータをビデオ・デイスプレ
イ・プロセツサVDPを介してビデオ・ラムＶ・
RAMに転送し、ビデオ・デイスプレイ・プロセ
ツサVDPは、前記のようにしてビデオ・ラム
Ｖ・RAMに書込まれたデータによつて複合映像
信号を作つて、それをデイスプレイCRTへ送り、
デイスプレイCRTの表示面に、例えば第４図示
のようなパターンで音のさの表示を行なわせ
る。ステツプ（18）では、時間まちによるテンポ
の設定が行なわれる。

第４図に例示した音のさの表示パターンは、
デイスプレイCRTの表示面に映出された五線譜
状の画像における対応する音名の位置に、入力の
音声信号の音のさが時間軸上で変化するのに応
じて、デイスプレイCRTの表示面の左側から右
側へ次々に音符状の図形Ｓ，Ｓ…を表示させるよ
うにした場合のものである。

そして、１つの音符がデイスプレイCRTの表
示面上に表示されてから、次の１つの音符Ｓが新
らたに表示面上に表示されるまでの時間々隔はス
テツプ(2)〜（18）の繰返し周期と略々対応してお
り、デイスプレイCRTの表示面上の横方向に最
大26個の音符を次々に表示させうるものとした場
合に、ステツプ（18）における待ち時間をゼロと
したときのステツプ(2)〜（18）の繰返し周期が例
えば200ミリ秒であつたとすれば、入力の音声信
号を5.6秒の長さと対応して、デイスプレイCRT
の表示面上には26個の音符が並ぶことになり、ま
た、ステツプ（18）の待ち時間をゼロでない時間
τミリ秒とすれば、１つの音符Ｓがデイスプレイ
CRTの表示面上に表示されてから、次の１つの
音符Ｓが新らたに表示面上に表示されるまでの時
間々隔、すなわち、テンポは、前述の設例の200
ミリ秒から（200＋τ）ミリ秒に変わり、表示面
上に26個の音符が並び終るまでの時間は（5.6秒
＋26τミリ秒）で示されるものとなる。

したがつて、ステツプ（18）で与える待ち時間
を可変にすれば、テンポを自由に設定できるよう
にすることは容易である。

第７図と第８図とは、本発明の音符の表示装置
で各種の表示態様により表示面へ音符を表示させ
るときの表示のされ方を説明するための図であつ
て、この第７，８図において、，はデイスプ
レイCRTの表示面上へ表示される五線譜状の図
形であり、第７図示の表示面には、それへ表示さ
れている２つの五線譜状の図形，におけるそ
れの所要のものの左側から右側に向かつて音声信
号の音と対応して所定の個数の音符状の図形が
並ぶように表示されて行き、所定の個数の音符状
の図形が例えば第４図示のように表示面上へ表示
され終つた場合に、その表示面中に表示されてい
た音符状の図形の表示がクリアされ、次いで、音
声信号の音と対応する音符状の図形が五線譜状
の図形，の所要のものにおける左側から右側
に向かつて所定の個数に達するまで順次に並べら
れて行く、という状態が繰返されることにより、
音符状の図形の表示が所定の周期で繰返し行なわ
れるというような表示態様での表示がなされる。
第７図は、音符状の図形Ｓ，Ｓ…が所定の個数に
達する以前のデイスプレイCRTの表示面の表示
状態の一例を示す。

デイスプレイCRTの表示面の表示を固定化し
た状態で表示させようとするときには、操作部
OPにホールドのスイツチ入力を与えればよく、
操作部OPにホールドのスイツチ入力が与えられ
るとデイスプレイCRTの表示面の表示は、操作
部OPにホールドのスイツチ入力がなされたとき
の状態のままに保持される。

また、デイスプレイCRTの表示面に順次に表
示される音符状の図形が、任意に指定した瞬間の
音声信号の音のさと対応しているものとなるよ
うに五線譜状の図形の該当する部分へ表示させる
のには、操作部OPに対してホールト（HALT）
のスイツチ入力を与えておいた上で、ホールト指
示のスイツチ入力を与えるようにすればよく、前
記のようにしてホールト指示のスイツチ入力を操
作部OPに与えると、そのホールト指示のスイツ
チ入力が操作部OPに与えられた時点における音
声信号の音のさと対応し、かつ、五線譜状の図
形に関して音符状の図形が表示されるべき横方向
の予定位置に音符状の図形が表示される。

前記のようにホールト指示のスイツチ入力を操
作部OPに与えて表示面に表示させた音符状の図
形を消去するのには、ホールト消去のスイツチ入
力を操作部OPに与えればよく、ホールト消去の
スイツチ入力が操作部OPに与えられることによ
り、そのホールト消去スイツチ入力が操作部OP
に与えられる直前に表示面に表示された音符状の
図形の表示が消去される。

第８図は、デイスプレイCRTの表示面におけ
る表示態様が、上方向へのスクロール表示となさ
れる場合のデイスプレイCRTの表示面の表示の
状態を説明するのに用いる図である。第８図にお
いて，は表示面に表示される五線譜状の図形
である。

まず、操作部OPへ対して、上方向へのスクロ
ールのスイツチ入力が与えられた場合におけるデ
イスプレイCRTの表示面の表示態様は次のよう
なものである。すなわち、表示の対象とされてい
る音声信号の次々の音のさを示す音符状の図形
が、デイスプレイCRTの表示面における五線譜
状の図形の左側から右側に順次に所定の個数だ
け表示され終つた後に、今度は、五線譜状の図形
の左側から右側に向かつて順次に所定の個数だ
けの音符状の図形の表示が行なわれる。

前記のように、デイスプレイCRTの表示面に
おける２つの五線譜状の図形，に、それぞれ
所定の個数の音符状の図形が表示され終つたとき
に、五線譜状の図形に表示されていた音符状の
図形の表示がクリアされて、五線譜状の図形
に、それまで五線譜状の図形に表示されていた
音符状の図形がスクロールし、それまで五線譜状
の図形に表示されていた音符状の図形の表示が
クリアされる。

そして、次いで五線譜状の図形に対してそれ
の左側から右側に向かつて、所定の個数に達する
まで音符状の図形の表示が順次に行なわれて行
き、五線譜状の図形に所定の個数の音符状の図
形の表示が行なわれたときに、そのときに五線譜
状の図形と対応して表示されていた音符状の図
形がクリアされて、五線譜状の図形に、五線譜
状の図形と対応して表示されていた音符状の図
形がスクロールし、五線譜状の図形と対応して
表示されていた音符状の図形の表示がクリアされ
る。

以下、同様な表示態様で、上方向へのスクロー
ルによる表示が行なわれるのである。なお、上方
向へのスクロールに際しては、第６図示のフロー
チヤートを参照して述べた動作において、ステツ
プ（16）の直前に、デイスプレイの表示面におけ
る五線譜状の図形と対応して表示される音符状の
図形の表示をクリアするというステツプをおくこ
とが必要とされる。

次に、第７図を参照して操作部OPに対して、
左方向へのスクロールのスイツチ入力が与えられ
た場合におけるデイスプレイCRTの表示面の表
示態様について説明する。

この場合における表示の状態は、デイスプレイ
の表示面における五線譜状の図形の左側から右側
に、順次に所定の個数だけの音符状の図形が表示
され終つた後は、次から次に行なわれる新らしい
音符状の図形による音の表示が、常に一番右側
の表示位置で行なわれるとともに、それ以前に表
示されていた音符状の図形が右方の隣接の表示位
置へ１つづつずらされて行き、一番右側の表示位
置における音符状の図形がクリアされるというよ
うな表示態様での表示が行なわれる。

デイスプレイCRTの表示面における表示態様
が上方向へのスクロールや、左方向へのスクロー
ルとなされている状態においても、操作部OPに
対して、ホールドのスイツチ入力、ホールトのス
イツチ入力、ホールト指示のスイツチ入力、ホー
ルト消去のスイツチ入力がなされた場合には、既
述したと同様な表示態様での表示動作が行なわれ
る。なお、前記した操作部OPには、各種の入力
情報を設定するスイツチ等の入力手段と、例えば
発光素子などを用いた表示器などが設けられてい
る。

第９図は、デイスプレイCRTにおける表示態
様を所定の繰返し周期での表示態様として、デイ
スプレイCRTに音符の表示を行なわせている場
合に、デイスプレイCRTに表示される画像が次
の画像に変更される直前の１フレーム分の映像信
号を、画像記録手段によつて順次に記録するよう
にした本発明の音符の表示装置の構成例を示すブ
ロツク図であり、この第９図において、VTRは
画像記録手段として用いられているビデオ・テー
プ・レコーダであり、また、SSGは録画制御信号
の発生器である。

録画制御信号の発生器SSGは、デイスプレイ
CRTに表示されるべき画像が所定の個数の音符
状の図形が並んでいる状態となされる度毎に中央
制御装置CPUから与えられる信号によつて制御
信号を発生し、その信号によりビデオ・テープ・
レコーダVTRの録画動作を制御し、ビデオ・テ
ープ・レコーダVTRによつて１フレーム分の映
像信号が次々に記録されるようにするためのもの
であり、録画制御信号の発生器SSGで発生された
所要の録画制御信号は、例えば、ポーズ状態で待
機させてあるビデオ・テープ・レコーダVTRの
ポーズを解除し、録画制御信号の度毎に１フレー
ム分の映像信号が磁気テープ上へ順次に記録され
るようにする。

したがつて、ビデオ・テープ・レコーダVTR
における磁気テープには、デイスプレイCRTの
表示面へ所定の繰返し周期で表示されている次々
の楽譜が連続して記録されることになり、磁気テ
ープを再生すれば、演奏した楽曲の全部の楽譜を
最初から最後まで連続して得ることができる。

なお、デイスプレイCRTの表示面に対して、
テンポ、曲名、楽譜の頁数などの表示がなされる
ようにすることは好ましい実施の態様である。

第１０図は、本発明の音符の表示装置の全体構
成図である。

（効果）以上に、詳細に説明したところから明らかなよ
うに、本発明の音符の表示装置では、入力の音声
信号と対応してデイスプレイCRTの表示面に、
所定の繰返し周期毎に次々の新らしい１頁づつの
楽譜の表示が行なわれるようにしたり、左方向ま
たは上方向へのスクロールにより、次々の楽譜の
表示が行なわれるようにしたりすることができ、
さらにホールド、またはホールトによつて表示を
保持または停止状態にして採譜を容易にすること
ができ、さらにまた記録装置によつて次々の楽譜
を連続的に記録することもできるので、素人によ
る作曲、採譜が容易に行なうことのできる音符の
表示装置を提供し得るのであり、また、本発明装
置は、周波数分析をデジタル信号による信号処理
によつて行なつているので、従来装置のように多
数の帯域濾波器を用いているものに比べて構成が
簡単で大量生産に適しており需要者に安価に供給
できるし、さらに、本発明装置は、FFT演算の
結果についてパワースペクトル演算を行い、演算
結果として得たスペクトルのレベルに基づいて音
声信号の音のさを判定しているので、この入力
の音声信号が、基音に対する倍音の強さとの関係
や基音と倍音との組み合わさり方が異なる各種の
楽器等による各種の音声によるものでも、正確な
音符の表示が可能になり、この装置の利用範囲が
拡大されるのである。

【図面の簡単な説明】

第１図及び第９図は、本発明の音符の表示装置
の各異なる実施態様のブロツク図、第２図はビデ
オ・ラムのメモリマツプの一例図、第３図は表示
面の区画の説明図、第４図及び第７図ならびに第
８図は表示面の表示パターンの平面図、第５図は
楽器音のスペクトル分布図、第６図はフローチヤ
ート、第１０図は本発明の音符の表示装置の全体
構成図である。１，２……入力端子、BAl，BAr……バツフア
増幅器、SW……選択スイツチ、GEQ……グラフ
イツクイコライザ、AAF……アンチ・エイリア
ジング・フイルタ、AVD……絶対値検出回路、
SD……符号検出回路、ADC……AD変換器、
CPU……中央制御装置、RAM……メインメモ
リ、ROM₁，ROM₂……リードオンリーメモリ、
VDP……ビデオ・デイスプレイ・プロセツサ、
Ｖ・RAM……ビデオ・ラム、CRT……デイスプ
レイ、VTR……ビデオ・テープ・レコーダ、OP
……操作部、CLD……操作制御部、SSG……録
画制御信号の発生器。

Claims

【特許請求の範囲】１音声信号をデジタル信号に変換するアナロ
グ・デジタル変換手段と、前記のアナログ・デジ
タル変換手段から出力されたデジタル信号を
FFT演算するとともに、その結果についてパワ
ースペクトル演算を行ない、演算結果として得た
スペクトルのレベルに基づいて音声信号の音の高
さを判定し、判定された音の高さをそれに応じた
パターン情報に変換するとともに、デイスプレイ
の表示面での表示の態様に応じた所定の制御動作
を行なう中央制御装置と、前記した中央制御装置
の出力データが印加されるビデオ・デイスプレ
イ・プロセツサとを備え、デイスプレイの表示面
の五線譜状の表示図形における対応する部分に音
符の表示を行なうようにした音符の表示装置。２デイスプレイの表示面上での表示の態様を、
所定の周期での繰返し表示と、スクロール表示と
に選択できるようにする手段を備えたことを特徴
とする特許請求の範囲第１項記載の音符の表示装
置。３入力手段によつて任意に指定された時刻にお
ける音声信号の音の高さが表示できるようにする
手段を備えたことを特徴とする特許請求の範囲第
２項記載の音符の表示装置。４前記のデイスプレイに表示される画像が次の
画像に変更される直前の一フレーム分の映像信号
を順次に記録する画像記録手段を備えたことを特
徴とする特許請求の範囲第２項記載の音符の表示
装置。