JPS6162983A - 楽譜読取装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

（１）技術分野 本発明は、楽器の自動演奏をおこなう装置、あるいは奏
者の演奏全誘導する装置に、楽譜データを供給する楽譜
読取り装置に関する。 （２）従来技術 従来、楽器の自動演奏あるいは演奏の誘導におこなう装
置では、装置に読取り易い形態の特殊な媒体、例えば磁
気ストライプや穿孔テープにあらかじめ楽譜データを符
号化して記録し、これ全装置に読ませることによって楽
譜データ全供給していた。従って、これらの装置の有効
性は、あらかじめデータが準備された曲目に限定されて
いた。 一方、通常の楽譜を光学的に読取り、計算機によってこ
れ全認識して楽器データ全自動生成する方法は、従来処
理時間がかかり、自動演奏や演奏の誘導に用いることは
できなかった。 本発明は、通常の楽譜を光学的に読取り、高速に処理し
て楽譜データ全供給る楽譜読取装置に関する。 （３）発明が解決しようとする問題点 第１図に用いて本発明の装置の構成全説明する。 本発明の装置は、楽器全光学的に撮像し、電気的な画像
信号（１）に変換する撮像装置２と、画像信号（１１全
２値化し２値画像信号（３）に変換する２値化回路４と
、２値画像信号（３）全記憶する第】両像記憶回路５全
有する。本発明の装置はまた、２値画像信号３から五線
候補全検出する五線検出回路６と、検出された五線候補
の位置データ（７）から五線の位置と間隔と傾き全算出
する第１の演算手段８と、この結果に基づく演算手段８
の指示により、第１の画像記憶回路５から指定された領
域の画像全五線が水平になるように補正しながら定めら
れた順序で読出す傾き補正回路９と、その出力である正
規画像信号＋１０）’を記憶する第２の画像記憶回路１
１　　を有する。本発明の装置はまた、正規画像信号（
１０）から、符頭候補および小節線検出器それぞれ検出
する符頭検出器１２および小節線検出器１３と、これら
の検出結果に基づいて第２の画像記憶回路１】に記憶さ
れた正規画像データＱで基づき符幹等の各種記号の識別
をおこなう第２の演算手段１４　　を有する。ここで、
第２の計算手段１４は第１の計算手段８で代用すること
として省くこともできるが、処理速度全高めるためｔで
は、むしろ第２の計算手段１４．は独立して設け、しか
も複数の独立した計算手段全並置したものとすることが
より実用的である。 （４）作用 次に本発明の装置の作用を説明する。 撮像装置２は、楽譜全撮像し、その画面上全第２図に示
すごとく水平方向に走査し、これ全垂直方向にずらせな
がら繰返して、各点の明るさ全順次電気信号として出力
する。このようにして得られた電気信号＋１１′ｆｔ２
値化回路４．において、あらかじめ定められた閾値と比
較し、各点が“白”であるかパ黒”であるかを判定して
各々１ビツトの符号であられす。この結果得られる２値
画像信号（３）Ｑよ第２図に示したごとく、両面全縦横
の格子によって分割し、各区域（以下、画素と呼ぶ）の
′白”又は“黒”全あられす符号全走査順Ｃ図では矢印
＋１８１　’を用いて示にある。）に並べたビット列と
なる。 ２値画像信号（３）は、第１の画像記憶回路５に記憶さ
れるが、同時に五線検出回路６にも人力される。五線検
出回路６は、画像」二に水平方向に長い検出窓１９をあ
て、この中の黒”の画素があらかじめ定められた数より
多い場合に、これ全五線候補として検出し、この位置を
記憶する。実際には、画像は１８で示した走査順のビッ
ト列として与えられるので、これを一時的に記憶し、検
出窓１９　　にあたる位置のデータをそろえる。これを
走査に従って順次入れかえていくことにより、検出窓の
位置全走査と同じ順序で移動させることができる。五線
候補の検出は、すべての検出窓位置についておこなう必
要はなく、各垂直方向位置について、あらかじめ定めた
いくつかの水平方向位置でおこなえばよい。 以」二の処理は、撮像と並行して同時におこなわれる。 １枚の楽譜は、通常複数の五線の組を含むので、撮像と
同時にこれら全含んだ画像が第１画像記憶回路５に記憶
されるとともに、複数の五線の組が、水平方向の複数の
位置で検出され、その位置が五線検出回路６に記憶され
る。 次に第１の演算手段８が五線検出回路６から検出された
五線候補の位置情報７全読出す。１組の五線は５本のほ
ぼ等間隔でほぼ水平、かつ平行に引かれた直線であるか
ら、第１の計算手段８は読出した五線候補の位置情報か
ら誤検出全除き、各々の五線の組の位置と間隔を定める
ことができる。 さらに、各々の五線の組は水平方向に異る複数の位置で
検出されているから、その水平方向に対する傾き全算出
する。 第１の演算手段８は、この結果から、１組の五線とその
五線の組に属する音符等の記号とを含む領域（以下、切
出し領域と呼ぶ）とを決定する。 切出し領域は、五線の上方および下方に、五線間隔のｎ
／２倍だけの余裕全とって定める。ｎはあらかじめ定め
てもよいし、検出された五線の組と組の間隔から決定し
てもよい。 第１の演算手段８は、切出し領域の位置と大きさ、およ
び傾きの補正パラメータ音頭き補正回路９

【て与える。 また、小節線検出回路１３に切出領域中での五線の相対
的な位置全、符頭検出回路１２に五線間隔全それぞれ与
える。この後、傾き補正回路９を起動する。 起動された傾き補正回路９ば、指定された切出し領域の
画像全、定められた走査順序に従って第１の画像記憶回
路５から読出し、正規画像信号（１［Ｉｌとして送出す
る。その動作全第３図を用いて説明する。そのときの走
査の方向は水平にではなく、線２０で示されているよう
に与えられた傾き補正パラメータに従って五線２１　と
平行におこなわれる。すなわち、切出し領域の左端から
右端へ五線と平行に走査し、これ全垂直方向にずらしな
がら繰返す。この結果、正規画像信号１０は、五線の水
平な画像２２全水平に走査２３シて得られる信号と等し
くなる。 正規画像信号は、第２の記憶回路１１に人力され、記憶
されるとともに、符頭検出回路１２および小節線検出回
路］３に入力される。 符頭検出回路１２には、あらかじめ登録された符頭の形
状が記憶されている。ありうる数種類の大きさの符頭に
ついてそのパターンが記憶されており、第１の演算手段
８＆てよって与えられる五線間隔に応じてこの中から１
つが選択され、使用される。符頭検出回路】２は、人力
される正規画像・と選択されたパターンの照合をおこな
い、符頭候補全検出し、その位置全記憶する。この際、
照合は画像−］二のすべての位置について訃こなうので
はなく、五線」二にパターンの中心がくる位置、および
五線に平行で五線から五線間隔のｌ／２の整数倍だけ離
れた直線上にパターンの中心がくる位置についてのみお
こなう。なぜならば、符頭の中心は必ずこれらの直線」
二にあるからである。 正規画像信号（１０）においては、走査は五線りで平行
な直線上でおこなわれる。従って、照合すべきパターン
の位置は、特定の走査線上シで限定される。 この結果、符頭検出回路をよ大幅に簡略化される。 ところで、符頭の形状は、全音符、２分音符、４分音符
の３種類がある。符頭検出回路】２は、これら３種類に
ついて並行して照合、検出音おこない、各々全別個に記
憶する。 小節線検出回路１３は、縦長の方形の検出窓全有し、こ
れによって小節線候補を正規画像信号（１０）から検出
する。検出窓の長さおよび垂直方向の位置は、計算手段
８から与えられる五線」１端、下端の位置によって定ま
る。すなわち、検査すべき窓の中心位置は、ただ１本の
走査線上に限定される。 以上の処理の結果、傾き補正回路９が切出し領域の走査
を終了した時には、第２の記憶回路１１に傾きが補正さ
れた切出し領域の画像（正規画像と呼ぶ）が、また符頭
検出回路１２および小節線検出回路１３には切出し領域
内の符頭候補および小節線候補の位置情報が記憶されて
いる。 第２の演算手段１４．は、第１の演算手段８から切出し
領域内の五線の位置ふ・よびその間隔を受取−】〇− リ、また符頭検出回路１２および小節線検出回路〕３内
の符頭候補および小節線候補位置を受取る。 これらの情報にもとすき、第２の演算手段１４は第２の
画像記憶回路１１から随時画像を読出し、種々の記号の
識別をおこなう。演算手段による識別処理は、一般に専
用回路を用いる方法に比べて低速であるが、逆に識別す
べき記号の特徴に応じて識別方法を様々に変えることが
できるという利点がある。 本発明の装置では、この特徴を生かしつつ、専用回路に
よって五線、小節線、各種符頭の検出をおこない、計算
手段による探索範囲を限定して速度の低下を防止してい
る。例えば、符幹、付点、臨時調記号、旗などは符頭に
付随しており、符頭に対する相対的な位置が限定されて
いるので、その場所のみを検査すればよい。また、休符
の存在位置や種類は、小節線位置、拍数、および符頭位
置から予測が可能である。 さて、以上、演算手段８による五線位置の決定以降の処
理は、１組の五線に対するものであるから、撮像し、第
１の記憶回路５に記憶した画像に存在する五線の組の数
だけ、繰返しおこなう。このとき、第２の演算手段１４
．が複数の独立した計算手段から構成され、かつ第２の
画像記憶回路１１が各々の演算手段に対応して分割され
ているならば、第２の演算手段の１つの構成要素が識別
処理を開始した時点で、第１の演算手段８は次の五線の
組に対する処理を開始することができる。このようにし
て、第２の演算手段の各構成要素は、順次独立して識別
処理に入ることができ、複数の五゛線の組を並行して処
理することが可能である。 （５）実　施　例 第４・図に本発明の実施例を示す。 撮像装置２は固体撮像素子を用いたカメラであって、横
２０００画素、縦３０００画素の分解能を有する。この
出力である画像信号はすでにディジクル化されてふ・す
、ディジタル比較器から成る２値化回路４に入力される
。２値化回路４．には、あらかじめ比較値が第１の演算
手段８によって、バス２４・を通じて与えられている。 ２値化された画像信号は、第１の画像記憶回路５に記憶
されると同時に五線検出回路６に入力される。第１の画
像記憶回路５は、画像１画面を格納しうるよう、６メガ
ビノトの容量を有する。 五線検出回路６には、あらかじめ第１の演算手段８によ
って、検出窓の長さと検出基準値が与えられている。五
線検出結果は、第１の演算手段８によって、バス２４を
通じて読出される。第１の演算手段８は、この結果によ
って切出し領域と傾き補正パラメータを傾き補正回路９
に与え、これを起動する。 傾き補正回路９は、第１の画像記憶回路５から画像を読
出し、正規画像信号を符頭検出回路１２、小節線検出回
路１３およびバスインタフェース２６に供給−ｊる。バ
スインタフェース２６で正規画像信号は１６ビツトの並
列データに変換され、演算手段８によってバス２５を通
じて第２の画像記憶回路に転送される。 第２の演算手段は、この実施例では３つの独立した演算
手段２７．２８．２９から成る。第２の画像記憶回路は
、３つ分割され、それぞれ演算手段２７．２８．２９に
内蔵されている。正規画像データの転送は、このいずれ
か１つになされる。 １組の五線についての正規画像信号送出が終了すると、
演算手段８は符頭検出器１２および小節線検出器１３の
検出結果をバス２４・を通じて読出し、五線に関する情
報とともに、バス２５を通じて第２の演算手段２７〜２
９のいずれかに転送する。 転送を受けた演算手段は、識別処理を開始する。 本実施例は、右手、左手、足の３パートから成る楽譜を
対象としている。すなわち、演算手段２７は右手パート
、２８は左手パート、２９は足パートをそれぞれ分担す
る。第１の演算手段８は、第２の演算手段２７．２８．
２９にそれぞれ１組の五線に対応する領域のデータを渡
すまで、五線の決定以降の動作を繰返す。これが終了す
ると、第２の演算手段２７〜２９の処理が終了するまで
待ち、以下、撮像したすべての五線の組が処理終了する
まで繰返す。 本実施例では、第３の演算手段３０が設けられており、
３つのパートの識別結果を集めて、最終的な調整を加え
、楽譜認識結果として出力する。 これらの演算手段８．２７．２８．２９．３０等はすべ
てマイクロコンピュータである。 （６）発明の効果 本発明の装置では、五線検出回路、符頭検出回路、小節
線検出回路等を用いることによって高速に五線、符頭、
小節線の検出がおこなえ、これに基づいて楽譜の各種記
号の識別がおこなわれるため、高速で楽譜の認識ができ
る。この結果、楽器の自動演奏システム、あるいは演奏
の誘導システムに通常の楽譜を用いることが可能となる
。 また、本発明の装置では、まず検出の容易な五線を検出
し、この結果に基づいて傾きの補正をおこなった」−１
五線の位置と間隔の情報を利用して符頭と小節線の検出
をふ・こなうので、各検出回路が大幅に簡略化できる。 この結果、全体として高速でありながら小型、安価な楽
譜認識装置が構成できる。

【図面の簡単な説明】

第１図は本発明の装置の構成を示す図である。 第２図は本発明の装置による２値化画像信号の走査を説
明するための図である。 第３図は本発明の傾き補正回路の作用を説明する図であ
る。 第４・図は本発明の実施例を示す図である。 （１，）画像信号 ２　撮像装置 （３，）　　２値画像信号 ４．２値化回路 ５、　第１の画像記憶回路 ６、　五線検出回路 （７，）五線候補の位置情報 ８、　第１の演算手段 ９、　傾き補正回路 （１０）正規画像信号 １１、　　第２の画像記憶回路 １２　　符頭検出回路 １３゜　小節線検出回路 １４、　　第２の演算手段 （］５）五線の位置および間隔情報 （１６）小節線候補の位置情報 （１７，）　　符頭候補の位置情報 １８．２値画像信号の走査方向 １９、　　五線検出の窓 ２０、　　傾き補正回路の走査線 ２１、　　第１の画像記憶回路内の五線の１本２２、　
　正規画像信号における五線の１本２３、　　正規画像
信号における走査線２４、　　第１のパス ２５、　　第２のパス ２６、　　パスインタフェース ２７、　　第２の計算手段Ａ ２８、　　第２の計算手段Ｂ ２９、　　第２の計算手段Ｃ ３０、第８の計算手段 ３１、　　外部との通信線

Claims (3)

【特許請求の範囲】
1. （１）楽器の自動演奏装置、演奏誘導装置、および自動
   演奏楽器のための楽譜データを生成する装置において、
   楽譜を光学的に撮像し、電気的画像信号に変換する撮像
   装置と、前記画像信号を基準値と比較することにより、
   画面上の各点が白であるか黒であるかをあらわす２値画
   像信号を生成する２値化回路と、２値画像信号を記憶す
   る第１の記憶回路と、２値画像信号から水平方向に長い
   黒の点の部分的な連なりを検出する五線検出回路と、五
   線検出回路から得られる五線候補位置から五線の位置と
   間隔と傾きを算出する第１の演算手段と、算出された五
   線の位置と間隔と傾きに基づき、前記第１の画像記憶回
   路から五線を含んで五線の上方および下方に五線間隔の
   定められた倍数の幅を持った画像を、傾きを補正しつつ
   定められた順序で読出す傾き補正回路と、傾き補正回路
   によって生成される画像信号（以下、正規画像信号と呼
   ぶ）から、五線上および五線上から五線間隔の１／２だ
   け離れた水平線上に中心を有する符頭の検出をおこなう
   符頭検出器と、前記正規画像信号から、五線部分を対象
   として小節線の検出をおこなう小節線検出器と、前記正
   規画像信号を記憶する第２の記憶回路とを有し、第１の
   演算手段で算出された五線の位置と間隔、および、前記
   符頭検出器と小節線検出器で検出された符頭候補位置と
   小節線候補位置とに基づき、随時第２の画像記憶回路か
   ら画像を読出して、音部記号、拍子記号、調子記号、休
   符、および符頭に付随する各種記号（符幹、付点、臨時
   記号等）の識別をおこなうことを特徴とする楽譜読取装
   置。
2. （２）傾き補正回路が画像の縮小機能を有し、該機能に
   よって生成される正規画像の五線間隔があらかじめ定め
   られた範囲に収まるよう補正されていることを特徴とす
   る特許請求の範囲第１項記載の楽譜読取装置。
3. （３）第２の記憶装置が複数に分割されており、個個の
   分割単位は独立した演算手段を備え、各種記号の識別処
   理が同時におこなえることを特徴とする特許請求の範囲
   第１項及び第２項記載の楽譜読取装置。