JP4702139B2 - 電子楽器 - Google Patents

Description

この発明は、電子楽器にスキャナやデジタルカメラなどの静止画像取込み装置を直接接続し、印刷楽譜から必要な曲情報を取得することができる電子楽器システムに関する。

従来より、紙面に印刷された楽譜（印刷楽譜）を電子楽器で利用する技術が検討されており、例えば、特許文献１には、パソコンに電子楽器とスキャナを接続することにより、パソコン上の電子楽譜データをスキャナから入力したり、電子楽譜データから生成した演奏用データで電子楽器に楽音を生成させたりする電子音楽システムが開示されている。
特開２００４−１１７４８７号公報

このように、従来システムでは、印刷楽譜から電子楽器に曲情報を取り込むために、スキャナを設ける他に、印刷楽譜のデータを読み込む汎用のパーソナルコンピュータ（ＰＣ）を介さなければならなかった。従って、ＰＣという余計な装置が必要でシステム構成が複雑となり、更にＰＣを用いるのでは操作も複雑になってしまう。

一方、ユーザがレジストレーションなどの設定を電子楽器のパネル操作で入力する際、表を見ながら多数のパラメータを入力しなければならず、設定入力作業が煩雑で困難であった。また、これらの設定情報は、電子データになっているものもあるが、曲の演奏データと密接な関連がありながら、印刷楽譜とは別に供給されているため、ユーザによる入手と管理が難しかった。

さらに、従来からあるように、印刷楽譜の譜面から生成される曲の演奏データだけを曲データとする方法では、曲の演奏に必要な演奏中の操作まで曲データに反映されないので、自動演奏或いは手本演奏（模範演奏）のためのデータとしては不十分であった。

この発明は、このような事情に鑑み、スキャナやデジタルカメラなどの静止画像取込み装置を、パーソナルコンピュータなどの画像読込み処理装置を介することなく、電子楽器に直接接続し、印刷楽譜で表わされた曲情報から曲データを簡単に得ることができ、また、印刷楽譜から曲の演奏に十分な情報を得ることができる電子楽器システムを提供することを目的とする。

この発明の主たる特徴に従うと、印刷楽譜（ＰＭ；ＰＭａ，ＰＭｂ）から楽譜画像情報（Ｓｄ）を取り込む静止画像取込み装置（ＳＣ；ＳＣａ，ＳＣｂ）が直接接続され該楽譜画像情報を利用する電子楽器（ＥＭ）であって、演奏環境を設定するための設定操作子（１６ａ）と、静止画像取込み装置（ＳＣ）から、印刷楽譜（ＰＭａ，ＰＭｂ）上に表記された複数の設定画像情報（Ｅｄａ，Ｅｄｂ）を含む（段落［００５１］）楽譜画像情報（Ｓｄ）を取得する画像情報取得手段（Ｓ２）であって、各設定画像情報（Ｅｄａ，Ｅｄｂ）は、曲を演奏する際に設定されるべき演奏環境を表わす設定情報がユーザにより視認可能に表記されているか（Ｅｄａ）或いはコード化されて表記されている（Ｅｄｂ）もの（Ｓ２）と、画像情報取得手段（Ｓ２）により取得された楽譜画像情報（Ｓｄ）をこの電子楽器（ＥＭ）で利用可能な曲データに変換する変換手段（Ｓ３〜Ｓ１１）であって、該楽譜画像情報（Ｓｄ）に含まれる設定画像情報（Ｅｄａ，Ｅｄｂ）については、この電子楽器（ＥＭ）で利用可能な設定データに変換し、当該設定データを曲の進行に合わせて取り出し可能に該曲データに含ませる〔Ｓ４〜Ｓ５，Ｓ９〜Ｓ１１（段落［００５２］〜［００５３］）〕もの（Ｓ３〜Ｓ１１）と、変換手段（Ｓ３〜Ｓ１１）により変換された曲データを記憶する記憶手段（４；Ｓ１１）と、記憶手段（４）に記憶された曲データに含まれる設定データに基づく演奏環境を設定する機能を設定操作子（１６ａ）に割り当てる割当て手段〔Ｅ１０（段落［００４４］，［００５４］〜［００５５］）〕と、記憶手段（４）に記憶された曲データを再生する再生手段（Ｅ１４〜Ｅ２２）であって、曲の進行に合わせて当該曲データから取り出される設定データに基づいて曲データ再生時の演奏環境を順次設定する〔Ｅ１３，Ｅ２０（段落［００５４］）〕もの（Ｅ１３〜Ｅ２２）とを具備する電子楽器（ＥＭ）〔請求項１〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号や用語等を表わし、以下においても同様である。

また、この発明による電子楽器（ＥＭ）において、画像情報取得手段（Ｓ２）は、曲の演奏を進行させる際に設定されるべき演奏環境を表わす設定操作情報がユーザにより視認可能に印刷楽譜（ＰＭａ，ＰＭｂ）上に表記された設定操作画像情報（Ｃｄ）を含む楽譜画像情報（Ｓｄ）を取得し、変換手段（Ｓ３〜Ｓ１１）は、設定操作画像情報（Ｃｄ）をこの電子楽器（ＥＭ）で利用可能な設定操作データに変換して当該設定操作データを曲データに含ませ（Ｓ９〜Ｓ１１）、再生手段（Ｅ１３〜Ｅ２２）は、曲データ再生時に、曲データに含まれる設定操作データ（設定操作イベント）に基づいて演奏環境を制御する設定制御手段（Ｅ２０）を有する〔請求項２〕ように構成することができる。

この発明の主たる特徴による電子楽器（請求項１）では、スキャナ（ＳＣａ）やデジタルカメラ（ＳＣｂ）などの静止画像取込み装置（ＳＣ）が、パーソナルコンピュータなどを介することなく、電子楽器（ＥＭ）にダイレクトに接続され、印刷楽譜（ＰＭ；ＰＭａ，ＰＭｂ）で表わされた曲の楽譜情報（Ｓｄ）を画像取込み装置（ＳＣ）から直接電子楽器（ＥＭ）に読み込み、曲データとして記憶手段（４）に記憶するようにしている（Ｅ４：Ｓ２〜Ｓ１１）。
従って、この発明によれば、パーソナルコンピュータなしで、印刷楽譜で表わされた曲情報から曲データを簡単に得ることができ、印刷楽譜から得られた曲データを自動演奏させたりユーザの演奏練習に対する模範演奏に利用することができる。

この発明による電子楽器では、印刷楽譜（ＰＭ；ＰＭａ，ＰＭｂ）から、曲の楽譜情報（Ｓｄ）を読み込んで演奏データを得てこれを曲データとするだけでなく（Ｓ６〜Ｓ８）、楽譜情報（Ｓｄ）に関連付けられた複数の設定情報（Ｅｄ；Ｅｄａ，Ｅｄｂ）をも読み込み（段落［００５１］）、設定データとして曲の進行に合わせて取り出し可能に曲データに含ませて記憶手段（４）に保存するようにしている〔Ｓ４〜Ｓ５，Ｓ９〜Ｓ１１（段落［００５２］〜［００５３］）〕。ここで、設定情報（Ｅｄ）は、曲データの再生開始時及び再生中にレジストレーションなどの演奏環境を順次設定する〔Ｅ１３，Ｅ２０（段落［００５４］）〕のに用いられる情報である。
従って、この発明によれば、さらに、曲の演奏に関する複数の設定情報をも含む曲情報を簡単な操作で電子楽器に入力し、曲の演奏に必要な演奏環境を反映させるのに十分な情報を持つ曲データを印刷楽譜から簡単に得ることができ、曲データを利用して自動演奏や練習を行う曲データ再生時には、曲の演奏に適したレジストレーションなどの演奏環境を電子楽器に順次設定し、曲の演奏進行に応じた適切な演奏環境の切替えをユーザに代わって行うことができる。

この場合、設定データについて、印刷楽譜（ＰＭａ）上の設定情報をユーザも読み取れる（Ｅｄａ）ようにしておくことにより、さらに、ユーザは、曲データの読込みの際乃至演奏や練習の際に、曲データに関する設定内容を印刷楽譜から確認することができる。或いは、印刷楽譜（ＰＭｂ）上の設定情報をコード化しておく（Ｅｄｂ）ことにより、さらに、電子楽器への曲情報の読込みに用いられる印刷楽譜を簡単な構成にし、また、設定画像情報から設定データに変換する処理を簡単にすることができる。

この発明による電子楽器では、さらに、演奏環境を設定するための設定操作子（レジストレーション切替用設定スイッチ１６ａ）が備えられ（段落［００２１］）、この設定操作子（１６ａ）には、記憶手段（４）に記憶された曲データに含まれる設定データに基づく演奏環境を設定する機能が割り当てられる〔Ｅ１０（段落［００４４］，［００５４］〜［００５５］）〕。
従って、この発明によれば、さらに、演奏環境用設定操作子の操作により、曲データの設定データに基づく所望の演奏環境を設定することができる（段落［００５５］）。

また、この発明による電子楽器においては、楽譜情報（Ｓｄ）に関連付けられた設定操作情報（Ｃｄ）についても読込みを行い、設定操作データとして曲データに含ませて記憶手段（４）に保存する（Ｓ９〜Ｓ１１）ようにしている（請求項２）。ここで、設定操作情報（Ｃｄ）は、電子楽器ＥＭで曲データを再生して曲の演奏を進行させる際に行われるべき各種演奏環境の設定や切替えなどに用いられる情報である。
従って、この発明によれば、曲の演奏に関する設定操作情報をも含む曲情報を簡単な操作で電子楽器に入力し、曲の演奏に必要な演奏環境を反映させるのに十分な情報を持つ曲データを印刷楽譜から簡単に得ることができ、曲データを利用して自動演奏や練習を行う曲データ再生時には、曲の演奏進行に応じた適切な演奏環境の設定をユーザに代わって行うことができる。
この場合、設定操作データについては、印刷楽譜（ＰＭａ）上の設定操作情報をユーザも読み取ることができる（Ｃｄ）ようにしておくことにより、ユーザは、曲データの読込みの際乃至演奏や練習の際に、曲データに関する設定操作内容を印刷楽譜から確認することができる。

以下、図面を参照しつつこの発明の好適な実施の一形態について説明する。しかしながら、これは単なる一例であって、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。

〔電子楽器システムの概要〕
この発明による電子楽器システムは、電子鍵盤楽器を含む任意の種類の電子楽器と静止画像取込み装置により構成される。図１は、この発明の一実施例による電子楽器システムの構成例を示し、図１（１）はハードウエア構成ブロック図を表わし、図１（２）はシステム概念図を表わす。電子楽器ＥＭは、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、外部記憶装置４、演奏操作検出回路５、設定操作検出回路６、表示回路７、音源回路８、効果回路９、ＵＳＢインターフェース（Ｉ／Ｆ）１０、ＭＩＤＩインターフェース（Ｉ／Ｆ）１１、通信インターフェース（Ｉ／Ｆ）１２などを備え、これら要素１〜１２はバス１３を介して互いに接続される。

ＣＰＵ１は、所定の制御プログラムに従い、タイマ１４によるクロックを利用して楽譜読込み処理や曲データ再生処理を含む種々の音楽情報処理を実行し、ＲＡＭ２は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ＲＯＭ３には、これらの処理を実行するための各種制御プログラム及び各種制御データや、プリセットされた曲データ等が予め記憶される。

外部記憶装置４は、ハードディスク（ＨＤ）等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、スマートメディア（登録商標）等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、任意の外部記憶装置４に、上述した制御プログラムやデータの外に、楽譜読込み処理で得られた曲データ等を記憶することができる。

演奏操作検出回路５は、鍵盤１５ａ〜１５ｃやホイールなどを含む演奏操作子１５の操作内容を検出し、検出したユーザの演奏操作に対応する情報をシステムに導入する。設定操作検出回路６は、スイッチ等の設定操作子１６の操作内容を検出し、検出内容に対応したユーザの操作情報をシステム本体に導入する。表示回路７は、演奏や設定に必要な各種画面を表示するＬＣＤ等のディスプレイ（表示器）１７や各種インジケータを備え、これらの表示・点灯内容をＣＰＵ１からの指令に従って制御し、操作子１５，１６の操作に対する表示援助や演奏内容表示を行う。

設定操作子１６には、演奏環境を設定するためのパネル設定スイッチとして、レジストレーションにより演奏環境を設定したり切り替えたりするためのレジストレーション切替用設定スイッチ（１６ａ）や、その他の各種演奏環境を設定するためのその他のパネル設定スイッチが備えられる。設定操作子１６には、さらに、静止画像取込み装置ＳＣから楽譜画像情報を取得しこれを曲データに変換する楽譜読込み処理を開始させるための楽譜読込みスイッチ、曲データ中の設定データのみに応じた演奏環境を設定するための設定読出しスイッチ、曲データを選択するための曲データ選択スイッチ、選択された曲データをＲＡＭ２上に読み出すための曲データ読出しスイッチ、読み出された曲データの演奏開始を指示するための演奏開始スイッチなどもある。

音源回路８は、演奏操作子１５の鍵盤演奏操作に基づいて操作鍵に対応する楽音信号を生成し、効果回路９は、効果付与ＤＳＰを有し、演奏操作子１５のその他の操作子の演奏操作に基づく効果を音源回路８からの楽音信号に付与する。また、両回路８，９は、楽音信号生成部（音源部ともいう）を構成し、何れの回路もソフトウエアを含ませることができ、設定操作子１６のパネル設定操作等により設定された演奏環境に従って動作する。楽音信号生成部８，９は、さらに、ＲＯＭ３に記憶されたプリセット曲データや、ＨＤなどの外部記憶装置４に記憶された曲データに基いて楽音信号を生成することができる。そして、効果回路９に後置されたサウンドシステム１８は、Ｄ／Ａ変換部やアンプ、スピーカを備え、効果回路９からの楽音信号に基づく楽音を発生する。

ＵＳＢＩ／Ｆ１０には、ＵＳＢケーブルＣＢを通じて、スキャナＳＣａやディジタルカメラＳＣｂなどのＵＳＢ対応静止画像取込み装置ＳＣが接続され、静止画像取込み装置ＳＣで取り込まれた楽譜画像情報をこの電子楽器ＥＭに入力し、曲データとして外部記憶装置４（例えば、ＨＤ）に保存することができる。また、ＭＩＤＩＩ／Ｆ１１には他のＭＩＤＩ音楽機器ＭＤが接続され、他の音楽機器ＭＤとの間でＭＩＤＩ演奏データを授受し、この電子楽器で利用することができる。さらに、通信Ｉ／Ｆ１２には、インターネットやローカルエリアネットワーク（ＬＡＮ）などの通信ネットワークＣＮが接続され、外部のサーバコンピュータＳＶ等から制御プログラムや各種データ等を受信し外部記憶装置４に保存することができる。

画像取込み装置ＳＣは、詳細を図示しないが、基本的には、ＣＰＵ、ＲＡＭ、ＲＯＭ、光電変換部及びＵＳＢＩ／Ｆを備え、紙面に印刷された楽譜（印刷楽譜）の曲情報を光電変換部で取り込んで楽譜画像情報に変換し、楽譜画像情報をＵＳＢＩ／Ｆ及びＵＳＢケーブルＣＢを通じて電子楽器ＥＭに出力することができる。また、必要に応じて、楽譜画像情報を一旦フラッシュメモリなどの不揮発性記憶手段に蓄積しておくことができる。図２は、この発明の一実施例による電子楽器システムで利用可能な印刷楽譜の例を示す。

ここで、この発明の一実施例による電子楽器システムの特徴を簡単に説明しておく。この電子楽器システムでは、図１（２）のシステム概念図に示されるように、電子楽器ＥＭには、ＵＳＢケーブルＣＢを通じて、直接、スキャナＳＣａやデジタルカメラＳＣｂなどのＵＳＢ対応静止画像取込み装置ＳＣが接続される。印刷楽譜で表わされた曲情報は画像取込み装置ＳＣから電子楽器ＥＭに読み込まれて曲データとして記憶手段４に記憶され、自動演奏やユーザ練習の模範演奏に利用される。印刷楽譜から読み込まれる曲情報は、曲の楽譜Ｓｄだけでなく、図２の楽譜例に示されるように、楽譜Ｓｄによる曲の演奏に関連付けられたレジストレーションなどの設定情報Ｅｄ（Ｍ１，Ｍ２，…）や、曲再生中における各種演奏環境の設定・切替えなどに関する設定操作情報Ｃｄを含み、曲データ再生時には、これらの情報Ｅｄ，Ｃｄから得た設定データや設定操作データを用いて、電子楽器ＥＭに曲の演奏に適した演奏環境の設定や、曲再生中における演奏環境の適切な設定・切換を行うことができる。また、設定情報を表わす印刷楽譜上の表記Ｅｄはユーザが読めるもの〔図２（１）〕でもコード化したもの〔図２（２）〕でもよい。

以下、より詳しく説明する。図１（２）のシステム概念図における電子楽器ＥＭは、電子鍵盤楽器を上部の操作パネル面を主体に上方から見た簡略化図柄で例示したものであり、下部のペダル鍵盤１５ｃの一部が図示下側に現れている。この例では、操作パネル面の下段（図示下部）には、主鍵盤１５ａやレジストレーション切替用設定スイッチ１６ａ（“１”〜“８”）が設けられ、上段（図示中部）には上鍵盤１５ｂが設けられ、前面（図示上部）には、その他各種の設定操作子（スイッチ）１６、ディスプレイ１７、各種インジケータ等が配置されている。また、電子楽器ＥＭの背面には、楽譜画像情報を受けるためのＵＳＢ端子が設けられたる。

電子楽器ＥＭのＵＳＢ端子には、ＵＳＢケーブルＣＢを介してＵＳＢ対応静止画像取込み装置ＳＣとして機能するスキャナＳＣａ或いはデジタルカメラＳＣｂがダイレクトに接続され、静止画像取込み装置ＳＣ；ＳＣａ，ＳＣｂはＵＳＢデバイスになり、電子楽器ＥＭはＵＳＢホストとして振舞う。そして、スキャナＳＣａ或いはデジタルカメラＳＣｂは、印刷楽譜ＰＭの曲情報を読み取って楽譜画像情報を生成し電子楽器ＥＭに入力する。この場合、両機器間の通信プロトコルには、両機器のメーカや機種に拘わらず相互接続可能な“PictBridge（登録商標）”と呼ばれる規格を採用するのが好都合である。

楽譜画像情報の読取りに利用される印刷楽譜ＰＭは、図２に例示されるように、ユーザが曲の演奏や練習の際に利用する通常の楽譜を基調にしたものであり、曲の演奏に付随する情報の表記法によって２タイプの楽譜ＰＭａ，ＰＭｂに分けられる。

第１タイプの楽譜ＰＭａは、図２（１）に示すように、（１ａ）のメイン楽譜ＰＭａｍと（１ｂ）のサブ楽譜ＰＭａｓから成る。メイン楽譜ＰＭａｍは、曲の名称を表記した曲名表記部（“練習曲１”）、この曲の楽譜情報を、例えば、五線譜やタブ譜などの通常形式の譜面で表記した楽譜表記部Ｓｄ、設定情報マーク部Ｅｍ、操作情報表記部Ｃｄ等を備え、サブ楽譜ＰＭａｓは、曲名表記部（“練習曲１”）、設定情報名表記部Ｅｔ、設定情報表記部Ｅｄａ等を備える。なお、曲名表記部や設定情報名表記部Ｅｔには、曲名や設定情報名を表わすバーコードを付記し、バーコード画像から曲名や設定情報名を読み込むことができるようにしてもよい。

（１ｂ）のサブ楽譜ＰＭａｓの設定情報表記部Ｅｄａには、この曲を電子楽器ＥＭで演奏する際に電子楽器ＥＭに設定される演奏環境を表わす設定情報が表記され、設定情報には、例えば、音色など楽音制御パラメータを設定するためのレジストレーションが含まれる。なお、設定情報名表記部Ｅｔには、設定情報の名称（“設定情報Ｍ１”，“設定情報Ｍ２”，…）が表記され、ユーザは、サブ楽譜ＰＭａｓに印刷された設定情報の名称を視察により確認することができる。

（１ａ）のメイン楽譜ＰＭａｍの設定情報マーク部Ｅｍは、楽譜表記部Ｓｄの楽譜に対して、少なくとも曲進行の冒頭（先頭位置）に表記され（設定情報参照記号“Ｍ１”）、電子楽器ＥＭで曲の演奏を開始する際にセットされるべき設定情報Ｅｄａを指示する。設定情報マーク部Ｅｍは、必要に応じて、所定の曲進行位置に表記され（設定情報参照記号“Ｍ２”，…）、曲の演奏を電子楽器ＥＭで進行させる際に、次に切り替えられるべき設定情報を表記内容で指示し、その時点を表記位置で指示する。図示の例では、設定情報マークＥｍ＝“Ｍ１”，“Ｍ２”，…（図では“Ｍ１”，“Ｍ２”のみ表示）の位置と内容に従い、曲の演奏開始時に（１ｂ）の設定情報Ｍ１をセットすべきことが指示され、第２フレーズの冒頭、…には（１ｂ）の設定情報Ｍ２，…に切り替えられるべきことが指示される。なお、設定情報マークＥｍは、進行する楽譜の上側に表記される。

また、操作情報表記部Ｃｄは、楽譜表記部Ｓｄの楽譜に対する所定の曲進行位置に配置され、機能的には、曲の演奏を電子楽器ＥＭで進行させる際に行われるべき各種演奏環境の設定や切替えなどを表わす設定操作情報を表記し、その時点を表記位置で指示する。図示の例では、設定操作情報Ｃｄ＝“ INTRO2,RHYTHM SYNCHRO START”の位置と内容によって、曲の演奏開始時に、伴奏スタイル“INTRO2”を選択しリズム同期を開始すべきことが指示される。なお、設定操作情報Ｃｄは、進行する楽譜の下側に表記される。

第２タイプの楽譜ＰＭｂは、図２（２）に示すように、曲の名称を表記した曲名表記部（“練習曲１”）、この曲の楽譜情報を通常形式の譜面で表記した楽譜表記部Ｓｄ、設定情報マーク部Ｅｍ、設定情報表記部Ｅｄｂ、操作情報表記部Ｃｄ等を備える。第１タイプの楽譜ＰＭａと異なるところは、設定情報表記部Ｅｄｂには、第１タイプ楽譜ＰＭａの設定情報表記部Ｅｄａの表記内容と同じ設定情報をコード化して表記し、多岐・多量な設定情報に対し少ない表記スペースで済むようにした点である。図では、設定情報ＥＤｂを指示する設定情報マークＥｍ＝“Ｍ１”，“Ｍ２”，…のうち楽譜先頭位置の設定情報マーク“Ｍ１”が示されており、この例では、設定情報ＥＤｂに、設定情報参照記号“Ｍ１”，“Ｍ２”，…を含めて、スペース当りの情報量の多い“ＱＲコード”と呼ばれる２次元コードを用いている。なお、設定情報マーク部Ｅｍ及び操作情報表記部Ｃｄの機能や配置関係などの他の構成については、第１タイプの楽譜ＰＭａと異なるところがない。

画像取込み装置ＳＣ；ＳＣａ，ＳＣｂでは、印刷楽譜ＰＭ；ＰＭａ，ＰＭｂの各部Ｓｄ，Ｅｍ，Ｅｄａ，Ｃｄにより表わされた曲情報が楽譜画像情報に変換される。電子楽器ＥＭは、画像取込み装置ＳＣから楽譜画像情報を取得すると、画像解析技術を用いた楽譜読込み処理により楽譜画像情報を曲データに変換して読み込む。すなわち、楽譜画像情報に含まれ、印刷楽譜ＰＭの各部Ｓｄ，Ｅｍ・Ｅｄａ，Ｃｄの画像に対応する演奏画像情報（Ｓｄ）、設定画像情報（Ｅｍ・Ｅｄａ）、設定操作画像情報（Ｃｄ）を、それぞれ、演奏データ、設定データ、設定操作データに変換し、これらの情報を曲データとして外部記憶装置４に記憶する。そして、外部記憶装置４に記憶された曲データは、曲データ再生処理によって、自動演奏やユーザ練習の模範演奏に利用され、その際、曲データ中の設定データ（Ｅｍ・Ｅｄａ）及び設定操作データ（Ｃｄ）は、電子楽器ＥＭに対して、曲の演奏データ（Ｓｄ）に基づく演奏に適した演奏環境を設定したり、この演奏の進行につき適切な設定の切替え・変更等を行うのに用いられる。例えば、下鍵盤１５ａ、上鍵盤１５ｂ、ペダル鍵盤１５ｃで発音させる音色（ボイス）の設定や、エフェクトに関する設定、リズムと自動伴奏生成パターンの指定や開始条件の設定などをする。

〔処理フロー例〕
図３及び図４は、この発明の一実施例による電子楽器全体処理の例を表わすフローチャートであり、図５は、電子楽器全体処理中のスキャン処理（画像読み込み処理）の例を表わすフローチャートである。なお、この処理例では、説明を簡単にするために、設定情報マークＥｍが楽譜の先頭位置にのみ存在し、１つの設定情報Ｅｄ（例えば、Ｍ１）を持つ印刷楽譜を用いる場合について述べる。

電子楽器ＥＭにおいて、この電子楽器全体処理が開始（スタート）すると、まず、ステップＥ１（図３）で、スキャナＳＣａ或いはデジタルカメラＳＣｂをＵＳＢ対応静止画像取込み装置ＳＣであると認識し、次のステップＥ２で初期設定を行い、続くステップＥ３にて、設定操作子１６中の楽譜読込みスイッチによる楽譜読込み操作がなされたか否かを判定する。ここで、楽譜読込み操作があったときは（Ｅ３→ＹＥＳ）、ステップＥ４に進んで図５の電子楽器スキャン処理を実行する。

電子楽器スキャン処理（図５）においては、電子楽器ＥＭは、最初のステップＳ１で、スキャナＳＣａ或いはデジタルカメラＳＣｂに対して、印刷楽譜ＰＭ；ＰＭａ，ＰＭｂの画像情報を要求する。スキャナＳＣａ或いはデジタルカメラＳＣｂは、これに応じて、印刷楽譜ＰＭの光学的画像を取り込んで光電変換した楽譜画像情報を電子楽器ＥＭに出力する。ここで、楽譜画像情報のファイルフォーマットは、例えば、ビットマップ（ＢＭＰ）形式である。次いで、ステップＳ２にて、スキャナＳＣａ或いはデジタルカメラＳＣｂから楽譜画像情報を取得しＲＡＭ２上の画像情報記憶エリアに記憶した上、画像解析によりステップＳ３以下の処理を実行する。

まず、ステップＳ３では、楽譜画像情報から、印刷楽譜ＰＭにおける設定情報表記部Ｅｄ；Ｅｄａ，Ｅｄｂの表記内容（設定情報）に対応する設定画像情報を読み出し、次のステップＳ４にて、読み出された設定画像情報を、電子楽器ＥＭで利用可能な形式の設定データに変換する。ここで、設定データは、例えば、 MIDI System Exclusive形式である。この場合、第２タイプの楽譜ＰＭｂから得られた楽譜画像情報を利用すると、コード化された設定情報表記部Ｅｄｂの設定画像情報からデコード処理で簡単に設定データに変換することができる。そして、続くステップＳ５において、ＲＡＭ２上の曲データ記憶エリアに記憶される曲データの先頭位置に設定データを記録する。なお、曲データを構成する諸情報は、例えば、ＳＭＦ（Standard MIDI File）形式で記録される。

次のステップＳ６では、楽譜画像情報から、印刷楽譜ＰＭにおける楽譜情報表記部Ｓｄの表記内容に対応する演奏画像情報、つまり、図２に示すように、五線譜やタブ譜などの標準的な楽譜に相当する部分Ｓｄの画像情報を順次読み出す。次いで、ステップＳ７にて、読み出された演奏画像情報を、電子楽器ＥＭで利用可能な形式の演奏データに変換して行く。ここで、演奏データは、例えば、ＭＩＤＩ形式で表わされ、ノートオン／オフや拍子やテンポに関する情報で構成される。そして、ステップＳ８において、変換された演奏データを、画像情報Ｓｄの位置に対応する曲データ上の所定の時間的位置に演奏イベントとして記録する。ここで、曲データは、例えば、上述したＳＭＦ形式であり、演奏データは、ＭＩＤＩメッセージに時間情報を付け加えたイベント形式で記録される。

続いて、ステップＳ９では、楽譜画像情報から、印刷楽譜ＰＭにおける操作情報表記部Ｃｄの表記内容に対応する設定操作画像情報を順次読み出し、次のステップＳ１０で、読み出された設定操作画像情報を、電子楽器ＥＭで利用可能な形式の設定操作データに変換して行く。ここで、設定操作データは、例えば、 MIDI System Exclusive形式である。そして、ステップＳ１１において、変換された設定操作データを、設定操作情報Ｃｄの位置に対応する曲データ上の所定の時間的位置に設定操作イベントとして記録する。なお、曲データは、例えば、上述のＳＭＦ形式であり、設定操作データは、ＭＩＤＩメッセージに時間情報を付け加えたイベント形式で記録される。

このようにしてＲＡＭ２上で作成された曲データを外部記憶装置４に保存すると共に、元の楽譜画像情報も曲の進行に合わせて分割して外部記憶装置４に保存する。その際、さらに、ステップＳ１２にて、分割された元の楽譜画像情報に対する曲の進行に合わせたリンク情報を当該曲データに保存する。そして、電子楽器スキャン処理（Ｅ４）を終了し、電子楽器全体処理のステップＥ５（図３）にリターンする。

さて、図３に戻って、電子楽器スキャン処理（Ｅ４）の後、或いは、楽譜読込み操作がなされないときは（Ｅ３→ＮＯ）、ステップＥ５に進んで、設定操作子１６中のパネル設定スイッチによるパネル設定操作がなされたか否かを判定する。ここで、パネル設定操作があったときは（Ｅ５→ＹＥＳ）、ステップＥ６にて、当該パネル設定操作の内容に応じた演奏環境を楽音信号生成部８，９などの演奏処理部に設定するパネル設定を行う。

パネル設定（Ｅ６）の後、或いは、パネル設定操作がないときは（Ｅ５→ＮＯ）、ステップＥ７に進み、演奏操作子１５による演奏操作がなされたか否かを判定する。ここで、演奏操作があったときは（Ｅ７→ＹＥＳ）、ステップＥ８にて、楽音生成部８，９を通じて当該演奏操作に応じた楽音生成を行う。

楽音生成（Ｅ８）の後、或いは、演奏操作がないときは（Ｅ７→ＮＯ）、ステップＥ９に進み、設定操作子１６中の設定読込みスイッチ（１６ａなど）による設定読込み操作がなされたか否かを判定する。ここで、設定読込み操作があったときは（Ｅ９→ＹＥＳ）、ステップＥ１０で、設定操作子１６中の曲データ選択スイッチの操作で選択された曲データから設定データのみを取り出して、レジストレーション切替用スイッチ（１６ａ）に関連付けると共に、当該設定データに対応する演奏環境を演奏処理部に設定する。

設定データによる独立的な演奏環境設定（Ｅ１０）の後、或いは、設定読込み操作がないときは（Ｅ９→ＮＯ）、ステップＥ１１に進んで、設定操作子１６中の曲データ読込みスイッチによる曲データ読込み操作がなされたか否かを判定する。ここで、曲データ読込み操作があったときは（Ｅ１１→ＹＥＳ）、ステップＥ１２に進み、曲データ選択スイッチの操作で選択された曲データを外部記憶装置４からＲＡＭ２上に読み出すとともに、読み出された曲データのリンク情報に基づいて、曲データに関連付け（リンク）された楽譜画像情報を外部記憶装置４から読み出し、ディスプレイ１７に表示する。さらに、次のステップＥ１３では、曲データから設定データを取り出し、当該設定データに対応する演奏環境を電子楽器ＥＭに設定する。

曲データに付随する演奏環境設定（Ｅ１３）の後、或いは、曲データ読込み操作がないときは（Ｅ１１→ＮＯ）、ステップＥ１４に進んで、設定操作子１６中の演奏開始操作スイッチによる演奏開始操作がなされたか否かを判定する。ここで、演奏開始操作があったときは（Ｅ１４→ＹＥＳ）、ステップＥ１５に進み、電子楽器ＥＭを演奏中の動作状態にしてステップＥ１６に進み、演奏開始操作がないときには（Ｅ１４→ＮＯ）直ちにステップＥ１６に進む。

ステップＥ１６では、電子楽器ＥＭが曲データを再生（演奏）している動作状態にあるか否かを判定し、再生中でないときは（Ｅ１６→ＮＯ）、上述したステップＥ３〜Ｅ１６のループ処理（当然、Ｅ１５は除かれる）を繰り返す。従って、この処理ループのステップＥ６でパネル設定がなされたときは、ステップＥ８ではパネル設定による演奏環境に従った楽音生成が行われ、さらに、ステップＥ１０で設定データによる設定がなされたときには、以後の処理ループのステップＥ８において、設定データによる設定を優先した演奏環境に従った楽音生成を行うことができる。

さて、ステップＥ１５で演奏開始操作により電子楽器ＥＭが演奏中の動作状態とされ、ステップＥ１６で再生中と判定されたときは（Ｅ１６→ＹＥＳ）、ステップＥ１７以下の曲データ再生処理を行う。まず、ステップＥ１７では、リンク情報に従い、曲データによる曲の進行に合わせて画像情報の表示を順次更新し、次のステップＥ１８では、曲の進行に合わせて曲データからイベントを読み出し、ステップＥ１９〜Ｅ２１にて読み出されたイベントの種類に応じた処理を行う。

つまり、読み出されたイベントについて、ステップＥ１９で、設定操作イベントであるか否かを判定し、ステップＥ２１では、演奏イベントであるか否かを判定し、設定操作イベントであれば（Ｅ１９→ＹＥＳ）、ステップＥ２０にて設定操作イベントの内容に応じた設定操作を行い、また、演奏イベントであれば（Ｅ２１→ＹＥＳ）、ステップＥ２２にて、楽音生成部８，９を通じて演奏イベントに応じた楽音信号を生成する。

何れかのイベント対応処理を終えると（Ｅ２１→ＮＯ，Ｅ２２）、ステップＥ２３で、曲データの終端に達したか否かを判定し、終端に達していないときは（Ｅ２３→ＮＯ）、ステップＥ３に戻って、終端に達するまでの間、上述したステップＥ３〜Ｅ２３の処理を繰り返す。また、曲データの終端に達したときは（Ｅ２３→ＹＥＳ）、ステップＥ２４で演奏停止の状態にした後、ステップＥ３に戻り、上述したステップＥ３〜Ｅ２４の処理を行う。

＜複数の設定情報を持つ印刷楽譜の場合＞
上述の処理例では単一の設定情報を持つ印刷楽譜の場合について説明したが、図２で例示した印刷楽譜のように、複数の設定情報Ｅｄがある場合には、印刷楽譜ＰＭにおける曲進行の冒頭に位置する設定情報マークＥｍに対応する設定情報Ｅｄについては上述の処理例のとおりに処理し、曲進行の途中に位置する２番目以降の設定情報マークＥｍ及び対応する設定情報Ｅｄについては「設定操作情報」と同様に処理すればよい。一例を挙げると以下のとおりである。

まず、電子楽器スキャン処理のステップＳ３（図５）において、印刷楽譜ＰＭにおける設定情報Ｅｄ；Ｅｄａ，Ｅｄｂを全て読み出し、次のステップＳ４で、これらの設定画像情報をそれぞれ設定データに変換し、続くステップＳ５にて、変換された設定データを、対応する設定情報マークＥｍの内容に応じたリンク情報（例えば、設定情報参照記号“Ｍ１”，“Ｍ２”，…）を付けて、曲データの先頭位置に順次記録する。

その後のステップＳ９では、設定操作画像情報だけでなく設定情報マークＥｍの画像情報（設定マーク画像情報という）を順次読み出し、次のステップＳ１０にて、設定操作画像情報を設定操作データ（第１設定操作データという）に変換すると共に、設定マーク画像情報をその内容（例えば、“Ｍ１”，“Ｍ２”，…）を表わす設定マークデータに変換し、ステップＳ１１において、冒頭の設定マーク画像情報から変換された１番目の設定マークデータを曲データの先頭位置（例えば、設定データ記録位置の後）に記録すると共に、２番目以降の設定マーク画像情報から変換された２番目以降の設定マークデータ（第２設定操作データという）及び第１設定操作データを、それぞれ、２番目以降の設定情報マークＥｍ及び設定操作情報Ｃｄの位置に対応する曲データ上の所定の時間的位置に第２及び第１設定操作イベントとして記録する。

さらに、電子楽器全体処理のステップＥ１３（図４）では、曲データから、設定マークデータに対応する設定データを取り出してレジストレーション切替用スイッチ（１６ａ）に関連付けると共に、１番目の設定マークデータに対応する設定データを取り出して対応する設定を行い、ステップＥ２０では、第１設定操作イベントについては、その内容に応じた設定操作を行い、第２設定操作イベントについては、当該イベントの内容に対応するリンク情報を持つ設定データに基づいて演奏環境を設定する。つまり、２番目以降の設定情報マークＥｍ及び対応する設定情報Ｅｄ；Ｅｄａ，Ｅｄｂから得られた第２設定操作データ及び設定データを「設定操作データ」として取り扱うことにより、再生当初に設定されたレジストレーションなどの設定は、曲の演奏進行に従って、順次、切り替えて行くことができる。

また、ステップＥ１０（図３）では、ユーザは、選択された曲データ中の複数の設定データから更に所望の設定データを選択的に取り出して所望の設定を行うことができる。

〔画像取込み装置・電子楽器間接続時シーケンスの例〕
画像取込み装置ＳＣからの楽譜画像情報をダイレクトに電子楽器ＥＭに入力するには、既述のように、PictBridge（登録商標）を採用するのが好ましい。PictBridgeは、接続ポート（物理通信層）にＵＳＢを、転送プロトコル（転送層）にＰＴＰ（Picture Transfer Prtocol）を、Ｉ／Ｆアプリケーション層にＤＰＳを用いることを前提とし、ＰＴＰ層・ＤＰＳアプリケーション層間に変換レイヤーとしてＤＰＳ層を設け、ＤＰＳ層及びＤＰＳアプリケーション層とのＩ／Ｆプロトコルを規格化するものである。図６は、PictBridge規格を採用した場合のＵＳＢ対応静止画像取込み装置と電子楽器が接続されたときのシーケンス例を示す。このシーケンスは、PictBridge対応静止画像取込み装置ＳＣ即ちスキャナＳＣａ或いはデジタルカメラＳＣｂのＵＳＢ端子と電子楽器ＥＭのＵＳＢ端子との間がＵＳＢケーブルＣＢで接続された際に開始し、次の（１）〜（８）の処理を実行する：

（１）ＵＳＢケーブルＣＢの接続をトリガとして、接続先機器情報を取得して機器種類などを自動認識する Enumeration処理を行い、電子楽器ＥＭは、スキャナＳＣａ或いはデジタルカメラＳＣｂをＵＳＢ静止画像取込み機器（ USB Still Image Capture）として認識し、スキャナＳＣａ或いはデジタルカメラＳＣｂは、電子楽器ＥＭをＵＳＢホスト機器として認識し、次いで、互いの機器が画像転送のためのＰＴＰプロトコルに対応していることを確認して両機器間のＰＴＰの接続を確立する。なお、この処理は、電子楽器全体処理のステップＥ１（図３）に対応する。
（２）互いの機器がＤＰＳ機能を有することを通知し合う Discovery処理を行い、互いにPictBridge対応機器であることを認識する。
（３）ＤＰＳアプリケーションが起動し、夫々のPictBridge対応機器が有するサービス機能を確認する Configure処理を行い、スキャナＳＣａ或いはデジタルカメラＳＣｂは、電子楽器ＥＭに対して、自身が画像情報供給機能をもつことを通知すると共に画像情報利用機能を要求し、電子楽器ＥＭは、スキャナＳＣａ或いはデジタルカメラＳＣｂに対して、自身が画像情報利用機能を提供することができ、相手の画像情報供給機能を利用することを通知する。
（４）スキャナＳＣａ或いはデジタルカメラＳＣｂは、 GetCapabilityを発行して電子楽器ＥＭに設定可能な能力を問い合わせ、電子楽器ＥＭは、これに応じて自身の能力（Capability）を返送する。ここで、能力とは、電子楽器ＥＭが受け取ることのできるファイルフォーマットなどであり、例えば、ビットマップ（ＢＭＰ）形式などである。なお、（２）〜（４）の処理は、電子楽器全体処理のステップＥ２（図３）に含まれる。

（５）スキャナＳＣａ或いはデジタルカメラＳＣｂは、StartJobを発行して電子楽器ＥＭに画像情報の利用開始を要求する。
（６）電子楽器ＥＭは、 GetFileInfoを発行してスキャナＳＣａ或いはデジタルカメラＳＣｂに必要なファイル情報（画像情報のファイルサイズ等）を要求し、スキャナＳＣａ或いはデジタルカメラＳＣｂは、これに応じてファイル情報（FileInfo）を返送する。
（７）電子楽器ＥＭは、ファイル情報（FileInfo）に基づき GetFileを発行してスキャナＳＣａ或いはデジタルカメラＳＣｂに実際の画像情報（データ）を要求し、スキャナＳＣａ或いはデジタルカメラＳＣｂは、これに応じて実際の画像情報（File）を返送する。なお、この処理は、電子楽器全体処理のステップＥ３＝ＹＥＳ（図３）及び電子楽器スキャン処理のステップＳ１，Ｓ２（図５）に対応する。
（８）電子楽器ＥＭは、当該画像情報の利用（ＲＡＭ２への記憶）を終了した後、その結果をNotifyDeviceStatusでスキャナＳＣａ或いはデジタルカメラＳＣｂに通知する。
以後は、次の画像情報の必要性に応じて（５）〜（８）のシーケンスを繰り返すことができる。

この発明の一実施例による電子楽器システムの構成例を示す。 この発明の一実施例による電子楽器システムで利用可能な印刷楽譜の例を示す。 この発明の一実施例による電子楽器における全体処理の例を表わすフローチャートの一部である。 この発明の一実施例による電子楽器における全体処理の例を表わすフローチャートの他部である。 この発明の一実施例による電子楽器におけるスキャン処理（画像読込み処理）の例を表わすフローチャートである。 この発明の一実施例による画像取込み装置・電子楽器間シーケンスの例を表わすフローチャートである。

符号の説明

ＥＭ 構成要素１〜１８を備える電子楽器、
ＣＢ ＵＳＢケーブル、
ＳＣ スキャナＳＣａ或いはディジタルカメラＳＣｂから成る静止画像取込み装置、
ＰＭ 第１タイプの楽譜ＰＭａ或いは第２タイプの楽譜ＰＭｂから成る印刷楽譜、
Ｓｄ 楽譜表記部又は楽譜情報、
Ｅｄ；Ｅｄａ，Ｅｄｂ 設定情報表記部又は設定情報、
Ｅｍ 設定情報マーク部又は設定情報マーク、
Ｃｄ 操作情報表記部又は設定操作情報。

Claims (2)

1. 印刷楽譜から楽譜画像情報を取り込む静止画像取込み装置が直接接続され該楽譜画像情報を利用する電子楽器であって、
   演奏環境を設定するための設定操作子と、
   前記静止画像取込み装置から、前記印刷楽譜上に表記された複数の設定画像情報を含む楽譜画像情報を取得する画像情報取得手段であって、各設定画像情報は、曲を演奏する際に設定されるべき演奏環境を表わす設定情報がユーザにより視認可能に表記されているか或いはコード化されて表記されているものと、
   前記画像情報取得手段により取得された楽譜画像情報をこの電子楽器で利用可能な曲データに変換する変換手段であって、該楽譜画像情報に含まれる設定画像情報については、この電子楽器で利用可能な設定データに変換し、当該設定データを曲の進行に合わせて取り出し可能に該曲データに含ませるものと、
   前記変換手段により変換された曲データを記憶する記憶手段と、
   前記記憶手段に記憶された曲データに含まれる設定データに基づく演奏環境を設定する機能を前記設定操作子に割り当てる割当て手段と、
   前記記憶手段に記憶された曲データを再生する再生手段であって、曲の進行に合わせて当該曲データから取り出される設定データに基づいて曲データ再生時の演奏環境を順次設定するものと
   を具備することを特徴とする電子楽器。
2. 前記画像情報取得手段は、曲の演奏を進行させる際に設定されるべき演奏環境を表わす設定操作情報がユーザにより視認可能に前記印刷楽譜上に表記された設定操作画像情報を含む楽譜画像情報を取得し、
   前記変換手段は、前記設定操作画像情報をこの電子楽器で利用可能な設定操作データに変換して当該設定操作データを前記曲データに含ませ、
   前記再生手段は、曲データ再生時に、前記曲データに含まれる設定操作データに基づいて演奏環境を制御する設定制御手段を有する
   ことを特徴とする請求項１に記載の電子楽器。

Images