JPH1039739A

JPH1039739A - 演奏再現装置

Info

Publication number: JPH1039739A
Application number: JP8193103A
Authority: JP
Inventors: Ryuichiro Kai; 龍一郎甲斐; Toshiki Shibuya; 俊樹渋谷; Naoko Kanemoto; 直子金本; Tsutomu Ishino; 勉石野; Yoshikatsu Matsubara; 吉勝松原
Original assignee: Yamaha Corp; Nippon Steel Corp
Current assignee: Yamaha Corp; Nippon Steel Corp
Priority date: 1996-07-23
Filing date: 1996-07-23
Publication date: 1998-02-13
Anticipated expiration: 2016-07-23
Also published as: JP3753798B2

Abstract

(57)【要約】【課題】どの指で鍵を押えるかや、指の動きや形などの
楽器の演奏状況を、演奏音に合わせて視覚的に表示でき
るようにする。【解決手段】楽曲のＭＩＤＩデータとこれに対応する運
指データとを用意する。楽器の演奏動作を描画表現する
ためのモーションデータを演奏動作での動作パターンご
とにモーションデータ格納部４に格納しておき、動き決
定部１５によってＭＩＤＩデータと運指データとから音
ごとの動作パターンを決定し、モーションデータ読み出
し部１７によって対応するモーションデータを読み出
す。このモーションデータを用いて描画エンジン部３で
コンピュータグラフィクスによる描画を行わせる。一
方、ＭＩＤＩデータは、データ遅延部１８で所定の時間
遅らせた後、音源である音声エンジン部２で音声信号に
変換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、楽器演奏の練習な
どに使用される演奏再現装置に関し、特に、入力する演
奏情報に応じてその楽器の演奏時の身体の動きなどを描
画再現する演奏再現装置に関する。

【０００２】

【従来の技術】ピアノやバイオリンなどの楽器演奏の練
習用教材として、さまざまな形態の装置が提案されてい
る。例えば、記憶媒体等から模範となる演奏情報を読み
出し、それによって自動的にハンマーアクションが駆動
されて演奏する自動演奏ピアノがあるが、この自動演奏
ピアノではハンマーアクションの駆動とともに鍵盤上の
対応する鍵が沈み込むため、練習者は、実際の演奏を聴
きながら、押えるべき鍵の位置を目で確認することがで
きる。また、電子ピアノの中には、発光ダイオードなど
の発光素子を鍵盤近傍に配置し、その点滅によって次に
押す鍵の位置を練習者に教えるものもあり、この種の電
子ピアノには、さらにリズム発音機能を有して練習者に
音によって情報を伝達できるようにしたものもある。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
たような練習用教材は、どの鍵を押すかを指示する程度
のものに留まっていて、実際の運指方法の模範となるも
のを示すものではない。初級程度の教則本であれば、譜
面上の各音符ごとにどの指で鍵を押すかが逐一指示され
ているが、上述した自動演奏ピアノや電子ピアノでは、
どの指であるかの指示はなされていない。

【０００４】また、技量を向上させ表現力を養うために
は、鍵などを押えるときの指の動きや形、キータッチな
ども重要であり、教習課程の早い時期から正しい動きや
形を習得させておく必要がある。しかしながら、これま
では、指の動きや形などはレッスンによって教師から学
ぶしかなく、独習時やレッスンの復習時に生徒が正しい
動きや形を理解することが難しかった。ビデオテープや
ビデオディスクを用いて指の動きや形を理解させること
も行われているが、ビデオテープなどの場合には音声の
データと画像のデータが一体となっているため、音の高
さはそのままにして任意のテンポで動きを再生したりす
ることができず、また、任意の視点から見た動きを再生
することもできない。

【０００５】指の動きや形などが重要であるのは、ピア
ノなどの鍵盤楽器に限ったものではなく、バイオリンな
どの弦楽器、フルートなどの管楽器でも重要である。弦
楽器の場合には、弦を押えるための指の動きの他に、弓
を動かす運弓方法も重要である。また、管楽器であれ
ば、口（唇）の形や口と吹口の位置関係も重要である。

【０００６】本発明の目的は、上述した問題点を解決
し、どの指で鍵を押えるかや指の動きや形などの楽器の
演奏状況を演奏音に合わせて視覚的に表示でき、楽器演
奏の練習などを助けることができる演奏再現装置を提供
することにある。

【０００７】

【課題を解決するための手段】本発明の演奏再現装置
は、楽曲の演奏音データと楽曲に対応し楽器演奏の単位
操作列を表わす単位操作データとからなる演奏情報が入
力され、演奏者の演奏動作を描画表現するための基本デ
ータを演奏動作での動作パターンごとに保持する基本デ
ータ記憶手段と、演奏情報を基に基本データ記憶手段内
を検索して単位操作ごとの基本データを抽出する基本デ
ータ抽出手段と、基本データ抽出手段で抽出された基本
データに基づいて演奏音の順に演奏者の演奏動作を実現
する出力画像データを生成して出力する画像データ生成
手段と、を有する。

【０００８】ここで演奏音データとは、その楽曲をパー
トごとの音列とみた場合に各音の高さや強さ、長さを表
わすデータのことであり、大まかには、記譜法にしたが
って書かれた楽譜を機械可読形式のデータに変換したも
のであるということができる。一方、楽器演奏の単位操
作とは、ある１つの音を鳴らすという操作のことである
が、例えばピアノであれば、左右いずれの手のいずれの
指を用いてもある音の鍵を押すことが原理的に可能であ
るから、手や指、押えるときの強さまでが指定されたも
のとして、単位操作を考える。足ペダルの操作も単位操
作に含まれる。初級程度の教則本において譜面に一般的
に併記されているような内容が、単位操作と考えてよ
い。各音ごとの単位操作を示すデータを音の順にまとめ
たものが単位操作データである。弦楽器の場合であれ
ば、開放弦も含めてどの指でどの弦を押えるかのほか
に、ボーイング（運弓）の指示も単位操作データに含ま
れる。

【０００９】動作パターンとは、楽器演奏時の指の形状
や動きなどをパターン化したものであり、後述するよう
に同じ音を同じ指で打鍵する場合であっても前後の音の
関係によって指の動きなどは異なるから、複数の動作パ
ターンを用意しておく。そして、それぞれの動作パター
ンでの動きを基本データとして基本データ記憶手段に格
納しておく。つまり基本データとは、各動作パターンご
とに、その動作パターンの単位操作において、指などの
形状がどのように変化するかを表わすデータであり、例
えば、指の各関節の位置や向きの変化などを表わすデー
タである。

【００１０】本発明の演奏再現装置では、シンセサイザ
などの音源を用いて演奏音データを最終的には音声信号
に変換するのが一般的であるが、その際、音声信号と出
力画像データとの間では時間的な同期が確立しているこ
とが強く望まれる。しかしながら、画像データ生成手段
での処理には、コンピュータグラフィクスによる描画処
理が含まれているので、かなりの時間がかかることが予
想される。そこで、同期のために、演奏音データに所定
の遅延を与えて出力する遅延手段を設けることが考えら
れる。また、演奏音データから個々の演奏音に対するタ
イミング情報を抽出し、このタイミング情報に基づい
て、演奏音の出力タイミングと出力画像データの出力タ
イミングが一致するように、画像データ生成手段での出
力画像データの出力タイミングを決定するようにしても
よい。その際、クロック信号を生成するクロック信号発
生手段を設け、クロック信号とタイミング情報とに応じ
て出力画像データの出力タイミングを決定するようにし
てもよい。同期を確実にするための別の構成として、演
奏音データを演奏音の順に応じて一時的に蓄積するバッ
ファ手段と、出力画像データにおいて所定の動作があっ
たかどうかを検出する動作データ検出手段とを設け、所
定の動作を検出したときに演奏音データが出力されるよ
うにしてもよい。

【００１１】

【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して説明する。図１は本発明の実施の一
形態の演奏再現装置の構成を示すブロック図である。こ
こでは、ピアノなどの鍵盤楽器を前提として、演奏すべ
き楽曲の音を出力するとともに、指の動きや形などをコ
ンピュータ・グラフィクス（ＣＧ）を用いて再現、表示
する演奏再現装置について説明する。

【００１２】図１に示す演奏再現装置には、ＭＩＤＩ(M
usical Instrument Digital Interface)データと運指デ
ータとが入力されるシーケンサ部１と、音源であってシ
ーケンサ部１に接続されＭＩＤＩデータに基づいて音声
信号を出力する音声エンジン部２と、シーケンサ部１で
決定されたモーションデータに基づいてコンピュータグ
ラフィクスにより描画を行って出力画像データとして出
力する描画エンジン部３と、シーケンサ部１に接続され
モーションデータを格納するモーションデータ格納部４
と、描画エンジン部３での描画に使用される形状データ
を蓄積する形状データ格納部５によって構成されてい
る。モーションデータ格納部４は基本データ記憶手段に
該当し、描画エンジン部３は画像データ生成手段に該当
し、形状データ格納部５は描画データ格納部に該当す
る。

【００１３】ここでＭＩＤＩデータは、楽曲の演奏音の
データであって、ＭＩＤＩ規格に基づいて表わされてい
る。ＭＩＤＩ規格は、電子楽器を外部から制御して演奏
させるためのデータの規格であり、楽曲を構成する各音
についてのデータを時系列にしたがって、電子楽器等に
入力するように定められている。ＭＩＤＩデータでは、
楽曲の先頭から順次出現する音に対し、パートや手の区
別に概ね対応するチャネルごとに、その音の音程や大き
さ、長さ、その音の開始時点から次の音の開始時点まで
の間隔などの情報を与えている。

【００１４】図２は、運指データの一例を示す図であ
る。運指データは、ある楽曲をある楽器（この例ではピ
アノ）で演奏する場合に、その楽曲の各音をどの手のど
の指でどの程度の強さで弾く（その音の鍵を押す）かを
示すデータであり、各音に対する単位操作を表わすデー
タ（単位操作データ）である。ここでは運指データは、
音の順番を表わす「順序番号」、ＭＩＤＩデータでの対
応するチャネルを示す「チャネル番号」、右手、左手、
右足、左足などの区別を表わす「部位」、どの指を使う
のかの「運指番号」、その音の音程（音名）を示す「対
象音名」、打鍵時の強さを示す「ＯＮ強さ」、鍵から指
を離すときの強さを示す「ＯＦＦ強さ」の各項目で構成
されている。「部位」に対して右足、左足が選択できる
ようになっているのは、ペダル操作のため、あるいはパ
イプオルガン用の運指データ（パイプオルガンには足鍵
盤がある）に流用するためである。「運指番号」につい
ては、ピアノの場合の慣例にしたがって、"１"を親指と
し、"５"を小指として、５本の指に番号を順に割り振っ
ている。後述するようにＭＩＤＩデータと運指データと
が同期しているかどうかを音名によって判断しているの
で、運指データにも「対象音名」の項目が設けられてい
る。ここではピアノ用の運指データを説明したが、対象
とする楽器に応じて、運指データの項目は適宜に変更す
る。例えば、弦楽器の場合であれば、開放弦であるとか
ピッチカートであるといった情報や運弓に関する情報を
運指データに入れるようにするとよい。

【００１５】この実施の形態では、演奏音データである
ＭＩＤＩデータと単位操作データである運指データとを
別々のデータとしてシーケンサ部１に入力させている
が、ＭＩＤＩデータと単位操作データとを統合したデー
タを作成してこの統合データをシーケンサ部１に入力さ
せるようにしてもよい。しかしながら、ＭＩＤＩデータ
は概ね作曲者の作曲の結果を反映したものであって同じ
楽曲に対してはほぼ同じであると考えられるのに対し、
運指方法は、同じ楽曲に対しても、解釈や、演奏者の技
量や手の大きさなどに応じて変化し得るものであり、本
実施の形態で例示した図１のブロック図のように運指デ
ータをＭＩＤＩデータから分けておけば、１つの楽曲の
ＭＩＤＩデータに対し異なる解釈のそれぞれに応じて演
奏を再現することが可能になる。市販されているいわゆ
る原典版と呼ばれる楽譜であっても、運指やペダルの指
定は校訂者によって異なっていることが多い。

【００１６】なお、本実施の形態では１つの指に対して
１つの音名を割り当てているが、本願発明の装置はこれ
に限られるものではなく、例えば図２の対象音名に２つ
の音を指定することにより１つの指に対して複数の音名
を割り当てることもできる。

【００１７】図３は、シーケンサ部１の内部構成を明ら
かにするための図である。シーケンサ部１は、入力する
ＭＩＤＩデータ及び運指データのヘッダ部分を解析する
ヘッダ解析部１１,１２と、ＭＩＤＩデータと運指デー
タとの同期がとれているかどうかを判断する同期判定部
１３と、ＭＩＤＩデータを解釈して各演奏音の音階（音
名）や長さを調べるＭＩＤＩ解析部１４と、運指データ
とＭＩＤＩ解析部１４での解析結果とに基づいて実際の
指の動きを決定する動き決定部１５と、実際の指の動き
を決定する際のルールを記述したルールベース１６と、
モーションデータ格納部４内を検索し、動き決定部１５
で決定された動きに対応するモーションデータを読み出
し、描画エンジン部３にこのモーションデータを渡すモ
ーションデータ読み出し部１７と、遅延手段であってＭ
ＩＤＩデータを一定の時間遅らせて音声エンジン部２に
出力するデータ遅延部１８とによって構成されている。
ＭＩＤＩ解析部１４での解析結果は、描画エンジン部３
にも出力されている。動き決定部１５は動き決定手段で
あり、モーションデータ読み出し部１７は読み出し手段
であって、これらによって基本データ抽出手段が構成さ
れている。

【００１８】ここで、演奏動作の描画表現を行うための
基本データであるモーションデータについて説明する。
運指データとＭＩＤＩデータとを解析することにより、
鍵盤上のある鍵をどのタイミングで打鍵すればよいかが
分かる。しかしながら、実際の指の動きや形状は、打鍵
対象が黒鍵であるか白鍵であるか、また、直前直後にど
の指がどの鍵を弾くかなどに応じて変化する。

【００１９】例えばピアノでハ長調の曲を右手で弾く場
合、図４(A)に示す譜例１と図４(B)に示す譜例２とで
は、最初のＣ(ド)音からＥ(ミ)音までは指使いが同じで
あるが、Ｆ(ファ)音を弾く指が異なる。図において、指
使いは上述した運指番号で示されている。譜例１ではＦ
音を薬指で弾き、譜例２では親指で弾いている。すなわ
ち、譜例２の場合、中指でＥ音を弾いた後、ただちに親
指でＦ音を打鍵する必要があり、この場合、親指は、人
差し指と中指の下をくぐるような動きを示すようにな
る。一方、図４(C)に示す譜例３では、中指、次いで親
指という順序で打鍵しているが、親指のくぐるような動
作は必要ない。

【００２０】本発明では、同じ指で打鍵する場合であっ
ても状況に応じてこのように指の動きや形状の違いが生
じることを的確に再現することを目的としている。しか
しながら、例示したような運指データから直接はこのよ
うな動きの違いを判別することはできない。そこでこの
実施の形態では、打鍵時の指の動きや形状の変化をパタ
ーン化して動作パターンとし、指ごとに複数の動作パタ
ーンを予め用意している。そして、楽曲の各音ごとに、
動き決定部１５により、ルールベース１６を用いてその
ときの指の動きや形状などを最もよく表わす動作パター
ンを決定し、この動作パターンに対応するモーションデ
ータをモーションデータ読み出し部１７によってモーシ
ョンデータ格納部４から読み出している。例えば、右手
の場合、上り音階であって前の音よりも指番号が小さい
ときには指がくぐる動作があると考えられるので、指が
くぐる動作に対応する動作パターンを選択する。また、
上り音階で３度離れた音（例えば、Ｃ音とＥ音）を続け
て弾く場合と、５度離れた音（例えば、Ｃ音と１オクタ
ーブ上のＥ音）を続けて弾く場合とでは、当然に、指の
動かし方が異なるから、前後の音と何度離れているかに
応じて動作パターンが選択されるようにする必要があ
る。上述したように黒鍵か白鍵かでも動作パターンが異
なるようにする。鍵を強く叩くときと弱く押さえるとき
とでは、鍵に対して指を上げるときの高さが異なるの
で、強弱も反映して動作パターンが選択されるようにす
る。ルールベース１６には、このような条件分けに応じ
てどの動作パターンを選択するかのルールを格納してお
けばよい。

【００２１】図５はモーションデータの構成例を説明す
る図である。本実施の形態では、モーションデータは、
指ごとの動作パターンごとに、指の各関節の角度（向
き）が時間の経過とともにどう変化するかを表わすデー
タである。図中、「関節の角度」では、指の第１関節、
第２関節及び第３関節の角度が、それぞれ、(ｘ₁,ｙ₁,
ｚ₁),(ｘ₂,ｙ₂,ｚ₂),(ｘ₃,ｙ₃,ｚ₃)で表わされており、
「指番号」は運指番号で特定される指を示し、「パター
ン番号」は動作パターンを特定するためのものである。
また「時間」は、時間の経過を示す指標であって、時間
の"０"は例えば鍵盤に向って指を下ろし始めるタイミン
グを示し、時間の"１"は下ろしている途中のタイミング
を示す、時間の"２"は下ろし終えたタイミングを示して
いる。ここでいう時間は、相対的な時間であり、楽曲の
テンポやスローモーション再生であるかどうかに応じ
て、任意の尺度で進み方を調節できるようになってい
る。コンピュータグラフィックで描画する際には、角度
だけでなく位置情報も必要であるが、指の大きさは既知
であり、また、指先の位置はこれから打鍵しようとする
鍵の上にあることは明らかなので、モーションデータに
は角度情報だけを持たせておいても、描画を行うことが
可能となっている。図５の例では、例えば親指の１番目
の動作パターンに対して、時間"０"から時間"２"までの
各タイミングで各関節の角度がどのようになっているか
が示されており、これら各タイミング間を種々の手法を
用いさらに細かくデータ補間することによって、動きを
滑らかに再生することが可能になっている。

【００２２】次に、この演奏再現装置の動作について説
明する。図６は、データが入力してからモーションデー
タを決定するまでの過程を示すフローチャートである。

【００２３】ある楽曲のＭＩＤＩデータとこの楽曲に対
応する運指データとがシーケンサ部１にそれぞれシリア
ルに入力され、各データのヘッダ部分はヘッダ解析部１
１,１２で解析される（ステップ１０１）。そして、同
期判定部１３において、ＭＩＤＩデータと運指データと
がチャネル及び音程（音名）で一致しているかを判定す
る（ステップ１０２）。ＭＩＤＩデータと運指データと
が対応していれば、それぞれのデータを先頭から読んで
いった場合に、各音ごとにチャネルと音程が両方のデー
タで一致しているはずであるが、途中から再生したばあ
いなどに何らかの理由でずれることがあるので、このチ
ェックを行っている。一致していない場合、すなわちず
れている場合にはステップ１０１に戻り、一致している
場合には、モーションデータ探索のために、その音につ
いてＭＩＤＩデータに含まれる各種のデータと運指デー
タとを指ごとにまとめて統合データとする（ステップ１
０３）。この統合データは、指ごとに用意され例えばプ
ログラム言語Ｃにおける構造体のようなデータ構造のも
のであって、音程（音名）、強さ、音の長さ、次の音の
発音までの間隔、チャネル、運指番号などのデータを含
んでいる。

【００２４】次に、音が和音であるかどうか、和音であ
ればその和音を構成する音のデータが全部揃っているか
どうかを判断する（ステップ１０４）。ＭＩＤＩデータ
では（したがって、これに対応して運指データでも）、
和音であっても和音を構成する各音のデータがシーケン
シャルに入力される。引き続くデータが表わす音と和音
を構成する場合であれば、ＭＩＤＩデータ中の「次の音
の発音までの間隔」が０（か０に近い値）となってい
る。そこで、和音を検出した場合には和音を構成する音
のデータが全部揃うまで待つこととする。和音でない場
合、あるいは和音であって全部の音が揃っている場合に
はステップ１０５に移行し、和音だが全部のデータが揃
ったわけではない場合にはステップ１０１に移行する。
続いて、キューに前後２音のデータが蓄積されているか
を判定する（ステップ１０５）。上述したように、ある
音に対する動作パターンはその音の直前直後にある音に
よっても変わるので、動作パターンを決定するためには
少なくとも前後２音のデータが揃っている必要がある。
なお、曲の先頭と最後の音の場合には、それぞれ、先行
する音、後続する音が存在しないが、その場合には、弾
き始め、あるいは弾き終わりというデータがあるものと
すればよい。前後の音のデータが揃っていない場合には
ステップ１０１に戻り、揃っている場合には、ステップ
１０６に移行し、動き決定部１５で動作パターンを決定
し、モーションデータ読み出し部１７によってモーショ
ンデータを読み出す。

【００２５】このとき、ＭＩＤＩデータは、同期判定部
１３からＭＩＤＩ解析部１４に入力しており、動作パタ
ーン決定に必要なデータが動き決定部１５に送られる。
また、ＭＩＤＩデータは、データ遅延部１８を介して音
声エンジン部２に出力される。音声エンジン部２はＭＩ
ＤＩデータに応じて音声信号を生成し、外部に出力す
る。データ遅延部１８は、音声と画像とを同期させるた
めに設けられている。描画エンジン部３でのコンピュー
タ・グラフィクスによる描画にはかなりの処理時間がか
かるので、データ遅延部１８を設けない場合には、音声
出力と画像出力とが同期しないようになる。

【００２６】次に、描画エンジン部３での処理について
詳しく説明する。

【００２７】描画エンジン部３には、上述したようにモ
ーションデータが渡されるが、モーションデータ自体は
単に指の各関節の向きの時間変化を示したものに過ぎな
い。実際の指の動きを画像データとして表現するために
は、皮膚や爪の形状データを貼り付けた画像とする必要
がある。また、モーションデータでの時間刻みはかなり
粗いので、スムースな動画表現とするためには、モーシ
ョンデータの補間処理を行う必要もある。そこで本実施
の形態では、皮膚や爪、あるいは鍵盤などの形状を表わ
すデータを形状データ格納部５に予め蓄積しておき、必
要な形状データを形状データ格納部５から読み出しつつ
描画エンジン部３によって描画が行われるようにしてい
る。描画エンジン部３は、モーションデータが渡される
と、ＭＩＤＩ解析部１４からのデータによってそのモー
ションデータが鍵盤上のどの鍵に対するものかを知り、
その鍵の位置を基準としてモーションデータの補間を行
いつつモーションデータに対する描画の絶対座標を求
め、形状データ格納部５から読み出した形状データを用
いて、フレームごとの描画を行い、画像出力データとし
て出力する。また、３次元コンピュータ・グラフィクス
技術を用い、空間内の任意の視点から見た画像が得られ
るようにすることもできる。

【００２８】ところで、描画エンジン部３での処理に要
する時間を検討すると、形状データを補間後のモーショ
ンデータと対応付けて描画する部分の処理に一番時間が
かかる。モーションデータの補間までは、せいぜい数点
の座標値を扱うだけであるので、描画に比べて極めて短
時間に行える。また、ＭＩＤＩ解析部１４での解析や動
作パターンの決定、モーションデータの読み出しに要す
る時間も、描画に比べてかなり小さい。本実施の形態の
場合、データ遅延部１８によってＭＩＤＩデータの出力
タイミングを遅らせているものの、描画に時間がかかり
すぎると、音声と画像の同期がとれなくなる。そこで描
画エンジン部３では、モーションデータやＭＩＤＩ解析
部１４からデータを受け取った時点で、描画に要する時
間を推算し、描画に時間がかかりすぎるようであれば、
描画フレームを間引くようにすることが望ましい。ま
た、装置の性能にも依存するので、装置の立ち上げ時に
別の手段にて、事前に描画などに要する時間測定を行
い、そのデータに基づいて描画フレーム数を決定する方
法もある。

【００２９】以上のように演奏再現装置を構成すること
により、音声エンジン部２からの音声出力データを増幅
してスピーカに入力し、描画エンジン部３からの画像出
力データをＣＲＴや液晶ディスプレイなどの表示装置に
入力することにより、楽曲の実際の演奏を聴きながら、
その楽曲を演奏するための模範的な指使い、指の動かし
方などを確認することができる。本実施の形態の場合、
ＭＩＤＩデータを用いているので、音程を変えることな
く任意のテンポでの再生が可能で、スローモーションで
の演奏再現も可能である。また、コンピュータ・グラフ
ィクス技術を用いているので、任意の視点から見ての指
使いなどを確認することができる。図７はこのようにし
て得られた画像出力信号による表示例を示している。図
７(A)は鍵を押すためにいったん人差指を上方に持ち上
げている状態を示し、図７(B)は人差指の先端が鍵に接
触した状態を示し、図７(C)は鍵が押し込まれる過程に
ある状態を示している。

【００３０】本発明の演奏再現装置では、ＭＩＤＩデー
タに基づく音声と、コンピュータグラフィクスによる画
像とをどのように同期させるかが、重要な点である。図
８に示した実施の形態では、クロック発生手段であって
基本となるシステムクロックを発生するシステムクロッ
ク部２１をシーケンサ部１内に設け、ＭＩＤＩ解析部１
４から出力される音の長さや次の音までの時間間隔の情
報と、システムクロックとを用いて、描画エンジン部３
で描画のタイミングやフレームレートを制御している。
すなわち、ＭＩＤＩデータ側のイベントの発生を基準と
して、「これから何秒後（あるいはシステムクロックの
値がいくつになったとき）に描画を開始しあるいは描画
を終えるようにせよ」という指示を描画エンジン部３に
対して与えることが可能になる。上述の図３に示した装
置の場合には、ＭＩＤＩデータについてみれば音声エン
ジン２側に垂れ流しとなっているので、ＭＩＤＩデータ
は実際の音発生とほぼ同じ時間間隔で入力させるのが一
般的であるが、図８に示す装置の場合には、システムク
ロック値で後続する処理の開始時刻等を逐一指定できる
ので、演奏再現のテンポを自由に制御したり、あるいは
ＭＩＤＩデータや運指データの先読みが可能になる。

【００３１】一方、図９に示す装置は、画像データ側で
のイベント発生を基に音の発生を実行しようとするもの
である。すなわち、図３に示す装置のシーケンサ部１に
おいて、データ遅延部の代りにバッファ制御部２３を設
け、バッファ制御部２３にはバッファ手段であってＭＩ
ＤＩデータを先入れ先出し（ＦＩＦＯ）で一時的に格納
するバッファ２２を接続し、さらに、鍵盤と指との接触
あるいは衝突を検出する衝突検出部２４を設けた構成と
なっている。衝突検出部２４は、動作データ検出手段で
あって、描画エンジン部３での内部計算過程を逐次監視
して、モーションデータにより指と鍵盤が接触あるいは
衝突したタイミングを検出するようになっている。そし
て衝突検出部２４での検出結果に応じて、バッファ制御
部２３が制御される。

【００３２】この装置では、動作パラメータの決定、モ
ーションデータの抽出、描画は、上述の場合と同様に行
われる。一方、ＭＩＤＩデータは、ＭＩＤＩ解析部１４
から音声エンジン部２に出力されるのではなく、バッフ
ァ制御部２３を介してバッファ２２に一時的に格納され
る。そして、衝突検出部２４で衝突が検出したときに、
その衝突に対応する音のＭＩＤＩデータがバッファ２２
から取り出されて音声エンジン部２に出力される。この
ように構成することにより、描画時間が長かったことに
伴って本来のタイミングよりの音の発生タイミングがず
れることがあるものの、音声と描画との同期を一致させ
つつ、スムースな描画を表示することが可能になる。

【００３３】以上、本発明の実施の形態について、ピア
ノの演奏を再現する場合を中心にして説明したが、本発
明はこれはピアノ練習のためのものに限定されるもので
なく、例えば、バイオリンやチェロなどの弦楽器、フル
ートやクラリネットなどの管楽器についても、単位操作
データ（運指データ）と、楽器に対応した動作パターン
やルールベース、モーションデータ、形状データとを用
意することによって、演奏を再現することが可能にな
る。

【００３４】

【発明の効果】以上説明したように本発明は、演奏者の
演奏動作を描画表現するための基本データを演奏動作で
の動作パターンごとに基本データ記憶手段内に保持し、
演奏音データと単位操作データとから対応する基本デー
タを抽出し、抽出された基本データに基づいて描画を行
うことにより、どの指で鍵を押えるかや指の動きや形な
どの楽器の演奏状況を演奏音に合わせて視覚的に表示で
きるようになり、また、任意のテンポでの演奏の再現を
表示できるという効果がある。

【図面の簡単な説明】

【図１】本発明の実施の一形態の演奏再現装置の構成を
示すブロック図である。

【図２】運指データの一例を示す図である。

【図３】シーケンサ部の具体的な構成を示すブロック図
である。

【図４】(A)〜(C)はそれぞれ譜例を示す図である。

【図５】モーションデータの一例を示す図である。

【図６】データが入力してからモーションデータを決定
するまでの過程を示すフローチャートである。

【図７】(A)〜(C)は、それぞれ、出力画像の例を示す図
である。

【図８】図２とは別の構成のシーケンサ部を示すブロッ
ク図である。

【図９】さらに別の構成のシーケンサ部を示すブロック
図である。

【符号の説明】

１シーケンサ部２音声エンジン部３描画エンジン部４モーションデータ格納部５形状データ格納部１１,１２ヘッダ解析部１３同期判定部１４ＭＩＤＩ解析部１５動き決定部１６ルールベース１７モーションデータ読み出し部１８データ遅延部２１システムクロック部２２バッファ２３バッファ制御部２４衝突検出部１０１〜１０６ステップ

フロントページの続き (72)発明者金本直子東京都千代田区大手町二丁目６番３号新日本製鐵株式会社内 (72)発明者石野勉東京都千代田区大手町二丁目６番３号新日本製鐵株式会社内 (72)発明者松原吉勝静岡都浜松市中沢町10番１号ヤマハ株式会社内

Claims

【特許請求の範囲】

【請求項１】楽曲の演奏音データと前記楽曲に対応し
楽器演奏の単位操作列を表わす単位操作データとからな
る演奏情報が入力され、演奏者の演奏動作を描画表現するための基本データを演
奏動作での動作パターンごとに保持する基本データ記憶
手段と、前記演奏情報を基に前記基本データ記憶手段内を検索し
て単位操作ごとの前記基本データを抽出する基本データ
抽出手段と、前記基本データ抽出手段で抽出された基本データに基づ
いて演奏音の順に演奏者の演奏動作を表現する出力画像
データを生成して出力する画像データ生成手段と、を有
する演奏再現装置。
【請求項２】前記画像データ生成手段が、前記演奏音
データから抽出された個々の演奏音に対するタイミング
情報に基づいて、前記演奏音の出力タイミングと前記出
力画像データの出力タイミングが一致するように前記出
力画像データの出力タイミングを決定する請求項１に記
載の演奏再現装置。
【請求項３】前記演奏音データを演奏音の順に応じて
一時的に蓄積するバッファ手段と、前記出力画像データ
において所定の動作があったかどうかを検出する動作デ
ータ検出手段とをさらに有し、前記所定の動作を検出し
たときに前記演奏音データが出力される請求項１に記載
の演奏再現装置。
【請求項４】前記演奏音データに所定の遅延を与えて
出力する遅延手段をさらに有する請求項１または２に記
載の演奏再現装置。
【請求項５】クロック信号を生成するクロック信号発
生手段を有し、前記クロック信号と前記タイミング情報
とに応じて前記出力画像データの出力タイミングを決定
する請求項２に記載の演奏再現装置。
【請求項６】描画用のデータを格納する描画データ格
納手段をさらに有し、前記画像データ生成手段は、前記
描画データ格納手段から前記描画用のデータを読出しつ
つ、前記基本データ抽出手段で抽出された基本データに
基づいて描画を行い、前記出力画像データを生成する請
求項１乃至３いずれか１項に記載の演奏再現装置。
【請求項７】前記基本データ抽出手段が、演奏音ごと
に、その演奏音の前後の演奏音に対する演奏情報に応じ
て当該演奏音に対する動作パターンを決定する動き決定
手段と、決定した動作パターンに応じて前記基本データ
記憶手段から基本データを抽出する読み出し手段とから
構成されている請求項１乃至３いずれか１項に記載の演
奏再現装置。