JP7107719B2 - 運指表示プログラム - Google Patents

Description

本発明は、鍵盤楽器の演奏練習用の運指表示に関し、複数の楽音から構成される演奏情報と各楽音に対応する指番号情報に基づき、楽音再生時に楽器を演奏する運指動画を描画して画面に表示する運指表示プログラムに関する。

電子ピアノ等の鍵盤楽器について演奏練習を行う場合に、操作する鍵盤表示に重ねて手の甲と各指から構成される運指画像を表示することで、鍵盤を押したり離したりする指使いを練習者に指示する演奏動作表示装置が提案されている。
例えば特許文献１には、指の運び方を分かりやすくするために、手の動きが連続的に移行する運指動画生成技術が開示されており、単音の場合と和音の場合とで条件分けを行い、それぞれの指の形や手の甲の位置を決定するようにしている。

すなわち特許文献１には、複数種の操作運指画像データおよび複数種の経過運指画像データをＲＯＭに格納しておき、ノートオン処理の鍵の操作開始を示す運指に対応する操作運指画像データをＲＯＭから選択して読み出し、表示装置に与えて表示させ、さらに、ノートオフ処理の次に押鍵する鍵の操作開始に至るまでの経過を示す運指に対応する経過運指画像データをＲＯＭから選択して読み出し、表示装置に与えて表示させることにより、曲の進行に応じたきめ細かな演奏ガイドを行う運指表示装置が記載されている。

また、出願人は、鍵盤サイズや鍵盤の画面表示上での大きさにあった手形を描画させることができる運指表示方法として特許文献２に示された手法を提案している。

特許第３５２１８３８号公報 特許第４０７０１００号公報

しかしながら、特許文献１に開示された運指表示装置における運指表示のやり方では、離鍵してから次に押鍵するまでの時間がある程度長い時、その間を連続的に移行するような運指動画が生成されるため、まるでスローモーションにじわじわと指が広がった手が長い区間をゆっくりと移動する不自然な動画となってしまうという問題があった。

本発明は上記実情に鑑みて提案されたもので、運指動画を生成する場合に、離鍵してから次に押鍵するまでの時間が長い場合であっても、運指動画がゆっくりと移動する不自然な動きを無くすことで、実際の鍵盤操作に近い運指動画を描画することができる運指表示プログラムを提供することを目的とする。

上記目的を達成するために本発明は、楽曲の各楽音とそれに対応する指番号を含む演奏情報に基づき楽曲再生時に楽器を演奏する運指動画を描画して画面に運指表示するプログラムであって、
前記楽曲再生時の再生時刻（Ｔ）に対応する運指位置情報（Ｐｍ）を元に運指描画を生成するに際して、
前記再生時刻（Ｔ）において押鍵から離鍵に変化する離鍵時から再生時刻（Ｔ）以降の最寄りの押鍵時刻である時刻（Ｔ２）と、
前記時刻（Ｔ２）における押鍵情報に変化する直前の時刻（Ｔ１）と、
前記時刻（Ｔ１）から前記時刻（Ｔ２）に至る時間が予め設定された閾値時間より長い場合に、前記再生時刻（Ｔ）が前記時刻（Ｔ１）から前記閾値時間が経過するまでの間に前記時刻（Ｔ２）の押鍵情報に対応する運指位置への移行を完了する運指位置情報（Ｐｍ）を生成する
ことをコンピュータに実行させることを特徴としている。

請求項２は、請求項１に記載の運指表示プログラムにおいて、
少なくとも再生時刻（Ｔ）以前の時刻および再生時刻（Ｔ）以降の時刻を含む単一の押鍵情報、および複数の異なった時刻におけるそれぞれの押鍵情報を合成した合成押鍵情報を元にして前記運指位置情報（Ｐｍ）を生成する
ことを特徴としている。
請求項３は、請求項２に記載の運指表示プログラムにおいて、
前記複数の異なった時刻とは、
前記時刻（Ｔ２）における押鍵情報に変化する直前の時刻（Ｔ１）と、
前記時刻（Ｔ２）における押鍵情報から変化した直後の時刻（Ｔ４）を含む
ことを特徴としている。

請求項４は、請求項３に記載の運指表示プログラムにおいて、
前記合成押鍵情報とは、
前記時刻（Ｔ１）における押鍵情報（ＦＫ１）と前記時刻（Ｔ２）における押鍵情報（ＦＫ２）とを合成した押鍵情報（ＦＫ１２）と、
前記時刻（Ｔ２）における押鍵情報（ＦＫ２）と前記時刻（Ｔ４）における押鍵情報（ＦＫ４）とを合成した押鍵情報（ＦＫ２４）とを含む
ことを特徴としている。

請求項５は、請求項１乃至４に記載の運指表示プログラムにおいて、
前記押鍵情報とは、当該時刻における各指の押鍵位置（鍵盤位置）と押鍵状態（押鍵か離鍵か）であることを特徴としている。

請求項６は、請求項１乃至５に記載の運指表示プログラムにおいて、
前記運指位置情報（Ｐｍ）は、少なくとも手の甲の中心位置および各指の先端位置を含むことを特徴としている。

請求項７は、請求項１乃至６に記載の運指表示装置において、
前記運指位置情報（Ｐｍ）は、
再生時刻（Ｔ）以前の時刻Ｔｓにおける運指の始点時の運指位置情報（Ｐｓ）と、
再生時刻（Ｔ）以降の時刻Ｔｅにおける運指の終点時の運指位置情報（Ｐｅ）と
を時刻Ｔｓから時刻Ｔｅまでの時間経過に応じて補間して算出された運指位置情報
であることを特徴としている。

本発明によれば、再生時刻（Ｔ）において押鍵から離鍵に変化する離鍵時から再生時刻（Ｔ）以降の最寄りの押鍵時刻である時刻（Ｔ２）と、時刻（Ｔ２）における押鍵情報に変化する直前の時刻（Ｔ１）とを設定し、時刻（Ｔ１）から前記時刻（Ｔ２）に至る時間が所望時間より長いかを検知し、さらに時刻（Ｔ１）で離鍵してからの経過時間を判断することで、その時間内に次の押鍵時刻になるできるだけ前までに手の移動が完了するように運指画像を生成することができる。

本発明の運指表示装置の構成を示す機能ブロック図である。 運指表示装置の表示部に表示される楽譜、鍵盤、運指画像の表示例である。 鍵に対する押鍵時刻及び離鍵時刻を説明するためのタイムチャート図である。 本発明の運指表示プログラムにおける運指描画生成のフローチャートである。 本発明の運指表示プログラムにおける運指位置情報生成のフローチャートである。 楽譜例を示す図である。 図６の楽譜に対応する押鍵情報を表示するピアノロール図である。 再生時刻（現在）に対して始点及び終点の押鍵盤情報を考慮して生成される運指画像を示す対応図である（状態Ａ～状態Ｊ）。 再生時刻（現在）に対して始点及び終点の押鍵盤情報を考慮して生成される運指画像を示す対応図である（状態Ｋ～状態Ｕ）。 楽譜及び鍵盤に対して描画される運指画像の表示例（従来手法）である。 （ａ）及び（ｂ）は、楽譜及び鍵盤に対して描画される先行移動による運指画像の表示例（本発明手法）である。

以下、図面を参照しながら本発明の運指表示プログラムについて説明する。
運指表示装置は、楽譜データの表示及びそれに対応する運指表示を実行させるため、ＣＰＵ、ＲＯＭ、ＲＡＭやハードディスクなどを有する周知のタブレット型端末に対して、運指表示プログラムをインストールすることで構築される。タブレット型端末は、楽譜及び鍵盤を表示可能とする表示部と、タッチ操作を入力する入力部を有するタッチパネルと、音を再生するスピーカなどのサウンド出力装置を備えている。表示部では、鍵盤と共に手形による運指画像が表示され、ユーザは表示される運指画像を頼りに鍵盤楽器などで運指の練習をすることができる。
運指表示装置のＣＰＵは、インストールされた所定の制御プログラム（運指表示プログラム）に従って各種処理を実行し、運指表示装置全体の制御を行う。
また、タブレット型端末にはＭＩＤＩインタフェースを介してＭＩＤＩ機器を接続可能としている。演奏データや運指描画データは、タブレット型端末内のＲＯＭに格納したり、ＭＩＤＩインタフェースを介して、又は記録媒体により外部から提供したりすることができる。

運指表示装置の使用例としては、例えばディジタルピアノに接続し、装置に記録された楽譜データを表示するとともに該楽譜データに対応する演奏データをディジタルピアノ側へ送信することによりディジタルピアノの音源を鳴らしてデモ演奏をしたり、ユーザが運指表示装置に表示された楽譜を見ながらディジタルピアノを演奏し、その演奏結果を装置側に入力し、装置側に表示している楽譜データに対応するお手本演奏データと比較することで、ユーザによる演奏状態の確認（評価）を行うようにしたりする。

タブレット型端末に対して本発明に従う処理を実行するために、例えば記録媒体に保存された運指表示プログラムをインストールして構築した運指表示装置について、図１の機能ブロック図を参照しながら説明する。
運指表示装置は、演奏を行うための楽音情報や各楽音に対応して運指表示を行うための指番号情報が記憶された楽音・指番号情報記憶部１１と、楽音・指番号情報から押鍵情報を生成する押鍵情報生成部１２と、押鍵情報を記憶する押鍵情報記憶部１３と、押鍵情報から運指位置情報を生成する運指位置情報生成部１４と、運指位置情報から運指画像を生成する運指画像生成部１５と、を備えている。
また、運指情報に含まれる楽譜情報から楽譜画像を生成する楽譜画像生成部１６を備え、運指画像生成部１５及び楽譜画像生成部１６で生成された画像は、画像情報記憶部１７に記憶され、ディスプレイ等の表示装置１８で表示される。

また、運指表示装置は、楽音・指番号情報記憶部１１に記憶された楽音情報から楽曲を再生するための再生情報を再生する再生情報生成部２１と、再生情報を記憶する再生情報記憶部２２と、再生情報からサウンドを生成するサウンド生成部２３と、アナログ信号に変換するサウンド再生部２４と、増幅器及びスピーカ等のサウンド出力装置２５を備えている。

楽音・指番号情報記憶部１１には、楽譜を構成する楽音、及び、楽音に対応する指番号等の楽曲再生および運指描画に最低限必要な情報が記憶されている。

押鍵情報生成部１２は、楽音・指番号情報記憶部１１に記憶された情報に基づいて、楽曲の先頭からの末尾までの任意の時刻における押鍵情報を生成する。押鍵情報としては、対象時刻、および該時刻における押鍵中の各楽音に対する弾く手と指番号、音量、ノートナンバー、特殊な指使いフラグの有無の情報が作成される。特殊な指使いとは、演奏手法における指かえ、指くぐり、指ごえが含まれる。
押鍵情報生成部１２で作成された押鍵情報は押鍵情報記憶部１３に記憶される。

押鍵情報記憶部１３に記憶された押鍵情報が特殊な指使いを含んでいる場合は、運指表示が特殊な指使いを必要とするものとして、押鍵情報生成部１２で生成された押鍵情報から特殊指使い情報生成部３１で特殊指使い情報を生成し、特殊指使い情報記憶部３２に記憶する。運指表示が特殊な指使いを含むかどうかは、押鍵情報生成部１２で生成された押鍵情報から判断される。

運指位置情報生成部１４は、押鍵情報記憶部１３に記憶された情報に基づいて、再生時刻（楽曲の先頭からの現在再生位置の時刻）Ｔにおける運指位置情報Ｐｍを生成する。この運指位置情報Ｐｍは、再生時刻Ｔ以前の時刻および再生時刻Ｔ以降の時刻を含む単一の押鍵情報、および複数の異なった時刻におけるそれぞれの押鍵情報（再生時刻Ｔ以前の時刻の運指位置情報Ｐｓ、及び、再生時刻Ｔ以降の時刻の運指位置情報Ｐｅ）を合成した合成押鍵情報を元に生成される。運指位置情報Ｐｓ及び運指位置情報Ｐｅを元にした運指位置情報Ｐｍの具体的な生成手順については後述する。

運指位置情報Ｐｍは、運指画像における手形及び指形状を描画するための情報となる。運指位置情報としては、手の甲の中心の位置データ、５本の各指の付け根の位置データ、手首の付け根２点（親指側、小指側）の位置データ、および各指の先端の位置データを含む。そして、これらの情報が与えられることにより運指画像が描画可能となる。また、鍵に対する手形の各部位置を定めるためには、前記位置データと鍵との位置関係を表すデータを与えればよい。
運指位置情報から運指画像を得る手法は、例えば、上述した特許文献１（特許第３５２１８３８号）や特許文献２（特許第４０７０１００号）に示される公知の手法が用いられる。

運指画像生成部１５は、運指位置情報生成部１４で作成された情報に基づいて、再生時刻Ｔにおける運指画像を生成する。運指画像は、運指位置情報の応じた手の形状及び指位置の座標に関する情報から作成される。

また、楽譜画像生成部１６は、楽音・指番号情報記憶部１１に記憶された情報に基づいて楽譜画像を生成する。

運指画像生成部１５で作成された運指画像、及び、楽譜画像生成部１６で作成された楽譜画像は、画像情報として画像情報記憶部１７に記憶される。

表示装置１８では、画像情報記憶部１７に記憶された画像情報が表示される。
すなわち、楽譜の楽音に対応する押鍵情報に基づき、楽曲再生時に楽器を演奏する運指動画が画面に運指表示される。具体的な画像表示としては、図２に示すように、上段に楽譜が表示され、その下段に鍵盤及び楽譜の各楽音を両手で演奏するための運指画像が表示される。楽譜部分には、演奏の進行により五線部分を移動して再生時刻Ｔに対応するバーＢＡＲが表示され、運指画像は再生時刻の押鍵状態を描画する。押鍵された鍵は、色が変化するようになっている（図２では斜線で表示）。
また、楽譜に代えて、ピアノロールのような演奏情報を表示してもよい。

再生情報生成部２１は、楽音・指番号情報記憶部１１に記憶された情報に基づいて、楽音の再生情報を生成する。再生情報としては、各楽音の発音開始時刻と発音終了時刻、音量、ノートナンバーのＭＩＤＩ情報が作成される。
再生情報生成部２１で作成された再生情報は再生情報記憶部２２に記憶される。
サウンド生成部２３では、再生情報に応じアナログ信号から成るサウンド情報が生成される。

サウンド再生部２４では、サウンド情報に応じたアナログ信号が再生される。また、押鍵情報生成部１２の押鍵情報の生成では、楽曲の再生時刻に応じた押鍵情報が生成されるように、サウンド再生部２４からの時間情報が入力される。
サウンド出力装置２５では、サウンド情報となるアナログ信号が増幅器及びスピーカを介して出力されることで音が再生される。

次に、上述した運指表示プログラムによる運指描画の作成の処理手順について、図３の鍵盤に対するタイムチャート、図４及び図５のフローチャートを参照しながら説明する。
運指表示装置では、格納された運指表示プログラムにより、押鍵情報を元に運指位置情報が生成され、運指位置情報を元に運指画像が生成されて表示部に描画される。

本発明の運指表示プログラムでは、手の甲の鍵盤幅方向の移動を少なくして、実際の鍵盤操作に近い運指動画を描画するように制御する。そのため、楽曲再生時の再生時刻Ｔに対して、鍵盤の押鍵時刻及び離鍵時刻が例えば図３のような場合に、再生時刻Ｔに対応する運指位置情報Ｐｍを元に運指画像を生成するに際して、再生時刻Ｔ以前の時刻および再生時刻Ｔ以降の時刻を含む単一の押鍵情報、および複数の異なった時刻におけるそれぞれの押鍵情報を合成した合成押鍵情報を元にして前記運指位置情報Ｐｍを生成する。
運指位置情報Ｐｍは、再生時刻Ｔにおける運指位置情報（各指の根本及び先端座標、手の甲の中心座標）から構成されている。

運指位置情報Ｐｍは、例えば始点時刻における運指位置情報Ｐｓと、終点時刻における運指位置情報Ｐｅとから補間して算出される。再生時刻が離鍵時であった場合には、始点時刻は、図３における再生時刻以前の最寄りの離鍵直前の押鍵時刻Ｔ１となり、終点時刻は、再生時刻以降最寄りの押鍵時刻Ｔ２となる。逆に再生時刻が押鍵時であった場合には、始点時刻Ｔ１も終点時刻Ｔ２も再生時刻Ｔと同じであり、補間の必要はない。

次に、運指位置情報生成部１４及び運指画像生成部１５において、始点時刻における運指位置情報Ｐｓと、終点時刻における運指位置情報Ｐｅとを生成し、これらから運指位置情報Ｐｍを得て運指画像を作成する手順について、図４の運指描画フローチャート及び図５の運指位置情報生成フローチャートを参照しながら説明する。

運指画像の作成は、図３の時刻Ｔ（再生時刻：楽曲再生位置となる楽曲の先頭からの現在再生位置の時刻）を中心とする最寄りのＴ１，Ｔ２，Ｔ３，Ｔ４の各時刻における押鍵情報等を必要に応じて考慮して生成される。
Ｔ１は、Ｔ以前の最寄りの離鍵直前時刻に対応する時刻である。離鍵時刻より所定時間前の時刻でもよい。これは、離鍵時刻から次の押鍵時刻までの時間が短い場合、瞬時に次の運指表示に切り替わってしまうため、所定時間前の時刻とすることで運指表示が滑らかに移行するからである。
Ｔ２は、Ｔが離鍵時はＴ以降最寄りの押鍵時刻、Ｔが押鍵時はＴ以前最寄りの押鍵時刻である。
Ｔ３は、Ｔ２以降最寄りの離鍵時刻（Ｔ２押鍵の次に離鍵される時刻に対応する時刻、例えば離鍵時刻より所定時間前の時刻）である。
Ｔ４は、Ｔ２以降最寄りの押鍵時刻（Ｔ２押鍵の次に押鍵される時刻）である。

図３に示すような鍵（方形状部分）の押鍵及び離鍵状態の場合、Ｔ１，Ｔ２，Ｔ３，Ｔ４は、鍵のオン（押鍵）オフ（離鍵）に対して、矢印で示された位置（時刻）となる。
なお、離鍵時間に関しては、前述のように運指の移行をできるだけ滑らかにするため、実際の離鍵時より所定時間前の時間を対応させている。

運指表示装置には、鍵盤幅に対する相対長さ、手の甲からの相対位置である各指と手の甲の形状に関する情報ＦＩが記憶されている（ステップ５１）。
再生時刻（楽曲再生位置）Ｔを基準に、楽譜に対する押鍵情報及び離鍵情報から最寄りのＴ１、Ｔ２、Ｔ３、Ｔ４を走査して読み出す（ステップ５２）。

各Ｔ１、Ｔ２、Ｔ４に対応する単独押鍵情報ＦＫ１、ＦＫ２、ＦＫ４を生成する（ステップ５３）。
ＦＫ１は、時刻Ｔ１における押鍵情報（各指の押鍵フラグ、鍵番号）である。
ＦＫ２は、時刻Ｔ２における押鍵情報（各指の押鍵フラグ、鍵番号）である。
ＦＫ４は、時刻Ｔ４における押鍵情報（各指の押鍵フラグ、鍵番号）である。

ＦＫ１（時刻Ｔ１における押鍵情報）とＦＫ２（時刻Ｔ２における押鍵情報）を合成した合成押鍵情報ＦＫ１２、及び、ＦＫ２（時刻Ｔ２における押鍵情報）とＦＫ４（時刻Ｔ４における押鍵情報）を合成した合成押鍵情報ＦＫ２４をそれぞれ生成する（ステップ５４）。

楽曲再生位置が最初の押鍵より前かどうか（Ｔ１が無効、且つ、Ｔ＜Ｔ２であるかどうか）を判断する（ステップ５５）。
楽曲再生位置が最初の押鍵より前である場合、ＦＫ１（時刻Ｔ１における押鍵情報）とＦＩから運指情報Ｐｓ（運指の始点座標の作成）とし（ステップ５６）、楽曲再生位置が最初の押鍵より所定時間以上前かどうか（Ｔ１が無効、且つ、Ｔ＜Ｔ２－Ｔminであるかどうか）を判断する（ステップ５７）。Ｔminは、押鍵時より所定時間以上前であるかを判断する時間であり、本例では予め決められた「９６」（四分音符の長さ分のデルタタイム）に設定されている。
楽曲再生位置が最初の押鍵より所定時間以上前である場合、ＦＫ１（時刻Ｔ１における押鍵情報）を運指情報Ｐｅ（運指の終点座標の作成）とする（ステップ５８）。

運指情報Ｐｓは、運指の始点時刻の運指位置情報（各指の根本座標／先端座標および手の甲の中心座標）である。
運指情報Ｐｅは、運指の終点時刻の運指位置情報（各指の根本座標／先端座標および手の甲の中心座標）である。

ステップ５７において、再生時刻Ｔが押鍵より所定時間以上前でない場合は、ＦＫ２４で運指情報Ｐｅが生成可能どうかを判断する（ステップ５９）。これは、ＦＫ２とＦＫ４の各運指情報を合成可能かどうかで判断され、合成押鍵情報における各指の押鍵位置が予め定めた範囲以上である場合には、合成不可と判断する。そして、ＦＫ２とＦＫ４の各運指情報の合成が可能な場合は、ＦＫ２４の押鍵情報から運指情報Ｐｅを生成する（ステップ６０）。合成不可能な場合は、ＦＫ２の押鍵情報から運指情報Ｐｅを生成する（ステップ６１）。ＦＫ２４は、押鍵情報ＦＫ２とＦＫ４を合成した押鍵情報（各指の押鍵フラグ、鍵番号）となる。

運指始点における特殊指使い情報（指かえ、指くぐり、指ごえかどうかの各フラグ）であるＨＦｓ、及び、運指終点における特殊指使い情報（指かえ、指くぐり、指ごえかどうかの各フラグ）であるＨＦｅをそれぞれ生成する（ステップ６２）。

続いて、再生時刻Ｔは押鍵中かどうかを判定する（ステップ６３）。
押鍵中の場合、運指始点の押鍵情報Ｐｓと運指終点の押鍵情報Ｐｅは同じ値となる。
再生時刻Ｔに押鍵中である場合、Ｔ３（Ｔ２以降最寄りの離鍵時刻）からＴ４（Ｔ２以降最寄りの押鍵時刻）までの時間が予め設定された閾値時間であるＴminより短いかを判定する（ステップ６４）。Ｔminは、ＦＫ２とＦＫ４とを合成すべき許容時間の閾値であり、本例では予め決められた「９６」に設定されている。
Ｔ３からＴ４までの時間が閾値時間Ｔminより短い場合、ＦＫ２４（合成押鍵情報）とＦＩを元に運指位置情報Ｐｓ（運指位置情報Ｐｅ）が生成可能かを判定する（ステップ６５）。

ステップ６５で生成可能と判定された場合、ＦＫ２４（合成押鍵情報）とＦＩを元に運指情報Ｐｓ／Ｐｅを生成する（ステップ６６）。
続いて、ステップ６２で生成した特殊指使い情報ＨＦｓ／ＨＦｅを使用し、始点時の運指情報（始点座標）Ｐｓと終点時の運指情報（終点座標）Ｐｅを補正する（ステップ６７）。

ステップ６４でＴ３からＴ４までの時間が閾値時間Ｔminより長い場合は、後の時刻における押鍵情報を考慮することが不要と判断し、ＦＫ２（時刻Ｔ２における押鍵情報）とＦＩから始点時の運指情報Ｐｓ（終点時の運指位置情報Ｐｅ）を生成する（ステップ６８）。また、ステップ６５で生成不可能と判定された場合も、合成される指の押鍵位置が離れていると判断し、ＦＫ２（時刻Ｔ２における押鍵情報）とＦＩから始点時の運指位置情報Ｐｓ（終点時の運指位置情報Ｐｅ）を生成する（ステップ６８）。その後、特殊指使い情報ＨＦｓ／ＨＦｅにより始点時の運指位置情報Ｐｓと終点時の運指位置情報Ｐｅの各座標を補正する（ステップ６７）。

それぞれのステップで運指情報ＰｓやＰｅを生成する場合、図１に示した運指表示装置の運指位置情報生成部１４において運指位置情報を作成することになるが、この場合、図５のフローチャートに示される手順で行われる。

先ず、押鍵指座標を算出する（ステップ４１）。
次に、押鍵中の各指のＸ座標の距離が最大指間隔の許容値以内かを判断する（ステップ４２）。

押鍵指の各指間隔が許容値以内の場合は、離鍵中の各指の座標を算出し（ステップ４３）、手の甲の中心座標を算出し（ステップ４４）、各押鍵指のＹ座標（鍵盤の奥行方向）が各押鍵指に対応する鍵の領域内であるかどうかを判断する（ステップ４５）。

各押鍵指のＹ座標が鍵領域外であれば、全座標をすべての押鍵指のＹ座標が鍵領域内に収まり尚且つ最大限鍵盤の手前方向になるような距離分だけ相対移動させ（ステップ４６）、運指位置情報を確定する。
また、ステップ４３において、指間隔が許容値を超える場合は、運指位置情報を得ることなくリターンする。

図４のフローチャートに戻り、ステップ６３で再生時刻Ｔが押鍵中でない場合、Ｔ４が無効、且つ、ＴがＴ２以上（次の押鍵がない）かどうかを判定する（ステップ７０）。
Ｔ４（Ｔ２以降最寄りの押鍵時刻）が見つからない（次の押鍵がない）場合、ＦＫ１（時刻Ｔ１における押鍵情報）とＦＩから運指の始点座標Ｐｓ（＝終点座標Ｐｅ）を生成し（ステップ７１）、特殊指使い情報ＨＦｓ／ＨＦｅにより始点座標Ｐｓと終点座標Ｐｅを補正する（ステップ６７）。

ステップ７０でＴ４（Ｔ２以降最寄りの押鍵時刻）が見つかる（次の押鍵がある）場合は、Ｔ１ {Ｔ以前の最寄りの離鍵時刻に対応する時刻（離鍵時刻より所定時間前の時刻など）｝からＴ２（Ｔが離鍵時はＴ以降最寄りの押鍵時刻、Ｔが押鍵時はＴ以前最寄りの押鍵時刻）までの時間が予め設定された閾値時間であるＴminより短いかを判定する（ステップ７２）。Ｔminは、ＦＫ１とＦＫ２とを合成すべき許容時間の閾値であり、本例では予め決められた「９６」に設定されている。

Ｔ１からＴ２までの時間が閾値時間Ｔminより短い場合、ＦＫ１２｛押鍵情報ＦＫ１とＦＫ２を合成した押鍵情報（各指の押鍵フラグ、鍵番号）｝とＦＩを元に運指情報Ｐｓ（運指の始点時の運指位置情報）が生成可能か判定する（ステップ７３）。
生成可能な場合は、ＦＫ１２とＦＩから運指の始点時の運指位置情報Ｐｓを生成する（ステップ７４）。

ステップ７２でＴ１ からＴ２までの時間が予め設定された閾値時間であるＴminより長い場合は、Ｔ１からＴ（再生時刻）までの時間が予め設定された閾値時間であるＴminより短いかを判定する（ステップ７５）。
すなわち、ステップ７２でＴ１からＴ２に至る時間が所望時間より長い場合は、先行移動の運指画像を表示するようにし、ステップ７５で「Ｙ」の場合は運指画像が先行移動中、ステップ７５で「Ｎ」の場合は先行移動が終了して、次の押鍵待ち状態となる。
ステップ７３で運指情報Ｐｓ（始点時の運指位置情報）が生成不可能と判断された場合、又は、ステップ７５でＴ１からＴまでの時間が予め設定された閾値時間であるＴminより長い場合、ＦＫ１（時刻Ｔ１における押鍵情報）とＦＩから運指の始点座標Ｐｓを生成する（ステップ７６）。

ステップ７４やステップ７６で運指の始点座標Ｐｓが生成された場合、Ｔ３｛Ｔ２以降最寄りの離鍵時刻（Ｔ２押鍵の次に離鍵される時刻に対応する時刻）｝からＴ４｛Ｔ２以降最寄りの押鍵時刻（Ｔ２押鍵の次に押鍵される時刻）｝までの時間が予め設定された閾値時間であるＴminより短いかを判定する（ステップ７７）。Ｔminは、ＦＫ２とＦＫ４とを合成すべき許容時間の閾値であり、本例では予め決められた「９６」に設定されている。
ステップ７７でＴ３からＴ４までの時間が閾値時間Ｔminより短い場合、ＦＫ２４｛押鍵情報ＦＫ２とＦＫ４を合成した押鍵情報（各指の押鍵フラグ、鍵番号）｝とＦＩを元に運指情報Ｐｅ（終点時の運指位置情報）が生成可能か判定する（ステップ７８）。
生成可能な場合は、ＦＫ２４とＦＩから終点時の運指位置情報Ｐｅを生成し（ステップ７９）、特殊指使い情報ＨＦｓ／ＨＦｅにより始点時の運指位置情報Ｐｓと終点時の運指位置情報Ｐｅの各座標を補正する（ステップ６７）。

ステップ７７でＴ３からＴ４までの時間が閾値時間Ｔminより長い場合、又は、ステップ７８で運指情報Ｐｅが生成不可能と判定された場合は、ＦＫ２とＦＩから終点時の運指位置情報Ｐｅを生成し（ステップ８０）、特殊指使い情報ＨＦｓ／ＨＦｅにより始点時の運指位置情報Ｐｓと終点時の運指位置情報Ｐｅの各座標を補正する（ステップ６７）。

また、ステップ７５でＴ１からＴまでの時間が閾値時間Ｔminより長い場合は、ＦＫ２４から運指位置情報Ｐｅが生成可能であるかを判断し（ステップ８２）、可能である場合は、ＦＫ２４から運指位置情報Ｐｓ及びＰｅを生成し（ステップ８３）、可能でない場合は、ＦＫ２から運指位置情報Ｐｓ及びＰｅを生成する（ステップ８４）。この場合、押鍵待ち状態となっているので、運指情報Ｐｓと運指情報Ｐｅは同じものとなる。
そして、特殊指使い情報ＨＦｓ／ＨＦｅにより始点時の運指位置情報Ｐｓと終点時の運指位置情報Ｐｅの各座標を補正する（ステップ６７）。

ステップ６７で運指位置情報Ｐｓの始点座標と運指位置情報Ｐｅの終点座標の補正が行われた後、始点座標Ｐｓ（Ｐｓｘ，Ｐｓｙ）と終点座標Ｐｅ（Ｐｅｘ，Ｐｅｙ）とから再生時刻Ｔにおける移動補間座標Ｐｍ（Ｐｍｘ，Ｐｍｙ）を生成する（ステップ９０）。
運指位置情報Ｐｍは、再生時刻Ｔにおける運指位置情報（各指の根本及び先端座標、手の甲の中心座標）から構成されている。

ステップ５７、ステップ５９、ステップ６０で終点座標Ｐｅが生成された場合は、複数の異なる時刻における押鍵情報を合成した合成押鍵情報を元にしていないため、指かえ、指くぐり、指ごえによる補正の必要がなく、始点座標Ｐｓ（Ｐｓｘ，Ｐｓｙ）と終点座標Ｐｅ（Ｐｅｘ，Ｐｅｙ）とから再生時刻Ｔにおける移動補間座標Ｐｍ（Ｐｍｘ，Ｐｍｙ）を生成する（ステップ９０）。

移動補間座標ＰｍのＸ座標（Ｐｍｘ）及びＹ座標（Ｐｍｙ）は、始点時刻Ｔｓ、終点時刻Ｔｅ、現在時刻をＴとした場合、次式（１）（２）で算出される。
Ｐｍｘ ＝ Ｐｓｘ ＋（Ｐｅｘ－Ｐｓｘ）×（Ｔ－Ｔｓ）÷（Ｔｅ－Ｔｓ） （１）
Ｐｍｙ ＝ Ｐｓｙ ＋（Ｐｅｙ‐Ｐｓｙ）×（Ｔ‐Ｔｓ）÷（Ｔｅ‐Ｔｓ） （２）

次に、ステップ９０で生成した移動補間座標Ｐｍから描画情報を生成する（ステップ９１）。
続いて、ステップ９１で生成された描画情報により運指画像を描画し（ステップ９２）、運指描画の処理を終了する。

上述したフローチャートにおいては、ステップ５６、ステップ６４及びステップ７７におけるＦＫ２とＦＫ４とを合成すべき許容時間の閾値となるＴmin、ステップ７２及びステップ７５におけるＦＫ１とＦＫ２とを合成すべき許容時間の閾値となるＴminについて、全て同じ時間間隔である「９６」に設定したが、それぞれ独自の時間間隔に設定してもよい。Ｔminを実時間でなくデルタタイムとしているのは、テンポが速い場合には短い時間で、テンポが遅い場合には長い時間になるようにするためである。

続いて、具体的な楽譜に対応して生成される運指画像の例について、図６～９を参照して説明する。
図６は、楽曲「エリーゼのために」の第１小節から第７小節を示した楽譜であり、上段が右手演奏部分、下段が左手演奏部分となっている。図７は、図６の楽譜に対応した左手演奏部分のピアノロールを示している。

図７のピアノロールでは、下から上に向けて小節が進行し、左右方向に鍵盤の一部となる鍵（ノートナンバー３６～５９）が表示され、各鍵の上方領域に方形状に表示されている部分が押鍵状態となっていることを示している。したがって、方形状部分の下端位置が押鍵開始位置、上端位置が離鍵位置であり、下端位置に表示されている数字が押鍵時刻（例えば、最下段に表示されているノートナンバー４５に対応する押鍵時刻１９２）であり、略中央位置に表示されている数字が離鍵時刻から所定時間前の時刻（例えば、ノートナンバー４５の離鍵前時刻２０２）である。

図８及び図９は、図６の楽譜の第１小節から第７小節中の任意の再生時間Ｔにおける押鍵情報から生成する運指画像を示した対応表である。
図８では、再生時間Ｔが「時刻０」「時刻１４４」「時刻１９２」「時刻２１０」「時刻２１６」「時刻２３４」「時刻２４０」「時刻２８８」「時刻３３６」「時刻３５４」の各状態Ａ～Ｊの時に、上述した始点時刻の運指情報（運指位置情報）Ｐｓと終点時刻の運指情報（運指位置情報）Ｐｅとから運指画像が生成される。運指位置情報には、時刻（デルタタイム）、押鍵情報（押鍵する指に対するノートナンバー、特殊指使い情報）が含まれる。特殊指使いの情報は、フラグの有無により管理されている。
図９では、再生時間Ｔが「時刻３６０」「時刻３７８」「時刻３８４」「時刻４３２」「時刻４８０」「時刻４９８」「時刻５０４」「時刻５２２」「時刻５２８」「時刻５８８」「時刻７６８」の各状態Ｋ～Ｕの時の運指画像が示されている。

図８の状態Ａ（再生時刻Ｔ＝０）から順次、各状態での運指画像の生成について説明する。
再生時刻Ｔが「０」である時は、図４のフローチャートのステップ５２の走査において、Ｔ１が無効（Ｔ以前の最寄りの離鍵時刻に対応する時刻が存在しない）、Ｔ２は再生時刻Ｔが離鍵時となるのでＴ以降の最寄り押鍵時刻である「時刻１９２」、Ｔ３はＴ２以降の最寄りの離鍵時刻となる「時刻２０２」、Ｔ４はＴ２以降の最寄りの押鍵時刻となる「時刻２１６」となる。
再生時刻Ｔが「０」である場合、Ｔ１が無効、且つ、Ｔ＜Ｔ２を満たすので、ステップ５５が「Ｙ」となり、始点時の運指位置情報ＰｓがＦＫ１（ステップ５６）、ステップ５７の条件を満たすことで、終点時の運指位置情報ＰｅもＦＫ１となる（ステップ５８）。この場合のＦＫ１は、Ｔ１が存在していないのでホームポジションの初期画像の押鍵情報となる。
ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、運指位置情報Ｐｓと運指位置情報Ｐｅの合成であるが、ともに初期画像の押鍵情報であるので、運指位置情報Ｐｍで描画される運指画像も初期画像となる。

再生時刻Ｔが「１４４」である状態Ｂの時は、図４のフローチャートのステップ５２の走査において、Ｔ１が無効、Ｔ２は再生時刻Ｔが離鍵時となるのでＴ以降の最寄り押鍵時刻である「時刻１９２」、Ｔ３が「時刻２０２」、Ｔ４が「時刻２１６」となる。
再生時刻Ｔが「１４４」である場合、Ｔ＝０の時と同様に、Ｔ１が無効、且つ、Ｔ＜Ｔ２を満たすので、ステップ５５が「Ｙ」となり、始点時の運指位置情報ＰｓがＦＫ１となる（ステップ５６）。

ステップ５７においては、Ｔminが「９６」に設定されているので、ステップ５７の条件を満たさないので「Ｎ」となり、ＦＫ２４でＰｅが生成可能か判断される（ステップ５９）。この場合、小指でノートナンバー４５、人差し指でノートナンバー５２を同時に押鍵可能なことよりＦＫ２４でのＰｅが生成可能の判断となり、終点時の運指位置情報ＰｅはＦＫ２４となる（ステップ６０）。この場合のＦＫ２４は、小指でノートナンバー４５を押鍵、人差し指でノートナンバー５２を押鍵するＦＫ２とＦＫ４との合成押鍵情報となる。

ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、初期画像の運指位置情報Ｐｓと、ＦＫ２４の運指位置情報Ｐｅとの合成となり、運指位置情報Ｐｍで描画される運指画像は、初期画像（ホームポジション）からノートナンバー４５，５２を押鍵する和音形の手形に移動するノートナンバー４５押鍵前の移動中画像となる。

再生時刻Ｔが「１９２」である状態Ｃの時は、図４のフローチャートのステップ５２の走査において、Ｔ１が無効、Ｔ２は再生時刻Ｔが押鍵時となるのでＴ以前の最寄り押鍵時刻である「時刻１９２」、Ｔ３が「時刻２０２」、Ｔ４が「時刻２１６」となる。

再生時刻Ｔが「１９２」である場合、Ｔ＝Ｔ２でありＴ＜Ｔ２を満たさないので、ステップ５５の判断が「Ｎ」となる。ＦＫ１２及びＦＫ２４は、既にステップ５４で生成されている。
時刻１９２では押鍵中であり（ステップ６３）、Ｔ４－Ｔ３＝１４＜Ｔmin＝９６となり（ステップ６４）、ＦＫ２４でＰｓ及びＰｅが生成可能か判断され（ステップ６５）、上述のように小指でノートナンバー４５、人差し指でノートナンバー５２を同時に押鍵可能なことよりＦＫ２４でのＰｓ及びＰｅが生成可能となり、始点時の運指位置情報Ｐｓ及び終点時の運指位置情報ＰｅはＦＫ２４となる（ステップ６６）。この場合のＦＫ２４は、小指でノートナンバー４５を押鍵、人差し指でノートナンバー５２を押鍵するＦＫ２とＦＫ４との合成押鍵情報となる。
ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ２４の運指位置情報Ｐｓ（Ｐｅ）となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー４５，５２を押鍵可能な和音形の手形でノートナンバー４５に押鍵中の押鍵表示が行われた運指画像となる。

再生時刻Ｔが「２１０」である状態Ｄの時は、図４のフローチャートのステップ５２の走査において、Ｔ１がＴ以前の最寄りの離鍵時刻に対応する「時刻２０２」、Ｔ２は再生時刻Ｔが離鍵時となるのでＴ以降の最寄り押鍵時刻である「時刻２１６」、Ｔ３はＴ２以降の最寄りの離鍵時刻である「時刻２２６」、Ｔ４はＴ２以降の最寄りの押鍵時刻である「時刻２１６」となる。

再生時刻Ｔが「２１０」である場合、Ｔ１が存在するのでステップ５５の判断が「Ｎ」となる。
時刻２１０では離鍵中であり（ステップ６３）、ステップ７０の条件｛Ｔ４はＴ２に等しいが、Ｔ（時刻２１０）がＴ２（時刻２１６）以上でない｝は満たさず、ステップ７２の条件（Ｔ２－Ｔ１＝１４＜Ｔmin＝９６）は満たすので、小指でノートナンバー４５、人差し指でノートナンバー５２を同時に押鍵可能なことよりＦＫ１２でＰｓが生成可能と判断され（ステップ７３）、始点時の運指位置情報ＰｓはＦＫ１２となる（ステップ７４）。この場合のＦＫ１２は、小指でノートナンバー４５を押鍵、人差し指でノートナンバー５２を押鍵するＦＫ１とＦＫ２との合成押鍵情報となる。
また、人差し指でノートナンバー５２、親指でノートナンバー５７を同時に押鍵可能なことよりＦＫ２４によりＰｅが生成可能な判断となり、終点時の運指位置情報ＰｅはＦＫ２４となる（ステップ７９）。この場合のＦＫ２４は、人差し指でノートナンバー５２を押鍵、親指でノートナンバー５７を押鍵するＦＫ２とＦＫ４との合成押鍵情報となる。

ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ１２の運指位置情報Ｐｓと、ＦＫ２４の運指位置情報Ｐｅとの合成となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー４５，５２を押鍵する和音形からノートナンバー５２，５７を押鍵する和音形の手形に移動する移動中画像（ノートナンバー４５離鍵後、ノートナンバー５２押鍵前）となる。

再生時刻Ｔが「２１６」である状態Ｅの時は、図４のフローチャートのステップ５２の走査において、Ｔ１がＴ以前の最寄りの離鍵時刻に対応する「時刻２０２」、Ｔ２は再生時刻Ｔが押鍵時となるのでＴ以前の最寄り押鍵時刻である「時刻２１６」、Ｔ３はＴ２以降の最寄りの離鍵時刻である「時刻２２６」、Ｔ４はＴ２以降の最寄りの押鍵時刻である「時刻２４０」となる。

再生時刻Ｔが「２１６」である場合、Ｔ２が「時刻２０２」であり、Ｔ＜Ｔ２を満たさないので、ステップ５５の判断が「Ｎ」となる。
時刻２１６では押鍵中であり（ステップ６３）、ステップ６４の条件（Ｔ４－Ｔ３＝１４＜Ｔmin＝９６）も満たすので、人差し指でノートナンバー５２、親指でノートナンバー５７を同時に押鍵可能なことよりＦＫ２４でのＰｓ及びＰｅが生成可能な判断（ステップ６５）となり、始点時の運指位置情報Ｐｓ及び終点時の運指位置情報ＰｅはＦＫ２４となる（ステップ６６）。この場合のＦＫ２４は、人差し指でノートナンバー５２を押鍵、親指でノートナンバー５７を押鍵するＦＫ２とＦＫ４との合成押鍵情報となる。
ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ２４の運指位置情報Ｐｓ（Ｐｅ）となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー５２，５７を押鍵可能な和音形の手形でノートナンバー５２に押鍵中の押鍵表示が行われた運指画像となる。

再生時刻Ｔが「２３４」である状態Ｆの時は、図４のフローチャートのステップ５２の走査において、Ｔ１がＴ以前の最寄りの離鍵時刻に対応する「時刻２２６」、Ｔ２は再生時刻Ｔが離鍵時となるのでＴ以降の最寄り押鍵時刻である「時刻２４０」、Ｔ３はＴ２以降の最寄りの離鍵時刻である「時刻２６３」、Ｔ４はＴ２以降の最寄りの押鍵時刻である「時刻３３６」となる。
再生時刻Ｔが「２３４」である場合、Ｔ１が存在するのでステップ５５の判断が「Ｎ」となる。
時刻２３４では離鍵中であり（ステップ６３）、ステップ７０の条件を満たさず｛Ｔ４はＴ２に等しいが、Ｔ（時刻２３４）がＴ２（時刻２４０）以上でない｝、ステップ７２の条件（Ｔ２－Ｔ１＝１４＜Ｔmin＝９６）は満たすので、ＦＫ１２でＰｓが生成可能か判断され（ステップ７３）、始点時の運指位置情報ＰｓはＦＫ１２となる（ステップ７４）。この場合のＦＫ１２は、人差し指でノートナンバー４５を押鍵、親指でノートナンバー５７を押鍵するＦＫ１とＦＫ２との合成押鍵情報となる。
ステップ７７の条件（Ｔ４－Ｔ３＝７３＜Ｔmin＝９６）を満たし、Ｔ２の小指押鍵時のノートナンバーが「４０」であり、Ｔ４の親指押鍵時のノートナンバー「５７」との和音が同じ手形の形状では無理なので、ステップ７８ではＦＫ２４によりＰｅが生成不可能と判断し、終点時の運指位置情報ＰｅはＦＫ２となる（ステップ８０）。この場合のＦＫ２は、親指でノートナンバー５７を押鍵する押鍵情報となる。

ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ１２の運指位置情報Ｐｓと、ＦＫ２の運指位置情報Ｐｅとの合成となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー５２，５７を押鍵する和音形からノートナンバー５７を押鍵する単音形の手形に移動する移動中画像（ノートナンバー５２離鍵後、ノートナンバー５７押鍵前）となる。

再生時刻Ｔが「２４０」である状態Ｇの時は、図４のフローチャートのステップ５２の走査において、Ｔ１がＴ以前の最寄りの離鍵時刻に対応する「時刻２２６」、Ｔ２は再生時刻Ｔが押鍵時となるのでＴ以前の最寄り押鍵時刻である「時刻２４０」、Ｔ３はＴ２以降の最寄りの離鍵時刻である「時刻２６３」、Ｔ４はＴ２以降の最寄りの押鍵時刻である「時刻３３６」となる。

再生時刻Ｔが「２４０」である場合、Ｔ２が「時刻２４０」であり、Ｔ＜Ｔ２を満たさないので、ステップ５５の判断が「Ｎ」となる。
時刻２４０では押鍵中であり（ステップ６３）、ステップ６４の条件（Ｔ４－Ｔ３＝７３＜Ｔmin＝９６）を満たすので、ＦＫ２４でＰｓ及びＰｅが生成可能か判断される（ステップ６５）。ステップ６５では、Ｔ２の小指押鍵時のノートナンバーが「４０」であり、Ｔ４の親指押鍵時のノートナンバー「５７」との和音が無理なのでＦＫ２４によりＰｅが生成不可能と判断し、始点時の運指位置情報Ｐｓ及び終点時の運指位置情報ＰｅはＦＫ２となる（ステップ６８）。この場合のＦＫ２は、親指でノートナンバー５７を押鍵する押鍵情報となる。

ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ２の運指位置情報Ｐｅ（Ｐｅ）となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー５７を押鍵可能な単音形の手形でノートナンバー５７に押鍵中の押鍵表示が行われた運指画像となる。

再生時刻Ｔが「２８８」である状態Ｈの時は、図４のフローチャートのステップ５２の走査において、Ｔ１がＴ以前の最寄りの離鍵時刻に対応する「時刻２６３」、Ｔ２は再生時刻Ｔが離鍵時となるのでＴ以降の最寄り押鍵時刻である「時刻３３６」、Ｔ３はＴ２以降の最寄りの離鍵時刻である「時刻３４６」、Ｔ４はＴ２以降の最寄りの押鍵時刻である「時刻３６０」となる。

再生時刻Ｔが「２８８」である場合、Ｔ１が存在するのでステップ５５の判断が「Ｎ」となる。
時刻２８８では離鍵中であり（ステップ６３）、ステップ７０の条件を満たさず（Ｔ４＞Ｔ２）、ステップ７２の条件（Ｔ２－Ｔ１＝７３＜Ｔmin＝９６）は満たし、ＦＫ１２でＰｓが生成可能か判断される（ステップ７３）。
ステップ７３では、合成される指の押鍵位置が離れているため生成不可能と判断し、始点時の運指位置情報ＰｓはＦＫ１となる（ステップ７６）。この場合のＦＫ１は、親指でノートナンバー５７を押鍵する押鍵情報となる。
ステップ７７の条件（Ｔ４－Ｔ３＝１４＜Ｔmin＝９６）を満たし、小指でノートナンバー４０、親指でノートナンバー５２を同時に押鍵可能なことからＦＫ２４でＰｓ及びＰｅが生成可能と判断され（ステップ７８）、終点時の運指位置情報ＰｅはＦＫ２４となる（ステップ７９）。この場合のＦＫ２４は、小指でノートナンバー４０を押鍵、親指でノートナンバー５２を押鍵するＦＫ２とＦＫ４との合成押鍵情報となる。

ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ１の運指位置情報Ｐｓと、ＦＫ２４の運指位置情報Ｐｅとの合成となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー５７を押鍵する単音形からノートナンバー４０とノートナンバー５２を押鍵する和音形の手形に移動する移動中画像（ノートナンバー５７離鍵後、ノートナンバー４０押鍵前）となる。

再生時刻Ｔが「３３６」である状態Ｉの時は、図４のフローチャートのステップ５２の走査において、Ｔ１がＴ以前の最寄りの離鍵時刻に対応する「時刻２６３」、Ｔ２は再生時刻Ｔが押鍵時となるのでＴ以前の最寄り押鍵時刻である「時刻３３６」、Ｔ３はＴ２以降の最寄りの離鍵時刻である「時刻３４６」、Ｔ４はＴ２以降の最寄りの押鍵時刻である「時刻３６０」となる。

再生時刻Ｔが「３３６」である場合、Ｔ２が「時刻２６３」であり、Ｔ＜Ｔ２を満たさないので、ステップ５５の判断が「Ｎ」となる。
時刻３３６では押鍵中であり（ステップ６３）、ステップ６４の条件（Ｔ４－Ｔ３＝１４＜Ｔmin＝９６）を満たすので、ＦＫ２４でＰｓ及びＰｅが生成可能と判断され（ステップ６５）、始点時の運指位置情報Ｐｓ及び終点時の運指位置情報ＰｅはＦＫ２４となる（ステップ６６）。この場合のＦＫ２４は、小指でノートナンバー４０を押鍵、人差し指でノートナンバー５２を押鍵するＦＫ２とＦＫ４との合成押鍵情報となる。
ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ２４の運指位置情報Ｐｓ（Ｐｅ）となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー４０，５２を押鍵可能な和音形の手形でノートナンバー４０に押鍵中の押鍵表示が行われた運指画像となる。

再生時刻Ｔが「３５４」である状態Ｊの時は、図４のフローチャートのステップ５２の走査において、Ｔ１がＴ以前の最寄りの離鍵時刻に対応する「時刻３４６」、Ｔ２は再生時刻Ｔが離鍵時となるのでＴ以降の最寄り押鍵時刻である「時刻３６０」、Ｔ３はＴ２以降の最寄りの離鍵時刻である「時刻３７０」、Ｔ４はＴ２以降の最寄りの押鍵時刻である「時刻３８４」となる。
再生時刻Ｔが「３５４」である場合、Ｔ１が存在するのでステップ５５の判断が「Ｎ」となる。

時刻３５４では離鍵中であり（ステップ６３）、ステップ７０の条件は満たさず（Ｔ４＞Ｔ２）、ステップ７２の条件を満たし（Ｔ２－Ｔ１＝１４＜Ｔmin＝９６）、ＦＫ１２でＰｓが生成可能と判断され（ステップ７３）、始点時の運指位置情報ＰｓはＦＫ１２となる（ステップ７４）。この場合のＦＫ１２は、小指でノートナンバー４０を押鍵、親指でノートナンバー５２を押鍵するＦＫ１とＦＫ２との合成押鍵情報となる。
ステップ７７の条件を満たし（Ｔ４－Ｔ３＝１０＜Ｔmin＝９６）、ＦＫ２４によりＰｅが生成可能なので、終点時の運指位置情報ＰｅはＦＫ２４となる（ステップ７９）。この場合のＦＫ２４は、親指でノートナンバー５２を押鍵するＦＫ２とＦＫ４との合成押鍵情報となる。

ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ１２の運指位置情報Ｐｓと、ＦＫ２４の運指位置情報Ｐｅとの合成となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー４０，５２を押鍵する和音形からノートナンバー５２のみを押鍵する単音形の手形に移動する移動中画像（ノートナンバー４０離鍵後、ノートナンバー５２押鍵前）となる。

各状態Ｋ～Ｕは、状態Ａ～Ｊと同様に、図４のフローチャートの処理により得られた運指画像を示すものであり、各状態に対応する運指画像は次のような表示となる。
状態Ｋ ノートナンバー５２を押鍵中 ノートナンバー５２単音形
状態Ｌ ノートナンバー５２を離鍵後、ノートナンバー５６押鍵前の移動中
ノートナンバー５２単音形からノートナンバー５６単音形（指ごえ）に変化
状態Ｍ ノートナンバー５６を押鍵中 ノートナンバー５６単音形（指ごえ）
状態Ｎ ノートナンバー５６を離鍵後、ノートナンバー４５押鍵前の移動中
ノートナンバー５６単音形からノートナンバー４５、５２和音形に変化
状態Ｏ ノートナンバー４５を押鍵中 ノートナンバー４５、５２和音形
状態Ｐ ノートナンバー４５を離鍵後、ノートナンバー５２押鍵前の移動中
ノートナンバー４５、５２和音形からノートナンバー５２、５７和音形に変化
状態Ｑ ノートナンバー５２を押鍵中 ノートナンバー５２、５７和音形
状態Ｒ ノートナンバー５２を離鍵後、ノートナンバー５７押鍵前の移動中
ノートナンバー５２、５７和音形からノートナンバー５７単音形に変化
状態Ｓ ノートナンバー５７を押鍵中 ノートナンバー５７単音形
状態Ｔ ノートナンバー５７を離鍵後、ノートナンバー４５押鍵前の移動中
ノートナンバー５７単音形からノートナンバー４５、５２和音形に変化
状態Ｕ ノートナンバー４５を押鍵中 ノートナンバー４５、５２和音形

状態Ｌ及び状態Ｍでは、特殊指使いである「指ごえ」の指使いが分かるように、運指画像が表示される。特殊指使いの有無は、「指かえ」「指くぐり」「指ごえ」のいずれの操作を含むのかをフラグを立てることで判断する。
また、特殊指使いの画像生成については、図４のステップ６２の処理において、楽譜情報から押鍵情報を生成し、ステップ６７の押鍵情報の補正処理において取り込まれ、運指画像が表示される。

本発明の運指表示プログラムでは、運指動画を生成する場合に、離鍵してから次に押鍵するまでの時間が長い場合に、離鍵してから短い経過時間内に運指画像を先行移動させて、運指画像に不自然な動きをさせないことを特徴とするものである。
図６の楽譜の場合、左手の演奏において、第５小節に１６分休符及び８分休符が、第６小節に全休符が存在しているので、この間の左手は押鍵を行わない。この部分の楽譜に対応する図７のピアノロールは、「時刻５８８」の状態Ｔとなる。

再生時刻Ｔが「５８８」である状態Ｔの時は、図４のフローチャートのステップ５２の走査において、Ｔ１がＴ以前の最寄りの離鍵時刻に対応する「時刻５５１」、Ｔ２は再生時刻Ｔが離鍵時となるのでＴ以降の最寄り押鍵時刻である「時刻７６８」、Ｔ３はＴ２以降の最寄りの離鍵時刻である「時刻７７８」、Ｔ４はＴ２以降の最寄りの押鍵時刻である時刻「７９２」となる。
再生時刻Ｔが「５８８」である場合、Ｔ１が存在するのでステップ５５の判断が「Ｎ」となる。

先行移動を行うかどうかの判断は、図４のフローチャートのおけるステップ７０、ステップ７２及びステップ７５の処理を順次行うことで判断される。すなわち、ステップ７０では最後の押鍵以降であるかどうか、ステップ７２では次の押鍵までが所定時間より短いかどうか、ステップ７５で先行移動を行うかどうかを判断する。

例えば、時刻５８８の場合は離鍵中であり（ステップ６３）、ステップ７０の条件を満たさず（Ｔ＝５８８はＴ２＝７６８以上でない）、ステップ７２の条件を満たさない（Ｔ２－Ｔ１＝７６８－５８８＝１８０はＴmin９６より大きい）。
時刻５８８の場合、ステップ７５の条件を満たす（Ｔ－Ｔ１＝５８８－５５１＝３７はＴmin９６より小さい）ので、ここで先行移動の対象となる。Ｔ１からＴ２までの時間がＴminより長いためＴ１時とＴ２時の押鍵を合成できないので始点時の運指位置情報ＰｓはＦＫ１２ではなくＦＫ１となる（ステップ７６）。この場合のＦＫ１は、親指でノートナンバー５７を押鍵するＦＫ１押鍵情報となる。

続いてステップ７７の条件を判断し、Ｔ４－Ｔ３＝７９２－７７８＝１４はＴmin９６より小さいので「Ｙ」となり、ＦＫ２４によりＰｅが生成可能なので（ステップ７８）、終点時の運指位置情報ＰｅはＦＫ２４となる（ステップ７９）。この場合のＦＫ２４は、人差し指でノートナンバー５２を押鍵し小指でノートナンバー４５を押鍵するＦＫ２とＦＫ４との合成押鍵情報となる。

ステップ９０で生成される再生時刻Ｔにおける運指位置情報Ｐｍは、ＦＫ１の運指位置情報Ｐｓと、ＦＫ２４の運指位置情報Ｐｅとの合成となり、運指位置情報Ｐｍで描画される運指画像は、ノートナンバー５７単音形からノートナンバー４５、５２和音形の手形に移動する移動中画像（ノートナンバー５７を離鍵後、ノートナンバー４５押鍵前の移動中）となる。
先行移動終点時刻は、始点時刻５５１（Ｔ１）からＴmin（９６）後の時刻６４７となる。

次に、先行移動による運指画像の描画について、図２、図１０及び図１１を参照して説明する。

図２の楽譜は、図６の楽譜の第５～６小節を拡大したものであり、楽譜におけるＢＡＲの位置から、左手による第５小節の最後の楽音が親指によって「ラ」の音が押鍵された押鍵画像が表示されている。この後、演奏が進行しても、左手による押鍵は第７小節の「ラ」の音まで休止することとなる。

このような場合、従来の押鍵画像の描写であると、図１０に示すように、押鍵画像はＢＡＲの進行に応じて左側に移動し、第７小節が始まる直後に小指により「ラ」の音を押鍵する位置まで１小節半の時間をかけてゆっくりと移動するようになる。

これに対して上述した運指描画の手法によれば、押鍵画像を生成するに際して、再生時刻Ｔにおいて押鍵から離鍵に変化する離鍵時から再生時刻Ｔ以降の最寄りの押鍵時刻である時刻Ｔ２と、時刻Ｔ２における押鍵情報に変化する直前の時刻Ｔ１とを求め、時刻Ｔ１から時刻Ｔ２に至る時間が所望時間より長い場合には、さらに時刻Ｔ１から再生時刻Ｔまでの経過時間が短いかどうかを判断し、短い場合には時刻Ｔ２における押鍵情報を合成した合成押鍵情報を元に終点時刻をＴ１＋Ｔminとして終点運指位置情報（Ｐｅ）を求め、運指位置情報（Ｐｍ）を生成する。

そのため、図１１（ａ）に示すように、ＢＡＲが第５小節を移動中に、既に左手の押鍵画像が第７小節の「ラ」を押鍵できる位置まで先行移動させることができる。実際にＢＡＲが第７小節の第１の楽音を弾く時には、図１１（ｂ）に示すような押鍵画像となっている。すなわち、図１１（ａ）の再生時間Ｔの時点で、図１１（ｂ）で押鍵対象となる鍵の位置まで短い時間で予め移動させることが可能となる。

上述した押鍵画像の描画手法（運指表示プログラム）によれば、楽曲の各楽音とそれに対応する指番号を含む演奏情報に基づき楽曲再生時に楽器を演奏する運指動画を描画して画面に運指表示する場合に、楽曲再生時の再生時刻Ｔに対応する運指位置情報Ｐｍを元に運指描画を生成するに際して、再生時刻Ｔ以前の時刻の運指位置情報Ｐｓと、再生時刻Ｔ以降の時刻の運指位置情報Ｐｅとを合成した合成押鍵情報を元にして行う。

そして、離鍵してから次に押鍵するまでの時間を判断することで、その時間が長い場合であっても、次の押鍵時刻になるできるだけ前までに手の移動が完了するように運指画像を生成することができる。これにより、すばやく次の押鍵のための手や指の準備を行うように練習者に指示することができる。

１１…楽音・指番号情報記憶部
１２…押鍵情報生成部
１３…押鍵情報記憶部
１４…運指位置情報生成部
１５…運指画像生成部
１６…楽譜画像生成部
１７…画像情報記憶部
１８…表示装置
２１…再生情報生成部
２２…再生情報記憶部
２３…サウンド生成部
２４…サウンド再生部
２５…サウンド出力装置
Ｔ１…再生時刻Ｔ以前の最寄りの離鍵直前時刻に対応する時刻（離鍵時刻より所定時間前の時刻など）
Ｔ２…再生時刻Ｔが離鍵時はＴ以降最寄りの押鍵時刻、再生時刻Ｔが押鍵時はＴ以前最寄りの押鍵時刻
Ｔ３…Ｔ２以降最寄りの離鍵時刻（Ｔ２押鍵の次に離鍵される時刻に対応する時刻）
Ｔ４…Ｔ２以降最寄りの押鍵時刻（Ｔ２押鍵の次に押鍵される時刻）
ＦＫ１…時刻Ｔ１における押鍵情報（各指の押鍵フラグ、鍵番号）
ＦＫ２…時刻Ｔ２における押鍵情報（各指の押鍵フラグ、鍵番号）
ＦＫ４…時刻Ｔ４における押鍵情報（各指の押鍵フラグ、鍵番号）
ＦＫ１２…押鍵情報ＦＫ１と押鍵情報ＦＫ２を合成した押鍵情報（各指の押鍵フラグ、鍵番号）
ＦＫ２４…押鍵情報ＦＫ２と押鍵情報ＦＫ４を合成した押鍵情報（各指の押鍵フラグ、鍵番号）
Ｐｓ…運指の始点時の運指位置情報（各指の根本座標及び先端座標、手の甲の中心座標）
Ｐｅ…運指の終点時の運指位置情報（各指の根本座標及び先端座標、手の甲の中心座標）
Ｐｍ…再生時刻Ｔにおける運指位置情報（各指の根本座標及び先端座標、手の甲の中心座標）

Claims (7)

1. 楽曲の各楽音とそれに対応する指番号を含む演奏情報に基づき楽曲再生時に楽器を演奏する運指動画を描画して画面に運指表示するプログラムであって、
   前記楽曲再生時の再生時刻（Ｔ）に対応する運指位置情報（Ｐｍ）を元に運指描画を生成するに際して、
   前記再生時刻（Ｔ）において押鍵から離鍵に変化する離鍵時から再生時刻（Ｔ）以降の最寄りの押鍵時刻である時刻（Ｔ２）と、
   前記時刻（Ｔ２）における押鍵情報に変化する直前の時刻（Ｔ１）と、
   前記時刻（Ｔ１）から前記時刻（Ｔ２）に至る時間が予め設定された閾値時間より長い場合に、前記再生時刻（Ｔ）が前記時刻（Ｔ１）から前記閾値時間が経過するまでの間に前記時刻（Ｔ２）の押鍵情報に対応する運指位置への移行を完了する運指位置情報（Ｐｍ）を生成する
   ことをコンピュータに実行させることを特徴とする運指表示プログラム。
2. 少なくとも再生時刻（Ｔ）以前の時刻および再生時刻（Ｔ）以降の時刻を含む単一の押鍵情報、および複数の異なった時刻におけるそれぞれの押鍵情報を合成した合成押鍵情報を元にして前記運指位置情報（Ｐｍ）を生成する
   ことを特徴とする請求項１に記載の運指表示プログラム。
3. 前記複数の異なった時刻とは、
   前記時刻（Ｔ２）における押鍵情報に変化する直前の時刻（Ｔ１）と、
   前記時刻（Ｔ２）における押鍵情報から変化した直後の時刻（Ｔ４）を含む
   ことを特徴とする請求項２に記載の運指表示プログラム。
4. 前記合成押鍵情報とは、
   前記時刻（Ｔ１）における押鍵情報（ＦＫ１）と前記時刻（Ｔ２）における押鍵情報（ＦＫ２）とを合成した押鍵情報（ＦＫ１２）と、
   前記時刻（Ｔ２）における押鍵情報（ＦＫ２）と前記時刻（Ｔ４）における押鍵情報（ＦＫ４）とを合成した押鍵情報（ＦＫ２４）とを含む
   ことを特徴とする請求項３に記載の運指表示プログラム。
5. 前記押鍵情報とは、当該時刻における各指の押鍵位置（鍵盤位置）と押鍵状態（押鍵か離鍵か）であることを特徴とする請求項１乃至４に記載の運指表示プログラム。
6. 前記運指位置情報（Ｐｍ）は、少なくとも手の甲の中心位置および各指の先端位置を含むことを特徴とする請求項１乃至５に記載の運指表示プログラム。
7. 前記運指位置情報（Ｐｍ）は、
   再生時刻（Ｔ）以前の時刻（Ｔｓ）における運指の始点時の運指位置情報（Ｐｓ）と、
   再生時刻（Ｔ）以降の時刻（Ｔｅ）における運指の終点時の運指位置情報（Ｐｅ）と
   を時刻Ｔｓから時刻Ｔｅまでの時間経過に応じて補間して算出された運指位置情報である請求項１乃至６に記載の運指表示プログラム。

Images