JP4222395B2 - 自動演奏ピアノ - Google Patents

自動演奏ピアノ Download PDF

Info

Publication number
JP4222395B2
JP4222395B2 JP2006240118A JP2006240118A JP4222395B2 JP 4222395 B2 JP4222395 B2 JP 4222395B2 JP 2006240118 A JP2006240118 A JP 2006240118A JP 2006240118 A JP2006240118 A JP 2006240118A JP 4222395 B2 JP4222395 B2 JP 4222395B2
Authority
JP
Japan
Prior art keywords
key
time
speed
release
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006240118A
Other languages
English (en)
Other versions
JP2006350384A (ja
Inventor
祐二 藤原
保彦 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2006240118A priority Critical patent/JP4222395B2/ja
Publication of JP2006350384A publication Critical patent/JP2006350384A/ja
Application granted granted Critical
Publication of JP4222395B2 publication Critical patent/JP4222395B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Description

この発明は、例えば、自動的に鍵盤を駆動して演奏を行う自動演奏ピアノに関する。
従来の自動ピアノにおいては、各鍵および各ハンマーに対してセンサが設けられており、これらセンサによって検出したオン/オフイベント、押鍵速度またはハンマー速度等に基づいて演奏データを記録し、この演奏データに基づいて押鍵/離鍵時刻および押鍵速度を制御することにより演奏状態を再生することが可能である。また、自動ピアノにおいて検出した演奏データを、他の自動ピアノあるいは電子楽器等に直接供給することにより、複数箇所でリアルタイムに生演奏を行うことも可能である。
また、単に押鍵/離鍵時刻および押鍵速度等に基づいて各鍵を駆動したのでは演奏の微妙なニュアンスを再現することが困難であるため、リファレンス軌道(鍵軌道の目標値)を生成し連続的に各鍵を駆動する技術が本出願人により提案されている(特願平6−79604号等)。この技術においては、演奏記録時に押鍵時刻、打弦時刻、打弦速度、離鍵時刻、離鍵速度等が演奏データとして記録される。
そして、再生時においては、これら演奏データに基づいてリファレンス軌道が生成され、鍵が駆動される。リファレンス軌道を生成するにあたって最も考慮すべきことは、ハンマー等のピアノアクションの動きを忠実に再現することである。換言すれば、これらを忠実に再現できる限り、リファレンス軌道自体は記録時の鍵軌道と異なっていても差し支えない。
従って、各自動ピアノにおいては、演奏データ(特に打弦時刻、打弦速度)を忠実に実現するためにどのようにリファレンス軌道を生成すればよいのかが予め学習される。すなわち、各鍵が実際に駆動制御され、鍵の動きと、打弦時刻および打弦速度との関係が記憶される。そして、実際に演奏データが供給された場合はその学習結果に基づいてリファレンス軌道が生成され、生成されたリファレンス軌道に基づいて各鍵が駆動されることになる。
ところで、演奏データの記録および再生に供される自動ピアノが同一銘柄であったとしても、ピアノはそれぞれに個体差があり、経年変化する。従って、上述した学習は各自動ピアノ毎に、定期的に行われなければならない。また、ピアノアクションは複雑な運動系を構成するから、鍵の動きに対して線形に反応するわけではない。従って、学習を行う際においては、単打、連打、浅いタッチ、深いタッチなど、様々な状況で鍵を駆動し、各状況におけるピアノアクションの挙動を学習しなければならない。
しかし、各自動ピアノ毎に上述したような学習を行うと、学習のために多大な時間を要し、自動ピアノの制御回路が備えるべきメモリ容量も増大することになる。
この発明は上述した事情に鑑みてなされたものであり、簡単な学習によって高精度の再生を行うことができる自動ピアノの演奏データ変換装置を提供することを目的とする。
上記課題を解決するため請求項1記載の構成にあっては、演奏データを供給する供給手段と、使用に先立って個体差を学習する個体差学習手段であって、(1)鍵がエンド位置からレスト位置に移動するときの当該鍵の軌道の収束状態の部分に基づいて想定される仮想鍵軌道が、エンド位置とレスト位置との間にある所定の離鍵位置に達する時刻と、(2)前記仮想鍵軌道がエンド位置と交差するタイミングである離鍵出発時刻と離鍵を指示した時刻である離鍵指示時刻との差を離鍵立上むだ時間とした場合の、当該離鍵立上むだ時間の呼称値と、実測された離鍵速度とに基づいて得られた呼称離鍵軌道が、前記離鍵位置に達する時刻との差を離鍵到着時刻偏差として、呼称離鍵速度に対する前記離鍵到着時刻偏差及び前記離鍵立上むだ時間の個体差を学習する個体差学習手段と、前記演奏データに基づいて再生するときに、学習した前記離鍵到着時刻偏差及び前記離鍵立上むだ時間に基づいて、離鍵サーボ指示速度値及び離鍵指示時刻を算出する算出手段と、前記演奏データから得られる離鍵時刻データと離鍵速度データとに基づいて、鍵がエンド位置からレスト位置に移動するまでの当該鍵の位置と、当該位置に鍵がエンド位置から至るまでに経過した時間との関係を表す離鍵軌道を生成する軌道生成手段と、前記離鍵指示時刻において前記離鍵速度データに従った速度で鍵をエンド位置からレスト位置に向かって移動させ、前記離鍵軌道に従って鍵が移動するように、当該鍵の駆動を制御する駆動制御手段とを備えることを特徴とする。
1.実施形態の原理
1.1.リファレンスポイント
図10は、一般的な自動ピアノの要部の構成を示す断面図である。図に示すように、自動ピアノにおいては、鍵1と、鍵1の運動をハンマー2に伝達するアクション3と、ハンマー2によって打弦される弦4と、鍵1を駆動するソレノイド5とを有している。そして、ソレノイド5のプランジャが突出すると、鍵1がバランスピンPを中心に回動し、その演奏者側が下がり(以下、この状態を押鍵状態という)、また、これに連動してアクション3が作動し、ダンパー6が弦4から離れるとともに、ハンマー2が回動して打弦する。
一方、演奏者が弾く場合は、指で鍵1を押下することにより、上述と同様の作用が生じて打弦が行われる。
なお、図において、SE1,SE2は、打弦速度を計測するためのセンサであり、ハンマー2がこれらのセンサSE1,SE2の間を通過する時間を計測することにより、ハンマー2の速度、すなわち、打弦速度が計測される。また、ハンマー2がセンサSE1を通過する時刻が打弦時刻として計測される。
ところで、鍵1を押し下げる速度に応じてハンマー2の打弦速度が決まるが、鍵1の速度は初め遅くて次第に早くなる場合や、その逆の場合もあり、さらには、ほとんど一定の速さで押される場合もある。この場合、鍵1のレスト位置(鍵1を押してない場合の初期位置)からエンド位置(鍵を押し切った位置)に至るまでの速度と、ハンマー2の打弦速度とがどのような関係になっているのかが重要である。なぜならば、その関係を考察せず、打弦強度データに応じて鍵速度(初期速度など)を制御しても、記録時の打弦速度を再生することはできないからである。
実験によれば、鍵1のある位置における速度とハンマー2の打弦速度とが極めて良い対応を示すことが判った。この位置は、ピアノの個体差にもよるが、概ねレスト位置から9.0mm〜9.5mm程度押し下げた位置であった。したがって、鍵1がこの位置に達するときの速度を、打弦強度データに応じて制御すれば、記録時の打弦速度を忠実に再現することができる。なお、以下においては、上述の所定位置をリファレンスポイントXrという。
1.2.リファレンス速度
次に、上述のようにして求めたリファレンスポイントXrにおいて、どのような鍵速度にすれば、打弦速度を忠実に再現することができるかを設定する必要がある。なお、以下においては、リファレンスポイントXrにおける鍵速度をリファレンス速度Vrという。
ここで、図2はリファレンスポイントXrを9.5mmに設定したときの鍵速度と打弦速度の関係を示す図である。図中、白点は鍵をエンド位置まで押し切る単打奏法を行った場合の結果を示し、黒点は鍵をエンド位置まで押し切らずに連打する連打奏法を行った場合の結果を示している。また、C1は1次最小自乗法近似による直線、C2は6次最小自乗法による曲線を示している。
図2から明らかなように、リファレンス速度Vrは、直線C1あるいは曲線C2のいずれによっても近似できる。したがって、近似性のよい関数を適宜選択すれば、この関数を用いて任意の打弦強度データ(記録時の打弦速度情報)からリファレンス速度Vrを決定することができる。
この実施形態においては、計算が簡単で誤差の少ない1次関数近似を採用している。したがって、リファレンス速度Vrは、次式によって求められる。
(数1)
Vr=α・VH+β
数1において、VHは打弦速度(打弦強度データ)であり、αおよびβは定数である。定数αおよびβは、ピアノの機種等に応じ実験等によって決定する。なお、αおよびβは、同一ピアノであっても、リファレンスポイントXrをどこにするかによって変動する。
1.3.リファレンス時間差
さて、演奏データに含まれる打弦時刻データは、前述したように、相対時刻あるいは絶対時刻で記録されているが、いずれにしても再生側自動ピアノにおいて打弦時刻データを読みとって処理することにより、再生時の各音の打弦絶対時刻が求められる。そこで、このようにして求めた打弦絶対時刻において正確に打弦を行わせるには、鍵が何時リファレンスポイントXrを通過すればよいかを求める必要がある。
ここで、鍵1がリファレンスポイントXrを通過する時刻(以下、リファレンス時刻trという)と打弦時刻との時間差をリファレンス時間差Trと定義し、これと打弦速度との関係を実験により求めたものが図3である。図3において、白点は単打奏法による結果、黒点は連打奏法による結果を示している。そして、図3を縮尺2倍にしたものが図4であり、縮尺4倍にしたものが図5である。これらの図から判るように、リファレンス時間差Trと打弦速度との関係は、双曲線により極めて良好に近似される。すなわち、このリファレンス時間差Trは、打弦速度vHを分母にする1変数式で近似することができ、次式によって算出される。
(数2)
Tr=−(γ/vH)+δ
なお、数2における定数γおよびδは、ピアノの機種等に応じ実験等によって決定する。なお、γおよびδは、同一ピアノであっても、リファレンスポイントXrをどこにするかによって変動する。これは、数1におけるα、βの場合と同様である。
さて、数2によって、リファレンス時間差Trが求まれば、再生側の打弦絶対時刻からリファレンス時間差Trを減算することによって、リファレンス時刻trが求められ、結局、上述した(1)、(2)、(3)の処理により、リファレンスポイントXr、リファレンス速度Vr、およびリファレンス時刻trが求められる。したがって、リファレンス時刻trにリファレンスポイントXrに達し、かつ、その時の速度がリファレンス速度Vrとなるように鍵1を駆動すれば、記録時の打弦状態を忠実に再現することができることが判る。
なお、鍵1がリファレンスポイントXrに達したときに打弦が行われるのであれば、リファレンス時間差Trを求める処理は不要になる。
以上のようにして、予め設定したリファレンスポイントXrにおけるリファレンス速度Vrが求められれば、鍵1の挙動をこれに応じて制御することにより、記録時の打弦速度を再生することができる。
この場合、レスト位置からエンド位置までの鍵の軌道(時間経過に対する鍵の位置)を設定すれば、鍵の押下開始位置からリファレンスポイントXrに至るまでの各位置と時刻の関係(速度と時刻の関係等)が求められるから、これに応じて鍵の位置をフィードバック制御すればよいことが判る。
ただし、打弦状態の再現性が良く、また、制御し易い軌道を選択することが好ましい。また、設定する軌道によっては、リファレンス点における加速度等(運動を決定する他の要素)を求める必要が生じるが、これについては軌道の種類に応じて適宜算出すればよい。なお、本実施形態においては、処理の簡略さに鑑みて直線軌道を採用している。
1.4.ダミーイベントの追加
ところで、上述したような再生処理を実現するためには、演奏記録時において、押鍵時刻、打弦時刻および打弦速度を得ておく必要がある。しかし、演奏状態あるいは自動ピアノの性能等により、押鍵イベントあるいはハンマーイベント等が抜ける虞がある。その詳細を図11,図12を参照し説明する。まず、図11(a)は、演奏記録時における鍵1の押鍵深さを示している。図において一点鎖線L1は、センサによって押鍵または離鍵イベントが検出される押鍵深さである。また、同図(b)は、押鍵深さの軌道が一点鎖線L1と交差するタイミング、すなわち押鍵または離鍵イベントが発生するタイミングを示している。また、同図(c)は、センサSE1,SE2によりハンマーイベントの検出された時刻(正確には、ハンマーが打弦位置直前にあるセンサSE1を通過した時刻)と、検出されたハンマー速度Vh1,Vh2を示す。
図11(a)によれば、時刻t0から鍵1の押鍵が開始され、時刻t1において押鍵イベントが検出されている。また、時刻t15においては、この押鍵動作に対応するハンマーイベントが生じている。次に、時刻t2においては、鍵1が若干離鍵されているが、離鍵イベントが検出される前に再び押鍵が開始され、この押鍵動作に対応するハンマーイベントが時刻t25に生じている。すなわち、ハーフストロークによる押鍵が行われている。そして、その後に鍵1が離鍵され、時刻t3において離鍵イベントが検出されている。すなわち、図11(a)〜(c)によれば、時刻t15のハンマーイベントに対応する離鍵イベントと、時刻t25のハンマーイベントに対応する押鍵イベントは存在しない。このような状態を、以下「イベント抜け」という。
また、図12(a)〜(c)においても、ハーフストローク時における押鍵深さ、鍵イベントおよびハンマーイベントが示されている。まず時刻t1においては押鍵イベントが検出され、これに対応するハンマーイベントおよび離鍵イベントが時刻t15および時刻t2に各々検出されている。次に、時刻t3においては、ハーフストロークによる押鍵イベントが検出されているが、この押鍵は、ダンパー操作を行うための弱い押鍵であるため、ハンマー2は打弦を行う前にレスト位置に戻っている。従って、同図(c)を参照すると、時刻t3の押鍵イベントに対応するハンマーイベントは存在しない。すなわち、ハンマーイベントのイベント抜けが生じている。
本実施形態においては、以上のようなイベント抜けが検出された場合には、仮想のイベント(ダミーイベント)が適宜追加される。すなわち、第1のハンマーイベントと第2のハンマーイベントとの間において、離鍵イベントおよび押鍵イベントが抜けている場合には、第1のハンマーイベントの発生時刻において、ダミーの離鍵イベントとダミーの押鍵イベントとが追加される。例えば、図11(d)においては、ハンマーイベントの発生する時刻t15においてダミーの離鍵イベントとダミーの押鍵イベントとが追加されている。
一方、押鍵イベントと離鍵イベントとの間においてハンマーイベントが抜けている場合は、当該押鍵イベントの発生時刻において弱いハンマーイベントが追加される。ここで、「弱いハンマーイベント」とは、発音が行われない程度に、きわめてハンマー速度が遅いイベントをいう。例えば、図12(d)においては、押鍵イベントが発生する時刻t3において、ダミーの弱いハンマーイベントが追加されている。ダミーイベントの追加は、押鍵イベント、ハンマーイベント、離鍵イベントの順序、あるいはイベントの時間間隔などに応じて行われる。その詳細については後述する。
以上のように追加されるダミーイベントの発生時刻は既存のイベントと同一の時刻であるが、これら発生時刻は適切なリファレンス軌道を生成するために、適宜変更される。その詳細については後述する。
また、これらダミーイベントを追加する理由を説明しておく。まず、本実施形態においては、上述したように、演奏記録時において、押鍵時刻、打弦時刻および打弦速度を得ておく必要がある。従って、これらのうち一部が抜けた場合には、正確なリファレンス軌道を生成することが困難になる。
例えば、本実施形態において、各種のダミーイベントを追加することにより、図11(e)、図12(e)、図13(f)の実線に示すようなリファレンス軌道を得ることができる(詳細は後述する)。これに対して、ダミーイベントを追加しなかった場合には、例えば同図の破線L2〜L4に示すような、実際の演奏状態と大幅に異なるリファレンス軌道が生成されることになる。すなわち、本実施形態においては、ダミーイベントを適宜追加することにより、実際の演奏状態に近いリファレンス軌道が得られるのである。
1.5.ピアノの個体差と、その補償方法
(押鍵時について)
ところで、上述したように、演奏データの記録および再生に供される自動ピアノには個体差があるため、何れかの自動ピアノにおいて得られた学習結果を他の自動ピアノにそのまま適用することは困難である。しかし、本発明者らが各種の自動ピアノについて個体差の内容を検討したところ、「押鍵時のリファレンス速度とハンマー速度との関係」は個体差が比較的小さく、「リファレンス時間」については個体差が比較的大きいことが判明した。
換言すれば、記録用の自動ピアノで得られたリファレンス軌道に対して、再生用の自動ピアノにおいてリファレンス時間の差異を補償することにより、該リファレンス軌道を再生用の自動ピアノに適用することが可能になると考えられる。具体的には、リファレンス軌道の立ち上がり時の部分を、時間軸上で前後にずらすことにより、自動ピアノの個体差をほぼ吸収することができる。
(離鍵時について)
離鍵時の鍵の動きは、ダンパーの動きに関連するため、これを忠実に再現することも重要である。まず、再生しようとする離鍵速度が最大離鍵速度(鍵が自重によってレスト位置に戻る速度)よりも十分に遅い場合は、所望の離鍵速度が得られるようにソレノイドによって鍵を制動すれば良いのであるから、特に問題になることは少ないであろう。最も問題になる状況は、記録時の離鍵速度が再生用の自動ピアノの最大離鍵速度付近になっている場合である。かかる場合は、サーボ特性の個体差によって、両者の離鍵軌道に大きな差が生じる。例えば、再生用の自動ピアノのレスポンスが遅い場合においては、ダンパーが弦に接触するタイミングが遅れ、音が響き過ぎるような不具合を招くことになる。
実際に演奏データを記録・再生する状況を想定すると、このような不具合が多発することが予想される。まず、演奏データの記録は玄人のピアニストの演奏に基づいて行われる場合が多い。玄人のピアニストは、離鍵時のレスポンスを重視するため、しばしば鍵を重くする(バランスピンより奥の部分に鉛を詰める)ような調整を求めることがある。
一方、このような調整を行うと押鍵時に鍵が重くなるため、指の筋肉が弱い一般ユーザ(特に子供)が使用する際には苦痛になる。自動ピアノを購入する一般ユーザは、単なるピアノとしても自動ピアノを快適に使用したいと考えることが一般的であるため、再生性能を重視して鍵を重くしておくことは実現性に乏しい。従って、かかる場合には、リファレンス軌道の立下がりの開始タイミングを早めるようにリファレンス軌道を修正し、ダンパーが速やかに弦に接触するように補償することが得策であると考えられる。
以上述べたように、自動演奏の記録・再生に用いられる自動ピアノの個体差は、リファレンス軌道の立下がり部分および立ち上がり部分を時間軸上で前後にシフトさせることによりほぼ吸収することができる。これにより、再生用の自動ピアノにおける学習内容を簡易なものにしつつ記録時のハンマーやダンパーの動きをほぼ忠実に再現することができる。
1.6.処理の概要
以上のようにして、予め設定したリファレンスポイントXrにおけるリファレンス速度Vrが求められれば、鍵1の挙動をこれに応じて制御することにより、記録時の打弦速度を再生することができる。また、イベント抜けが検出された場合には適宜ダミーイベントが追加されるから、ハーフストローク等の奏法が採られた場合においても、安定して演奏状態を再生することが可能である。
この場合、レスト位置からエンド位置までの鍵の軌道(時間経過に対する鍵の位置)を設定すれば、鍵の押下開始位置からリファレンスポイントXrに至るまでの各位置と時刻の関係(速度と時刻の関係等)が求められるから、これに応じて鍵の位置をフィードバック制御すればよいことが判る。
ただし、打弦状態の再現性が良く、また、制御し易い軌道を選択することが好ましい。また、設定する軌道によっては、リファレンス点における加速度等(運動を決定する他の要素)を求める必要が生じるが、これについては軌道の種類に応じて適宜算出すればよい。そして、記録・再生に用いられる自動ピアノが異なる場合においては、リファレンス軌道を必要に応じて修正することにより、忠実な再生を行うことができる。
以上がこの実施形態の制御原理である。
2.実施形態の構成
次に、本実施形態の全体構成を説明する。図1は、この実施形態の自動ピアノの構成を示すブロック図である。なお、前述した図10の各部と対応する部分には同一の符号を付け、その説明を省略する。また、記録および再生に用いられる複数の自動ピアノが存在する場合においても、以下に述べる構成自体は共通である。
図において、10は再生前処理部であり、記録メディアあるいはリアルタイム通信装置から供給される演奏データに基づいて、鍵の軌道データを作成する回路であり、まず、リファレンス時刻tr、リファレンス速度Vrを求め、さらに、加速度の推定が必要な場合はこれを演算する。
11は、再生前処理部10が作成した軌道データに基づいて、ソレノイド5のプランジャの動きを示すデータを作成するモーションコントローラである。また、12はサーボコントローラであり、モーションコントローラ11から供給されるデータに応じてソレノイド5の励磁電流を制御する。この場合、ソレノイド5には、プランジャの速度を検出する検出機構が設けられており、これにより検出されたプランジャ速度をフィードバック信号としてサーボコントローラ12にフィードバックするようになっている。そして、サーボコントローラ12は、モーションコントローラ11から供給されるデータとソレノイド5からのフィードバック信号とを照合しながら、両者が一致するように励磁電流を制御する。
次に、26は、鍵1の下面に取り付けられた板状のシャッタである。25は、上下方向に所定距離隔て設けられる2組のフォトセンサによって構成されているキーセンサであり、鍵1が押下され始めると、まず上方のフォトセンサが遮光され、次いで、下方のフォトセンサが遮光される。離鍵の際には、下方のフォトセンサが受光状態になり、ついで、上方のセンサが受光状態になる。
キーセンサ25の出力信号は、演奏記録部30に供給され、演奏記録部30は、キーセンサ25内の下方のフォトセンサが受光状態になってから上方のフォトセンサが受光状態になるまでの時間を測定し、ここから、離鍵速度を検出する。また、演奏記録部30は上方のフォトセンサが受光状態になった時刻を離鍵時刻として処理する。また、演奏記録部30は、センサSE2が遮光されてからセンサSE1が遮光されるまでの時間を計測し、ここから打弦速度を検出する。また、センサSE1が遮光された時刻を打弦時刻として処理する。
すなわち、演奏記録部30は、演奏が開始されると、センサSE1,SE2の出力信号に基づいて、打弦時刻および打弦速度を検出し、かつ、キーセンサ25の出力信号に基づいて離鍵時刻および離鍵速度を検出する。以上のようにして検出された各情報は、記録後処理部31に供給される。
記録後処理部31においては、演奏記録部30から供給される各種情報に対し、正規化処理を施した後に、外部の記録媒体に演奏データとして供給する。ここで、正規化処理とは、ピアノの個体差を吸収するための処理である。すなわち、打弦速度、打弦時刻、離鍵速度、離鍵時刻等は、各ピアノにおけるセンサの位置や、構造上の違い、あるいは機械的誤差によって固有の傾向を持つため、標準となるピアノを想定し、そのピアノにおける打弦速度、打弦時刻等に変換するための処理である。また、記録後処理部31は、演奏記録部30で記録された情報にイベント抜けを検出すると、演奏データに適宜ダミーイベントを追加する(詳細は後述する)。
上述した構成において自動ピアノを演奏すると、演奏記録部30においてハンマーイベントおよび鍵イベント等が記録され、記録後処理部31においてこれらの情報に正規化処理等が施された後、演奏データが出力される。この演奏データは、他の自動楽器に供給され、あるいは適当な記録媒体に記録される。次に、記録された演奏データを再生すると、演奏データ中の打弦強度データに応じて、リファレンスポイントXrを通過する鍵軌道が生成され、鍵がこの軌道を再現するようにソレノイド5の励磁電流が制御される。
この結果、鍵1がリファレンスポイントXrに達したときの速度は、記録時の打弦速度に対応した速度(すなわち、リファレンス速度Vr)になり、ハンマー2は記録時と同じ速度で打弦を行う。
以上のように、この実施形態においては、リファレンスポイントという制御点を導入し、この点における鍵の運動属性を再現するとともに、イベント抜けが生じた場合は演奏データに適宜ダミーイベントを追加するため、センサ等を増やすことなく、忠実に打弦速度を再現することができる。
3.実施形態の動作
3.1.呼称データの収集
最初に自動ピアノにおいて、呼称データと称するデータを収集する。この呼称データは、主として演奏データの記録に用いられる自動ピアノの基本的特性を定めるものであり、リファレンス速度Vr、打弦速度およびリファレンス時間差Trの関係を記述したデータである。
図2〜図5について説明したように、リファレンス速度Vr、打弦速度およびリファレンス時間差Trには、相関関係がある。従って、単打および連打状態におけるリファレンス速度Vrに対して、打弦速度およびリファレンス時間差Trのサンプリング結果が多数測定され、これら相互の関係を表す近似曲線の定数が最小自乗法等により求められるのである。
すなわち、リファレンス速度Vrと打弦速度との関係を示すテーブル、リファレンス速度Vrとリファレンス時間差Trとの関係を示すテーブル等が、全自動ピアノに対する共通のパラメータとして、自動ピアノの工場出荷時にROM等に書き込まれる。このような呼称データ通りの特性を有する自動ピアノを、以下「呼称ピアノ」と呼ぶ。
また、呼称データは複数の自動ピアノの実測値の平均値によって求めたり、設計上の理想値であってもよい。このような場合、呼称ピアノは実在しないことになる。
なお、本明細書においては、種々のパラメータに対して「呼称」、「実」および「仮想」の接頭語を用いているため、これらについて説明しておく。「呼称」とは、上述したように呼称ピアノにおけるパラメータを示すものである。また、「実」とは、実際に記録・再生に用いられる自動ピアノにおいて、センサ等によって得られる実測値を指す。また、「仮想」とは、これら実測値や学習結果等に基づいて、実際に記録・再生に用いられる自動ピアノ上の状態を仮想したものである。
3.2.学習処理
実際に記録・再生に用いられる自動ピアノの特性は、一般的に呼称ピアノのものとは異なる。そこで、記録・再生を行う前に、使用される自動ピアノと呼称ピアノとの個体差を学習しておく必要がある。この学習内容について以下詳述する。
3.2.1.サーボ系のパラメータ設定
上述したように、ソレノイド5には、プランジャの速度を検出する検出機構が設けられており、これにより検出されたプランジャ速度がフィードバック信号(例えば電圧)としてサーボコントローラ12にフィードバックされる。ここで、この速度フィードバック信号をサーボコントローラ12の内部で用いられる値(内部正規化値という)に変換するために、最初に速度フィードバック値に所定値(センサ・オフセット値)が加算され、その結果に対して他の所定値(センサ・ゲイン)が乗算されることになる。
そこで、自動ピアノの各鍵毎に上記センサ・オフセット値とセンサ・ゲインとを求めておく必要がある。センサ・オフセット値は、鍵の静止状態における速度フィードバック信号のレベルを測定することによって得られる。また、センサ・ゲインは、上記センサ・オフセット値と、キーセンサ25で測定された押鍵・離鍵速度と、速度フィードバック信号のレベルとに基づいて計算される。
そして、この学習結果は、呼称押鍵速度vPrと押鍵サーボ指示速度値vPsとの関係を規定するテーブルvPs@vPr、および呼称離鍵速度vNrと離鍵サーボ指示速度値vNsとの関係を規定するテーブルvNs@vNrとして、モーションコントローラ11に記憶される。
3.2.2.押鍵時の個体差の学習
次に、押鍵時における各種のパラメータの学習について、図14を参照し説明する。
まず、サーボコントローラ12が、押鍵指示時刻tPs0において、一定の押鍵速度vPrで押鍵動作を行うべくソレノイド5を駆動制御したとする。この場合、サーボコントローラ12のサーボ限界により、鍵は完全な直線運動を行うことができず、同図の実押鍵軌道L1に示すように、立ち上がりが鈍くなる。
これに対して、本実施形態においては、実押鍵軌道L1の収束状態の部分の接線をレスト位置まで伸ばした仮想押鍵軌道L2を想定する。この仮想押鍵軌道L2とレスト位置とが交差する時点を仮想押鍵出発時刻tPc0といい、仮想押鍵軌道L2がエンド位置に達する時刻を仮想押鍵エンド到着時刻tPc5といい、仮想押鍵出発時刻tPc0と押鍵指示時刻tPs0との差を押鍵立上むだ時間TPdという。換言すれば、押鍵指示時刻tPs0に押鍵指示が行われると、押鍵立上むだ時間TPdを経過した後に、仮想押鍵軌道L2に沿って鍵が定速駆動されるものと想定する。
また、仮想押鍵軌道L2がレスト位置からエンド位置に至るまでの時間を仮想押鍵移動時間TPmという。さて、実押鍵軌道L1に従って鍵が駆動されると、打弦イベントが発生する。このイベントの発生時刻を実打弦時刻tHといい、打弦速度を実打弦速度vHという。次に、実打弦時刻tHおよび実打弦速度vHを各々呼称打弦時刻および呼称打弦速度とした場合、かかる打弦イベントを発生させるような呼称押鍵軌道L3を、呼称データに基づいて、図示のように定めることができる。
ところで、図示のように、仮想押鍵軌道L2および呼称押鍵軌道L3は、傾きが等しいこととしている。すなわち、仮想押鍵移動時間TPmは呼称押鍵移動時間にも等しいことになる。ここで、呼称押鍵軌道L3とレスト位置が交差する時刻を呼称押鍵出発時刻tPr0、呼称押鍵軌道L3がエンド位置に達する時刻を呼称押鍵エンド到着時刻tPr5という。なお、呼称押鍵エンド到着時刻tPr5を「押鍵リファレンス時刻」ともいう。
次に、仮想押鍵エンド到着時刻tPc5と呼称押鍵エンド到着時刻tPr5との差(tPr5−tPc5)を押鍵エンド到着時刻偏差TPcという。また、実(呼称)打弦時刻tHと、呼称押鍵エンド到着時刻tPr5との差(th−tPr5)を呼称打弦時間差TPrHという。このように、押鍵指示時刻tPs0から実打弦時刻tHまでの時間は、(1)押鍵立上むだ時間TPd、(2)仮想押鍵移動時間TPm、(3)押鍵エンド到着時刻偏差TPcおよび(4)呼称打弦時間差TPrHの総和に等しい。
そこで、これら各々について、自動ピアノの個体差が反映されるか否かについて検討する。
(1)押鍵立上むだ時間TPdについて
押鍵立上むだ時間TPdは、サーボコントローラ12における定数のばらつきや、鍵の慣性モーメント等によって変動する。
(2)仮想押鍵移動時間TPmについて
本実施形態にあっては、仮想押鍵速度と呼称押鍵速度とが等しいものとしているため、実打弦速度vHが得られると、これに対応するリファレンス速度Vr(仮想押鍵速度vPrそのものに等しい)が一意に求まる。そして、レスト位置からエンド位置までのストロークは自動ピアノの種類に応じて一意に定まる。結局、仮想押鍵移動時間TPmは、実打弦速度vHに基づいて一意に定まる。
(3)押鍵エンド到着時刻偏差TPcについて
押鍵エンド到着時刻偏差TPcは、ピアノのアクション部分の質量や慣性モーメント等の個体差に基づいて変動する。
(4)呼称打弦時間差TPrHについて
呼称打弦時間差TPrHは、実打弦速度vHに対応する呼称データに基づいて一意に定まる。
上述した各パラメータのうち、押鍵立上むだ時間TPdおよび押鍵エンド到着時刻偏差TPcは、自動ピアノの個体差によって変動する。しかし、押鍵立上むだ時間TPdは一意に定まると看做してもさしつかえない。これは、押鍵立上むだ時間TPdが一意に定まると看做した場合に生ずる誤差を、押鍵エンド到着時刻偏差TPcの学習結果に加味しておけばよいからである。そこで、本実施形態においては、上記各種の時間のうち、押鍵エンド到着時刻偏差TPcのみを、呼称押鍵速度に対する学習対象とする。
換言すれば、各種の状況を設定しながら、サーボコントローラ12に対して押鍵指示を行い、押鍵指示時刻tPs0から実打弦時刻tHまでの時間を測定し、これら測定された時間から各々押鍵立上むだ時間TPd、仮想押鍵移動時間TPmおよび呼称打弦時間差TPrHを減算することにより、押鍵エンド到着時刻偏差TPcが得られる。
そして、得られた多数の測定結果に基づいて、最小自乗法等の手法により、呼称押鍵速度vPrに対する押鍵エンド到着時刻偏差TPcの近似関数を得ることができる。本実施形態にあっては、この近似関数がテーブルTPc@vPrに記憶される。
3.2.3.離鍵時の個体差の学習
上述した押鍵時の動作では、打弦速度および打弦時刻の再現性を重視したため、呼称押鍵速度と仮想押鍵速度とを相違させなければならない場合もあった。しかし、離鍵時においては呼称離鍵速度と仮想離鍵速度とが全く等しいものと考えて差し支えない。従って、学習は、時間軸上のタイミングの個体差について行えば十分である。
その詳細を図14を再度参照し説明する。
まず、サーボコントローラ12が、離鍵指示時刻tNs5において、一定の離鍵速度vDで離鍵動作を行うべくソレノイド5を駆動制御したとする。この場合も、サーボコントローラ12のサーボ限界により、鍵は完全な直線運動を行うことができず、同図の実離鍵軌道L4に示すように、立ち下がりが鈍くなる。
これに対して、本実施形態においては、実離鍵軌道L4の収束状態の部分の接線をエンド位置まで伸ばした仮想離鍵軌道L5を想定する。この仮想離鍵軌道L5とエンド位置とが交差する時点を仮想離鍵出発時刻tNc5といい、仮想離鍵軌道L5が離鍵位置(キーセンサ25の上方のフォトセンサが受光される位置)に達する時刻を仮想離鍵K2到着時刻tNc2という。
また、離鍵指示時刻tNs5と仮想離鍵出発時刻tNc5との差を離鍵立上むだ時間TNdという。換言すれば、離鍵指示時刻tNs5に離鍵指示が行われると、離鍵立上むだ時間TNdを経過した後に、仮想離鍵軌道L5に沿って鍵が定速駆動されるものと想定する。
また、仮想離鍵軌道L5がエンド位置から離鍵位置に至るまでの時間を仮想離鍵移動時間TNmという。さて、離鍵立上むだ時間TNdについては呼称値が定められている。この離鍵立上むだ時間TNdの呼称値と、実測された離鍵速度とに基づいて得られた離鍵軌道を呼称離鍵軌道L6という。また、呼称離鍵軌道L6が離鍵位置に達する時刻を呼称離鍵K2到着時刻tNr2といい、呼称離鍵K2到着時刻tNr2と仮想離鍵K2到着時刻tNc2との差を離鍵K2到着時刻偏差TNcという。
また、離鍵時刻tD(実離鍵時刻)と、呼称離鍵K2到着時刻tNr2との差を呼称離鍵時間差TNrDという。呼称離鍵時間差TNrDは、「0」に設定される。そして、押鍵時において押鍵エンド到着時刻偏差TPcが各種の呼称押鍵速度に対して学習されたのと同様に、各種の呼称離鍵速度に対して、離鍵K2到着時刻偏差TNcが学習される。そして、この学習結果はテーブルTNc@vNrに格納される。
3.3.演奏記録動作
演奏記録を行う場合、演奏者は、まず演奏記録部30を動作状態にしておき、自動ピアノを演奏する。これにより、演奏記録部30においてハンマーイベントおよび鍵イベント等が記録される。
次に、演奏者が記録後処理部31を動作させると、図6に示すプログラムが実行される。図において処理が開始されると、ステップSP100において各種の変数の初期設定が行われる。次に処理がステップSP101に進むと、演奏記録部30からハンマーイベントおよび鍵イベント等のデータが読出される。また、ステップSP101においては、読出されたデータに対して対応関係にあるデータも併せて読出される。例えば、最初に読出されたデータが所定のキーコードKCの押鍵イベント(押鍵時刻)であった場合、そのキーコードKCの離鍵イベント(離鍵時刻)およびハンマーイベント(打弦時刻、打弦速度)が検索され、存在するならばこれらのデータも演奏記録部30から読出される。
3.3.1.一般的な演奏状態に対する動作
次に、処理がステップSP102を介してステップSP103に進むと、先に読出されたデータの対応関係がどのような状態であるか判定される。一般的な(正常な)演奏状態では、押鍵イベントと離鍵イベントとの間に1回のハンマーイベントが存在する。かかる場合は処理がステップSP104に進む。ステップSP104においては、押鍵時刻が打弦時刻以下であるか否かが判定される。一般的な状態では押鍵イベントが生じた後にハンマーイベントが生じるから「YES」と判定され、処理がステップSP105に進む。ステップSP105においては、押鍵時刻および打弦時刻の時間差が所定値A以上であるか否かが判定される。
ここで、所定値Aは一般的な押鍵状態における押鍵時刻,打弦時刻間の時間よりも若干余裕を持った値、例えば「10msec」に設定されている。従って、一般的な演奏状態では「NO」と判定され、処理がステップSP113に進む。ステップSP113においては、先にステップSP101で読出されたデータに上述した正規化処理が施される。すなわち、ステップSP101で読出された打弦速度、打弦時刻、離鍵速度、離鍵時刻等のデータが、学習結果に基づいて、呼称ピアノにおける打弦速度、打弦時刻等に変換されるのである。そして、このデータは、ステップSP114において、演奏データとして外部に出力される。出力された演奏データは磁気ディスク等の記録媒体に適宜記録される。
以上の処理が終了すると、処理がステップSP101に戻り、演奏記録部30から次のデータが読出され、上述したのと同様の処理が行われる。そして、演奏記録部30に記録されたデータの全てが既に読み出され、ステップSP101において新たなデータを読み出せなかった場合は、ステップSP102で「YES」と判定され、記録後処理部31の動作が終了する。
このように、一般的な演奏状態においては、演奏記録部30から読出されたデータに対して単に正規化処理が施され、その結果が演奏データとして出力されることが判る。
3.3.2.遅い押鍵に対する動作
演奏記録時において何れかの鍵がゆっくりと押下されると、押鍵時刻から打弦時刻までの時間が所定値Aよりも長くなる場合がある。かかる演奏状態が演奏記録部30に記録された場合は、ステップSP105において「YES」と判定され、処理はステップSP106に進む。ステップSP106においては、所定値Bが押鍵速度で除算され、その商は押鍵時刻,打弦時刻の時間差以上であるか否かが判定される。ここで「NO」と判定されると、処理はステップSP113に進む。すなわち、押鍵速度が遅い場合には、時間差が所定値Aを越えている場合であっても、この時間差が押鍵速度に鑑みて妥当な値であれば、一般的な場合と同様に処理をステップSP113に進めることとしたものである。ここで、所定値Bは、例えば「10mm」(所定値Bのディメンジョンはs・mm/s=mmになる)程度に設定するとよい。
3.3.3.離鍵/押鍵イベント抜けに対する動作
先に図11について説明したように、ハーフストロークの連打を行った場合等においては、複数のハンマーイベントの間に離鍵/押鍵イベントが存在しない場合がある。かかる状態のデータが読出され処理がステップSP103に進むと、離鍵/押鍵イベント抜けであると判定され、処理がステップSP111に進む。ステップSP111においては、最後のハンマーイベントを除く全てのハンマーイベントに対応して、各打弦時刻と同一時刻のダミーの離鍵および押鍵イベントが追加される。
次に、処理がステップSP112に進むと、追加されたダミーの離鍵および押鍵イベントの内容が修正される。その内容を、以下詳述する。
まず、離鍵/押鍵イベント抜けが生じた場合においても、ハンマーイベントの内容、すなわち打弦時刻および打弦速度は既知である。また、先に図2〜図5において説明したように、打弦速度が既知であればリファレンス速度Vrおよびリファレンス時間差Trを求めることができる。従って、「打弦時刻よりもリファレンス時間差Trだけ前の時刻にリファレンス点を通過し、かつ、リファレンス速度Vrの傾きを有する直線」は一意に決定される。
本実施形態においては、押鍵時の鍵軌道は上記直線に沿った等速打鍵のものと仮定し、これによってダミーの押鍵イベントの内容が修正される。すなわち、ダミーの押鍵イベントについて、押鍵時刻は上記直線がセンサ位置と交差する時刻に設定され、押鍵速度はリファレンス速度Vrに等しくなるように(すなわち等速打鍵になるように)設定される。
また、ダミーの離鍵速度は、当該自動ピアノの機構上実現できる最大の離鍵速度、すなわち演奏者が鍵に全く触れていない場合の離鍵速度に設定される。この場合、ハンマーイベントが生じた後に直ちに離鍵が開始されたものと仮定する。従って、離鍵時刻は、ハンマーイベントを起点とする最大傾斜の離鍵軌道がセンサ位置と交差する時刻に設定される。
このように、ダミーの離鍵および押鍵イベントが追加され、これらの内容が修正されると、処理がステップSP113に進み、一般的な場合と同様の処理が行われる。
3.3.4.ハンマーイベント抜けに対する動作
先に図12の時刻t3〜t4について説明したように、ハーフストローク奏法を行った場合は、押鍵イベントおよび離鍵イベントは生ずるが、これらに対応するハンマーイベントは発生しないことがある。かかる状態のデータが読出され処理がステップSP103に進むと、ハンマーイベント抜けであると判定され、処理がステップSP107に進む。ステップSP107においては、押鍵時刻と同一時刻にダミーのハンマーイベントが追加される。
次に、処理がステップSP108に進むと、ダミーのハンマーイベントに係る打弦速度が微少値、すなわち発音されない程度の値に設定される。また、かかる微少な打弦速度に対応してリファレンス速度Vrおよびリファレンス時間差Trが求まるから、上記ステップSP112と同様に、「打弦時刻よりもリファレンス時間差Trだけ前の時刻にリファレンス点を通過し、かつ、リファレンス速度Vrの傾きを有する直線」が一意に決定され、その内容に基づいて押鍵イベントの内容が修正される。
このように、弱いハンマーイベントが追加されるとともに押鍵イベントの内容が修正されると、処理がステップSP113に進み、一般的な場合と同様の処理が行われる。
3.3.5.押鍵時刻,打弦時刻の時間差が大き過ぎる場合の処理
押鍵時刻,打弦時刻の時間差が大きすぎる場合の具体例を、図13(a)〜(c)に示す。これらの図において、鍵軌道は時刻t1にセンサ位置に達しており、この時刻t1に押鍵イベントが発生している。しかし、この時の押鍵動作はダンパー操作を行うためのハーフストロークであり、ハンマーイベントは発生していない。その後、センサ位置近くまで鍵が戻されるが、センサ位置に達する前の時刻t2において再び鍵が押下され、時刻t3にハンマーイベントが発生し、時刻t4に離鍵イベントが発生している。
上記例では、押鍵イベントと離鍵イベントの間に1回のハンマーイベントが存在する。従って、ステップSP103においては、各イベント間の関係は一応正常なものと判定され、処理はステップSP104に進む。しかし、上記例では押鍵時刻と打弦時刻の時間差が大きすぎるため、ステップSP105,106において何れも「YES」と判定され、処理がステップSP107に進む。ステップSP107においては、上記“ハンマーイベント抜け”の場合と同様に、ダミーの弱いハンマーイベントが追加される(同図(d)参照)。しかし、ダミーのハンマーイベントを追加したために、押鍵イベントと離鍵イベントの間に2回のハンマーイベントが生ずることになる。これは、“離鍵/押鍵イベント抜け”の場合と同様の状態であるため、ダミーのハンマーイベントと同一時刻に、ダミーの離鍵および押鍵イベントがさらに追加される(同図(e)参照)。
次に、処理がステップSP108に進むと、ダミーのハンマーイベントに係る打弦速度が微少値に設定され、これに伴って時刻t1に発生した押鍵イベントの内容も修正される。そして、以上の処理が終了すると、処理がステップSP113に進み、一般的な場合と同様の処理が行われる。また、ダミーの離鍵および押鍵イベントは、前述した離鍵/押鍵イベント抜けに対する動作と同様にその内容が修正される。
3.3.6.打弦時刻が押鍵時刻よりも早い場合の処理
一般的な演奏状態では、最初に押鍵イベントが生じた後、ハンマーイベントが発生する。従って、打弦時刻が押鍵時刻よりも早くなることは、ほとんど起り得ないと考えられる。しかし、例えば同一の鍵を高速に連打した場合などにおいて、ハンマー2やアクション3の運動状態によっては、かかる事態が生じる可能性も否定できない。
かかる場合は、ステップSP104において「NO」と判定され、処理がステップSP109に進む。ステップSP109においては、打弦時刻と押鍵時刻の時間差が所定値C(例えば10msec)以上であるか否かが判定される。ここで「YES」と判定されると、ステップSP110において所定値D(例えば10mm)が打弦速度で除算され、その商は上記時間差以上であるか否かが判定される。
ここで、打弦時刻と押鍵時刻との時間差が大きい場合には、ステップSP109,110の何れにおいても「YES」と判定されるのであるが、かかる場合にはハンマーイベントは押鍵イベントから独立したものと推定することができる。すなわち、同一鍵の高速連打等を行った場合はハンマー2やアクション3が特殊な運動状態になるため、レスト位置からセンサ位置直前までの短い距離の押鍵動作(この押鍵動作はキーセンサ25によっては検出されない)によってもハンマーイベントが生じることも考えられる。かかる打弦動作が行われた後、ダンパー操作のみを行う弱い押鍵動作(この操作によって押鍵/離鍵イベントは生じるが、ハンマーイベントは生じない)が行われると、結果的にハンマーイベント、押鍵イベント、および離鍵イベントの順で各イベントが発生する。
そこで、かかる場合は、処理をステップSP111に進め、ハンマーイベントと同時刻にダミーの押鍵/離鍵イベントを追加するとともに、その後に生じる押鍵イベントと離鍵イベントとの間にダミーの弱いハンマーイベントを追加することとしている。
一方、打弦時刻と押鍵時刻との時間差が小さい場合には、ステップSP109,110の何れかにおいて「NO」と判定されるのであるが、かかる場合には押鍵イベントとハンマーイベントとがなんらかの関係を有していると推定されるため、各々独立にダミーイベントを追加したのでは、かえって不都合な結果を招くことも考えられる。そこで、かかる場合は、処理をステップSP113に進め、ステップSP101において読出されたデータに対して、ダミーイベントを追加することなく正規化処理を施すこととしている。なお、ハンマーイベントの後に押鍵イベントが発生するような状態では、後にリファレンス軌道を生成する際に不都合が生じるため、押鍵時刻が打弦時刻の前になるように押鍵イベントの内容を変更しておくと良い。そして、処理がステップSP112に進むと、押鍵イベントおよび離鍵イベントの内容が修正される。
なお、上述した各処理においては、ダミーのイベントを適宜追加するために、現実にはあり得ない順番で鍵イベントが配列されることがある。例えば、図12(e)に示す例にあっては、時刻t21に押鍵イベントが発生した後、再び時刻t22に押鍵イベントが発生し、時刻t23,t24においても連続して離鍵イベントが発生している。従って、どの押鍵イベントがどの離鍵イベントと対応するのかを明確にするために、演奏データを外部に出力する際に識別情報を付与しておくとよい。また、同図に示すように、複数の押鍵/離鍵イベントに基づいて生成されるリファレンス軌道は相互に交差することもあるが、その対策については後述する。
3.4.演奏再生動作
3.4.1.押鍵に対するデータ設定
さて、上述のように記録後処理部31を介して出力された演奏データは磁気ディスク等の記録媒体に適宜記録されるが、この演奏データに基づいて自動演奏を行う場合には、演奏データを再生前処理部10に供給する。以下、本実施形態における再生前処理部10について説明する。この実施形態においては、鍵軌道として直線を想定するので、次のような手法で軌道データの設定を行う。
磁気ディスク等の記録媒体に記録された演奏データは呼称ピアノに対するものであるから、これを再生に供される自動ピアノ用に補償しつつ鍵を駆動制御する必要がある。そこで、再生前処理部10にあっては、押鍵イベントと、これに対応する打弦イベントを検出すると、これに応じて押鍵指示のタイミングと押鍵サーボ指示速度値vPsとを算出する。かかる処理の詳細について、図15を参照し説明する。
図において処理がステップSP21に進むと、テーブルvPr@vHと、演奏データの打弦速度vHとに基づいて、呼称押鍵速度vPrが求められる。なお、テーブルvPr@vHは、呼称データに含まれるテーブルであり、呼称ピアノにおける呼称押鍵速度vPrと打弦速度vHとの対応を規定するものである。また、テーブルTPrH@vPrと、上記呼称押鍵速度vPrとに基づいて、呼称打弦時間差TPrHが求められる。このテーブルTPrH@vPrも呼称データに含まれるものであり、呼称押鍵速度vPrと呼称打弦時間差TPrHとの関係を規定するものである。
次に、処理がステップSP22に進むと、演奏データの実打弦時刻tHから、上記呼称打弦時間差TPrHが減算され、これによって呼称押鍵エンド到着時刻tPr5が求められる。また、ストロークxk(例えば10mm)が呼称押鍵速度vPrで除算され、仮想押鍵移動時間TPm(呼称押鍵移動時間に等しい)が計算される。さらに、呼称押鍵エンド到着時刻tPr5から仮想押鍵移動時間TPmが減算されることにより、呼称押鍵出発時刻tPr0が得られる。
次に、処理がステップSP23に進むと、上記呼称押鍵速度vPrと、テーブルTPc@vPrとに基づいて、押鍵エンド到着時刻偏差TPcが求められる。なお、テーブルTPc@vPrは、上述した学習により得られたものであり、呼称押鍵速度vPrと押鍵エンド到着時刻偏差TPcとの関係を記述したテーブルである。また、押鍵立上むだ時間TPdとして固定値が代入される。そして、呼称押鍵エンド到着時刻tPr5から押鍵エンド到着時刻偏差TPcが減算されることにより、仮想押鍵エンド到着時刻tPc5が求められる。
次に、処理がステップSP24に進むと、上記仮想押鍵移動時間TPmおよび押鍵立上むだ時間TPdが仮想押鍵エンド到着時刻tPc5から減算され、これによって押鍵指示時刻tPs0が求められる。なお、かかる演算は、呼称押鍵出発時刻tPr0から押鍵エンド到着時刻偏差TPcおよび押鍵立上むだ時間TPdを減算することによって求めても等価である。そして、押鍵サーボ指示速度値vPsが、テーブルvPs@vPrと呼称押鍵速度vPrとに基づいて求められる。
以上の処理により、押鍵サーボ指示速度値vPsと、押鍵指示時刻tPs0とが求められた。従って、サーボコントローラ12においては、押鍵指示時刻tPs0に、押鍵サーボ指示速度値vPsに従ってソレノイド5の駆動が開始されることになる。
3.4.2.押鍵に対する軌道生成
次に、以上のようにして生成される軌道データの一例を説明する。図7は、鍵の押鍵軌道(仮想押鍵軌道である直線軌道)を示す図であり、レスト位置X0から等速運動をしてエンド位置Xeに至っている。ここで、鍵の初速度をV0(呼称押鍵速度vPrに等しい)、鍵の位置をX、鍵の駆動開始時点からの時刻をtとすれば、鍵の仮想軌道は、
(数3)
X=V0・t+X0
と表される。
また、鍵がリファレンスポイントXrに達する時刻をtr'とすると、
(数4)
Xr=V0・tr’+X0
なる式が成り立つから、この数4から時刻tr'を求めることができる。したがって、押鍵を開始する押鍵開始時刻t0(仮想押鍵出発時刻tPc0)は、次式によって求めることができる。
(数5)
0=tr―tr’=tr―(Xr―X0)/V0
なお、リファレンス時刻trは、前述のように、打弦時刻からリファレンス時間差Trを減算することによって求める。
上記数5によって押鍵開始時刻t0を求め、この時刻から、数3で示される軌道に従って鍵1を駆動すれば、鍵1は、リファレンス時刻trにおいて正確にリファレンスポイントXrに達し、しかも、その時の速度は、打弦強度データに対応したリファレンス速度Vrとなる。
なお、鍵の挙動については、直線軌道(等速運動)を想定しているから、速度は初速度V0に等しい。そして、リファレンス速度Vrは、前述の数1によって求められるから、数5で求めた押鍵開始時刻t0から一定速度Vrで鍵を駆動するように制御(速度制御)しても上記と同様の結果を得ることができる。
3.4.3.離鍵に対するデータ設定
次に、再生前処理部10は、離鍵イベントを検出すると、これに対するデータ設定を行う。その詳細を図16を参照し説明する。
図において処理がステップSP31に進むと、テーブルvNr@vDと、演奏データの離鍵速度vDとに基づいて、呼称離鍵速度vNrが求められる。なお、離鍵速度vDと呼称離鍵速度vNrは等しいものとしているため、実際にはリニアスケールからログスケールへの変換が行われるのみである。すなわち、テーブルvNr@vDは、対数表と等価なテーブルである。また、ステップSP31においては、呼称離鍵時間差TNrDに「0」が代入される。
次に、処理がステップSP32に進むと、演奏データ内の離鍵時刻tDから呼称離鍵時間差TNrDが減算されることによって呼称離鍵K2到着時刻tNr2が求められる。ここで、先に呼称離鍵時間差TNrDは「0」に設定されているから、呼称離鍵K2到着時刻tNr2は演奏データにおける離鍵時刻tDと等しい値になる。
また、ストロークxkからレスト位置−離鍵位置間距離xk2(これは自動ピアノにおける固定値)が減算される。この減算結果は、離鍵位置k2からエンド位置までの距離に等しい。そして、この減算結果が呼称離鍵速度vNrで除算されることにより、仮想離鍵移動時間TNmが求められる。そして、求められた仮想離鍵移動時間TNmを、呼称離鍵K2到着時刻tNr2から減算することにより、呼称離鍵出発時刻tNr5が得られる。
次に、処理がステップSP33に進むと、テーブルTNc@vNrと、呼称離鍵速度vNrとに基づいて、離鍵K2到着時刻偏差TNcが求められる。なお、上述したように、テーブルTNc@vNrは、離鍵K2到着時刻偏差TNcと呼称離鍵速度vNrとの関係を学習した結果であ。また、離鍵立上むだ時間TNdに対して、学習結果(固定値)が代入される。そして、呼称離鍵K2到着時刻tNr2から上記離鍵K2到着時刻偏差TNcが減算されることにより、仮想離鍵K2到着時刻tNc2が求められる。
次に、処理がステップSP34に進むと、仮想離鍵K2到着時刻tNc2から仮想離鍵移動時間TNmおよび離鍵立上むだ時間TNdが減算され、離鍵指示時刻tNs5が算出される。なお、離鍵指示時刻tNs5は、呼称離鍵出発時刻tNr5から離鍵K2到着時刻偏差TNcと離鍵立上むだ時間TNdを減算することによって求めてもよい。そして、離鍵サーボ指示速度値vNsが、テーブルvNs@vNrと、呼称離鍵速度vNrとに基づいて求められる。
以上の処理により、離鍵サーボ指示速度値vNsと、離鍵指示時刻tNs5とが求められた。従って、サーボコントローラ12においては、離鍵指示時刻tNs5に、離鍵サーボ指示速度値vNsに従ってソレノイド5の駆動が開始されることになる。
3.4.4.離鍵に対する軌道生成
次に、離鍵時の軌道データ作成について説明する。
まず、鍵の位置をXN、離鍵初速度をV0N(<0)、離鍵開始時点からの時刻をtN、エンド位置をXeとすれば、離鍵時の鍵軌道(仮想鍵軌道)は、次式で表される。なお、離鍵初速度V0Nの絶対値は、呼称離鍵速度vNrに等しい。
(数6)
XN=V0N・tN+Xe
ここで、図8は数6で示される軌道を示す図である。
さて、前述のように、演奏記録部30(図1参照)は、キーセンサ25内の下方のフォトセンサが受光状態になってから上方のフォトセンサが受光状態になるまでの時間を測定して離鍵速度vkNを検出し、また、上方のフォトセンサが受光状態になった時刻を離鍵時刻tkN(離鍵時刻tDに等しい)として検出する。この場合、離鍵時刻tkNにおけるダンパー6は、弦4に接して音の減衰を開始する状態なっている(そのような状態になるようフォトセンサの位置が調整されている)。そして、このようにして検出された離鍵速度VkNおよび離鍵時刻tkNは、それぞれ演奏情報を構成するデータとして記録され、再生時に読み出される。
ここで、ダンパー6が弦4に接するときの鍵の位置を離鍵リファレンスポイントXrNと定義すれば、鍵1が離鍵リファレンスポイントXrN(=離鍵位置k2)に達したときに、離鍵状態になったということができる。したがって、鍵1が離鍵リファレンスポイントXrNに達する時刻(仮想離鍵K2到着時刻tNc2に等しい。以下、離鍵リファレンス時刻trNという)と、演奏情報中の離鍵時刻tkNとが一致するように鍵位置を制御すれば、正確な離鍵タイミング制御を行うことができる。
また、ダンパー6が弦4に接する速さは、音の減衰状態に影響を与えるから、これを忠実に再現することが望ましい。この速さは、離鍵速度VkNに対応するから、結局、離鍵リファレンスポイントXrNにおける鍵速度(以下、離鍵リファレンス速度VrNという)を正確に離鍵速度VkNに一致させれば、音の減衰状態が正確に再現される。
ここで、鍵の駆動が開始される時刻を基準(=0)にして、鍵がリファレンスポイントXrNに達する時刻をtrN'とすると、
(数7)
XrN=V0N・trN’+XeN
(ただし、直線軌道だからV0N=VrN=VkN)
なる関係が成り立ち、この数7より時刻trN'を求めることができる。したがって、次式によって離鍵開始時刻t0N(仮想離鍵出発時刻tNc5に等しい)を求めることができる。
(数8)
0N=trN−trN’=trN−(XrN−XeN)/V0
この数8によって離鍵開始時刻t0Nを求め、この時刻から、数6で示される軌道に従って鍵を駆動すれば、鍵は離鍵時刻tkNにおいて離鍵リファレンスポイントXrNに達し、記録時の離鍵状態を忠実に再現することができる。
3.4.5.交差時の軌道データ作成(交差処理)
押鍵軌道および離鍵軌道は上述のようにして作成されるが、鍵の操作には、離鍵の途中から次の押鍵に移ったり、あるいは、押鍵の途中から離鍵され場合がある。このような場合においては、作成した押鍵軌道と離鍵軌道とが交差する。
例えば、図9はこのような軌道の交差状態を示しており、図示の状態では、時刻t0から時刻tcまで押鍵が行われ、時刻t1から時刻t4まで離鍵が行われている。このとき、上述の方法によって生成される押鍵軌道は、時刻t0にレスト位置X0を離れ、時刻t3においてエンド位置Xeに達する軌道であり、また、離鍵軌道は時刻t0Nにエンド位置Xeを離れ、時刻t4においてレスト位置X0に達する軌道である。
ここで、交差する時刻tcを求めることができれば、t1〜tcまでは押鍵軌道に基づいて鍵1を制御し、tc〜t3までは離鍵軌道に基づいて鍵を制御すればよい。ここで、図9に示すような、押鍵の後に発生した離鍵の軌道が交差する場合は、交差時刻tcは次のようにして求めることができる。
(数9)
tc=(V0・t3−V0N・t0N)/(V0−V0N)
=t0N+V0・(t3−t0N)/(V0−V0N)
なお、数9におけるt3は、次式により算出される。
(数10)
3=t0+(Xe−X0)/V0
また、離鍵の後に発生した押鍵の軌道が交差する場合も、2つの直線軌道の交点を求めればよいので、上記と同様の考え方により交差時刻を求めることができる。また、上述したように、本実施形態にあっては適宜ダミーイベントを追加するから、図12(e)のように、押鍵軌道同士あるいは離鍵軌道同士が交差することも考えられる。押鍵軌道同士が交差する場合には、同図に示すように、先にエンド位置に達する軌道(押鍵速度の速い軌道)を採用するのが妥当である。これは、強いアタックを忠実に再現するためである。一方、離鍵軌道同士が交差する場合には、最初に離鍵速度の速い軌道を採用し、交差点を過ぎた後は、離鍵速度の遅い軌道を採用するとよい。
このようにして、交差時刻を求め、押鍵軌道と離鍵軌道を組み合わせることにより、交差時の軌道データを作成する。
以上が、再生前処理部10における軌道データの作成であり、このようにして作成された軌道データは、図1に示すモーションコントローラ11に供給される。モーションコントローラ11においては、作成された軌道データに基づいて、各時刻における鍵1の位置に対応した位置制御データ(X)を作成し、サーボコントローラ12に供給する。サーボコントローラ12は、位置制御データ(X)に応じた励磁電流をソレノイド5に供給するとともに、ソレノイド5から供給されるフィードバック信号と制御データ(X)を比較し、両者が一致するようにサーボ制御を行う。
3.4.6.作成された軌道データの具体例
以下、図11、図12、図13について、上述した軌道データを作成した場合の具体例を説明する。
まず、図11(e)によれば、時刻t15以前の再生リファレンス軌道は、レスト位置から等速運動をしてエンド位置に至っている。その速度はハンマー速度Vh1に対応したリファレンス速度である。その後、リファレンス軌道は、直ちに最大離鍵速度でレスト位置に向かっている。これは、ダミーの離鍵イベントが、当初においてはハンマーイベントと同一の時刻(時刻t15,同図(d)参照)に追加されたためである。この離鍵時の軌道は、時刻t25のハンマーイベントに対応する押鍵軌道と交差しているため、上述した交差処理が行われる。この結果、リファレンス軌道は同図の実線に示すようになる。
次に、図12(e)によれば、時刻t1の押鍵イベント、時刻t2の離鍵イベントおよび時刻t15のハンマーイベントに対応して、時刻t22およびt23に一点鎖線L1と交差する軌道が生成されている。一方、同図(d)によれば、時刻t3に弱いハンマーイベントが追加されているから、これに対応して傾きの小さな軌道(時刻t21に一点鎖線L1と交差する軌道)が生成されている。両者は交差するから、上述した場合と同様に交差処理が行われる。
次に、図13(f)によれば、時刻t1に至るまで、傾きの小さな押鍵軌道が生成されている。これは、時刻t1に追加された弱いハンマーイベント(同図(d)参照)に対応するものである。そして、時刻t1以降は、最大離鍵速度でレスト位置に向かう離鍵軌道が生成されている。その後、時刻t3のハンマーイベントに対応して押鍵軌道が生成されており、その傾きはハンマー速度Vh1に対応したリファレンス速度に等しい。この例においては、押鍵/離鍵軌道は交差しないから、得られた押鍵/離鍵軌道がそのままリファレンス軌道になる。
3.4.7.演奏再生の全体動作
次に、演奏再生時における実施形態の全体動作を説明する。
まず、再生前処理部10は、記録媒体から演奏情報を読み出し、その中の打弦時刻データおよび打弦速度データに基づいて、押鍵軌道を作成する。
作成された押鍵軌道データは、モーションコントローラ11に供給され、ここで、速度制御データに変換される。すなわち、押鍵指示時刻tPs0において呼称押鍵速度vPrに対応する速度データがサーボコントローラ12に供給される。これにより、呼称押鍵速度vPrに対応した励磁電流がソレノイド5に供給される。この場合、サーボコントローラ12は、ソレノイド5のフィードバック信号と速度制御データとを比較し、両者が一致するように励磁電流を制御するから、鍵1の軌道は仮想押鍵軌道に追従するものとなる。
次に、再生前処理部10は、演奏情報の中の離鍵時刻データ、離鍵速度データに応じて、離鍵軌道を作成し、モーションコントローラ11に供給する。モーションコントローラ11は、上述の場合と同様にして、離鍵指示時刻tNs5に呼称離鍵速度vNrに対応する速度データがサーボコントローラ12に供給される。これにより、呼称離鍵速度vNrに対応した励磁電流がソレノイド5に供給される。これにより、鍵1の軌道は、仮想離鍵軌道に追従するものとなる。
一方、連打等が行われ、押鍵軌道と離鍵軌道、押鍵軌道同士、あるいは離鍵軌道同士が交差するときは、再生前処理部10が数10によって交差時刻tcを演算し、この時刻を境に、押鍵軌道、離鍵軌道、あるいはこれらの速度を切り換えてモーションコントローラ11に供給する。これにより、鍵1は押鍵軌道の途中から離鍵軌道に、または、離鍵軌道の途中から押鍵軌道に切り換えられ、あるいは、押鍵・離鍵速度が変更され、いわゆるハーフストロークの奏法に従った運動が行われる。
4.実施形態の効果
以上説明したように、本実施形態によれば、呼称ピアノに対する各自動ピアノの個体差を、押鍵立上むだ時間TPd、テーブルTPc@vPr、テーブルvPs@vPr、離鍵立上むだ時間TNd、テーブルTNc@vNr、およびテーブルvNs@vNrに集約して学習するから、簡単な学習に基づいて忠実な演奏再生を行うことができる。
これにより、再生前処理部10等におけるメモリ容量等も低く抑えることが可能になり、自動ピアノを安価に構成することができる。
5.変形例
本発明は上述した実施形態に限定されるわけではなく、例えば以下のように種々の変形が可能である。
5.1.仮想押鍵・離鍵軌道
上記実施形態においては、仮想押鍵・離鍵軌道として直線軌道を採用したが、特願平6−79604号に示されているような放物線軌道、その他任意の軌道に基づいて押鍵・離鍵速度を制御してもよい。
実際の押鍵操作においては、強打よりも弱打において放物線軌道をとる傾向が強く、直線軌道での再現では再現性が悪化してくる。特に、最弱打(pppp)に近い押鍵を直線軌道で再現しようとすると、ピアノのアクション部の構造などの理由から、ハンマーへの力伝達が行われず不安定な打弦となることがある。そこで、弱音だけを検出して放物線軌道で再現するようにし、その他の音は直線軌道で再現するように構成してもよい。すなわち、再生前処理部30において、打弦速度データを所定のしきい値で振り分け、弱音と判定された音に対しては、予め設定した加速度aを用いて放物線軌道を算出し、これによって鍵を駆動するとよい。
5.2.サーボ制御の変形
また、上記実施形態においては、モーションコントローラ11とサーボコントローラ12によって速度サーボ制御を行っていたが、これに代えて、特願平6−79604号に示されているような鍵位置を指示する位置サーボ制御を行っても良い。
この発明の第1実施形態の構成を示すブロック図である。 リファレンスポイントを9.5mmに設定したときの鍵速度と打弦速度の関係を示す図である。 リファレンス時間差Trと打弦速度との関係を示す図である。 図3を縮尺2倍にした図である。 図3を縮尺4倍にした図である。 記録後処理部31のフローチャートである。 鍵の押鍵軌道(直線軌道)を示す図である。 数6で示される軌道を示す図である。 押鍵の後に発生した離鍵の軌道が交差する場合を示す図である。 一般的な自動ピアノの構成を示す概略図である。 イベント抜けに対する動作を説明する図である。 イベント抜けに対する動作を説明する図である。 イベント抜けに対する動作を説明する図である。 学習処理の動作説明図である。 押鍵に対するデータ設定処理のフローチャートである。 離鍵に対するデータ設定処理のフローチャートである。
符号の説明
1……鍵、5……ソレノイド、10……再生前処理部、11……モーションコントローラ、12……サーボコントローラ、25……キーセンサ。

Claims (1)

  1. 演奏データを供給する供給手段と、
    使用に先立って個体差を学習する個体差学習手段であって、
    (1)鍵がエンド位置からレスト位置に移動するときの当該鍵の軌道の収束状態の部分に 基づいて想定される仮想鍵軌道が、エンド位置とレスト位置との間にある所定の離鍵位置に達する時刻と、
    (2)前記仮想鍵軌道がエンド位置と交差するタイミングである離鍵出発時刻と離鍵を指示した時刻である離鍵指示時刻との差を離鍵立上むだ時間とした場合の、当該離鍵立上むだ時間の呼称値と、実測された離鍵速度とに基づいて得られた呼称離鍵軌道が、前記離鍵位置に達する時刻と
    の差を離鍵到着時刻偏差として、呼称離鍵速度に対する前記離鍵到着時刻偏差及び前記離鍵立上むだ時間の個体差を学習する個体差学習手段と、
    前記演奏データに基づいて再生するときに、学習した前記離鍵到着時刻偏差及び前記離鍵立上むだ時間に基づいて、離鍵サーボ指示速度値及び離鍵指示時刻を算出する算出手段と、
    前記演奏データから得られる離鍵時刻データと離鍵速度データとに基づいて、鍵がエンド位置からレスト位置に移動するまでの当該鍵の位置と、当該位置に鍵がエンド位置から至るまでに経過した時間との関係を表す離鍵軌道を生成する軌道生成手段と、
    前記離鍵指示時刻において前記離鍵速度データに従った速度で鍵をエンド位置からレスト位置に向かって移動させ、前記離鍵軌道に従って鍵が移動するように、当該鍵の駆動を制御する駆動制御手段と
    を備える自動演奏ピアノ。
JP2006240118A 2006-09-05 2006-09-05 自動演奏ピアノ Expired - Fee Related JP4222395B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006240118A JP4222395B2 (ja) 2006-09-05 2006-09-05 自動演奏ピアノ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006240118A JP4222395B2 (ja) 2006-09-05 2006-09-05 自動演奏ピアノ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP03809997A Division JP3890649B2 (ja) 1997-02-21 1997-02-21 自動ピアノの演奏データ変換装置

Publications (2)

Publication Number Publication Date
JP2006350384A JP2006350384A (ja) 2006-12-28
JP4222395B2 true JP4222395B2 (ja) 2009-02-12

Family

ID=37646197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006240118A Expired - Fee Related JP4222395B2 (ja) 2006-09-05 2006-09-05 自動演奏ピアノ

Country Status (1)

Country Link
JP (1) JP4222395B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5987762B2 (ja) * 2013-04-11 2016-09-07 ヤマハ株式会社 鍵盤楽器のハーフペダル領域特定方法及び装置並びにプログラム
JP2014206575A (ja) * 2013-04-11 2014-10-30 ヤマハ株式会社 鍵盤楽器の鍵ダンパハーフ領域特定方法及び装置並びにプログラム
CN113903367B (zh) * 2021-09-30 2023-06-16 湖南卡罗德钢琴有限公司 一种基于钢琴全智能系统的采集还原方法

Also Published As

Publication number Publication date
JP2006350384A (ja) 2006-12-28

Similar Documents

Publication Publication Date Title
JP3890649B2 (ja) 自動ピアノの演奏データ変換装置
JP3887968B2 (ja) 鍵盤楽器および鍵速度判定装置
JP3620063B2 (ja) 自動ピアノおよび演奏データ加工装置
JP3900712B2 (ja) 鍵盤楽器のセンサ較正装置及びセンサ較正方法
JP4967406B2 (ja) 鍵盤楽器
JP5162938B2 (ja) 楽音発生装置及び鍵盤楽器
JP4479554B2 (ja) 鍵盤楽器
JP4687474B2 (ja) 鍵盤楽器
US7202409B2 (en) Musical instrument automatically performing music passage through hybrid feedback control loop containing plural sorts of sensors
JP3588872B2 (ja) 自動ピアノ
JP3551507B2 (ja) 自動演奏ピアノ
JP4193752B2 (ja) 自動演奏ピアノ
JP3627322B2 (ja) 自動ピアノ
US6271447B1 (en) Velocity calculating system for moving object widely varied in velocity method for correcting velocity and keyboard musical instrument equipped with the velocity calculating system for accurately determining loudness of sounds
CN103810987B (zh) 在用于发生机构中击打构件的驱动控制装置中模拟弱音
JP4222395B2 (ja) 自動演奏ピアノ
US6075196A (en) Player piano reproducing special performance techniques using information based on musical instrumental digital interface standards
JP2002006833A (ja) 鍵駆動装置
JP3596015B2 (ja) 自動ピアノ
JP4134952B2 (ja) 自動演奏ピアノ
JP3541411B2 (ja) 自動ピアノ
JP4670395B2 (ja) 自動ピアノ及び鍵を自動的に操作するためのプログラム
JP3861897B2 (ja) 演奏データ加工装置
JPH087575B2 (ja) 自動ピアノ
JP3588955B2 (ja) 自動ピアノ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081110

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees