JP3938178B2 - 楽音制御装置 - Google Patents
楽音制御装置 Download PDFInfo
- Publication number
- JP3938178B2 JP3938178B2 JP2004322403A JP2004322403A JP3938178B2 JP 3938178 B2 JP3938178 B2 JP 3938178B2 JP 2004322403 A JP2004322403 A JP 2004322403A JP 2004322403 A JP2004322403 A JP 2004322403A JP 3938178 B2 JP3938178 B2 JP 3938178B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- sound generation
- sound
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Image Analysis (AREA)
Description
本発明は、移動する操作物体の位置を検出することにより楽音の発音を制御する楽音制御装置に関するものである。
手足の麻痺、関節障害、筋力低下等の機能障害がある障害者のリハビリテーションとして運動療法が行われている。しかし、単調であるため、リハビリテーションに対する意欲がわかないという問題がある。従来、運動療法において、身体の動きに音楽を連動させて、楽しみながら身体能力を回復させるための支援装置が知られていなかった。
一方、電子楽器の操作入力に関する技術として、従来より、特許文献１で知られているような、身振りに応じて楽音を発音する電子楽器がある。しかし、これは健常者が扱う楽器そのものであり、身体能力を回復させるために使用することも可能であるが、身体能力の回復を支援することを特に意識して作られたものではない。
一方、電子楽器の操作入力に関する技術として、従来より、特許文献１で知られているような、身振りに応じて楽音を発音する電子楽器がある。しかし、これは健常者が扱う楽器そのものであり、身体能力を回復させるために使用することも可能であるが、身体能力の回復を支援することを特に意識して作られたものではない。
また、これまでの電子楽器の操作入力装置を考えると、従来、鍵盤などのように、操作にかなりの熟練を要するものが多い。一方、上述した身振りに応じて楽音を発音する電子楽器は、特殊な入力装置を体に装着しなければ演奏することができず、しかも、発音される楽音だけを頼りに入力するものであり、視覚的に確認しながら楽音の入力を行うことができないという問題があった。
そのため、操作装置に身体を拘束されることなく、空間中を操作者が手足を自由に動かすことにより、空間全体を楽器の鍵盤のような操作部に見立てて、楽音を発生させることができ、視覚的にも操作の確認が行えるような楽器が望まれていた。
このような楽器であれば、電子楽器の操作入力装置としての改良にとどまらず、操作者にうまく演奏しようとする意欲が生まれ、この点から、手足等を動かすリハビリテーション用の支援装置としても期待できる。
特開平９−６８９７４号公報
そのため、操作装置に身体を拘束されることなく、空間中を操作者が手足を自由に動かすことにより、空間全体を楽器の鍵盤のような操作部に見立てて、楽音を発生させることができ、視覚的にも操作の確認が行えるような楽器が望まれていた。
このような楽器であれば、電子楽器の操作入力装置としての改良にとどまらず、操作者にうまく演奏しようとする意欲が生まれ、この点から、手足等を動かすリハビリテーション用の支援装置としても期待できる。
本発明は、上述した問題点を解決するためになされたもので、特別な操作入力装置を身体に取り付けることなく、移動する操作物体の位置を検出することにより簡単に楽音の発音を制御することができる新規な楽音制御装置を提供することを目的とするものである。
電子楽器の入力装置としても、簡単に演奏することができるようにし、また、リハビリテーションの身体能力回復のための支援装置、あるいは身体機能の向上のための支援装置としても用いることができるようにした。
電子楽器の入力装置としても、簡単に演奏することができるようにし、また、リハビリテーションの身体能力回復のための支援装置、あるいは身体機能の向上のための支援装置としても用いることができるようにした。
本発明は、請求項１に記載の発明においては、楽音制御装置において、画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識する画像認識手段と、該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域の１つに存在しなくなったと判定されてから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段とを有するものである。
請求項２に記載の発明においては、楽音制御装置において、画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、前記被写体を撮影することにより被写体画像データを逐次入力し、認識ウインドウを用いて、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識するとともに、前記認識ウインドウを前記被写体の特定部分の画像の移動に追従するように移動させる画像認識手段と、該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域の１つに存在しなくなったと判定されてから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた音高で楽音の発音を指示する発音指示手段とを有するものである。
請求項３に記載の発明においては、楽音制御装置において、画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識する画像認識手段と、該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域のいずれかに存在していると認識されているときに前記被写体の特定部分の画像が認識できなくなり、認識できなくなってから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段とを有するものである。
請求項４に記載の発明においては、楽音制御装置において、画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、前記被写体を撮影することにより被写体画像データを逐次入力し、認識ウインドウを用いて、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識するとともに、前記認識ウインドウを前記被写体の特定部分の画像の移動に追従するように移動させる画像認識手段と、該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域のいずれかに存在していると認識されているときに前記被写体の特定部分の画像が認識できなくなり、認識できなくなってから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた音高で楽音の発音を指示する発音指示手段とを有するものである。
請求項５に記載の発明においては、請求項１から４までのいずれか１項に記載の楽音制御装置において、前記複数の発音領域は、前記画像表示面の所定の方向に離散的に配列されたものであり、前記所定の方向を設定する発音領域設定手段を有するものである。
請求項６に記載の発明においては、請求項１から４までのいずれか１項に記載の楽音制御装置において、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像表示面上における被写体の特定部分の画像を前記画像記憶手段に登録する登録手段を有するものである。
請求項７に記載の発明においては、請求項１から４までのいずれか１項に記載の楽音制御装置において、前記画像認識手段は、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を、パターン照合を行うことにより認識するものである。
請求項８に記載の発明においては、請求項１から４までのいずれか１項に記載の楽音制御装置において、前記画像認識手段は、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を、前記被写体の特定部分の画像の位置検出の状況に応じて、画像認識の一致レベルを低くしたり高くしたりするものである。
請求項４に記載の発明においては、楽音制御装置において、画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、前記被写体を撮影することにより被写体画像データを逐次入力し、認識ウインドウを用いて、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識するとともに、前記認識ウインドウを前記被写体の特定部分の画像の移動に追従するように移動させる画像認識手段と、該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域のいずれかに存在していると認識されているときに前記被写体の特定部分の画像が認識できなくなり、認識できなくなってから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた音高で楽音の発音を指示する発音指示手段とを有するものである。
請求項５に記載の発明においては、請求項１から４までのいずれか１項に記載の楽音制御装置において、前記複数の発音領域は、前記画像表示面の所定の方向に離散的に配列されたものであり、前記所定の方向を設定する発音領域設定手段を有するものである。
請求項６に記載の発明においては、請求項１から４までのいずれか１項に記載の楽音制御装置において、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像表示面上における被写体の特定部分の画像を前記画像記憶手段に登録する登録手段を有するものである。
請求項７に記載の発明においては、請求項１から４までのいずれか１項に記載の楽音制御装置において、前記画像認識手段は、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を、パターン照合を行うことにより認識するものである。
請求項８に記載の発明においては、請求項１から４までのいずれか１項に記載の楽音制御装置において、前記画像認識手段は、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を、前記被写体の特定部分の画像の位置検出の状況に応じて、画像認識の一致レベルを低くしたり高くしたりするものである。
上述した請求項１ないし請求項８に記載の発明に関連して、次のような技術がある。
（１）移動する操作物体の位置を検出して楽音の発音を制御する楽音制御装置であって、前記操作物体の位置を検出する位置検出手段と、前記位置検出手段の出力を入力し、前記操作物体の任意の基準位置から前記操作物体の現在位置までの移動時間および前記操作物体の現在位置の両要素に少なくとも応じて前記楽音を発音させるか否かを決定し、前記楽音を発音させる場合に前記楽音の発音を指示する発音指示手段と、を有することを特徴とする楽音制御装置。
したがって、操作物体の任意の基準位置から現在位置までの移動時間および操作物体の現在位置に関する所定の移動条件を満足したときに、楽音が発音される。
（１）移動する操作物体の位置を検出して楽音の発音を制御する楽音制御装置であって、前記操作物体の位置を検出する位置検出手段と、前記位置検出手段の出力を入力し、前記操作物体の任意の基準位置から前記操作物体の現在位置までの移動時間および前記操作物体の現在位置の両要素に少なくとも応じて前記楽音を発音させるか否かを決定し、前記楽音を発音させる場合に前記楽音の発音を指示する発音指示手段と、を有することを特徴とする楽音制御装置。
したがって、操作物体の任意の基準位置から現在位置までの移動時間および操作物体の現在位置に関する所定の移動条件を満足したときに、楽音が発音される。
その結果、操作者の手、頭、あるいは、手に持つカードや棒等の操作物体が特定の移動条件を満たす場合にのみ、楽音を発生させる、身振り式の新規な楽音制御装置としても使用することもできる。
また、決められた移動条件を意識して操作物体が操作されないと、望むような楽音を発生しないことから、操作物体の操作者にうまく演奏しようとする意欲が生まれ、リハビリテーションにつながる支援装置ともなる。
より具体的には、例えば、操作物体の現在の位置は、特定の１つまたは複数の発音領域の１つにあることを第１条件とする。例えば、基準位置から現在位置までの移動するのに要した時間が所定時間以上であることを第２条件とする。この所定時間は、操作物体の移動速度等を考慮することにより、任意に設定変更されるものである。基準位置は、例えば、操作物体の存在が検出された、最初または直前の位置、あるいは、操作物体の所定の登録位置とすることができる。
複数の発音領域の音高は、絶対座標上における発音領域の位置に応じて割り当てる。あるいは、基準位置を所定の音高として、基準位置に対する相対位置（相対距離である場合を含む）に応じて割り当てる。
また、決められた移動条件を意識して操作物体が操作されないと、望むような楽音を発生しないことから、操作物体の操作者にうまく演奏しようとする意欲が生まれ、リハビリテーションにつながる支援装置ともなる。
より具体的には、例えば、操作物体の現在の位置は、特定の１つまたは複数の発音領域の１つにあることを第１条件とする。例えば、基準位置から現在位置までの移動するのに要した時間が所定時間以上であることを第２条件とする。この所定時間は、操作物体の移動速度等を考慮することにより、任意に設定変更されるものである。基準位置は、例えば、操作物体の存在が検出された、最初または直前の位置、あるいは、操作物体の所定の登録位置とすることができる。
複数の発音領域の音高は、絶対座標上における発音領域の位置に応じて割り当てる。あるいは、基準位置を所定の音高として、基準位置に対する相対位置（相対距離である場合を含む）に応じて割り当てる。
（２）被写体を撮影した画像表示面上における前記被写体の特定部分の位置を検出する位置検出手段と、前記画像表示面上に少なくとも１つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、前記位置検出手段の出力を入力し、前記特定部分が、前記画像表示面上の、ある１つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある１つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段とを有する、ことを特徴とする楽音制御装置。
したがって、被写体の特定部分の移動状況を楽音の発音によって知ることができる。また、操作物体の位置を、この操作物体を被写体の特定部分として撮影した画像表示面上で容易に認識することができる。
被写体の特定部分が所定の移動条件を満たす場合にのみ、楽音を発音させることができるから、操作物体を恣意的に移動しないと、望むような楽音を発生しない。その結果、操作物体の操作者にうまく演奏しようとする意欲が生まれるために、操作者の身体、腕、足等を動かすリハビリテーションの支援装置として有効である。
また、被写体の特定部分が真に目的を持って異なる発音領域に移動したことを、操作者に確認させることができる。
被写体の特定部分が所定の移動条件を満たす場合にのみ、楽音を発音させることができるから、操作物体を恣意的に移動しないと、望むような楽音を発生しない。その結果、操作物体の操作者にうまく演奏しようとする意欲が生まれるために、操作者の身体、腕、足等を動かすリハビリテーションの支援装置として有効である。
また、被写体の特定部分が真に目的を持って異なる発音領域に移動したことを、操作者に確認させることができる。
なお、１または複数の発音領域は、画像表示面の絶対座標上で割り当てることができる他、基準位置からの相対位置（相対距離）によって割り当てることもできる。この基準位置としては、被写体の特定部分が最初停止していた位置、画像認識のために最初画像を登録した位置などとすることができる。
上述した発音指示手段は、より具体的には、最初に前記特定部分が実質的に停止状態にある時を初期状態として判定を開始し、前記特定部分が再び実質的に停止状態になったときに、現在の実質的な停止状態を前記初期状態として再び判定を開始する構成にすれば、継続的に楽音制御動作を行うことができる。
上述した発音指示手段は、より具体的には、最初に前記特定部分が実質的に停止状態にある時を初期状態として判定を開始し、前記特定部分が再び実質的に停止状態になったときに、現在の実質的な停止状態を前記初期状態として再び判定を開始する構成にすれば、継続的に楽音制御動作を行うことができる。
（３）上述した（２）の楽音制御装置において、前記発音指示手段は、前記特定部分の位置が、前記所定時間経過後に、前記ある１つの領域と同じ領域にあることが判定され、かつ、前記ある領域が前記発音領域に属すると判定されたときにも、現在、前記特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する、ことを特徴とする楽音制御装置。
したがって、画像表示面上において、被写体の特定部分が、発音領域である、ある１つの領域に存在することが検出できないような状態に操作すれば、この発音領域に割り当てられた楽音の発音を再度指示することができる。
より具体的な操作としては、被写体の特定部分を、故意に画面の奥行き方向の、前方あるいは後方に移動させたり、被写体の特定部分の形を一時的に変化させたりすればよい。その結果、被写体の特定部分の奥行き方向の移動や、形を変える運動を楽音によって確認することができる。また、身振り式の楽音制御装置としてみた場合には、同じ楽音を繰り返し発音指示することができる。
したがって、画像表示面上において、被写体の特定部分が、発音領域である、ある１つの領域に存在することが検出できないような状態に操作すれば、この発音領域に割り当てられた楽音の発音を再度指示することができる。
より具体的な操作としては、被写体の特定部分を、故意に画面の奥行き方向の、前方あるいは後方に移動させたり、被写体の特定部分の形を一時的に変化させたりすればよい。その結果、被写体の特定部分の奥行き方向の移動や、形を変える運動を楽音によって確認することができる。また、身振り式の楽音制御装置としてみた場合には、同じ楽音を繰り返し発音指示することができる。
（４）上述した（２）または（３）に記載の楽音制御装置において、前記発音領域設定手段は、前記画像表示面上の所定の方向に複数の発音領域を設定し、前記所定の方向に沿った前記各発音領域の順序に応じた音高の楽音を割り当てるものである、ことを特徴とする楽音制御装置。
したがって、この複数の発音領域の配列により音階スケールを構成することになり、被写体の特定部分の移動方向を楽音によって知ることができる。なお、このとき、複数の発音領域の方向と直交する方向には、発音領域の範囲を制限（矩形状の発音領域とする）したり、あるいは、制限しないようにする（帯状の発音領域とする）ことができる。発音領域の範囲を制限した場合には、さらに音高のオクターブが異なるなどの、異なる楽音の発音領域の配列を複数列設けることもできる。
したがって、この複数の発音領域の配列により音階スケールを構成することになり、被写体の特定部分の移動方向を楽音によって知ることができる。なお、このとき、複数の発音領域の方向と直交する方向には、発音領域の範囲を制限（矩形状の発音領域とする）したり、あるいは、制限しないようにする（帯状の発音領域とする）ことができる。発音領域の範囲を制限した場合には、さらに音高のオクターブが異なるなどの、異なる楽音の発音領域の配列を複数列設けることもできる。
（５）上述した（４）に記載の楽音制御装置において、前記発音領域設定手段は、外部入力信号により、前記所定の方向を設定するものである、ことを特徴とする楽音制御装置。
したがって、被写体の特定部分の動きに合わせて、複数の発音領域の配列方向を設定することができる。その結果、リハビリテーションの支援装置として用いたときに、操作者は、身体、腕、足等を動かすことが可能な方向に発音領域の配列方向に合わせることにより、どこまで動かすことができるかを楽音により確認することができる。身振り式の楽音制御装置としてみた場合にも、現在の姿勢での身体、腕、足等を動かしやすい方向に発音領域の配列方向を合わせることができる。
したがって、被写体の特定部分の動きに合わせて、複数の発音領域の配列方向を設定することができる。その結果、リハビリテーションの支援装置として用いたときに、操作者は、身体、腕、足等を動かすことが可能な方向に発音領域の配列方向に合わせることにより、どこまで動かすことができるかを楽音により確認することができる。身振り式の楽音制御装置としてみた場合にも、現在の姿勢での身体、腕、足等を動かしやすい方向に発音領域の配列方向を合わせることができる。
上述した説明から明らかなように、本発明によれば、被写体の特定部分がどのように動いたかの移動状況を、楽音によって確認させることができるという効果がある。
本発明の楽音制御装置は、楽音発生部と共に用いたり、楽音発生部と一体となって楽音発生装置として使用されるが、操作者が演奏する意思をもってこれに臨まないと、望むような楽音を発生する楽器とはならないようになっている。その結果、操作者にうまく演奏しようとする意欲が生まれ、これが手足等を動かすリハビリテーションにつながる。
したがって、リハビリテーションの身体能力回復のための支援装置、あるいは身体機能の向上のための支援装置として用いることができる。同時に、身振りに応じて楽音を発音する電子楽器の機能も備えるため、楽しみながらリハビリテーションを行うことができる。また、音楽的創造力やダンス的素養を高めることも期待できる。
電子楽器の入力装置としても、手の位置等で音高を入力することが簡単にできるため、楽器をさわったことのない人でも、演奏することができる。手に限らず、頭（首）、肘、足の動き、手に持ったカードや棒の動き等を使って演奏することができる。また、発音する楽音を発音時間間隔を含めて記憶することができるので、演奏を入力すると同時に記録を行い、その後、改めて演奏中のフレーズを取り出すことにより、簡単に作曲することができる。
本発明の楽音制御装置は、楽音発生部と共に用いたり、楽音発生部と一体となって楽音発生装置として使用されるが、操作者が演奏する意思をもってこれに臨まないと、望むような楽音を発生する楽器とはならないようになっている。その結果、操作者にうまく演奏しようとする意欲が生まれ、これが手足等を動かすリハビリテーションにつながる。
したがって、リハビリテーションの身体能力回復のための支援装置、あるいは身体機能の向上のための支援装置として用いることができる。同時に、身振りに応じて楽音を発音する電子楽器の機能も備えるため、楽しみながらリハビリテーションを行うことができる。また、音楽的創造力やダンス的素養を高めることも期待できる。
電子楽器の入力装置としても、手の位置等で音高を入力することが簡単にできるため、楽器をさわったことのない人でも、演奏することができる。手に限らず、頭（首）、肘、足の動き、手に持ったカードや棒の動き等を使って演奏することができる。また、発音する楽音を発音時間間隔を含めて記憶することができるので、演奏を入力すると同時に記録を行い、その後、改めて演奏中のフレーズを取り出すことにより、簡単に作曲することができる。
図１は、本発明の楽音制御装置の実施の一形態の第１の説明図である。図１（ａ）は使用状態図、図１（ｂ）は登録時における画像表示面の一部を示す説明図である。
図１（ａ）において、１は操作者、１ａは手、２はコンピュータ本体部である。コンピュータ本体部２には、キーボード３、画像表示装置（ＣＲＴディスプレイ）４、スピーカ５、ビデオカメラ６が接続されている。この実施の一形態においては、汎用コンピュータ２は、ビデオカメラ６からの映像信号を処理するカードと楽音信号を生成するサウンドカードを内蔵している。操作者１は、画像表示装置４に向かって、手１ａを動かす。操作者１の像は、ビデオカメラ６により撮影され、コンピュータ本体部２において画像処理され、同時に画像表示装置４に表示される。操作者１は、画像表示面を見ながら手１ａを動かしたり、ポーズを取る。
図１（ａ）において、１は操作者、１ａは手、２はコンピュータ本体部である。コンピュータ本体部２には、キーボード３、画像表示装置（ＣＲＴディスプレイ）４、スピーカ５、ビデオカメラ６が接続されている。この実施の一形態においては、汎用コンピュータ２は、ビデオカメラ６からの映像信号を処理するカードと楽音信号を生成するサウンドカードを内蔵している。操作者１は、画像表示装置４に向かって、手１ａを動かす。操作者１の像は、ビデオカメラ６により撮影され、コンピュータ本体部２において画像処理され、同時に画像表示装置４に表示される。操作者１は、画像表示面を見ながら手１ａを動かしたり、ポーズを取る。
図１（ｂ）に示す登録時における画像表示面において、１１は操作者の表示画像、１１ａは手の表示画像、１２は認識ウインドウ、１３は発音領域である。
手１ａを被写体の特定部分（パーツ）とする場合を例示する。登録時には、画像表示面４ａの所定領域に、手の表示画像１１ａを認識させるための認識ウインドウ１２を画定し、この認識ウインドウ１２内の表示画像を登録する。この後の演奏時に、手１ａを動かすと、画像表示面４ａ上において、手の表示画像１１ａが移動するとともに、これに追従して、認識ウインドウ１２を移動させる。画像表示面４ａ上の複数の位置に、発音領域１３が設定されている。
手１ａを被写体の特定部分（パーツ）とする場合を例示する。登録時には、画像表示面４ａの所定領域に、手の表示画像１１ａを認識させるための認識ウインドウ１２を画定し、この認識ウインドウ１２内の表示画像を登録する。この後の演奏時に、手１ａを動かすと、画像表示面４ａ上において、手の表示画像１１ａが移動するとともに、これに追従して、認識ウインドウ１２を移動させる。画像表示面４ａ上の複数の位置に、発音領域１３が設定されている。
図示の例では、登録時の認識ウインドウ１２の内部に発音領域１３が設けられている。演奏中においては、このような発音領域１３内に、手の表示画像１１ａの中心が位置することを判定したときには、この発音領域１３に対応した音高の楽音信号を所定期間にわたって発音させる。
なお、画像表示面４ａにおける被写体の表示は、被写体の鏡像を表示するようにすれば、操作者１が画像表示面４ａを見ながら手１ａ等を動かすのに好ましい。
なお、画像表示面４ａにおける被写体の表示は、被写体の鏡像を表示するようにすれば、操作者１が画像表示面４ａを見ながら手１ａ等を動かすのに好ましい。
図２は、本発明の楽音制御装置の実施の一形態の第２の説明図である。図２（ａ）は機能ブロック図、図２（ｂ）は、発音指示部が行う判断をフローチャート表現で説明する説明図である。図２（ａ）中、２１は位置検出部、２２は発音指示部、２３は発音領域設定部、２１ａは被写体特定部分の画像記憶部、２１ｂは画像認識部である。
ビデオカメラ６等の画像入力部から被写体画像データが画像メモリ等に書き込まれる。位置検出部２１は、この画像メモリ上の被写体画像データを入力して、被写体を撮影した画像表示面上における被写体の特定部分の位置を検出する。
ビデオカメラ６等の画像入力部から被写体画像データが画像メモリ等に書き込まれる。位置検出部２１は、この画像メモリ上の被写体画像データを入力して、被写体を撮影した画像表示面上における被写体の特定部分の位置を検出する。
位置検出部２１は、一例として、被写体特定部分の画像記憶部２１ａおよび画像認識部２１ｂを有するものである。登録モード時において、画像メモリ等に書き込まれている被写体画像データから、被写体の特定部分の画像、例えば、被写体の一部分の表示画像を、被写体特定部分の画像記憶部２１ａに登録する。なお、被写体の表示画像の全体を、被写体の特定部分として登録することもできる。
演奏モード時において、被写体の特定部分は、画像表示面上において位置が移動する。画像認識部２１ｂは、画像入力部から画像メモリを介して逐次入力された画像と被写体特定部分の画像記憶部２１ａに登録された画像とを比較することにより、被写体の特定部分の位置を検出する。
演奏モード時において、被写体の特定部分は、画像表示面上において位置が移動する。画像認識部２１ｂは、画像入力部から画像メモリを介して逐次入力された画像と被写体特定部分の画像記憶部２１ａに登録された画像とを比較することにより、被写体の特定部分の位置を検出する。
発音領域設定部２３は、画像表示面上に複数の発音領域を設定するとともに、各発音領域に対して発音させる楽音を割り当てる。
発音指示部２２は、位置検出部２１の位置検出出力および発音領域設定部２３の設定出力を入力し、被写体の特定部分の移動条件に関する判定を行う。
図２（ｂ）に、この移動条件を示す。
発音指示部２２は、位置検出部２１の位置検出出力および発音領域設定部２３の設定出力を入力し、被写体の特定部分の移動条件に関する判定を行う。
図２（ｂ）に、この移動条件を示す。
Ｓ２４においては、被写体の特定部分の最初の位置が初期設定される。初期設定位置は、任意の基準位置でよいが、例えば、被写体の特定部分の画像を登録する時の停止位置である。なお、初期設定時においては、特別に発音指示することもできる。Ｓ２５においては、位置検出部２１から出力される被写体の特定部分の位置が、直前の位置に存在するか否かが判定される。直前の位置に存在しないときにはＳ２６の判定に移り、存在しているときには、再び、Ｓ２５の判定を行う。
なお、ここで言う位置とは、ピンポイント的な位置ではなく、直前に存在が検出されていた位置からわずかに移動しても、所定の範囲内にあるときには同じ位置にあるとしている。すなわち、このような場合には、実質的に停止しているものとしている。また、直前の位置に存在しないと判定される場合としては、第１には、被写体の特定部分が他の位置に移動したことが検出された場合であるが、位置検出部２１が被写体の特定部分の存在位置を検出できなくなった場合もある。
なお、ここで言う位置とは、ピンポイント的な位置ではなく、直前に存在が検出されていた位置からわずかに移動しても、所定の範囲内にあるときには同じ位置にあるとしている。すなわち、このような場合には、実質的に停止しているものとしている。また、直前の位置に存在しないと判定される場合としては、第１には、被写体の特定部分が他の位置に移動したことが検出された場合であるが、位置検出部２１が被写体の特定部分の存在位置を検出できなくなった場合もある。
Ｓ２６の判定においては、Ｓ２５において直前の位置に存在しないと判定されてから所定時間が経過したか否かを判定し、経過していないときには再びＳ２６の判定に戻るが、所定時間が経過したときには、Ｓ２７の判定を行う。Ｓ２７の判定においては、位置検出部２１により被写体の特定部分の存在が検出されているか否かを判定する。被写体の特定部分の存在が検出されていないときには、再びＳ２７の判断に戻るが、検出されているときには、Ｓ２８の判定を行う。
Ｓ２８の判定では、位置検出部２１から出力された、被写体の特定部分の存在位置が、発音領域設定部２３により設定された１または複数の発音領域に属するか否かを判定し、この発音領域に属しなければ、Ｓ２５の判定に戻り、この発音領域に属するときにはＳ２９の処理を行う。Ｓ２９においては、この発音領域に割り当てられた楽音の発音を指示して、再び、Ｓ２５の判定に戻る。あるいは、いずれの場合も、Ｓ２５に判定には戻らず、処理を終了するようにしてもよい。
Ｓ２８の判定では、位置検出部２１から出力された、被写体の特定部分の存在位置が、発音領域設定部２３により設定された１または複数の発音領域に属するか否かを判定し、この発音領域に属しなければ、Ｓ２５の判定に戻り、この発音領域に属するときにはＳ２９の処理を行う。Ｓ２９においては、この発音領域に割り当てられた楽音の発音を指示して、再び、Ｓ２５の判定に戻る。あるいは、いずれの場合も、Ｓ２５に判定には戻らず、処理を終了するようにしてもよい。
Ｓ２５に戻って、Ｓ２５〜Ｓ２８の判定を繰り返し行うようにする場合には、被写体の特定部分の現在の位置が停止していることを条件として、この停止位置を、Ｓ２４における初期位置と同様な直前位置として、再び判定を開始すればよい。さらには、毎回、Ｓ２９において発音指示された時刻を検出し、前回の発音指示時刻から今回の発音指示時刻までの時間間隔を計算し、これを前回発音された楽音に対する音符情報として記録することができる。
したがって、異なる領域へ移動したとしても、移動に要した時間が短いときには、仮に発音領域に移動しても発音指示がされず、所定時間経過後にも、この異なる領域に存在が検出されているときに限り、発音が指示される。したがって、所定時間経過するまでの間に、ある発音領域を通過したとしても、発音されない。また、位置検出の結果、被写体の特定部分が直前位置から動かず実質的に停止していることが検出されている間は、この領域が仮に発音領域であって１度発音指示がされた場合でも、発音指示は繰り返されない。
なお、Ｓ２７の判定において、被写体の特定部分の存在が検出された領域が、直前に存在が検出されていた領域と異なることを付加的条件として、Ｓ２８の判定を行うようにしてもよい。この場合、Ｓ２５において被写体の特定部分の存在が１時的に検出できなくなって、Ｓ２７の判定で、再び、直前と同じ位置に存在することが判定された場合には、先に説明したＳ２６の判定条件を満足してもＳ２８の判定に行かないようにすることができる。したがって、被写体の特定部分が存在する位置が、発音領域であって、１時的に存在が検出できなかっただけのときには、２度目の発音を指示しないようにすることもできる。
逆に、上述した付加的条件を付けない場合には、恣意的に、被写体の特定部分の存在が１時的に検出できないような状態にして、同じ発音領域の発音を２回以上繰り返して行うようにすることができる。
逆に、上述した付加的条件を付けない場合には、恣意的に、被写体の特定部分の存在が１時的に検出できないような状態にして、同じ発音領域の発音を２回以上繰り返して行うようにすることができる。
上述した説明では、Ｓ２８の判定において、被写体の特定部分の存在が直前に検出されていた領域が、１または複数の発音領域のいずれかであったことを条件としなかったが、この条件を付加的条件としてもよい。この場合、１または複数の発音領域以外の領域において被写体の特定部分が停止していて位置検出されている場合を除外した移動条件とすることができる。
移動条件としては、リハビリテーションにおいて手等を動かす状況、あるいは、身振り式の楽音制御装置として操作する方法を考慮して適切な条件を採用する。
移動条件としては、リハビリテーションにおいて手等を動かす状況、あるいは、身振り式の楽音制御装置として操作する方法を考慮して適切な条件を採用する。
図３は、本発明の楽音制御装置の実施の一形態のハードウエア構成の概要図である。図中、図１と同様な部分には同じ符号を付して説明を省略する。
映像信号を処理するカードとサウンドカードを内蔵する汎用コンピュータは、ＣＰＵ（Central Processing Unit）３１、画像処理部３２、外部記憶装置３３、ＲＯＭ（Read Only Memory）３４、ＲＡＭ（Random Access Memory）３５、楽音発生部３６等で構成される。ビデオカメラ６により取り込まれた被写体の画像は画像処理部３２に取り込まれ、Ａ／Ｄ変換されてＣＰＵ３１に入力される。
ビデオカメラ６に代えて、被写体の静止画像を連続撮影可能なデジタルカメラを使用してもよい。ＣＰＵ３１は、ＲＯＭ３４に記憶された基本入出力システム（ＢＩＯＳ）プログラムおよび、ハードディスク等の外部記憶装置３３からＲＡＭ３５にロードされるオペレーティングシステム（ＯＳ）プログラム、および、アプリケーションプログラムを実行することにより動作する。
映像信号を処理するカードとサウンドカードを内蔵する汎用コンピュータは、ＣＰＵ（Central Processing Unit）３１、画像処理部３２、外部記憶装置３３、ＲＯＭ（Read Only Memory）３４、ＲＡＭ（Random Access Memory）３５、楽音発生部３６等で構成される。ビデオカメラ６により取り込まれた被写体の画像は画像処理部３２に取り込まれ、Ａ／Ｄ変換されてＣＰＵ３１に入力される。
ビデオカメラ６に代えて、被写体の静止画像を連続撮影可能なデジタルカメラを使用してもよい。ＣＰＵ３１は、ＲＯＭ３４に記憶された基本入出力システム（ＢＩＯＳ）プログラムおよび、ハードディスク等の外部記憶装置３３からＲＡＭ３５にロードされるオペレーティングシステム（ＯＳ）プログラム、および、アプリケーションプログラムを実行することにより動作する。
ＣＰＵ３１は、画像信号を入力し、図２に示した機能を実現するとともに、画像を表示部４に表示させる。ＣＰＵ３１は、楽音の発生を指示するとともに、楽音パラメータを楽音発生部３６に出力し、楽音発生部３６は、楽音波形を生成し、楽音波形データをＤ／Ａ変換および増幅してスピーカ５より楽音を出力する。なお、ＣＰＵ３１に、楽音波形の生成までを実行させることもできる。自動演奏再生用の楽曲は、ＲＡＭ３５に一時記憶されるが、最終的に、外部記憶装置３３に記憶させることができ、また、ＲＡＭ３５に読み戻すこともできる。
画像処理部３２は、単に画像フレームの処理やＡ／Ｄ変換の機能だけを備えたものでもよいが、専用のＤＳＰ（Digital Signal Processor）等により画像認識、または、画像認識のための前処理を行うようにしてもよい。
上述した説明では、汎用のパーソナルコンピュータを用い、プログラムにより楽音制御機能を実現する構成を示したが、専用の楽音制御装置としてもよい。
上述した説明では、汎用のパーソナルコンピュータを用い、プログラムにより楽音制御機能を実現する構成を示したが、専用の楽音制御装置としてもよい。
図４ないし図６は、本発明の楽音制御装置の実施の一形態の発音領域の説明図である。
発音領域は、操作者が手などを動かす方向に合うように操作者自身が設定できる。
図４は、画像表示面の絶対位置に対応させて複数の発音領域を設定するモードにおける画像表示面である。複数列の発音領域列４１〜４３が設定されているが、登録時においては、発音領域列４１中の左端の発音領域１３にその中心がある認識ウインドウ１２が表示され、ここで、手１ａの表示画像を記憶する。登録時において、発音領域１３は、例えば、音名Ｃ3に対応させ、矢印４４に示す右方向に音高が上昇するように、音高が割り当てられている。図示の例では、発音領域列４１は、音名Ｃ3からＢ4までの１オクターブが割り当てられ、この上段に位置する発音領域列４２には、音名Ｃ4からＢ5までが割り当てられ、発音領域列４１の下段に位置する発音領域列４３には、音名Ｃ2からＢ3までが割り当てられている。
発音領域は、操作者が手などを動かす方向に合うように操作者自身が設定できる。
図４は、画像表示面の絶対位置に対応させて複数の発音領域を設定するモードにおける画像表示面である。複数列の発音領域列４１〜４３が設定されているが、登録時においては、発音領域列４１中の左端の発音領域１３にその中心がある認識ウインドウ１２が表示され、ここで、手１ａの表示画像を記憶する。登録時において、発音領域１３は、例えば、音名Ｃ3に対応させ、矢印４４に示す右方向に音高が上昇するように、音高が割り当てられている。図示の例では、発音領域列４１は、音名Ｃ3からＢ4までの１オクターブが割り当てられ、この上段に位置する発音領域列４２には、音名Ｃ4からＢ5までが割り当てられ、発音領域列４１の下段に位置する発音領域列４３には、音名Ｃ2からＢ3までが割り当てられている。
演奏モードにおいては、登録された手の表示画像１１ａの中心点が複数の発音領域１３の１つに位置したときに、この発音領域に割り当てられた音高の、ピアノ音、打楽器音等の楽音が所定持続時間にわたって発音される。ただし、図７を参照して後述するように、手の表示画像１１ａの中心点が複数の発音領域１３の１つに位置するという条件だけで、楽音を発音させるようにはしていない。
図５は、音高Ｃ3に対応する発音領域１３を基準位置とした画像表示面の相対位置に対応させ、かつ、音高の上昇方向を右上がりに設定するモードの画像表示面である。登録時に、音高Ｃ3に対応する発音領域１３を中心とした認識ウインドウ１２が表示される。この発音領域１３の位置は、登録時にユーザの入力により自由に位置を決めることができる。発音領域列４１〜４３は斜めに配置されるとともに、音高Ｃ3に対応する発音領域１３から音高の上昇する方向が、矢印４４に示すように、右上がりに設定されている。
図６は、音高Ｃ3に対応する発音領域１３を基準位置とした画像表示面の相対位置に対応させ、かつ、音高の上昇方向を左下がりに設定するモードの画像表示面である。登録時に、音高Ｃ3に対応する発音領域１３を中心とした認識ウインドウ１２が表示される。この発音領域１３は、登録時にユーザの入力により自由に位置を決めることができる。発音領域列４１〜４３は斜めに配置されるとともに、音高の上昇する方向が、矢印４４に示すように、左下がりに設定されている。
なお、図４〜図６に示した音高の割り当ては、一例であり、１つの発音領域列に音名Ｃ3からＣ4までを割り当てたり、白鍵に対応する音高のみを割り当てたり、黒鍵に対応する音高を割り当てる発音領域列を別の段に設けてもよい。
また、１オクターブ上の音高および１オクターブ下の音高のための発音領域列を設けないようにしてもよい。この場合、各発音領域１３の形状を図示のような正方形にせずに、発音領域列４１に直交する方向に帯状にしてもよい。また、首の曲げなどの動きに対応させるためには、方向を直線方向とはしないで、任意の曲線に沿った方向としてもよい。
また、１オクターブ上の音高および１オクターブ下の音高のための発音領域列を設けないようにしてもよい。この場合、各発音領域１３の形状を図示のような正方形にせずに、発音領域列４１に直交する方向に帯状にしてもよい。また、首の曲げなどの動きに対応させるためには、方向を直線方向とはしないで、任意の曲線に沿った方向としてもよい。
複数列の発音領域列４１〜４３、各発音領域内の音名表示、および、矢印４４は、説明用に記載したものであり、実際の画像表示面においては表示しなくてもよい。演奏動作中において、認識ウインドウ１２を表示してもよいが、図７に示すように確認マーク５１を表示するため、演奏動作中においては、認識ウインドウ１２を表示しなくてもよい。
図７は、本発明の楽音制御装置の実施の一形態の楽音制御機能の説明図である。図中、１１ａ−１〜１１ａ−９は、手１ａを動かしているときの、手の表示画像１１ａの位置を示す符号である。５１は、手１ａを認識している時の確認マークである。
手の動きにはさまざまなパターンがあるが、ここでは、典型的な４通りの動きについて説明する。
（１）音高の配列方向に手１ａを遅く動かした場合。図中、手の表示画像１１ａ−１〜１１ａ−５の期間である。
（２）音高の配列方向に手１ａを速く動かした場合。図中、手の表示画像１１ａ−５〜１１ａ−７の期間である。
（３）音高の配列方向には手１ａを動かさずに、１時的に手１ａを画像認識できない（存在を検出できない）状態にした場合。１時的に画像認識できない状態とは、例えば、手１ａをビデオカメラ６に対し遠ざけてまたもとの位置に戻したり、または、近づけて、その後、元の位置に戻したときである。図中、手の表示画像１１ａ−７〜１１ａ−９の期間である。手の表示画像１１ａ−７〜１１ａ−９は、典型的な例では、画面表示部上で重なるが、ずらせた状態で図示している。
（４）さらに、手１ａを画像認識できない状態にして、音高の配列方向に手１ａを動かした場合。この場合の図示は省略している。
手の動きにはさまざまなパターンがあるが、ここでは、典型的な４通りの動きについて説明する。
（１）音高の配列方向に手１ａを遅く動かした場合。図中、手の表示画像１１ａ−１〜１１ａ−５の期間である。
（２）音高の配列方向に手１ａを速く動かした場合。図中、手の表示画像１１ａ−５〜１１ａ−７の期間である。
（３）音高の配列方向には手１ａを動かさずに、１時的に手１ａを画像認識できない（存在を検出できない）状態にした場合。１時的に画像認識できない状態とは、例えば、手１ａをビデオカメラ６に対し遠ざけてまたもとの位置に戻したり、または、近づけて、その後、元の位置に戻したときである。図中、手の表示画像１１ａ−７〜１１ａ−９の期間である。手の表示画像１１ａ−７〜１１ａ−９は、典型的な例では、画面表示部上で重なるが、ずらせた状態で図示している。
（４）さらに、手１ａを画像認識できない状態にして、音高の配列方向に手１ａを動かした場合。この場合の図示は省略している。
（１）音高の配列方向に手１ａを遅く動かした場合。手の表示画像１１ａの中心が発音領域内に入ると、楽音を１回だけ所定持続時間発音する。図示の例では、手の表示画像１１ａ−１のときに、その中心が発音領域内に入り、音名Ｃ3の楽音が発音される。次に、手の表示画像１１ａ−２のときに、その中心が発音領域外に移動し、手の表示画像１１ａ−３のときに、その中心が発音領域内に入り、音名Ｃ# 3の楽音が１回だけ所定持続時間発音される。次に、手の表示画像１１ａ−４のときに、その中心が発音領域外に移動し、手の表示画像１１ａ−５のときに、その中心が発音領域内に入り、音名Ｄ3の楽音が１回だけ所定持続時間発音される。このようにして、手１ａを音高の配列方向に動かす間において、手１ａの移動中の経過音を発生させることができる。
（２）音高の配列方向に手１ａを速く動かした場合。手の表示画像１１ａ−５の中心が楽音Ｄ3の発音領域にあって、楽音Ｄ3が１回だけ所定持続時間発音される。その後、手１ａを、音高の配列方向に速く動かす。手の表示画像１１ａ−５の中心がＤ3の発音領域に存在しなくなってから１００ｍｓｅｃかかって、手の表示画像１１ａ−７の中心がＧ3の発音領域に来たとする。このとき、音名Ｇ3の楽音が１回だけ所定持続時間発音される。しかし、手の表示画像１１ａ−６の中心がＤ# 3，Ｅ3，Ｆ3，Ｆ# 3の位置を通過したときには発音されない。すなわち、経過音を発音させないようにすることができる。
（３）音高の配列方向には手１ａを動かさずに、１時的に手１ａを画像認識できない状態にした場合。まず、手の表示画像１１ａ−７の中心が音名Ｇ3の楽音発生領域にあって音名Ｇ3の楽音を１回だけ所定持続時間発音させる。手１ａをビデオカメラに対し遠ざけると、焦点の合わないぼけた、または、小さくなった、あるいは両方の影響を受けた手の画像１１ａ−８が入力される。そうすると、画像認識の結果、手の表示画像１１ａ−８は認識できなくなる。１００ｍｓｅｃ経過後、再び、手１ａをビデオカメラ６に近づけて、もとの位置に戻すと、手の表示画像１１ａ−９を認識することができる。その結果、手の表示画像１１ａ−７が認識できなくなってから、１００ｍｓｅｃ経過後に、表示画像１１ａ−９の中心が音名Ｇ3の楽音発生領域にあるために、音名Ｇ3の楽音が再び１回だけ所定持続時間発音される。このようにして、同じ音名の楽音の所定持続時間の発音を複数回行わせることができる。
（４）手１ａを画像認識できない状態にして、音高の配列方向に手１ａを動かした場合。手の表示画像１１ａ−５の中心が楽音Ｄ3の発音領域にあって楽音Ｄ3が１回だけ所定持続時間発音される。その後、手１ａをビデオカメラ６に対し遠ざけることにより、画像認識の結果、手の表示画像１１ａ−５は認識できなくなる。手１ａを遠ざけたまま、手１ａを音高の配列方向に動かす。手の表示画像１１ａ−５が認識できなくなった後、１００ｍｓｅｃ経過後に、手の表示画像１１ａ−７の中心が、Ｇ3の発音領域に来て、再び、手１ａをビデオカメラ６に近づけて、もとの距離の位置に戻すと、音名Ｇ3の楽音が１回だけ所定持続時間発音される。このようにすれば、手１ａを音高の配列方向に動かす速度にかかわらず、手の表示画像１１ａ−６の中心がＤ# 3，Ｅ3，Ｆ3，Ｆ# 3の位置を通過するときには、経過音を発音させないようにすることができる。
本発明の楽音制御装置は、楽音発生部と共に用いたり、楽音発生部と一体的にされて楽音発生装置として使用されるが、上述したように、操作者（被写体）が演奏する意思をもってこれに臨まないと、すなわち、決められた移動条件を意識して手等を動かさなければ、望むような楽音を発生する楽器とはならない。演奏意思がなく、無造作に手等を動かすと、聞き苦しい楽音が発生するだけである。であるからこそ、操作者にうまく演奏しようとする意欲が生まれ、これが手足等を動かすリハビリテーションにつながる。
上述した楽音制御により、操作者は、手１ａを移動させた位置を、発音される楽音の音高によって認識することができる。単に、発音領域を通過するだけで楽音を発生させるようにすると、単純には、複数の楽音が発生してしまう。しかし、手１ａを速く動かして、発音領域を通過させれば、途中の楽音（経過音）が発音されないので、最終移動位置を明確に確認することができる。この場合、もちろん、経過音が発音されるように設定してもよく、経過音を聞きながらリハビリテーションを行うようにすることもできる。経過音を発音させるとしても、離散的に設けられたいずれかの発音領域に手の表示画像１１ａが存在するときに、所定持続時間の間だけ楽音が発生されるので、比較的好ましい楽音となる。
同じ音名の楽音を連続発音することについては、上述したように、恣意的に、一度手１ａを遠ざけたりして可能としている。これに対し、同じ発音領域に手１ａをとどめておくことによって、同じ音名の音を連続して発音させるように設定してもよく、その場合でも、途切れることなく楽音を発生させるのではなく、所定持続時間長さの楽音が繰り返し発音されるようにした方が、比較的好ましい楽音となる。
次に、図８，図９を参照して説明する画像認識は、本発明の楽音制御装置の実施の一形態に用いる画像認識の原理的な一例を示すものである。
図８は、本発明の楽音制御装置の実施の一形態における画像認識の第１の説明図である。図８（ａ）は認識ウインドウ中の被写体の特定部分の表示画像を取り込み、これを登録した画像を示す図である。図８（ｂ）〜図８（ｄ）は比較する画素数の違いにより、画像の一致レベルを変更して画像識別をする場合の、比較する画素を示す図である。図８（ｂ）は画像の一致レベルを低くする場合、図８（ｃ）は画像の一致レベルを中程度にする場合、図８（ｄ）は画像の一致レベルを高くする場合を示す図である。
図８は、本発明の楽音制御装置の実施の一形態における画像認識の第１の説明図である。図８（ａ）は認識ウインドウ中の被写体の特定部分の表示画像を取り込み、これを登録した画像を示す図である。図８（ｂ）〜図８（ｄ）は比較する画素数の違いにより、画像の一致レベルを変更して画像識別をする場合の、比較する画素を示す図である。図８（ｂ）は画像の一致レベルを低くする場合、図８（ｃ）は画像の一致レベルを中程度にする場合、図８（ｄ）は画像の一致レベルを高くする場合を示す図である。
図８（ａ）において、画像認識は、例えば、被写体の色相、明るさ（濃淡）の特徴を抽出することにより行う。画像認識では、通常、画像強調処理、画質改善処理等の前処理が行われ、また、特徴抽出処理を行ってからパターン照合が行われる。しかし、説明を簡単にするため、単に画素毎の画像データの一致、不一致により画像認識をするものとして説明する。ここで言う画素とは、必ずしも画像を表示する最小単位ではなく、画像比較の最小単位を意味する。
手の表示画像１１ａを登録する場合、図８（ａ）に示すように、画素単位で、背景、被写体の色および明るさが登録画像６１としてメモリに取り込まれ、画素単位に記憶される。符号６２を付した部分は、手の表示画像に対応する画素の領域を示す。
手の表示画像１１ａを登録する場合、図８（ａ）に示すように、画素単位で、背景、被写体の色および明るさが登録画像６１としてメモリに取り込まれ、画素単位に記憶される。符号６２を付した部分は、手の表示画像に対応する画素の領域を示す。
画像認識は、画像表示面上において、登録された登録画像６１の位置検出をする際に行われる。このとき、位置検出の状況に応じて、画像認識の一致レベル（一致していると判定する一致度の閾値レベル）を低くしたり、高くしたりする。すなわち、ビデオカメラ６から逐次入力された被写体の画像中に、手の表示画像１１ａの位置が検出できない期間は、画像表示面上における広範囲の領域に対し、画像認識の一致レベルを相対的に低くした状態から始めて、登録画像６１の画像とを比較し、手の表示画像１１ａの位置が検出できているときには、画像表示面上における手の表示画像１１ａの近傍の領域に対し、画像の一致レベルを相対的に高くした状態で、登録画像６１の画像と比較する。
このようにして、手の表示画像１１ａの位置を探しているときの画像認識には、画像認識の一致レベルを相対的に低く設定することにより、位置検出のための処理時間を短縮し、手の表示画像１１ａへの認識ウインドウ１２の追従性を大きくしている。
このようにして、手の表示画像１１ａの位置を探しているときの画像認識には、画像認識の一致レベルを相対的に低く設定することにより、位置検出のための処理時間を短縮し、手の表示画像１１ａへの認識ウインドウ１２の追従性を大きくしている。
上述した、画像認識の一致レベルを変更する具体的な方法としては、例えば、色相だけを比較対象とすることにより、画像認識の一致レベルを低くする。色相に加えて濃度変化も比較対象とすることにより、画像認識の一致レベルを高くすることができる。
あるいは、図８（ｂ）〜図８（ｄ）に示したように、認識ウインドウ１２の中で、比較する対象画素６３の数を変更することにより、画像認識の一致レベルを変更することができる。例えば、図８（ｃ）においては、認識ウインドウ１２中の、中心点および対角の４点からなる５個の画素を、比較する対象画素６３としてサンプリングし、登録画像６１の対応する画素との一致を見ることにより、画像認識の一致レベルを低くする。もちろん、先に説明したような、濃淡の識別を行うか否かの組み合わせによって、画像認識の一致レベルを変更することもできる。
あるいは、図８（ｂ）〜図８（ｄ）に示したように、認識ウインドウ１２の中で、比較する対象画素６３の数を変更することにより、画像認識の一致レベルを変更することができる。例えば、図８（ｃ）においては、認識ウインドウ１２中の、中心点および対角の４点からなる５個の画素を、比較する対象画素６３としてサンプリングし、登録画像６１の対応する画素との一致を見ることにより、画像認識の一致レベルを低くする。もちろん、先に説明したような、濃淡の識別を行うか否かの組み合わせによって、画像認識の一致レベルを変更することもできる。
図９は、本発明の楽音制御装置の実施の一形態における画像認識の第２の説明図である。図９（ａ）は、画像表示面上の複数の特定ポイント［Ｘ，Ｙ］およびこの特定ポイント［Ｘ，Ｙ］を中心とする複数の位置探索領域を示す説明図である。図９（ｂ）は被写体の特定部分の動きが小さいときのある１つの特定ポイント［Ｘ，Ｙ］周囲の説明図、図９（ｃ）は被写体の特定部分の動きが大きいときのある１つの特定ポイント［Ｘ，Ｙ］周囲の説明図である。
図中、７１は特定ポイント［Ｘ，Ｙ］、７２は位置探索領域、１２−１，１２−２は移動前と移動後の認識ウインドウ、７３−１，７３−２は移動前と移動後の認識ウインドウの中心点、７４は認識ウインドウの外周の移動領域である。
図中、７１は特定ポイント［Ｘ，Ｙ］、７２は位置探索領域、１２−１，１２−２は移動前と移動後の認識ウインドウ、７３−１，７３−２は移動前と移動後の認識ウインドウの中心点、７４は認識ウインドウの外周の移動領域である。
図９（ａ）に示すように、画像表示面４ａ上に複数の特定ポイント［Ｘ，Ｙ］を配置し、画像表示面４ａは、各特定ポイント［Ｘ，Ｙ］を中心とする複数の位置探索領域７２で分割されている。認識ウインドウ１２の中心点７３は、１つの特定ポイント［Ｘ，Ｙ］７１の位置探索領域７２内で移動可能であり、この範囲を超える場合には、新たに異なる特定ポイント［Ｘ，Ｙ］を指定して、新たな特定ポイント［Ｘ，Ｙ］７１の位置探索領域７２内で移動可能となる。
図９（ｂ）に示すように、被写体の特定部分の動きが小さいときを説明する。最初に、認識ウインドウの中心点７３−１において、認識ウインドウ１２−１内の表示画像に登録画像の特徴データがあったとする。認識ウインドウの中心点７３を位置探索領域７２内でスキャンさせているので、被写体の特定部分が移動すると、７３−２の位置において認識ウインドウ１２−２内の表示画像に登録画像の特徴データがあることを検出する。
このときの認識ウインドウの中心点７３−１から７３−２への移動ベクトルは小さく、現在の中心点７３−２の位置も考慮すると、次回の画像認識時に、被写体の特定部分の中心が位置探索領域７２の範囲外になることはないと推測される。このような場合は、継続して、認識ウインドウの中心点７３を、位置探索領域７２内をスキャンさせて認識ウインドウ１２内の表示画像に登録画像の特徴データがあるかどうかを判定する。
このときの認識ウインドウの中心点７３−１から７３−２への移動ベクトルは小さく、現在の中心点７３−２の位置も考慮すると、次回の画像認識時に、被写体の特定部分の中心が位置探索領域７２の範囲外になることはないと推測される。このような場合は、継続して、認識ウインドウの中心点７３を、位置探索領域７２内をスキャンさせて認識ウインドウ１２内の表示画像に登録画像の特徴データがあるかどうかを判定する。
図９（ｃ）に示すように、被写体の特定部分の動きが大きいときを説明する。最初に、認識ウインドウの中心点７３−１において、認識ウインドウ１２−１内の表示画像に登録画像の特徴データがあったとする。認識ウインドウの中心点７３を位置探索領域７２内でスキャンさせているので、被写体の特定部分が移動すると、７３−２の位置において認識ウインドウ１２−２内の表示画像に登録画像の特徴データがあることを検出する。
このときの認識ウインドウの中心点７３−１から７３−２への移動ベクトルは大きく、現在の中心点７３−２の位置も考慮すると、次回の画像認識時に、被写体の特定部分が位置探索領域７２の範囲外になることが推測される。
このときの認識ウインドウの中心点７３−１から７３−２への移動ベクトルは大きく、現在の中心点７３−２の位置も考慮すると、次回の画像認識時に、被写体の特定部分が位置探索領域７２の範囲外になることが推測される。
このような場合は、異なる特定ポイント［Ｘ，Ｙ］７１を中心とする位置探索領域７２に認識ウインドウの中心７３を移動させて画像認識を行う。すなわち、現在の認識ウインドウの中心７３の位置、および、移動ベクトル（被写体の特定部分の移動ベクトルでもある）に基づいて、次回の画像認識時における、被写体の特定部分の移動先を推定し、移動先の特定ポイント［Ｘ，Ｙ］７１を指定して、認識ウインドウの中心点７３をこの特定ポイント［Ｘ，Ｙ］７１に移動させ、認識ウインドウの中心点７３を新たな位置探索領域７２内でスキャンさせて、認識ウインドウ１２内の表示画像に登録画像の特徴データがあるかどうかを判定する。
しかし、新たな位置探索領域７２内でスキャンさせて、認識ウインドウ１２内の表示画像に登録画像の特徴データが有るかどうかを判定した結果、特徴データが検出されなかったときには、図９（ａ）に示す、認識ウインドウの中心点７３を、全ての特定ポイント［Ｘ，Ｙ］７１にわたり、各特定ポイント［Ｘ，Ｙ］７１に順次、位置合わせして、認識ウインドウ１２内の表示画像に登録画像の特徴データがあるか否かを判定する。なお、このとき、図８を参照して説明した画像認識の一致レベルは低く設定する。
上述したように、表示画像に登録画像の特徴データが検出されている間は、認識ウインドウの中心点７１をスキャンする範囲を、言い換えれば、比較する表示画像の範囲を、位置探索領域７２という全画面の中の一部の領域に限定することにより、画像認識に要する時間を短縮している。
なお、図９を参照した説明では、特定ポイント［Ｘ，Ｙ］７１の位置を、発音領域とは独立して設定している。しかし、複数の発音領域１３の各中心に特定ポイント［Ｘ，Ｙ］７１を設定するようにしてもよい。
上述したように、表示画像に登録画像の特徴データが検出されている間は、認識ウインドウの中心点７１をスキャンする範囲を、言い換えれば、比較する表示画像の範囲を、位置探索領域７２という全画面の中の一部の領域に限定することにより、画像認識に要する時間を短縮している。
なお、図９を参照した説明では、特定ポイント［Ｘ，Ｙ］７１の位置を、発音領域とは独立して設定している。しかし、複数の発音領域１３の各中心に特定ポイント［Ｘ，Ｙ］７１を設定するようにしてもよい。
図１０ないし図１７は、本発明の楽音制御装置の実施の一形態の動作を説明するためのフローチャートである。
図１０は、メインルーチンのフローチャートである。図１１は、パラメータおよびモード設定処理のフローチャートである。図１２は、画像認識登録処理のフローチャートである。図１３は、演奏処理の第１のフローチャートである。図１４は、演奏処理の第２のフローチャートである。図１５は、タイマ処理１のフローチャートである。図１６は、タイマ処理ｓのフローチャートである。図１７は、自動演奏再生処理のフローチャートである。
図１８は、時間パラメータであるｔｓパラメータ、ｔ１パラメータ、ｔ２パラメータの時間変化を示す説明図である。
図１０は、メインルーチンのフローチャートである。図１１は、パラメータおよびモード設定処理のフローチャートである。図１２は、画像認識登録処理のフローチャートである。図１３は、演奏処理の第１のフローチャートである。図１４は、演奏処理の第２のフローチャートである。図１５は、タイマ処理１のフローチャートである。図１６は、タイマ処理ｓのフローチャートである。図１７は、自動演奏再生処理のフローチャートである。
図１８は、時間パラメータであるｔｓパラメータ、ｔ１パラメータ、ｔ２パラメータの時間変化を示す説明図である。
図１０におけるメインルーチンにおいて、Ｓ８１においては、各種パラメータの値が初期化され、Ｓ８２に処理を進める。Ｓ８２においては、パラメータ設定処理として、音色設定等が行われ、Ｓ８３に処理を進める。Ｓ８３においては、登録、演奏、再生の動作モード設定が行われ、Ｓ８４に処理を進める。Ｓ８４においては、登録モードであるときに、被写体の特定部分の表示画像を取り込んで画像登録処理が行なわれ、Ｓ８５に処理を進める。Ｓ８５においては、演奏モードであるときに、リアルタイムの演奏処理が行われ、Ｓ８６に処理を進める。Ｓ８６においては、再生モードであるときに、自動演奏再生処理が行われ、Ｓ８２に処理を戻す。Ｓ８１〜Ｓ８６のメインルーチンとは別に、タイマ割込によって動作する、タイマ１処理Ｓ８７およびタイマｓ処理Ｓ８８がある。
図１１を参照し、パラメータ設定処理およびモード設定処理について説明する。Ｓ９１においては、いずれかの音色設定スイッチにオンイベントが有るか否かを判定し、有る場合にはＳ９２に処理を進め、ない場合にはＳ９３に処理を進める。Ｓ９２においては、オンイベントがあった音色設定スイッチに対応した音色パラメータを楽音信号生成部に送出して、Ｓ９３に処理を進める。音色としては楽器音色に限らず、人声音、動物の鳴き声でもよい。Ｓ９３においては、他のいずれかのパラメータ入力スイッチ操作が有ったか否かを判定し、有った場合にはＳ９４に処理を進め、他のパラメータ入力スイッチのいずれも操作がない場合にはＳ９５に処理を進める。ここで、他のパラメータ入力スイッチとは、Ｓ９１で判定した音色設定スイッチ以外の各種パラメータを入力するスイッチである。
Ｓ９４においては、スイッチ操作に対応して各種パラメータ（ｎ，ｎ１，ｎ２等）を変更し、Ｓ９５に処理を進める。Ｓ９５においては、登録スイッチにオンイベントが有ったか否かを判定し、有る場合にはＳ９６に処理を進め、ない場合にはＳ９７に処理を進める。Ｓ９６においては、Ｗ／Ｒ（フラグ）を１に設定することにより登録モードとして、Ｓ９７に処理を進める。Ｓ９７においては、再生スイッチにオンイベントが有ったか否かを判定し、有る場合にはＳ９８に処理を進め、ない場合には処理をメインルーチンに戻す。Ｓ９８においては、自動演奏再生用のシーケンスデータＱ（ｐ）の読み出しポインタをリセットし、Ｓ９９において、Ｗ／Ｒを２に設定することにより、シーケンスデータの再生モードとして、メインルーチンに戻る。
図１２を参照して画像登録処理モードについて説明する。
Ｓ１０１においては、Ｗ／Ｒが１であるか否かを判定し、１のときにはＳ１０２に処理を進め、１でないときにはメインルーチンに戻る。Ｓ１０２においては、被写体の特定部分の認識ウインドウの中心を、基準となる登録時の発音領域内に画定し、認識ウインドウを画像表示面に枠表示して、Ｓ１０３に処理を進める。ここで、基準となる発音領域とは、図１（ｂ）に示した、登録時における発音領域１３（音名Ｃ3）である。このフローチャートにおいては省略したが、登録時における発音領域１３の位置は、操作者が、キーボードあるいはマウスポインタを用いて、自由に設定できるようにすることが好ましい。
Ｓ１０１においては、Ｗ／Ｒが１であるか否かを判定し、１のときにはＳ１０２に処理を進め、１でないときにはメインルーチンに戻る。Ｓ１０２においては、被写体の特定部分の認識ウインドウの中心を、基準となる登録時の発音領域内に画定し、認識ウインドウを画像表示面に枠表示して、Ｓ１０３に処理を進める。ここで、基準となる発音領域とは、図１（ｂ）に示した、登録時における発音領域１３（音名Ｃ3）である。このフローチャートにおいては省略したが、登録時における発音領域１３の位置は、操作者が、キーボードあるいはマウスポインタを用いて、自由に設定できるようにすることが好ましい。
Ｓ１０３においては、ＲｇＳＷ（登録実行スイッチ）にオンイベントが有るか否かを判定し、有る場合にはＳ１０４に処理を進めるが、ない場合にはＳ１０２に処理を戻す。Ｓ１０４においては、ビデオカメラ６に入力された画像データをＳｃａｃｈｅメモリ（画像データメモリ）に登録して、Ｓ１０５に処理を進める。画像データそのものを画素単位に記憶させてもよいが、特徴抽出を行なってから記憶させてもよい。
Ｓ１０５においては、被写体の特定部分（パーツ）の移動とともに、音高を変化させる方向を入力し、Ｓ１０６に処理を進める。ここで、音高を変化させる方向とは、図４においては、矢印４４に示す右方向である。図５においては、矢印４４に示す右上方向である。図６においては、矢印４４に示す左下方向である。使用者は、通常、特定部分を移動させようとする方向、あるいはその正反対の方向に、上述した音高を変化させる方向を設定する。
Ｓ１０６においては、Ｓ１０５において入力された音高を変化させる方向に応じて、発音領域の設定と、各発音領域に割り当てる楽音の音名の決定とが行われ、Ｓ１０７に処理を進める。ただし、図４に示したような画像表示面の絶対位置（絶対座標）に対応させて発音領域を設定するモードと、図５，図６に示したような画像登録時の発音領域１３を基準位置とした相対位置で発音領域を設定するモードがある。
Ｓ１０５においては、被写体の特定部分（パーツ）の移動とともに、音高を変化させる方向を入力し、Ｓ１０６に処理を進める。ここで、音高を変化させる方向とは、図４においては、矢印４４に示す右方向である。図５においては、矢印４４に示す右上方向である。図６においては、矢印４４に示す左下方向である。使用者は、通常、特定部分を移動させようとする方向、あるいはその正反対の方向に、上述した音高を変化させる方向を設定する。
Ｓ１０６においては、Ｓ１０５において入力された音高を変化させる方向に応じて、発音領域の設定と、各発音領域に割り当てる楽音の音名の決定とが行われ、Ｓ１０７に処理を進める。ただし、図４に示したような画像表示面の絶対位置（絶対座標）に対応させて発音領域を設定するモードと、図５，図６に示したような画像登録時の発音領域１３を基準位置とした相対位置で発音領域を設定するモードがある。
Ｓ１０７においては、Ｗ／Ｒに０を設定し、ｔｓパラメータ（時間パラメータ）に値ｎを設定し、ｔ１パラメータ（時間パラメータ）に値ｎ１を設定し、後述する発音条件に関係するＦ１フラグを０に設定し、自動演奏用ポインタ（ｐ）をリセットし、メインルーチンに戻る。Ｗ／Ｒ＝０は操作者が手１ａを動かして楽音を発音させる演奏モードを意味する。
図１８（ａ）に示すように、ｔｓパラメータは、１０ｍｓｅｃの時間を計数し、その後一定値となるタイマー機能のための時間パラメータである。Ｓ１０７においてｎにセットされ、後述する図１３のＳ１２１において０にセットされ、後述する図１６の割込処理によりカウントアップして１０ｍｓｅｃ経過後にｎとなり、ｎ以上には増加しない。
図１８（ｂ）に示すように、ｔ１パラメータは、１００ｍｓｅｃの時間を計数し、その後一定値ｎ１となるタイマ機能のための時間パラメータであり、被写体の特定部分が、ある直前位置に存在しなくなってからの経過時間を検出する。図１２のＳ１０７においてｎ１にセットされ、後述する図１３のＳ１１９において０にセットされ、Ｓ１１６または図１４のＳ１２５において１にセットされ、後述する図１５の割込処理によりカウントアップして１００ｍｓｅｃ経過後にｎ１となり、ｎ１以上には増加しない。
図１８（ａ）に示すように、ｔｓパラメータは、１０ｍｓｅｃの時間を計数し、その後一定値となるタイマー機能のための時間パラメータである。Ｓ１０７においてｎにセットされ、後述する図１３のＳ１２１において０にセットされ、後述する図１６の割込処理によりカウントアップして１０ｍｓｅｃ経過後にｎとなり、ｎ以上には増加しない。
図１８（ｂ）に示すように、ｔ１パラメータは、１００ｍｓｅｃの時間を計数し、その後一定値ｎ１となるタイマ機能のための時間パラメータであり、被写体の特定部分が、ある直前位置に存在しなくなってからの経過時間を検出する。図１２のＳ１０７においてｎ１にセットされ、後述する図１３のＳ１１９において０にセットされ、Ｓ１１６または図１４のＳ１２５において１にセットされ、後述する図１５の割込処理によりカウントアップして１００ｍｓｅｃ経過後にｎ１となり、ｎ１以上には増加しない。
図１３、図１４を参照して演奏処理モードについて説明する。
Ｓ１１１においては、Ｗ／Ｒが０であるか否かを判定し、０のときにはＳ１１２に処理を進め、０でないときにはメインルーチンにリターンする。Ｓ１１２においては、タイマ時刻（ｔｓ＝ｎ）になったか否かを判定する。初めてｔｓ＝ｎになったときには、Ｓ１１３Ｃに処理を進め、常にｔｓ＝ｎ（所定の長い時間、継続してｎの値が持続する）のときには、Ｓ１１３Ａに処理を進める。それ以外の、ｔｓが０〜（ｎ−１）のときには、演奏処理ルーチンから離脱し、メインルーチンの他の処理をする。つまり、登録処理直後に演奏処理に入ると、ｔｓ＝ｎにセットされたままなのでＳ１１３Ｃに処理を進める。
Ｓ１１１においては、Ｗ／Ｒが０であるか否かを判定し、０のときにはＳ１１２に処理を進め、０でないときにはメインルーチンにリターンする。Ｓ１１２においては、タイマ時刻（ｔｓ＝ｎ）になったか否かを判定する。初めてｔｓ＝ｎになったときには、Ｓ１１３Ｃに処理を進め、常にｔｓ＝ｎ（所定の長い時間、継続してｎの値が持続する）のときには、Ｓ１１３Ａに処理を進める。それ以外の、ｔｓが０〜（ｎ−１）のときには、演奏処理ルーチンから離脱し、メインルーチンの他の処理をする。つまり、登録処理直後に演奏処理に入ると、ｔｓ＝ｎにセットされたままなのでＳ１１３Ｃに処理を進める。
ビデオカメラ６で撮像された全画像データ中に、登録画像データがあるか否かを抽出する処理は、Ｓ１１３Ａ〜Ｓ１１３Ｃによって行われる。登録直後は、Ｓ１１３Ｃから処理が始められるが、Ｓ１１３Ａから説明した方が理解しやすいので、ここから説明する。Ｓ１１３Ａの処理は、主に登録処理後しばらくたった任意の時刻においての処理であり、この時刻では登録画像の特徴データは、すぐにはとらえにくい状態にあることが多いので、画像認識の一致レベルを下げて処理がスタートされる。時刻は、常にｔｓ＝ｎになっているので、Ｓ１１３Ａからの認識処理が始まる。
Ｓ１１３Ａにおいて、ビデオカメラ６によって入力された画像表示面（図９参照）上に複数ある特定ポイント［Ｘ，Ｙ］７１に、認識ウインドウ１２の中心点７３を順次スキャンさせ、特定ポイント［Ｘ，Ｙ］７１にその中心を持つ認識ウインドウ１２中に、登録画像の特徴データがあるか否かを判定する。特徴データがあるときにはＳ１１３Ｂに処理を進め、ないときにはＳ１１４に処理を進める。
ステップＳ１１３Ａにおける画像認識では、一致レベルを低くして画像認識をするため、被写体の特定部分の登録画像中心が、ある特定ポイント［Ｘ，Ｙ］から少しずれた周辺にある状態であっても、この特定ポイント［Ｘ，Ｙ］にその中心を持つ認識ウインドウで、被写体の特定部分を検出することができる。
ステップＳ１１３Ａにおける画像認識では、一致レベルを低くして画像認識をするため、被写体の特定部分の登録画像中心が、ある特定ポイント［Ｘ，Ｙ］から少しずれた周辺にある状態であっても、この特定ポイント［Ｘ，Ｙ］にその中心を持つ認識ウインドウで、被写体の特定部分を検出することができる。
Ｓ１１３Ｂにおいては、Ｓ１１３Ａにおいて登録画像の特徴を検出できたときの特定ポイント［Ｘ，Ｙ］の周辺を順次スキャンし、この周辺を中心とする認識ウインドウ中の表示画像に、登録画像の特徴があるか否かを判定し、特徴があるときには、Ｓ１１８に処理を進め、ないときにはＳ１１４に処理を進める。このステップＳ１１３Ｂにおける画像認識は、一致レベルを高くして画像認識を比較的厳密に行う。特定ポイント［Ｘ，Ｙ］の周辺を順次スキャンして画像認識をすることは、図９（ｂ）において、位置探索領域７２内において認識ウインドウの中心７３を順次スキャンさせることである。このＳ１１３Ｂにおいてｙｅｓとなったときに、初めて、被写体の特定部分である、手の表示画像１１ａの中心が特定ポイント［Ｘ，Ｙ］を中心とする位置探索領域７２内にあると認識される。
Ｓ１１３Ｃには、Ｓ１１２、あるいは、後述する図１４のＳ１２３，Ｓ１２８，Ｓ１２９から処理が進む。すなわち、登録モード直後を含め、登録画像が画像認識され位置が検出されているときに、Ｓ１１３Ｃに処理が進む。現在の特定ポイント［Ｘ，Ｙ］の周辺、すなわち、認識ウインドウの中心７３が位置する位置探索領域７２、を順次スキャンし、この周辺を中心とする認識ウインドウ１２中の表示画像に、登録画像の特徴があるか否かを判定し、特徴があるときには、Ｓ１１８に処理を進め、ないときにはＳ１１４に処理を進める。このステップＳ１１３Ｃにおける画像認識は、図８を参照して説明した中程度の一致レベルの画像認識によって行う。
Ｓ１１４においては、フラグＦ１を０にセットし、Ｓ１１５に処理を進める。このフラグＦ１は、位置検出状態において、１度、Ｓ１１９において、ｔ１＝０にしたことを表すフラグである。位置検出状態を持続している間に、２度目の発音指示がされないように用いている。
Ｓ１１５〜Ｓ１１６においては、直前の状態において、被写体の特定部分が検出され、かつ、実質的に停止状態（Ｆ２＝１）であったときに、今回のＳ１１３Ａ〜Ｓ１１３Ｃにおける判定により、登録画像の認識ができなくなったときに、ｔ１パラメータを１にセットして、所定時間経過を見るカウントを開始させる。ｔ１を０にしないのは、ｔ１＝０の値を、１００ｍｓｅｃ経過したことを表すために使用しているからである。ｔ１＝０からカウントアップするか、ｔ１＝１からカウントアップするかは大差ない。
Ｓ１１５〜Ｓ１１６においては、直前の状態において、被写体の特定部分が検出され、かつ、実質的に停止状態（Ｆ２＝１）であったときに、今回のＳ１１３Ａ〜Ｓ１１３Ｃにおける判定により、登録画像の認識ができなくなったときに、ｔ１パラメータを１にセットして、所定時間経過を見るカウントを開始させる。ｔ１を０にしないのは、ｔ１＝０の値を、１００ｍｓｅｃ経過したことを表すために使用しているからである。ｔ１＝０からカウントアップするか、ｔ１＝１からカウントアップするかは大差ない。
Ｓ１１５においては、フラグＦ２が１であるか否かを判定し、１のときにはＳ１１６に処理を進め、１でなければＳ１１７に処理を進める。Ｓ１１６においてはｔ１パラメータを１にセットし、フラグＦ２を０にセットする。以後、Ｓ１２３において実質的な停止状態（Ｆ２＝１）になるまで、カウント値はリセットされない。
Ｓ１１７においては、演奏モード中に、音色設定スイッチや、登録スイッチにオンイベントがあるか否かを判定し、ある場合には、メインルーチンに戻り、ない場合にはＳ１１２に処理を戻す。
Ｓ１１７においては、演奏モード中に、音色設定スイッチや、登録スイッチにオンイベントがあるか否かを判定し、ある場合には、メインルーチンに戻り、ない場合にはＳ１１２に処理を戻す。
Ｓ１１８〜Ｓ１１９においては、ｔ１のカウントが開始してから、所定時間ｎ１が経過したときに、ｔ１を０にして、後述する割り込み処理のＳ１４１における発音指示の１条件を満足させる。Ｓ１１８においては、Ｆ１＝０かつｔ１＝ｎ１であるか否かが判定され、ｙｅｓであればＳ１１９に処理を進め、ｎｏであればＳ１１９に処理を進める。Ｓ１１９においては、ｔ２パラメータ（時間パラメータ）の現在値をｔ２’パラメータに移し、ｔ２パラメータを０にセットし、ｔ１パラメータを０にセットして、Ｓ１２０に処理を進める。
図１８（ｃ）に示すように、ｔ２パラメータは、４ｓｅｃの時間を計数した後一定値を維持する発音間隔を検出するための時間パラメータである。図１３のＳ１１９において０にセットされ、図１５を参照して後述する割込処理のＳ１５１においてｎ２までカウントアップされる。
図１８（ｃ）に示すように、ｔ２パラメータは、４ｓｅｃの時間を計数した後一定値を維持する発音間隔を検出するための時間パラメータである。図１３のＳ１１９において０にセットされ、図１５を参照して後述する割込処理のＳ１５１においてｎ２までカウントアップされる。
Ｓ１２０においては、ｔｓがｎとなったか否かを判定し、ｎであるときには、Ｓ１２１に処理を進め、ｎでないときにはＳ１１３Ｃに処理を戻して画像認識を繰り返す。すなわち、位置探索領域７２に被写体の特定部分を画像認識し続けて１０ｍｓｅｃ経過後に、図１４に示す、被写体の特定部分の移動状態の判定と、次回に被写体の特定部分を画像認識するための処理を行う。
図１４のＳ１２２においては、認識ウインドウの中心点７３の位置が、前回（１０ｍｓｅｃ前）の認識ウインドウの中心点７３の位置からの差が大きいか否かを判定し、変化なしのときを含め、小さいときにはＳ１２３に処理を進め、大きいときにはＳ１２４に処理を進める。ただし、登録直後は、前回の値がないので、位置差が０であると判定し、また、前回の認識ウインドウの中心点７３の位置データが移し替えられる。
図１４のＳ１２２においては、認識ウインドウの中心点７３の位置が、前回（１０ｍｓｅｃ前）の認識ウインドウの中心点７３の位置からの差が大きいか否かを判定し、変化なしのときを含め、小さいときにはＳ１２３に処理を進め、大きいときにはＳ１２４に処理を進める。ただし、登録直後は、前回の値がないので、位置差が０であると判定し、また、前回の認識ウインドウの中心点７３の位置データが移し替えられる。
Ｓ１２３に処理が進むのは、被写体の特定部分が実質的に停止状態にあるときである。Ｆ２＝１とするとともに、現在の認識ウインドウの中心点７３の位置データを、前回の認識ウインドウの中心点７３の位置データとして格納し、図１３のＳ１１３Ｃに処理を戻し、認識ウインドウ１２のスキャンを再開してＳ１１３Ｃにおける画像認識を繰り返す。
一方、Ｓ１２４に処理が進むのは、被写体の特定部分が１０ｍｓｅｃ前の位置から移動しているときである。Ｓ１２４においては、Ｆ２＝１（実質的な停止状態）であるか否かを判定し、１のときにはＳ１２５に処理を進め、１でなければＳ１２６に処理を進める。Ｓ１２５においてはｔ１パラメータを１にセットし、フラグＦ２を０にセットする。以後、Ｓ１２３において、実質的な停止状態（Ｆ２＝１）になるまで、カウント値は１にセットされない。
一方、Ｓ１２４に処理が進むのは、被写体の特定部分が１０ｍｓｅｃ前の位置から移動しているときである。Ｓ１２４においては、Ｆ２＝１（実質的な停止状態）であるか否かを判定し、１のときにはＳ１２５に処理を進め、１でなければＳ１２６に処理を進める。Ｓ１２５においてはｔ１パラメータを１にセットし、フラグＦ２を０にセットする。以後、Ｓ１２３において、実質的な停止状態（Ｆ２＝１）になるまで、カウント値は１にセットされない。
Ｓ１２６においては、被写体の特定部分が直前位置から移動したとして、フラグＦ１を０にセットするとともに、前回と今回との認識ウインドウの中心点７３の位置から移動ベクトル（方向と速度）を算出し、Ｓ１２７に処理を進める。Ｓ１２７においては、認識ウインドウの中心点７３の現在位置と移動ベクトルに基づいて、認識ウインドウの中心点７３の位置が、現在の特定ポイント［Ｙ，Ｙ］の周辺（位置探索領域７２）から外れるか否かを推測し、外れると推測される場合には、Ｓ１２９に処理を進め、外れないと推測される場合には、Ｓ１２８に処理を進める。
Ｓ１２８においては、移動ベクトルの値を考慮して、特定ポイント［Ｘ，Ｙ］の周辺（位置探索領域７２）であって、次に認識ウインドウの中心点７３をスキャンさせるときのスキャンの開始位置を決定する。そして、現在の認識ウインドウの中心点７３の位置データを前回の認識ウインドウの中心点７３の位置データに移して、Ｓ１１３Ｃに処理を戻し、決定した開始位置から認識ウインドウのスキャンを再開して画像認識を行う。
一方、Ｓ１２９においては、現在の認識ウインドウの中心点７３の位置と移動ベクトルの値に基づいて、次の特定ポイント［Ｘ，Ｙ］、すなわち、被写体の特定部分の移動先であると推定される位置探索領域７２を決定する。そして、移動先の特定ポイント［Ｘ，Ｙ］の位置を認識ウインドウの中心点７３の位置データの前回の値として格納し、図１３のＳ１１３Ｃに処理を戻し、新たに指定された特定ポイント［Ｘ，Ｙ］の位置探索領域７２において画像認識を実行する。
ここで、図１２〜図１４を通し、被写体の特定部分の登録時からリアルタイム演奏状態をすることになるまでに、認識ウインドウ１２をどのように移動させて、被写体の特定部分を追跡するかについて、改めて説明する。
図１２における登録処理のＳ１０７において、Ｗ／Ｒおよび時間パラメータがセットされると、図１３，図１４に示す演奏処理モードになる。この登録直後は、図１３のＳ１１１，Ｓ１１２，Ｓ１１３Ｃと処理が進む。Ｓ１１３Ｃにおいては、中程度の一致レベルの画像認識により、位置探索領域７２内を認識ウインドウの中心点７３を移動させて、認識ウインドウ１２中の表示画像と登録画像との比較を行う。
図１２における登録処理のＳ１０７において、Ｗ／Ｒおよび時間パラメータがセットされると、図１３，図１４に示す演奏処理モードになる。この登録直後は、図１３のＳ１１１，Ｓ１１２，Ｓ１１３Ｃと処理が進む。Ｓ１１３Ｃにおいては、中程度の一致レベルの画像認識により、位置探索領域７２内を認識ウインドウの中心点７３を移動させて、認識ウインドウ１２中の表示画像と登録画像との比較を行う。
比較の結果、登録画像の特徴データがあれば、Ｓ１１４に処理が進む。登録直後は、Ｓ１１８からＳ１１９，Ｓ１２０，Ｓ１２１，Ｓ１２２，Ｓ１２３，Ｓ１１３Ｃと処理が進む。Ｓ１１３Ｃにおいて、登録画像の特徴データが検出されたときの認識ウインドウの中心点７３の位置は、被写体の特定部分の中心位置でもある。その後、Ｓ１２０〜Ｓ１１３Ｃ間を繰り返すが、１０ｍｓｅｃ経過する毎に、Ｓ１２０でｙｅｓと判断され、Ｓ１２１以降、図１４に示す以後の処理がなされる。
ループを繰り返し回っている間に、被写体の特定部分の表示画像が移動する。そのため、前回（１０ｍｓｅｃ前）のＳ１１３Ｃの処理において特徴データが検出されたときの認識ウインドウの中心点７３から、今回のＳ１１３Ｃの処理で特徴データが検出されたときの認識ウインドウの中心点７３までの位置差がある程度大きくなる。そうすると、Ｓ１２２からＳ１２４，Ｓ１２５と処理が進む。
図９（ａ）に示すように、上述した位置差がある程度大きくても、所定範囲を超えないときには、Ｓ１２６からＳ１２７，Ｓ１２８に処理が進み、次にスキャンを開始させる認識ウインドウの中心点７３の位置を適切な予測位置に決めた上で、Ｓ１１３Ｃに処理を戻し、何回か、Ｓ１１３ＣからＳ１２８までの処理ステップを繰り返す。
図９（ａ）に示すように、上述した位置差がある程度大きくても、所定範囲を超えないときには、Ｓ１２６からＳ１２７，Ｓ１２８に処理が進み、次にスキャンを開始させる認識ウインドウの中心点７３の位置を適切な予測位置に決めた上で、Ｓ１１３Ｃに処理を戻し、何回か、Ｓ１１３ＣからＳ１２８までの処理ステップを繰り返す。
図９（ｂ）に示すように、上述した位置差がさらに所定範囲を超えると、Ｓ１２７からＳ１２９に処理が進み、認識ウインドウの中心点７３は、新たな特定ポイント［Ｘ，Ｙ］の位置探索領域７２内をその中心として、同様の動作を繰り返す。しかし、この新たな特定ポイント［Ｘ，Ｙ］の周辺に、被写体の特定部分の画像が来ていないときには、Ｓ１１３Ｃにおいて、Ｓ１１４〜Ｓ１１７に処理が進む。
なお、認識ウインドウの中心が、新たな特定ポイント［Ｘ，Ｙ］に移る前の、Ｓ１１３Ａ〜Ｓ１１３Ｃにおいても、画像認識の結果、登録画像の特徴データがなかったときは、同様に、Ｓ１１４〜Ｓ１１７に処理が進む。
なお、認識ウインドウの中心が、新たな特定ポイント［Ｘ，Ｙ］に移る前の、Ｓ１１３Ａ〜Ｓ１１３Ｃにおいても、画像認識の結果、登録画像の特徴データがなかったときは、同様に、Ｓ１１４〜Ｓ１１７に処理が進む。
Ｓ１１２においては、たまたま、ｔｓが１０ｍｓｅｃ経過した瞬間であればＳ１１３Ｃに処理が進んでしまう。しかし、通常は、Ｓ１１３Ａに処理が進み、画像表示面上の全特定ポイント［Ｘ，Ｙ］を中心とする認識ウインドウ７２内の画像表示面を、順次比較対象とし、かつ、一致レベルを低くした画像認識によって登録画像の特徴データを検出する。特徴データが検出されたときには、Ｓ１１３Ｂにおいて、このときの特定ポイント［Ｘ，Ｙ］の位置探索領域７２内において認識ウインドウの中心点７３を順次スキャンして、認識ウインドウ７２内の表示画像を比較対象として、一致レベルの高い画像認識によって登録画像の特徴データを検出する。
認識ウインドウ中に被写体の特定部分の表示画像が来ていなければ、Ｓ１１３Ａ，Ｓ１１３Ｂ，Ｓ１１３Ｃのいずれかの処理ステップで、Ｓ１１４〜Ｓ１１７を経由してＳ１１２に処理が戻るようになっている。
特に、認識ウインドウ中に被写体の特定部分の表示画像が来ていて、中程度の一致レベルにより、登録画像の特徴データを検出しているときに、被写体の特定部分、例えば、手１ａをビデオカメラ６に近づけるか、遠ざけるときには、被写体の特定部分の表示画像がピントの合わない表示画像になったり、あるいは、被写体の特定部分の表示画像の大きさが変化することになる。
その結果、中程度の一致レベルの画像認識でも、登録画像の特徴データを検出できなくなり、認識不能状態、すなわち、被写体の特定部分の存在が検出されない状態になる。また、手１ａを画面上から隠したときにも同様に、認識不能状態になる。そのため、これらの場合には、Ｓ１１３Ｃにおいて、Ｓ１１４〜Ｓ１１７と処理が進む。その後、認識可能になれば、Ｓ１１３Ａ，Ｓ１１３ＢからＳ１１８に処理が進む。
特に、認識ウインドウ中に被写体の特定部分の表示画像が来ていて、中程度の一致レベルにより、登録画像の特徴データを検出しているときに、被写体の特定部分、例えば、手１ａをビデオカメラ６に近づけるか、遠ざけるときには、被写体の特定部分の表示画像がピントの合わない表示画像になったり、あるいは、被写体の特定部分の表示画像の大きさが変化することになる。
その結果、中程度の一致レベルの画像認識でも、登録画像の特徴データを検出できなくなり、認識不能状態、すなわち、被写体の特定部分の存在が検出されない状態になる。また、手１ａを画面上から隠したときにも同様に、認識不能状態になる。そのため、これらの場合には、Ｓ１１３Ｃにおいて、Ｓ１１４〜Ｓ１１７と処理が進む。その後、認識可能になれば、Ｓ１１３Ａ，Ｓ１１３ＢからＳ１１８に処理が進む。
図１５を参照して、タイマ処理１について説明する。このタイマ処理１は、割り込み処理である。
Ｓ１４１においては、ｔ１が０であるか否かを判定する。ｔ１が０であればＳ１４４に処理を進め、ｔ１が０でなければＳ１５０に処理を進める。図１３に示したＳ１１３Ｃにおいて登録画像の特徴データを検出しているとき（ただし、前回特徴データが検出されない状態になってから１００ｍｓｅｃ経過して、Ｓ１１９でｔ１が０にセットされることなどを前提とする）には、Ｓ１４４に処理が進む。
Ｓ１４１においては、ｔ１が０であるか否かを判定する。ｔ１が０であればＳ１４４に処理を進め、ｔ１が０でなければＳ１５０に処理を進める。図１３に示したＳ１１３Ｃにおいて登録画像の特徴データを検出しているとき（ただし、前回特徴データが検出されない状態になってから１００ｍｓｅｃ経過して、Ｓ１１９でｔ１が０にセットされることなどを前提とする）には、Ｓ１４４に処理が進む。
Ｓ１４４においては、認識ウインドウの中心点７３は、図１２のＳ１０５において入力されＳ１０６において設定された、画像表示面上に設定された「音高を変化させる方向」のどの辺にあるかを計算して、基準長さに対する割合を出し、Ｓ１４５に処理を進める。
このフローチャートにおいては、図４〜図６とは異なり、画像表示面の左右方向に１つの発音領域列４１のみを設定し、かつ、この発音領域列４１に直交する縦方向とは無関係に帯状の発音領域を設定している。また、画像表示面の絶対位置（絶対座標）に対応させて発音領域を設定するモードでは、画像表示面の横方向の距離を基準長さとし、画像表示面の左端から認識ウインドウの中心点７３の位置（すなわち特定部分の位置）までの距離を、基準長さで割ればよい。一方、画像登録時の発音領域１３を基準位置とした相対位置で発音領域を設定するモードでは、基準となる登録時の発音領域１３から音高を変化させる方向に所定の基準長さを設定し、基準となる登録時の発音領域１３を原点として、ここから認識ウインドウの中心点７３の位置までの距離を基準長さで割ればよい。
このフローチャートにおいては、図４〜図６とは異なり、画像表示面の左右方向に１つの発音領域列４１のみを設定し、かつ、この発音領域列４１に直交する縦方向とは無関係に帯状の発音領域を設定している。また、画像表示面の絶対位置（絶対座標）に対応させて発音領域を設定するモードでは、画像表示面の横方向の距離を基準長さとし、画像表示面の左端から認識ウインドウの中心点７３の位置（すなわち特定部分の位置）までの距離を、基準長さで割ればよい。一方、画像登録時の発音領域１３を基準位置とした相対位置で発音領域を設定するモードでは、基準となる登録時の発音領域１３から音高を変化させる方向に所定の基準長さを設定し、基準となる登録時の発音領域１３を原点として、ここから認識ウインドウの中心点７３の位置までの距離を基準長さで割ればよい。
Ｓ１４５においては、この割合が所定割合であるか否かを判定し、所定割合であるときには、Ｓ１４６に処理を進め、所定割合でないときには、Ｓ１５０に処理を進める。ここで、所定割合であるかどうかの判定とは、図４〜図６を流用して説明すると、認識ウインドウ１２の中心点が発音領域列中の、いずれの発音領域１３に存在するかを判定することである。
Ｓ１４６においては、その割合（発音領域）に見合った音名をパラメータＫにセットするとともに、先に、図１３のＳ１１９において格納したｔ２’パラメータの値とを合わせたセットデータを、ｋｃパラメータとして取り込み、かつ、このｋｃパラメータを、ポインタｐのシーケンスデータＱ（ｐ）に登録し、Ｓ１４７に処理を進める。
Ｓ１４６においては、その割合（発音領域）に見合った音名をパラメータＫにセットするとともに、先に、図１３のＳ１１９において格納したｔ２’パラメータの値とを合わせたセットデータを、ｋｃパラメータとして取り込み、かつ、このｋｃパラメータを、ポインタｐのシーケンスデータＱ（ｐ）に登録し、Ｓ１４７に処理を進める。
ここで、ｔ２’パラメータの値とは、図１３のＳ１１９において、０にセットされる前のｔ２の値である。
このｔ２’の値は、被写体の特定部分が前回の位置に存在しなくなってから１００ｍｓｅｃ経過した後に、再び被写体の特定部分の元の位置あるいは新たな位置が検出されたときまでの経過時間を示す値である。Ｓ１１９の処理がなされた場合に限り、図１５のＳ１４１にてｙｅｓと判断され、この位置が、Ｓ１４４，Ｓ１４５において、発音領域であると判定されれば、そのときのデータｔ２’が音高データとともに自動演奏用データとしてシーケンスデータＱ（ｐ）に順次レジストされるとともに、Ｓ１４９にてリアルタイム発音される。
したがって、被写体の特定部分の中心位置が移動して、前回、被写体の特定部分を画像認識できなくなった時から１００ｍｓｅｃ以内に、別の発音領域を通過したり、または、別の発音領域に滞在した場合があったとしても、この実施の形態では、わざと無視をして発音指示をしない。これによって、手を無造作に速く動かした場合の不用意な経過音を発音されなくするとともに、自動演奏データとしても取り込まないようにしている。
このｔ２’の値は、被写体の特定部分が前回の位置に存在しなくなってから１００ｍｓｅｃ経過した後に、再び被写体の特定部分の元の位置あるいは新たな位置が検出されたときまでの経過時間を示す値である。Ｓ１１９の処理がなされた場合に限り、図１５のＳ１４１にてｙｅｓと判断され、この位置が、Ｓ１４４，Ｓ１４５において、発音領域であると判定されれば、そのときのデータｔ２’が音高データとともに自動演奏用データとしてシーケンスデータＱ（ｐ）に順次レジストされるとともに、Ｓ１４９にてリアルタイム発音される。
したがって、被写体の特定部分の中心位置が移動して、前回、被写体の特定部分を画像認識できなくなった時から１００ｍｓｅｃ以内に、別の発音領域を通過したり、または、別の発音領域に滞在した場合があったとしても、この実施の形態では、わざと無視をして発音指示をしない。これによって、手を無造作に速く動かした場合の不用意な経過音を発音されなくするとともに、自動演奏データとしても取り込まないようにしている。
以上説明した配慮のもとに、Ｓ１４６において、ｔ２’が、今回の音名Ｋと共に、ｋｃパラメータとして取り込まれる。
なお、ｔ２’は、前回、被写体の特定部分が検出されていた位置に存在しなくなったときからの経過時間であるため、必ずしも、前回発音指示されたときからの時間ではなく、被写体の特定部分が移動途中で発音領域外に停止していれば、この領域に存在しなくなったときからの時間である。
しかし、使用者の通常の動作では、音高の配列方向に沿って被写体の特定部分を動かすから、発音領域外に停止することはまれである。したがって、ｔ２’は、前回、ある音名の発音が指示されてから今回、新たな音名の発音が指示されるまでの時間になる。また、図１８（ｃ）に示すように、ｔ２パラメータは、最大４秒に抑えられているので、ｔ２’も最大４秒に抑えられる。その結果、前回にある音名の発音が指示されてから、今回、新たな音名の発音が指示されるまでの時間が４秒よりも長くなってしまっても、強制的に４秒の時間間隔として格納される。
発音領域外に停止しているときを誤操作として除外したい場合には、ｔ２’の計数を、図１５のＳ１４６において、毎回発音指示するときの時刻をレジスタに記憶しておき、前回と今回の時刻差を計算して、これをｔ２’とすればよい。
なお、ｔ２’は、前回、被写体の特定部分が検出されていた位置に存在しなくなったときからの経過時間であるため、必ずしも、前回発音指示されたときからの時間ではなく、被写体の特定部分が移動途中で発音領域外に停止していれば、この領域に存在しなくなったときからの時間である。
しかし、使用者の通常の動作では、音高の配列方向に沿って被写体の特定部分を動かすから、発音領域外に停止することはまれである。したがって、ｔ２’は、前回、ある音名の発音が指示されてから今回、新たな音名の発音が指示されるまでの時間になる。また、図１８（ｃ）に示すように、ｔ２パラメータは、最大４秒に抑えられているので、ｔ２’も最大４秒に抑えられる。その結果、前回にある音名の発音が指示されてから、今回、新たな音名の発音が指示されるまでの時間が４秒よりも長くなってしまっても、強制的に４秒の時間間隔として格納される。
発音領域外に停止しているときを誤操作として除外したい場合には、ｔ２’の計数を、図１５のＳ１４６において、毎回発音指示するときの時刻をレジスタに記憶しておき、前回と今回の時刻差を計算して、これをｔ２’とすればよい。
Ｓ１４７においては、ｔ２’をリセットし、Ｓ１４８に処理を進める。Ｓ１４８においては、認識ウインドウ１２の中心点をその中心とする所定半径の円を確認マーク（図７の５１）として画面に表示し、Ｓ１４９に処理を進める。Ｓ１４９においては、音名Ｋの楽音を所定の持続時間（ゲートタイム）にわたって発音させ、Ｓ１５０に処理を進める。Ｓ１５０においては、ｔ２パラメータの値がｎ２以上であるか否かを判定し、ｎ２以上であるときには、Ｓ１５２に処理を進め、ｎ２未満であるときにはＳ１５１に処理を進める。Ｓ１５１においては、ｔ２パラメータの値に１を加算してカウントアップを行い、Ｓ１５３に処理を進める。Ｓ１５２においては、ｔ２パラメータの値をｎ２にセットしてＳ１５３に処理を進める。
Ｓ１５３においては、ｔ１パラメータの値がｎ１以上であるか否かを判定し、ｎ１以上であるときには、Ｓ１５５に処理を進め、ｎ１未満であるときにはＳ１５４に処理を進める。Ｓ１５４においては、ｔ１パラメータの値に１を加算してカウントアップを行い、割り込みルーチンを終了する。Ｓ１５５においては、ｔ１パラメータの値をｎ１にセットして割り込みルーチンを終了する。ｔ１パラメータ，ｔ２パラメータの値の変化は図１８（ｂ），図１８（ｃ）に示した通りである。
図１６を参照して、タイマｓ処理を説明する。このタイマｓ処理も、所定時間間隔の割り込みタイミングで動作を開始する。Ｓ１６１においては、ｔｓパラメータに１を加算しＳ１６２に処理を進める。Ｓ１６２においては、ｔｓパラメータの値がｎ以上であるか否かを判定し、ｎ以上であるときには、割り込みルーチンを終了し、ｎ未満であるときにはＳ１６３に処理を進め、ｔｓパラメータの値をｎにセットして割り込みルーチンを終了する。ｔｓパラメータの値の時間変化は図１８（ａ）に示したとおりである。
ここで、図１２〜図１４と図１５とを関連させて、認識ウインドウがどのように被写体の特定部分を追跡しながら、楽音が発音するかについて、改めて説明を付け加えておく。
図１５のＳ１４１からＳ１４４に処理が進むのは、図１３のＳ１１８において、被写体の特定部分が前回の位置に存在しなくなってから、ｎ１に相当する時間以上経過していることが判定されてＳ１１９に進み、ここで、ｔ１＝０にセットされたときである。ｎ１の値で決まる時間は、上述した例では、１００ｍｓｅｃであるが、手等を動かす速度を考慮して決め、５０ｍｓｅｃ〜１００ｍｓｅｃが好ましい。そして、現在、被写体の特定部分が発音領域にあるときに限り、Ｓ１４５においてｙｅｓとなり、Ｓ１４６に処理が進む。つまり、フローチャート中の処理ステップの諸条件に合致した時間データｔ２’パラメータが、Ｓ１４６においてシーケンスデータＱ（ｐ）に取り込まれる。
登録モードから演奏処理モードに移行したときに、初めて図１５のＳ１４１〜Ｓ１４９と処理が進んだときには、Ｓ１４９において、登録時における発音領域に割り当てられた音名の楽音が発音される。図１（ｂ）で説明した例では、登録時の発音領域に認識ウインドウの中心が必ずあるので、Ｓ１４５においてｎｏとなることはない。
図１５のＳ１４１からＳ１４４に処理が進むのは、図１３のＳ１１８において、被写体の特定部分が前回の位置に存在しなくなってから、ｎ１に相当する時間以上経過していることが判定されてＳ１１９に進み、ここで、ｔ１＝０にセットされたときである。ｎ１の値で決まる時間は、上述した例では、１００ｍｓｅｃであるが、手等を動かす速度を考慮して決め、５０ｍｓｅｃ〜１００ｍｓｅｃが好ましい。そして、現在、被写体の特定部分が発音領域にあるときに限り、Ｓ１４５においてｙｅｓとなり、Ｓ１４６に処理が進む。つまり、フローチャート中の処理ステップの諸条件に合致した時間データｔ２’パラメータが、Ｓ１４６においてシーケンスデータＱ（ｐ）に取り込まれる。
登録モードから演奏処理モードに移行したときに、初めて図１５のＳ１４１〜Ｓ１４９と処理が進んだときには、Ｓ１４９において、登録時における発音領域に割り当てられた音名の楽音が発音される。図１（ｂ）で説明した例では、登録時の発音領域に認識ウインドウの中心が必ずあるので、Ｓ１４５においてｎｏとなることはない。
最後に、図１７を参照し、自動演奏再生処理について説明する。
Ｓ１７１においては、Ｗ／Ｒが２であるか否かを判定し、２であるときには、Ｓ１７２に処理を進め、２でないときにはメインルーチンに戻る。Ｓ１７２においては、シーケンスデータＱ（ｐ）を、最初のｐ＝１から読み出す。
その際、ある音名の楽音Ｋを読み出すとともに、次のポインタｐ＋１の位置に、次の音名Ｋとともに記録されたｔ２’パラメータの値を読み出し、Ｓ１７３に処理を進める。ただし、次のポインタｐ＋１の位置に、次のｋｃデータがないときにはｔ２’＝０とする。Ｓ１７３においては、音名Ｋの楽音を発音させ、Ｓ１７４に処理を進める。Ｓ１７４においては、シーケンスデータＱ（ｐ＋１）に、次のｋｃデータが有るか否かを判定し、有るときにはＳ１７５に処理を進め、ないときにはＳ１７６に処理を進める。
Ｓ１７１においては、Ｗ／Ｒが２であるか否かを判定し、２であるときには、Ｓ１７２に処理を進め、２でないときにはメインルーチンに戻る。Ｓ１７２においては、シーケンスデータＱ（ｐ）を、最初のｐ＝１から読み出す。
その際、ある音名の楽音Ｋを読み出すとともに、次のポインタｐ＋１の位置に、次の音名Ｋとともに記録されたｔ２’パラメータの値を読み出し、Ｓ１７３に処理を進める。ただし、次のポインタｐ＋１の位置に、次のｋｃデータがないときにはｔ２’＝０とする。Ｓ１７３においては、音名Ｋの楽音を発音させ、Ｓ１７４に処理を進める。Ｓ１７４においては、シーケンスデータＱ（ｐ＋１）に、次のｋｃデータが有るか否かを判定し、有るときにはＳ１７５に処理を進め、ないときにはＳ１７６に処理を進める。
Ｓ１７６においては、読み出されたｔ２’の値に等しい時間が経過したか否かを判定し、経過していないときには、再びＳ１７６に処理を戻し、経過したときには、Ｓ１７２に処理を戻す。Ｓ１７５においては、図１２に示したＳ１０７と同様な処理を行う、すなわち、Ｗ／Ｒに０をセットして演奏モードに切り換え、ｔｓパラメータに値ｎをセットし、ｔ１パラメータに値ｎ１をセットし、フラグＦ１に０をセットして、メインルーチンに戻る。
なお、上述した説明では、シーケンスデータＱ（ｐ）を頭から順次、最後まで読み出すようにしたが、これに代えて、シーケンスデータＱ（ｐ）の全体をピアノロールウインドウや楽譜形式等で表示し、その中から、気に入ったフレーズを、キーボードによる数値入力あるいはマウスコントローラで範囲指定し、範囲指定された期間のシーケンスデータＱ（ｐ）のみを読み出して発音させたり、作曲のための材料として、改めて、範囲指定された期間のみのシーケンスデータＱ（ｐ）をメモリに記憶するようにしてもよい。
上述した説明では、被写体の特定部分を１つにして説明したが、２つ以上の特定部分を設けてもよい。この場合、例えば、時分割処理で各特定部分を、上述した説明と同じ条件で位置検出する複数のフローを同時に実行させる。あるいは、汎用のコンピュータを複数台用いて、被写体の複数の特定部分を、個別のコンピュータで位置検出するようにして、そのうちの１つのコンピュータで、被写体の複数の特定部分の位置検出情報を収集して楽音の発音指示を行えばよい。
２つの特定部分を設けた場合、第１の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた楽音の発音を第１の音色で行うように指示するとともに、第２の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた第２の楽音の発音を第１の音色とは異なる第２の音色で行うように指示することができる。
あるいは、第１の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた楽音の発音を第１の演奏パートで行うように指示するとともに、第２の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた楽音の発音を第１の演奏パートとは異なる第２の演奏パートで行うように指示することができる。
また、第２の特定部分の移動位置を検出するとともに、第１の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた音高を識別し、識別された音高を、第２の特定部分の位置の変化方向に応じてオクターブシフトさせて、楽音の発音を指示することができる。
あるいは、第１の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた楽音の発音を第１の演奏パートで行うように指示するとともに、第２の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた楽音の発音を第１の演奏パートとは異なる第２の演奏パートで行うように指示することができる。
また、第２の特定部分の移動位置を検出するとともに、第１の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた音高を識別し、識別された音高を、第２の特定部分の位置の変化方向に応じてオクターブシフトさせて、楽音の発音を指示することができる。
上述した説明では、画像表示面上の複数の発音領域に、音名（音高）を割り当てて楽音を発音させたが、調を指定した上で、階名を割り当ててもよい。
また、画像表示面上の複数の発音領域に、異なる音色を割り当ててもよい。
単に、特定部分が発音領域に位置したことを操作者に確認させるだけであれば、複数の発音領域に全く同じ楽音を割り当ててもよい。
また、画像表示面上の複数の発音領域に、異なる音色を割り当ててもよい。
単に、特定部分が発音領域に位置したことを操作者に確認させるだけであれば、複数の発音領域に全く同じ楽音を割り当ててもよい。
１ 操作者、１ａ 手、２ コンピュータ本体部、３ キーボード、４ 画像表示装置、５ スピーカ、６ ビデオカメラ、１１ 操作者の表示画像、１１ａは手の表示画像、１２は認識ウインドウ、１３は発音領域、２１ 位置検出部、２１ａ 被写体特定部分の画像記憶部、２１ｂ 画像認識部、２２ 発音指示部、２３ 発音領域設定部、５１ 確認マーク、７１ 特定ポイント、７２ 位置探索領域、７３ 認識ウインドウの中心点、７４ 認識ウインドウの外周の移動領域
Claims (8)
- 画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、
前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識する画像認識手段と、
該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域の１つに存在しなくなったと判定されてから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段とを有する、
ことを特徴とする楽音制御装置。 - 画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、
前記被写体を撮影することにより被写体画像データを逐次入力し、認識ウインドウを用いて、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識するとともに、前記認識ウインドウを前記被写体の特定部分の画像の移動に追従するように移動させる画像認識手段と、
該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域の１つに存在しなくなったと判定されてから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた音高で楽音の発音を指示する発音指示手段とを有する、
ことを特徴とする楽音制御装置。 - 画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、
前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識する画像認識手段と、
該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域のいずれかに存在していると認識されているときに前記被写体の特定部分の画像が認識できなくなり、認識できなくなってから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段とを有する、
ことを特徴とする楽音制御装置。 - 画像表示面上における被写体の特定部分の画像を記憶する画像記憶手段と、
前記被写体を撮影することにより被写体画像データを逐次入力し、認識ウインドウを用いて、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を認識するとともに、前記認識ウインドウを前記被写体の特定部分の画像の移動に追従するように移動させる画像認識手段と、
該画像認識手段により認識された被写体の特定部分の画像が、予め設定された複数の発音領域のいずれかに存在していると認識されているときに前記被写体の特定部分の画像が認識できなくなり、認識できなくなってから所定時間経過後に、前記予め設定された複数の発音領域のいずれかに存在すると判定されたときに、前記被写体の特定部分が存在する前記発音領域に割り当てられた音高で楽音の発音を指示する発音指示手段とを有する、
ことを特徴とする楽音制御装置。 - 前記複数の発音領域は、前記画像表示面の所定の方向に離散的に配列されたものであり、
前記所定の方向を設定する発音領域設定手段を有する、
ことを特徴とする請求項１から４までのいずれか１項に記載の楽音制御装置。 - 前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像表示面上における被写体の特定部分の画像を前記画像記憶手段に登録する登録手段を有する、
ことを特徴とする請求項１から４までのいずれか１項に記載の楽音制御装置。 - 前記画像認識手段は、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を、パターン照合を行うことにより認識する、
ことを特徴とする請求項１から４までのいずれか１項に記載の楽音制御装置。 - 前記画像認識手段は、前記被写体を撮影することにより被写体画像データを逐次入力し、前記画像記憶手段に記憶された画像に一致する前記被写体の特定部分の画像を、前記被写体の特定部分の画像の位置検出の状況に応じて、画像認識の一致レベルを低くしたり高くしたりする、
ことを特徴とする請求項１から４までのいずれか１項に記載の楽音制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004322403A JP3938178B2 (ja) | 2004-11-05 | 2004-11-05 | 楽音制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004322403A JP3938178B2 (ja) | 2004-11-05 | 2004-11-05 | 楽音制御装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07803599A Division JP3637802B2 (ja) | 1999-03-23 | 1999-03-23 | 楽音制御装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007004226A Division JP4215104B2 (ja) | 2007-01-12 | 2007-01-12 | 楽音制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005099836A JP2005099836A (ja) | 2005-04-14 |
| JP3938178B2 true JP3938178B2 (ja) | 2007-06-27 |
Family
ID=34464287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004322403A Expired - Fee Related JP3938178B2 (ja) | 2004-11-05 | 2004-11-05 | 楽音制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3938178B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4677543B2 (ja) * | 2005-05-24 | 2011-04-27 | 株式会社国際電気通信基礎技術研究所 | 表情付け音声発生装置 |
| JP2008076765A (ja) * | 2006-09-21 | 2008-04-03 | Xing Inc | 演奏システム |
| JP2008116551A (ja) * | 2006-11-01 | 2008-05-22 | Advanced Telecommunication Research Institute International | 表情付け音声発生装置 |
| JP4790653B2 (ja) * | 2007-03-30 | 2011-10-12 | シャープ株式会社 | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 |
-
2004
- 2004-11-05 JP JP2004322403A patent/JP3938178B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005099836A (ja) | 2005-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4215104B2 (ja) | 楽音制御装置 | |
| JP3637802B2 (ja) | 楽音制御装置 | |
| JP4627052B2 (ja) | 画像に連携した音声出力方法および装置 | |
| JP6747446B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP5792131B2 (ja) | ゲーム機、それに用いる制御方法及びコンピュータプログラム | |
| JP2001269431A (ja) | 身体動作状態評価装置 | |
| CN109102784A (zh) | 一种ar辅助乐器练习方法、系统以及一种智能设备 | |
| CN113674565B (zh) | 一种用于钢琴教学的教学系统及方法 | |
| KR101884089B1 (ko) | 평가 프로그램, 평가 방법 및 평가 장치 | |
| WO2022052941A1 (zh) | 用于辅助钢琴教学的智能识别方法及系统、智能钢琴训练方法及系统 | |
| JP4409545B2 (ja) | 三次元位置特定装置および方法、奥行位置特定装置 | |
| JP5399966B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
| JP2006255072A (ja) | プログラム、情報記憶媒体及びゲームシステム | |
| JP3938178B2 (ja) | 楽音制御装置 | |
| JP5629364B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
| JP2001224730A (ja) | ゲーム装置および情報記憶媒体 | |
| JP5318016B2 (ja) | ゲームシステム、ゲームシステムの制御方法、及びプログラム | |
| US20130106689A1 (en) | Methods of operating systems having optical input devices | |
| CN113255470B (zh) | 基于手部姿态估计的多模态钢琴陪练系统及方法 | |
| KR20000024237A (ko) | 댄스 평가 및 지도 기능을 갖는 노래 반주 시스템 및 방법 | |
| CN114267051A (zh) | 一种钢琴弹奏辅助方法、钢琴灯控制模块及钢琴灯 | |
| JP7216175B1 (ja) | 画像解析システム、画像解析方法およびプログラム | |
| WO2024212940A1 (zh) | 一种用于音乐教学的方法、设备和计算机可读存储介质 | |
| JP2001224731A (ja) | ゲーム装置および情報記憶媒体 | |
| CN111046220B (zh) | 一种听写过程中的报读语音的重播方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070319 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |