JP3637802B2 - 楽音制御装置 - Google Patents
楽音制御装置 Download PDFInfo
- Publication number
- JP3637802B2 JP3637802B2 JP07803599A JP7803599A JP3637802B2 JP 3637802 B2 JP3637802 B2 JP 3637802B2 JP 07803599 A JP07803599 A JP 07803599A JP 7803599 A JP7803599 A JP 7803599A JP 3637802 B2 JP3637802 B2 JP 3637802B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- sound
- sound generation
- display surface
- musical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、移動する操作物体の位置を検出することにより楽音の発音を制御する楽音制御装置に関するものである。
【0002】
【従来の技術】
手足の麻痺、関節障害、筋力低下等の機能障害がある障害者のリハビリテーションとして運動療法が行われている。しかし、単調であるため、リハビリテーションに対する意欲がわかないという問題がある。従来、運動療法において、身体の動きに音楽を連動させて、楽しみながら身体能力を回復させるための支援装置が知られていなかった。
一方、電子楽器の操作入力に関する技術として、従来より、特開平9−68974号公報等で知られているような、身振りに応じて楽音を発音する電子楽器がある。しかし、これは健常者が扱う楽器そのものであり、身体能力を回復させるために使用することも可能であるが、身体能力の回復を支援することを特に意識して作られたものではない。
【0003】
また、これまでの電子楽器の操作入力装置を考えると、従来、鍵盤などのように、操作にかなりの熟練を要するものが多い。一方、上述した身振りに応じて楽音を発音する電子楽器は、特殊な入力装置を体に装着しなければ演奏することができず、しかも、発音される楽音だけを頼りに入力するものであり、視覚的に確認しながら楽音の入力を行うことができないという問題があった。
そのため、操作装置に身体を拘束されることなく、空間中を操作者が手足を自由に動かすことにより、空間全体を楽器の鍵盤のような操作部に見立てて、楽音を発生させることができ、視覚的にも操作の確認が行えるような楽器が望まれていた。
このような楽器であれば、電子楽器の操作入力装置としての改良にとどまらず、操作者にうまく演奏しようとする意欲が生まれ、この点から、手足等を動かすリハビリテーション用の支援装置としても期待できる。
【0004】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、特別な操作入力装置を身体に取り付けることなく、移動する操作物体の位置を検出することにより簡単に楽音の発音を制御することができる新規な楽音制御装置を提供することを目的とするものである。
電子楽器の入力装置としても、簡単に演奏することができるようにし、また、リハビリテーションの身体能力回復のための支援装置、あるいは身体機能の向上のための支援装置としても用いることができるようにした。
【0005】
【課題を解決するための手段】
本発明は、請求項1に記載の発明においては、移動する操作物体の位置を検出して楽音の発音を制御する楽音制御装置であって、前記操作物体の位置を検出する位置検出手段と、前記位置検出手段の出力を入力し、前記操作物体の任意の基準位置から前記操作物体の現在位置までの移動時間が所定時間以上であるという第1の移動条件、および、前記操作物体の現在位置に関する第2の移動条件の両移動条件を満足したときに少なくとも応じて前記楽音を発音させることを決定し、前記楽音を発音させる場合に前記楽音の発音を指示する発音指示手段とを有するものである。
したがって、操作物体の任意の基準位置から現在位置までの移動時間および操作物体の現在位置に関する所定の移動条件を満足したときに、楽音が発音される。
【0006】
その結果、操作者の手、頭、あるいは、手に持つカードや棒等の操作物体が特定の移動条件を満たす場合にのみ、楽音を発生させる、身振り式の新規な楽音制御装置としても使用することもできる。
また、決められた移動条件を意識して操作物体が操作されないと、望むような楽音を発生しないことから、操作物体の操作者にうまく演奏しようとする意欲が生まれ、リハビリテーションにつながる支援装置ともなる。
より具体的には、例えば、操作物体の現在の位置は、特定の1つまたは複数の発音領域の1つにあることを第1条件とする。例えば、基準位置から現在位置までの移動するのに要した時間が所定時間以上であることを第2条件とする。この所定時間は、操作物体の移動速度等を考慮することにより、任意に設定変更されるものである。基準位置は、例えば、操作物体の存在が検出された、最初または直前の位置、あるいは、操作物体の所定の登録位置とすることができる。
複数の発音領域の音高は、絶対座標上における発音領域の位置に応じて割り当てる。あるいは、基準位置を所定の音高として、基準位置に対する相対位置(相対距離である場合を含む)に応じて割り当てる。
【0007】
請求項2に記載の発明においては、楽音制御装置において、被写体を撮影した画像表示面上における前記被写体の特定部分の位置を検出する位置検出手段と、前記画像表示面上に少なくとも1つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、前記位置検出手段の出力を入力し、前記特定部分が、前記画像表示面上の、ある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段とを有するものである。
【0008】
したがって、被写体の特定部分の移動状況を楽音の発音によって知ることができる。また、操作物体の位置を、この操作物体を被写体の特定部分として撮影した画像表示面上で容易に認識することができる。
被写体の特定部分が所定の移動条件を満たす場合にのみ、楽音を発音させることができるから、操作物体を恣意的に移動しないと、望むような楽音を発生しない。その結果、操作物体の操作者にうまく演奏しようとする意欲が生まれるために、操作者の身体、腕、足等を動かすリハビリテーションの支援装置として有効である。
また、被写体の特定部分が真に目的を持って異なる発音領域に移動したことを、操作者に確認させることができる。
【0009】
なお、1または複数の発音領域は、画像表示面の絶対座標上で割り当てることができる他、基準位置からの相対位置(相対距離)によって割り当てることもできる。この基準位置としては、被写体の特定部分が最初停止していた位置、画像認識のために最初画像を登録した位置などとすることができる。
上述した発音指示手段は、より具体的には、最初に前記特定部分が実質的に停止状態にある時を初期状態として判定を開始し、前記特定部分が再び実質的に停止状態になったときに、現在の実質的な停止状態を前記初期状態として再び判定を開始する構成にすれば、継続的に楽音制御動作を行うことができる。
【0010】
請求項3に記載の発明においては、請求項2に記載の楽音制御装置において、前記発音指示手段は、前記特定部分の位置が、前記所定時間経過後に、前記ある1つの領域と同じ領域にあることが判定され、かつ、前記ある領域が前記発音領域にあると判定されたときにも、現在、前記特定部分が位置する前記発音領域に割り当てられた楽音の発音を指示するものである。
したがって、画像表示面上において、被写体の特定部分が、発音領域である、ある1つの領域に存在することが検出できないような状態に操作すれば、この発音領域に割り当てられた楽音の発音を再度指示することができる。
より具体的な操作としては、被写体の特定部分を、故意に画面の奥行き方向の、前方あるいは後方に移動させたり、被写体の特定部分の形を一時的に変化させたりすればよい。その結果、被写体の特定部分の奥行き方向の移動や、形を変える運動を楽音によって確認することができる。また、身振り式の楽音制御装置としてみた場合には、同じ楽音を繰り返し発音指示することができる。
【0011】
請求項4に記載の発明においては、請求項2または3に記載の楽音制御装置において、前記発音領域設定手段は、前記画像表示面上の所定の方向に複数の発音領域を設定し、前記所定の方向に沿った前記各発音領域の順序に応じた音高の楽音を割り当てるものである。
したがって、この複数の発音領域の配列により音階スケールを構成することになり、被写体の特定部分の移動方向を楽音によって知ることができる。なお、このとき、複数の発音領域の方向と直交する方向には、発音領域の範囲を制限(矩形状の発音領域とする)したり、あるいは、制限しないようにする(帯状の発音領域とする)ことができる。発音領域の範囲を制限した場合には、さらに音高のオクターブが異なるなどの、異なる楽音の発音領域の配列を複数列設けることもできる。
【0012】
請求項5に記載の発明においては、請求項4に記載の楽音制御装置において、前記発音領域設定手段は、外部入力信号により、前記所定の方向を設定するものである。
したがって、被写体の特定部分の動きに合わせて、複数の発音領域の配列方向を設定することができる。その結果、リハビリテーションの支援装置として用いたときに、操作者は、身体、腕、足等を動かすことが可能な方向に発音領域の配列方向に合わせることにより、どこまで動かすことができるかを楽音により確認することができる。身振り式の楽音制御装置としてみた場合にも、現在の姿勢での身体、腕、足等を動かしやすい方向に発音領域の配列方向を合わせることができる。
【0013】
請求項6に記載の発明においては、楽音制御装置において、被写体を撮影した画像表示面上における前記被写体の第1および第2の特定部分の位置を検出する位置検出手段と、前記画像表示面上に少なくとも1つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、前記位置検出手段の出力を入力し、前記第1の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記第1の特定部分が存在する前記発音領域に割り当てられた楽音の発音を第1の音色で行うように指示するとともに、前記第2の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記第2の特定部分が存在する前記発音領域に割り当てられた楽音の発音を前記第1の音色とは異なる第2の音色で行うように指示する発音指示手段とを有するものである。したがって、異なる2つの音色の楽音の発音を指示することができる。その結果、リハビリテーションの支援装置として用いたときに、操作者は、身体、腕、足等の関連した動きを音色の違いにより同時に確認することができる。
【0014】
請求項7に記載の発明においては、楽音制御装置において、被写体を撮影した画像表示面上における前記被写体の第1および第2の特定部分の位置を検出する位置検出手段と、前記画像表示面上に少なくとも1つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、前記位置検出手段の出力を入力し、前記第1の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、前記第1の特定部分が存在する前記発音領域に割り当てられた楽音の発音を第1の演奏パートで行うように指示するとともに、前記第2の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、前記第2の特定部分が存在する前記発音領域に割り当てられた楽音の発音を第1の演奏パートとは異なる第2の演奏パートで行うように指示する発音指示手段とを有するものである。
したがって、異なる2つの演奏パート、例えば、メロディーパート、伴奏パートの発音を指示することができる。その結果、リハビリテーションの支援装置として用いたときに、操作者は、身体、腕、足等の関連した動きを演奏パートの違いにより同時に確認することができる。
【0015】
請求項8に記載の発明においては、楽音制御装置において、被写体を撮影した画像表示面上における前記被写体の第1および第2の特定部分の位置を検出する位置検出手段と、前記画像表示面上の所定の方向に複数の発音領域を設定するとともに、前記所定の方向に沿った前記発音領域の順序に応じた音高の楽音を割り当てる発音領域設定手段と、前記位置検出手段の出力を入力し、前記第2の特定部分の位置の変化方向を検出するとともに、前記第1の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記第1の特定部分が存在する前記発音領域に割り当てられた前記音高を識別し、識別された前記音高を、前記第2の特定部分の位置の変化方向に応じてオクターブシフトさせて、前記楽音の発音を指示する発音指示手段とを有するものである。
したがって、被写体の第2の特定部分の移動方向、例えば、頭(首曲げ)または左手の指示に応じて発音させる楽音のオクターブ上げ、オクターブ下げを容易に行うことができる。
【0016】
請求項9に記載の発明においては、請求項2ないし8のいずれか1項に記載の楽音制御装置において、記憶手段を有し、該記憶手段は、前記発音指示手段が、前記楽音の発音を指示するごとに、前記発音の指示の前回の時刻から今回の時刻までの時間経過情報を、発音指示される前記楽音の情報とともに記憶するものである。
したがって、発音指示された楽音の情報に加えて、次の楽音が発音指示されるまでの時間経過情報を、先の楽音の音符の長さとして記憶することができる。記憶された楽音の情報および時間経過情報は、適宜、演奏期間を指定して読み出したり、指定された演奏期間のものを再記憶させることにより、作曲のためのストックフレーズとすることができる。
【0017】
請求項10に記載の発明においては、楽音制御プログラムが記録されたコンピュータ読み取り可能な記録媒体において、被写体を撮影した画像表示面上における前記被写体の特定部分の位置を検出する位置検出手段と、前記画像表示面上に少なくとも1つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、前記位置検出手段の出力を入力し、前記特定部分が、前記画像表示面上の、ある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段としてコンピュータを機能させるためのものである。
したがって、請求項2に記載の楽音制御装置と同様の機能をコンピュータに実行させる記録媒体を提供することができる。
【0018】
【発明の実施の形態】
図1は、本発明の楽音制御装置の実施の一形態の第1の説明図である。図1(a)は使用状態図、図1(b)は登録時における画像表示面の一部を示す説明図である。
図1(a)において、1は操作者、1aは手、2はコンピュータ本体部である。コンピュータ本体部2には、キーボード3、画像表示装置(CRTディスプレイ)4、スピーカ5、ビデオカメラ6が接続されている。この実施の一形態においては、汎用コンピュータ2は、ビデオカメラ6からの映像信号を処理するカードと楽音信号を生成するサウンドカードを内蔵している。操作者1は、画像表示装置4に向かって、手1aを動かす。操作者1の像は、ビデオカメラ6により撮影され、コンピュータ本体部2において画像処理され、同時に画像表示装置4に表示される。操作者1は、画像表示面を見ながら手1aを動かしたり、ポーズを取る。
【0019】
図1(b)に示す登録時における画像表示面において、11は操作者の表示画像、11aは手の表示画像、12は認識ウインドウ、13は発音領域である。
手1aを被写体の特定部分(パーツ)とする場合を例示する。登録時には、画像表示面4aの所定領域に、手の表示画像11aを認識させるための認識ウインドウ12を画定し、この認識ウインドウ12内の表示画像を登録する。この後の演奏時に、手1aを動かすと、画像表示面4a上において、手の表示画像11aが移動するとともに、これに追従して、認識ウインドウ12を移動させる。画像表示面4a上の複数の位置に、発音領域13が設定されている。
【0020】
図示の例では、登録時の認識ウインドウ12の内部に発音領域13が設けられている。演奏中においては、このような発音領域13内に、手の表示画像11aの中心が位置することを判定したときには、この発音領域13に対応した音高の楽音信号を所定期間にわたって発音させる。
なお、画像表示面4aにおける被写体の表示は、被写体の鏡像を表示するようにすれば、操作者1が画像表示面4aを見ながら手1a等を動かすのに好ましい。
【0021】
図2は、本発明の楽音制御装置の実施の一形態の第2の説明図である。図2(a)は機能ブロック図、図2(b)は、発音指示部が行う判断をフローチャート表現で説明する説明図である。図2(a)中、21は位置検出部、22は発音指示部、23は発音領域設定部、21aは被写体特定部分の画像記憶部、21bは画像認識部である。
ビデオカメラ6等の画像入力部から被写体画像データが画像メモリ等に書き込まれる。位置検出部21は、この画像メモリ上の被写体画像データを入力して、被写体を撮影した画像表示面上における被写体の特定部分の位置を検出する。
【0022】
位置検出部21は、一例として、被写体特定部分の画像記憶部21aおよび画像認識部21bを有するものである。登録モード時において、画像メモリ等に書き込まれている被写体画像データから、被写体の特定部分の画像、例えば、被写体の一部分の表示画像を、被写体特定部分の画像記憶部21aに登録する。なお、被写体の表示画像の全体を、被写体の特定部分として登録することもできる。
演奏モード時において、被写体の特定部分は、画像表示面上において位置が移動する。画像認識部21bは、画像入力部から画像メモリを介して逐次入力された画像と被写体特定部分の画像記憶部21aに登録された画像とを比較することにより、被写体の特定部分の位置を検出する。
【0023】
発音領域設定部23は、画像表示面上に複数の発音領域を設定するとともに、各発音領域に対して発音させる楽音を割り当てる。
発音指示部22は、位置検出部21の位置検出出力および発音領域設定部23の設定出力を入力し、被写体の特定部分の移動条件に関する判定を行う。
図2(b)に、この移動条件を示す。
【0024】
S24においては、被写体の特定部分の最初の位置が初期設定される。初期設定位置は、任意の基準位置でよいが、例えば、被写体の特定部分の画像を登録する時の停止位置である。なお、初期設定時においては、特別に発音指示することもできる。S25においては、位置検出部21から出力される被写体の特定部分の位置が、直前の位置に存在するか否かが判定される。直前の位置に存在しないときにはS26の判定に移り、存在しているときには、再び、S25の判定を行う。
なお、ここで言う位置とは、ピンポイント的な位置ではなく、直前に存在が検出されていた位置からわずかに移動しても、所定の範囲内にあるときには同じ位置にあるとしている。すなわち、このような場合には、実質的に停止しているものとしている。また、直前の位置に存在しないと判定される場合としては、第1には、被写体の特定部分が他の位置に移動したことが検出された場合であるが、位置検出部21が被写体の特定部分の存在位置を検出できなくなった場合もある。
【0025】
S26の判定においては、S25において直前の位置に存在しないと判定されてから所定時間が経過したか否かを判定し、経過していないときには再びS26の判定に戻るが、所定時間が経過したときには、S27の判定を行う。S27の判定においては、位置検出部21により被写体の特定部分の存在が検出されているか否かを判定する。被写体の特定部分の存在が検出されていないときには、再びS27の判断に戻るが、検出されているときには、S28の判定を行う。
S28の判定では、位置検出部21から出力された、被写体の特定部分の存在位置が、発音領域設定部23により設定された1または複数の発音領域に属するか否かを判定し、この発音領域に属しなければ、S25の判定に戻り、この発音領域に属するときにはS29の処理を行う。S29においては、この発音領域に割り当てられた楽音の発音を指示して、再び、S25の判定に戻る。あるいは、いずれの場合も、S25に判定には戻らず、処理を終了するようにしてもよい。
【0026】
S25に戻って、S25〜S28の判定を繰り返し行うようにする場合には、被写体の特定部分の現在の位置が停止していることを条件として、この停止位置を、S24における初期位置と同様な直前位置として、再び判定を開始すればよい。さらには、毎回、S29において発音指示された時刻を検出し、前回の発音指示時刻から今回の発音指示時刻までの時間間隔を計算し、これを前回発音された楽音に対する音符情報として記録することができる。
【0027】
したがって、異なる領域へ移動したとしても、移動に要した時間が短いときには、仮に発音領域に移動しても発音指示がされず、所定時間経過後にも、この異なる領域に存在が検出されているときに限り、発音が指示される。したがって、所定時間経過するまでの間に、ある発音領域を通過したとしても、発音されない。また、位置検出の結果、被写体の特定部分が直前位置から動かず実質的に停止していることが検出されている間は、この領域が仮に発音領域であって1度発音指示がされた場合でも、発音指示は繰り返されない。
【0028】
なお、S27の判定において、被写体の特定部分の存在が検出された領域が、直前に存在が検出されていた領域と異なることを付加的条件として、S28の判定を行うようにしてもよい。この場合、S25において被写体の特定部分の存在が1時的に検出できなくなって、S27の判定で、再び、直前と同じ位置に存在することが判定された場合には、先に説明したS26の判定条件を満足してもS28の判定に行かないようにすることができる。したがって、被写体の特定部分が存在する位置が、発音領域であって、1時的に存在が検出できなかっただけのときには、2度目の発音を指示しないようにすることもできる。
逆に、上述した付加的条件を付けない場合には、恣意的に、被写体の特定部分の存在が1時的に検出できないような状態にして、同じ発音領域の発音を2回以上繰り返して行うようにすることができる。
【0029】
上述した説明では、S28の判定において、被写体の特定部分の存在が直前に検出されていた領域が、1または複数の発音領域のいずれかであったことを条件としなかったが、この条件を付加的条件としてもよい。この場合、1または複数の発音領域以外の領域において被写体の特定部分が停止していて位置検出されている場合を除外した移動条件とすることができる。
移動条件としては、リハビリテーションにおいて手等を動かす状況、あるいは、身振り式の楽音制御装置として操作する方法を考慮して適切な条件を採用する。
【0030】
図3は、本発明の楽音制御装置の実施の一形態のハードウエア構成の概要図である。図中、図1と同様な部分には同じ符号を付して説明を省略する。
映像信号を処理するカードとサウンドカードを内蔵する汎用コンピュータは、CPU(Central Processing Unit)31、画像処理部32、外部記憶装置33、ROM(Read Only Memory)34、RAM(Random Access Memory)35、楽音発生部36等で構成される。ビデオカメラ6により取り込まれた被写体の画像は画像処理部32に取り込まれ、A/D変換されてCPU31に入力される。
ビデオカメラ6に代えて、被写体の静止画像を連続撮影可能なデジタルカメラを使用してもよい。CPU31は、ROM34に記憶された基本入出力システム(BIOS)プログラムおよび、ハードディスク等の外部記憶装置33からRAM35にロードされるオペレーティングシステム(OS)プログラム、および、アプリケーションプログラムを実行することにより動作する。
【0031】
CPU31は、画像信号を入力し、図2に示した機能を実現するとともに、画像を表示部4に表示させる。CPU31は、楽音の発生を指示するとともに、楽音パラメータを楽音発生部36に出力し、楽音発生部36は、楽音波形を生成し、楽音波形データをD/A変換および増幅してスピーカ5より楽音を出力する。なお、CPU31に、楽音波形の生成までを実行させることもできる。自動演奏再生用の楽曲は、RAM35に一時記憶されるが、最終的に、外部記憶装置33に記憶させることができ、また、RAM35に読み戻すこともできる。
【0032】
画像処理部32は、単に画像フレームの処理やA/D変換の機能だけを備えたものでもよいが、専用のDSP(Digital Signal Processor)等により画像認識、または、画像認識のための前処理を行うようにしてもよい。
上述した説明では、汎用のパーソナルコンピュータを用い、プログラムにより楽音制御機能を実現する構成を示したが、専用の楽音制御装置としてもよい。
【0033】
図4ないし図6は、本発明の楽音制御装置の実施の一形態の発音領域の説明図である。
発音領域は、操作者が手などを動かす方向に合うように操作者自身が設定できる。
図4は、画像表示面の絶対位置に対応させて複数の発音領域を設定するモードにおける画像表示面である。複数列の発音領域列41〜43が設定されているが、登録時においては、発音領域列41中の左端の発音領域13にその中心がある認識ウインドウ12が表示され、ここで、手1aの表示画像を記憶する。登録時において、発音領域13は、例えば、音名C3に対応させ、矢印44に示す右方向に音高が上昇するように、音高が割り当てられている。図示の例では、発音領域列41は、音名C3からB4までの1オクターブが割り当てられ、この上段に位置する発音領域列42には、音名C4からB5までが割り当てられ、発音領域列41の下段に位置する発音領域列43には、音名C2からB3までが割り当てられている。
【0034】
演奏モードにおいては、登録された手の表示画像11aの中心点が複数の発音領域13の1つに位置したときに、この発音領域に割り当てられた音高の、ピアノ音、打楽器音等の楽音が所定持続時間にわたって発音される。ただし、図7を参照して後述するように、手の表示画像11aの中心点が複数の発音領域13の1つに位置するという条件だけで、楽音を発音させるようにはしていない。
【0035】
図5は、音高C3に対応する発音領域13を基準位置とした画像表示面の相対位置に対応させ、かつ、音高の上昇方向を右上がりに設定するモードの画像表示面である。登録時に、音高C3に対応する発音領域13を中心とした認識ウインドウ12が表示される。この発音領域13の位置は、登録時にユーザの入力により自由に位置を決めることができる。発音領域列41〜43は斜めに配置されるとともに、音高C3に対応する発音領域13から音高の上昇する方向が、矢印44に示すように、右上がりに設定されている。
【0036】
図6は、音高C3に対応する発音領域13を基準位置とした画像表示面の相対位置に対応させ、かつ、音高の上昇方向を左下がりに設定するモードの画像表示面である。登録時に、音高C3に対応する発音領域13を中心とした認識ウインドウ12が表示される。この発音領域13は、登録時にユーザの入力により自由に位置を決めることができる。発音領域列41〜43は斜めに配置されるとともに、音高の上昇する方向が、矢印44に示すように、左下がりに設定されている。
【0037】
なお、図4〜図6に示した音高の割り当ては、一例であり、1つの発音領域列に音名C3からC4までを割り当てたり、白鍵に対応する音高のみを割り当てたり、黒鍵に対応する音高を割り当てる発音領域列を別の段に設けてもよい。
また、1オクターブ上の音高および1オクターブ下の音高のための発音領域列を設けないようにしてもよい。この場合、各発音領域13の形状を図示のような正方形にせずに、発音領域列41に直交する方向に帯状にしてもよい。また、首の曲げなどの動きに対応させるためには、方向を直線方向とはしないで、任意の曲線に沿った方向としてもよい。
【0038】
複数列の発音領域列41〜43、各発音領域内の音名表示、および、矢印44は、説明用に記載したものであり、実際の画像表示面においては表示しなくてもよい。演奏動作中において、認識ウインドウ12を表示してもよいが、図7に示すように確認マーク51を表示するため、演奏動作中においては、認識ウインドウ12を表示しなくてもよい。
【0039】
図7は、本発明の楽音制御装置の実施の一形態の楽音制御機能の説明図である。図中、11a−1〜11a−9は、手1aを動かしているときの、手の表示画像11aの位置を示す符号である。51は、手1aを認識している時の確認マークである。
手の動きにはさまざまなパターンがあるが、ここでは、典型的な4通りの動きについて説明する。
(1)音高の配列方向に手1aを遅く動かした場合。図中、手の表示画像11a−1〜11a−5の期間である。
(2)音高の配列方向に手1aを速く動かした場合。図中、手の表示画像11a−5〜11a−7の期間である。
(3)音高の配列方向には手1aを動かさずに、1時的に手1aを画像認識できない(存在を検出できない)状態にした場合。1時的に画像認識できない状態とは、例えば、手1aをビデオカメラ6に対し遠ざけてまたもとの位置に戻したり、または、近づけて、その後、元の位置に戻したときである。図中、手の表示画像11a−7〜11a−9の期間である。手の表示画像11a−7〜11a−9は、典型的な例では、画面表示部上で重なるが、ずらせた状態で図示している。
(4)さらに、手1aを画像認識できない状態にして、音高の配列方向に手1aを動かした場合。この場合の図示は省略している。
【0040】
(1)音高の配列方向に手1aを遅く動かした場合。手の表示画像11aの中心が発音領域内に入ると、楽音を1回だけ所定持続時間発音する。図示の例では、手の表示画像11a−1のときに、その中心が発音領域内に入り、音名C3の楽音が発音される。次に、手の表示画像11a−2のときに、その中心が発音領域外に移動し、手の表示画像11a−3のときに、その中心が発音領域内に入り、音名C# 3の楽音が1回だけ所定持続時間発音される。次に、手の表示画像11a−4のときに、その中心が発音領域外に移動し、手の表示画像11a−5のときに、その中心が発音領域内に入り、音名D3の楽音が1回だけ所定持続時間発音される。このようにして、手1aを音高の配列方向に動かす間において、手1aの移動中の経過音を発生させることができる。
【0041】
(2)音高の配列方向に手1aを速く動かした場合。手の表示画像11a−5の中心が楽音D3の発音領域にあって、楽音D3が1回だけ所定持続時間発音される。その後、手1aを、音高の配列方向に速く動かす。手の表示画像11a−5の中心がD3の発音領域に存在しなくなってから100msecかかって、手の表示画像11a−7の中心がG3の発音領域に来たとする。このとき、音名G3の楽音が1回だけ所定持続時間発音される。しかし、手の表示画像11a−6の中心がD# 3,E3,F3,F# 3の位置を通過したときには発音されない。すなわち、経過音を発音させないようにすることができる。
【0042】
(3)音高の配列方向には手1aを動かさずに、1時的に手1aを画像認識できない状態にした場合。まず、手の表示画像11a−7の中心が音名G3の楽音発生領域にあって音名G3の楽音を1回だけ所定持続時間発音させる。手1aをビデオカメラに対し遠ざけると、焦点の合わないぼけた、または、小さくなった、あるいは両方の影響を受けた手の画像11a−8が入力される。そうすると、画像認識の結果、手の表示画像11a−8は認識できなくなる。100msec経過後、再び、手1aをビデオカメラ6に近づけて、もとの位置に戻すと、手の表示画像11a−9を認識することができる。その結果、手の表示画像11a−7が認識できなくなってから、100msec経過後に、表示画像11a−9の中心が音名G3の楽音発生領域にあるために、音名G3の楽音が再び1回だけ所定持続時間発音される。このようにして、同じ音名の楽音の所定持続時間の発音を複数回行わせることができる。
【0043】
(4)手1aを画像認識できない状態にして、音高の配列方向に手1aを動かした場合。手の表示画像11a−5の中心が楽音D3の発音領域にあって楽音D3が1回だけ所定持続時間発音される。その後、手1aをビデオカメラ6に対し遠ざけることにより、画像認識の結果、手の表示画像11a−5は認識できなくなる。手1aを遠ざけたまま、手1aを音高の配列方向に動かす。手の表示画像11a−5が認識できなくなった後、100msec経過後に、手の表示画像11a−7の中心が、G3の発音領域に来て、再び、手1aをビデオカメラ6に近づけて、もとの距離の位置に戻すと、音名G3の楽音が1回だけ所定持続時間発音される。このようにすれば、手1aを音高の配列方向に動かす速度にかかわらず、手の表示画像11a−6の中心がD# 3,E3,F3,F# 3の位置を通過するときには、経過音を発音させないようにすることができる。
【0044】
本発明の楽音制御装置は、楽音発生部と共に用いたり、楽音発生部と一体的にされて楽音発生装置として使用されるが、上述したように、操作者(被写体)が演奏する意思をもってこれに臨まないと、すなわち、決められた移動条件を意識して手等を動かさなければ、望むような楽音を発生する楽器とはならない。演奏意思がなく、無造作に手等を動かすと、聞き苦しい楽音が発生するだけである。であるからこそ、操作者にうまく演奏しようとする意欲が生まれ、これが手足等を動かすリハビリテーションにつながる。
【0045】
上述した楽音制御により、操作者は、手1aを移動させた位置を、発音される楽音の音高によって認識することができる。単に、発音領域を通過するだけで楽音を発生させるようにすると、単純には、複数の楽音が発生してしまう。しかし、手1aを速く動かして、発音領域を通過させれば、途中の楽音(経過音)が発音されないので、最終移動位置を明確に確認することができる。この場合、もちろん、経過音が発音されるように設定してもよく、経過音を聞きながらリハビリテーションを行うようにすることもできる。経過音を発音させるとしても、離散的に設けられたいずれかの発音領域に手の表示画像11aが存在するときに、所定持続時間の間だけ楽音が発生されるので、比較的好ましい楽音となる。
【0046】
同じ音名の楽音を連続発音することについては、上述したように、恣意的に、一度手1aを遠ざけたりして可能としている。これに対し、同じ発音領域に手1aをとどめておくことによって、同じ音名の音を連続して発音させるように設定してもよく、その場合でも、途切れることなく楽音を発生させるのではなく、所定持続時間長さの楽音が繰り返し発音されるようにした方が、比較的好ましい楽音となる。
【0047】
次に、図8,図9を参照して説明する画像認識は、本発明の楽音制御装置の実施の一形態に用いる画像認識の原理的な一例を示すものである。
図8は、本発明の楽音制御装置の実施の一形態における画像認識の第1の説明図である。図8(a)は認識ウインドウ中の被写体の特定部分の表示画像を取り込み、これを登録した画像を示す図である。図8(b)〜図8(d)は比較する画素数の違いにより、画像の一致レベルを変更して画像識別をする場合の、比較する画素を示す図である。図8(b)は画像の一致レベルを低くする場合、図8(c)は画像の一致レベルを中程度にする場合、図8(d)は画像の一致レベルを高くする場合を示す図である。
【0048】
図8(a)において、画像認識は、例えば、被写体の色相、明るさ(濃淡)の特徴を抽出することにより行う。画像認識では、通常、画像強調処理、画質改善処理等の前処理が行われ、また、特徴抽出処理を行ってからパターン照合が行われる。しかし、説明を簡単にするため、単に画素毎の画像データの一致、不一致により画像認識をするものとして説明する。ここで言う画素とは、必ずしも画像を表示する最小単位ではなく、画像比較の最小単位を意味する。
手の表示画像11aを登録する場合、図8(a)に示すように、画素単位で、背景、被写体の色および明るさが登録画像61としてメモリに取り込まれ、画素単位に記憶される。符号62を付した部分は、手の表示画像に対応する画素の領域を示す。
【0049】
画像認識は、画像表示面上において、登録された登録画像61の位置検出をする際に行われる。このとき、位置検出の状況に応じて、画像認識の一致レベル(一致していると判定する一致度の閾値レベル)を低くしたり、高くしたりする。すなわち、ビデオカメラ6から逐次入力された被写体の画像中に、手の表示画像11aの位置が検出できない期間は、画像表示面上における広範囲の領域に対し、画像認識の一致レベルを相対的に低くした状態から始めて、登録画像61の画像とを比較し、手の表示画像11aの位置が検出できているときには、画像表示面上における手の表示画像11aの近傍の領域に対し、画像の一致レベルを相対的に高くした状態で、登録画像61の画像と比較する。
このようにして、手の表示画像11aの位置を探しているときの画像認識には、画像認識の一致レベルを相対的に低く設定することにより、位置検出のための処理時間を短縮し、手の表示画像11aへの認識ウインドウ12の追従性を大きくしている。
【0050】
上述した、画像認識の一致レベルを変更する具体的な方法としては、例えば、色相だけを比較対象とすることにより、画像認識の一致レベルを低くする。色相に加えて濃度変化も比較対象とすることにより、画像認識の一致レベルを高くすることができる。
あるいは、図8(b)〜図8(d)に示したように、認識ウインドウ12の中で、比較する対象画素63の数を変更することにより、画像認識の一致レベルを変更することができる。例えば、図8(c)においては、認識ウインドウ12中の、中心点および対角の4点からなる5個の画素を、比較する対象画素63としてサンプリングし、登録画像61の対応する画素との一致を見ることにより、画像認識の一致レベルを低くする。もちろん、先に説明したような、濃淡の識別を行うか否かの組み合わせによって、画像認識の一致レベルを変更することもできる。
【0051】
図9は、本発明の楽音制御装置の実施の一形態における画像認識の第2の説明図である。図9(a)は、画像表示面上の複数の特定ポイント[X,Y]およびこの特定ポイント[X,Y]を中心とする複数の位置探索領域を示す説明図である。図9(b)は被写体の特定部分の動きが小さいときのある1つの特定ポイント[X,Y]周囲の説明図、図9(c)は被写体の特定部分の動きが大きいときのある1つの特定ポイント[X,Y]周囲の説明図である。
図中、71は特定ポイント[X,Y]、72は位置探索領域、12−1,12−2は移動前と移動後の認識ウインドウ、73−1,73−2は移動前と移動後の認識ウインドウの中心点、74は認識ウインドウの外周の移動領域である。
【0052】
図9(a)に示すように、画像表示面4a上に複数の特定ポイント[X,Y]を配置し、画像表示面4aは、各特定ポイント[X,Y]を中心とする複数の位置探索領域72で分割されている。認識ウインドウ12の中心点73は、1つの特定ポイント[X,Y]71の位置探索領域72内で移動可能であり、この範囲を超える場合には、新たに異なる特定ポイント[X,Y]を指定して、新たな特定ポイント[X,Y]71の位置探索領域72内で移動可能となる。
【0053】
図9(b)に示すように、被写体の特定部分の動きが小さいときを説明する。最初に、認識ウインドウの中心点73−1において、認識ウインドウ12−1内の表示画像に登録画像の特徴データがあったとする。認識ウインドウの中心点73を位置探索領域72内でスキャンさせているので、被写体の特定部分が移動すると、73−2の位置において認識ウインドウ12−2内の表示画像に登録画像の特徴データがあることを検出する。
このときの認識ウインドウの中心点73−1から73−2への移動ベクトルは小さく、現在の中心点73−2の位置も考慮すると、次回の画像認識時に、被写体の特定部分の中心が位置探索領域72の範囲外になることはないと推測される。このような場合は、継続して、認識ウインドウの中心点73を、位置探索領域72内をスキャンさせて認識ウインドウ12内の表示画像に登録画像の特徴データがあるかどうかを判定する。
【0054】
図9(c)に示すように、被写体の特定部分の動きが大きいときを説明する。最初に、認識ウインドウの中心点73−1において、認識ウインドウ12−1内の表示画像に登録画像の特徴データがあったとする。認識ウインドウの中心点73を位置探索領域72内でスキャンさせているので、被写体の特定部分が移動すると、73−2の位置において認識ウインドウ12−2内の表示画像に登録画像の特徴データがあることを検出する。
このときの認識ウインドウの中心点73−1から73−2への移動ベクトルは大きく、現在の中心点73−2の位置も考慮すると、次回の画像認識時に、被写体の特定部分が位置探索領域72の範囲外になることが推測される。
【0055】
このような場合は、異なる特定ポイント[X,Y]71を中心とする位置探索領域72に認識ウインドウの中心73を移動させて画像認識を行う。すなわち、現在の認識ウインドウの中心73の位置、および、移動ベクトル(被写体の特定部分の移動ベクトルでもある)に基づいて、次回の画像認識時における、被写体の特定部分の移動先を推定し、移動先の特定ポイント[X,Y]71を指定して、認識ウインドウの中心点73をこの特定ポイント[X,Y]71に移動させ、認識ウインドウの中心点73を新たな位置探索領域72内でスキャンさせて、認識ウインドウ12内の表示画像に登録画像の特徴データがあるかどうかを判定する。
【0056】
しかし、新たな位置探索領域72内でスキャンさせて、認識ウインドウ12内の表示画像に登録画像の特徴データが有るかどうかを判定した結果、特徴データが検出されなかったときには、図9(a)に示す、認識ウインドウの中心点73を、全ての特定ポイント[X,Y]71にわたり、各特定ポイント[X,Y]71に順次、位置合わせして、認識ウインドウ12内の表示画像に登録画像の特徴データがあるか否かを判定する。なお、このとき、図8を参照して説明した画像認識の一致レベルは低く設定する。
上述したように、表示画像に登録画像の特徴データが検出されている間は、認識ウインドウの中心点71をスキャンする範囲を、言い換えれば、比較する表示画像の範囲を、位置探索領域72という全画面の中の一部の領域に限定することにより、画像認識に要する時間を短縮している。
なお、図9を参照した説明では、特定ポイント[X,Y]71の位置を、発音領域とは独立して設定している。しかし、複数の発音領域13の各中心に特定ポイント[X,Y]71を設定するようにしてもよい。
【0057】
図10ないし図17は、本発明の楽音制御装置の実施の一形態の動作を説明するためのフローチャートである。
図10は、メインルーチンのフローチャートである。図11は、パラメータおよびモード設定処理のフローチャートである。図12は、画像認識登録処理のフローチャートである。図13は、演奏処理の第1のフローチャートである。図14は、演奏処理の第2のフローチャートである。図15は、タイマ処理1のフローチャートである。図16は、タイマ処理sのフローチャートである。図17は、自動演奏再生処理のフローチャートである。
図18は、時間パラメータであるtsパラメータ、t1パラメータ、t2パラメータの時間変化を示す説明図である。
【0058】
図10におけるメインルーチンにおいて、S81においては、各種パラメータの値が初期化され、S82に処理を進める。S82においては、パラメータ設定処理として、音色設定等が行われ、S83に処理を進める。S83においては、登録、演奏、再生の動作モード設定が行われ、S84に処理を進める。S84においては、登録モードであるときに、被写体の特定部分の表示画像を取り込んで画像登録処理が行なわれ、S85に処理を進める。S85においては、演奏モードであるときに、リアルタイムの演奏処理が行われ、S86に処理を進める。S86においては、再生モードであるときに、自動演奏再生処理が行われ、S82に処理を戻す。S81〜S86のメインルーチンとは別に、タイマ割込によって動作する、タイマ1処理S87およびタイマs処理S88がある。
【0059】
図11を参照し、パラメータ設定処理およびモード設定処理について説明する。S91においては、いずれかの音色設定スイッチにオンイベントが有るか否かを判定し、有る場合にはS92に処理を進め、ない場合にはS93に処理を進める。S92においては、オンイベントがあった音色設定スイッチに対応した音色パラメータを楽音信号生成部に送出して、S93に処理を進める。音色としては楽器音色に限らず、人声音、動物の鳴き声でもよい。S93においては、他のいずれかのパラメータ入力スイッチ操作が有ったか否かを判定し、有った場合にはS94に処理を進め、他のパラメータ入力スイッチのいずれも操作がない場合にはS95に処理を進める。ここで、他のパラメータ入力スイッチとは、S91で判定した音色設定スイッチ以外の各種パラメータを入力するスイッチである。
【0060】
S94においては、スイッチ操作に対応して各種パラメータ(n,n1,n2等)を変更し、S95に処理を進める。S95においては、登録スイッチにオンイベントが有ったか否かを判定し、有る場合にはS96に処理を進め、ない場合にはS97に処理を進める。S96においては、W/R(フラグ)を1に設定することにより登録モードとして、S97に処理を進める。S97においては、再生スイッチにオンイベントが有ったか否かを判定し、有る場合にはS98に処理を進め、ない場合には処理をメインルーチンに戻す。S98においては、自動演奏再生用のシーケンスデータQ(p)の読み出しポインタをリセットし、S99において、W/Rを2に設定することにより、シーケンスデータの再生モードとして、メインルーチンに戻る。
【0061】
図12を参照して画像登録処理モードについて説明する。
S101においては、W/Rが1であるか否かを判定し、1のときにはS102に処理を進め、1でないときにはメインルーチンに戻る。S102においては、被写体の特定部分の認識ウインドウの中心を、基準となる登録時の発音領域内に画定し、認識ウインドウを画像表示面に枠表示して、S103に処理を進める。ここで、基準となる発音領域とは、図1(b)に示した、登録時における発音領域13(音名C3)である。このフローチャートにおいては省略したが、登録時における発音領域13の位置は、操作者が、キーボードあるいはマウスポインタを用いて、自由に設定できるようにすることが好ましい。
【0062】
S103においては、RgSW(登録実行スイッチ)にオンイベントが有るか否かを判定し、有る場合にはS104に処理を進めるが、ない場合にはS102に処理を戻す。S104においては、ビデオカメラ6に入力された画像データをScacheメモリ(画像データメモリ)に登録して、S105に処理を進める。画像データそのものを画素単位に記憶させてもよいが、特徴抽出を行なってから記憶させてもよい。
S105においては、被写体の特定部分(パーツ)の移動とともに、音高を変化させる方向を入力し、S106に処理を進める。ここで、音高を変化させる方向とは、図4においては、矢印44に示す右方向である。図5においては、矢印44に示す右上方向である。図6においては、矢印44に示す左下方向である。使用者は、通常、特定部分を移動させようとする方向、あるいはその正反対の方向に、上述した音高を変化させる方向を設定する。
S106においては、S105において入力された音高を変化させる方向に応じて、発音領域の設定と、各発音領域に割り当てる楽音の音名の決定とが行われ、S107に処理を進める。ただし、図4に示したような画像表示面の絶対位置(絶対座標)に対応させて発音領域を設定するモードと、図5,図6に示したような画像登録時の発音領域13を基準位置とした相対位置で発音領域を設定するモードがある。
【0063】
S107においては、W/Rに0を設定し、tsパラメータ(時間パラメータ)に値nを設定し、t1パラメータ(時間パラメータ)に値n1を設定し、後述する発音条件に関係するF1フラグを0に設定し、自動演奏用ポインタ(p)をリセットし、メインルーチンに戻る。W/R=0は操作者が手1aを動かして楽音を発音させる演奏モードを意味する。
図18(a)に示すように、tsパラメータは、10msecの時間を計数し、その後一定値となるタイマー機能のための時間パラメータである。S107においてnにセットされ、後述する図13のS121において0にセットされ、後述する図16の割込処理によりカウントアップして10msec経過後にnとなり、n以上には増加しない。
図18(b)に示すように、t1パラメータは、100msecの時間を計数し、その後一定値n1となるタイマ機能のための時間パラメータであり、被写体の特定部分が、ある直前位置に存在しなくなってからの経過時間を検出する。図12のS107においてn1にセットされ、後述する図13のS119において0にセットされ、S116または図14のS125において1にセットされ、後述する図15の割込処理によりカウントアップして100msec経過後にn1となり、n1以上には増加しない。
【0064】
図13、図14を参照して演奏処理モードについて説明する。
S111においては、W/Rが0であるか否かを判定し、0のときにはS112に処理を進め、0でないときにはメインルーチンにリターンする。S112においては、タイマ時刻(ts=n)になったか否かを判定する。初めてts=nになったときには、S113Cに処理を進め、常にts=n(所定の長い時間、継続してnの値が持続する)のときには、S113Aに処理を進める。それ以外の、tsが0〜(n−1)のときには、演奏処理ルーチンから離脱し、メインルーチンの他の処理をする。つまり、登録処理直後に演奏処理に入ると、ts=nにセットされたままなのでS113Cに処理を進める。
【0065】
ビデオカメラ6で撮像された全画像データ中に、登録画像データがあるか否かを抽出する処理は、S113A〜S113Cによって行われる。登録直後は、S113Cから処理が始められるが、S113Aから説明した方が理解しやすいので、ここから説明する。S113Aの処理は、主に登録処理後しばらくたった任意の時刻においての処理であり、この時刻では登録画像の特徴データは、すぐにはとらえにくい状態にあることが多いので、画像認識の一致レベルを下げて処理がスタートされる。時刻は、常にts=nになっているので、S113Aからの認識処理が始まる。
【0066】
S113Aにおいて、ビデオカメラ6によって入力された画像表示面(図9参照)上に複数ある特定ポイント[X,Y]71に、認識ウインドウ12の中心点73を順次スキャンさせ、特定ポイント[X,Y]71にその中心を持つ認識ウインドウ12中に、登録画像の特徴データがあるか否かを判定する。特徴データがあるときにはS113Bに処理を進め、ないときにはS114に処理を進める。
ステップS113Aにおける画像認識では、一致レベルを低くして画像認識をするため、被写体の特定部分の登録画像中心が、ある特定ポイント[X,Y]から少しずれた周辺にある状態であっても、この特定ポイント[X,Y]にその中心を持つ認識ウインドウで、被写体の特定部分を検出することができる。
【0067】
S113Bにおいては、S113Aにおいて登録画像の特徴を検出できたときの特定ポイント[X,Y]の周辺を順次スキャンし、この周辺を中心とする認識ウインドウ中の表示画像に、登録画像の特徴があるか否かを判定し、特徴があるときには、S118に処理を進め、ないときにはS114に処理を進める。このステップS113Bにおける画像認識は、一致レベルを高くして画像認識を比較的厳密に行う。特定ポイント[X,Y]の周辺を順次スキャンして画像認識をすることは、図9(b)において、位置探索領域72内において認識ウインドウの中心73を順次スキャンさせることである。このS113Bにおいてyesとなったときに、初めて、被写体の特定部分である、手の表示画像11aの中心が特定ポイント[X,Y]を中心とする位置探索領域72内にあると認識される。
【0068】
S113Cには、S112、あるいは、後述する図14のS123,S128,S129から処理が進む。すなわち、登録モード直後を含め、登録画像が画像認識され位置が検出されているときに、S113Cに処理が進む。現在の特定ポイント[X,Y]の周辺、すなわち、認識ウインドウの中心73が位置する位置探索領域72、を順次スキャンし、この周辺を中心とする認識ウインドウ12中の表示画像に、登録画像の特徴があるか否かを判定し、特徴があるときには、S118に処理を進め、ないときにはS114に処理を進める。このステップS113Cにおける画像認識は、図8を参照して説明した中程度の一致レベルの画像認識によって行う。
【0069】
S114においては、フラグF1を0にセットし、S115に処理を進める。このフラグF1は、位置検出状態において、1度、S119において、t1=0にしたことを表すフラグである。位置検出状態を持続している間に、2度目の発音指示がされないように用いている。
S115〜S116においては、直前の状態において、被写体の特定部分が検出され、かつ、実質的に停止状態(F2=1)であったときに、今回のS113A〜S113Cにおける判定により、登録画像の認識ができなくなったときに、t1パラメータを1にセットして、所定時間経過を見るカウントを開始させる。t1を0にしないのは、t1=0の値を、100msec経過したことを表すために使用しているからである。t1=0からカウントアップするか、t1=1からカウントアップするかは大差ない。
【0070】
S115においては、フラグF2が1であるか否かを判定し、1のときにはS116に処理を進め、1でなければS117に処理を進める。S116においてはt1パラメータを1にセットし、フラグF2を0にセットする。以後、S123において実質的な停止状態(F2=1)になるまで、カウント値はリセットされない。
S117においては、演奏モード中に、音色設定スイッチや、登録スイッチにオンイベントがあるか否かを判定し、ある場合には、メインルーチンに戻り、ない場合にはS112に処理を戻す。
【0071】
S118〜S119においては、t1のカウントが開始してから、所定時間n1が経過したときに、t1を0にして、後述する割り込み処理のS141における発音指示の1条件を満足させる。S118においては、F1=0かつt1=n1であるか否かが判定され、yesであればS119に処理を進め、noであればS119に処理を進める。S119においては、t2パラメータ(時間パラメータ)の現在値をt2’パラメータに移し、t2パラメータを0にセットし、t1パラメータを0にセットして、S120に処理を進める。
図18(c)に示すように、t2パラメータは、4secの時間を計数した後一定値を維持する発音間隔を検出するための時間パラメータである。図13のS119において0にセットされ、図15を参照して後述する割込処理のS151においてn2までカウントアップされる。
【0072】
S120においては、tsがnとなったか否かを判定し、nであるときには、S121に処理を進め、nでないときにはS113Cに処理を戻して画像認識を繰り返す。すなわち、位置探索領域72に被写体の特定部分を画像認識し続けて10msec経過後に、図14に示す、被写体の特定部分の移動状態の判定と、次回に被写体の特定部分を画像認識するための処理を行う。
図14のS122においては、認識ウインドウの中心点73の位置が、前回(10msec前)の認識ウインドウの中心点73の位置からの差が大きいか否かを判定し、変化なしのときを含め、小さいときにはS123に処理を進め、大きいときにはS124に処理を進める。ただし、登録直後は、前回の値がないので、位置差が0であると判定し、また、前回の認識ウインドウの中心点73の位置データが移し替えられる。
【0073】
S123に処理が進むのは、被写体の特定部分が実質的に停止状態にあるときである。F2=1とするとともに、現在の認識ウインドウの中心点73の位置データを、前回の認識ウインドウの中心点73の位置データとして格納し、図13のS113Cに処理を戻し、認識ウインドウ12のスキャンを再開してS113Cにおける画像認識を繰り返す。
一方、S124に処理が進むのは、被写体の特定部分が10msec前の位置から移動しているときである。S124においては、F2=1(実質的な停止状態)であるか否かを判定し、1のときにはS125に処理を進め、1でなければS126に処理を進める。S125においてはt1パラメータを1にセットし、フラグF2を0にセットする。以後、S123において、実質的な停止状態(F2=1)になるまで、カウント値は1にセットされない。
【0074】
S126においては、被写体の特定部分が直前位置から移動したとして、フラグF1を0にセットするとともに、前回と今回との認識ウインドウの中心点73の位置から移動ベクトル(方向と速度)を算出し、S127に処理を進める。S127においては、認識ウインドウの中心点73の現在位置と移動ベクトルに基づいて、認識ウインドウの中心点73の位置が、現在の特定ポイント[Y,Y]の周辺(位置探索領域72)から外れるか否かを推測し、外れると推測される場合には、S129に処理を進め、外れないと推測される場合には、S128に処理を進める。
【0075】
S128においては、移動ベクトルの値を考慮して、特定ポイント[X,Y]の周辺(位置探索領域72)であって、次に認識ウインドウの中心点73をスキャンさせるときのスキャンの開始位置を決定する。そして、現在の認識ウインドウの中心点73の位置データを前回の認識ウインドウの中心点73の位置データに移して、S113Cに処理を戻し、決定した開始位置から認識ウインドウのスキャンを再開して画像認識を行う。
【0076】
一方、S129においては、現在の認識ウインドウの中心点73の位置と移動ベクトルの値に基づいて、次の特定ポイント[X,Y]、すなわち、被写体の特定部分の移動先であると推定される位置探索領域72を決定する。そして、移動先の特定ポイント[X,Y]の位置を認識ウインドウの中心点73の位置データの前回の値として格納し、図13のS113Cに処理を戻し、新たに指定された特定ポイント[X,Y]の位置探索領域72において画像認識を実行する。
【0077】
ここで、図12〜図14を通し、被写体の特定部分の登録時からリアルタイム演奏状態をすることになるまでに、認識ウインドウ12をどのように移動させて、被写体の特定部分を追跡するかについて、改めて説明する。
図12における登録処理のS107において、W/Rおよび時間パラメータがセットされると、図13,図14に示す演奏処理モードになる。この登録直後は、図13のS111,S112,S113Cと処理が進む。S113Cにおいては、中程度の一致レベルの画像認識により、位置探索領域72内を認識ウインドウの中心点73を移動させて、認識ウインドウ12中の表示画像と登録画像との比較を行う。
【0078】
比較の結果、登録画像の特徴データがあれば、S114に処理が進む。登録直後は、S118からS119,S120,S121,S122,S123,S113Cと処理が進む。S113Cにおいて、登録画像の特徴データが検出されたときの認識ウインドウの中心点73の位置は、被写体の特定部分の中心位置でもある。その後、S120〜S113C間を繰り返すが、10msec経過する毎に、S120でyesと判断され、S121以降、図14に示す以後の処理がなされる。
【0079】
ループを繰り返し回っている間に、被写体の特定部分の表示画像が移動する。そのため、前回(10msec前)のS113Cの処理において特徴データが検出されたときの認識ウインドウの中心点73から、今回のS113Cの処理で特徴データが検出されたときの認識ウインドウの中心点73までの位置差がある程度大きくなる。そうすると、S122からS124,S125と処理が進む。
図9(a)に示すように、上述した位置差がある程度大きくても、所定範囲を超えないときには、S126からS127,S128に処理が進み、次にスキャンを開始させる認識ウインドウの中心点73の位置を適切な予測位置に決めた上で、S113Cに処理を戻し、何回か、S113CからS128までの処理ステップを繰り返す。
【0080】
図9(b)に示すように、上述した位置差がさらに所定範囲を超えると、S127からS129に処理が進み、認識ウインドウの中心点73は、新たな特定ポイント[X,Y]の位置探索領域72内をその中心として、同様の動作を繰り返す。しかし、この新たな特定ポイント[X,Y]の周辺に、被写体の特定部分の画像が来ていないときには、S113Cにおいて、S114〜S117に処理が進む。
なお、認識ウインドウの中心が、新たな特定ポイント[X,Y]に移る前の、S113A〜S113Cにおいても、画像認識の結果、登録画像の特徴データがなかったときは、同様に、S114〜S117に処理が進む。
【0081】
S112においては、たまたま、tsが10msec経過した瞬間であればS113Cに処理が進んでしまう。しかし、通常は、S113Aに処理が進み、画像表示面上の全特定ポイント[X,Y]を中心とする認識ウインドウ72内の画像表示面を、順次比較対象とし、かつ、一致レベルを低くした画像認識によって登録画像の特徴データを検出する。特徴データが検出されたときには、S113Bにおいて、このときの特定ポイント[X,Y]の位置探索領域72内において認識ウインドウの中心点73を順次スキャンして、認識ウインドウ72内の表示画像を比較対象として、一致レベルの高い画像認識によって登録画像の特徴データを検出する。
【0082】
認識ウインドウ中に被写体の特定部分の表示画像が来ていなければ、S113A,S113B,S113Cのいずれかの処理ステップで、S114〜S117を経由してS112に処理が戻るようになっている。
特に、認識ウインドウ中に被写体の特定部分の表示画像が来ていて、中程度の一致レベルにより、登録画像の特徴データを検出しているときに、被写体の特定部分、例えば、手1aをビデオカメラ6に近づけるか、遠ざけるときには、被写体の特定部分の表示画像がピントの合わない表示画像になったり、あるいは、被写体の特定部分の表示画像の大きさが変化することになる。
その結果、中程度の一致レベルの画像認識でも、登録画像の特徴データを検出できなくなり、認識不能状態、すなわち、被写体の特定部分の存在が検出されない状態になる。また、手1aを画面上から隠したときにも同様に、認識不能状態になる。そのため、これらの場合には、S113Cにおいて、S114〜S117と処理が進む。その後、認識可能になれば、S113A,S113BからS118に処理が進む。
【0083】
図15を参照して、タイマ処理1について説明する。このタイマ処理1は、割り込み処理である。
S141においては、t1が0であるか否かを判定する。t1が0であればS144に処理を進め、t1が0でなければS150に処理を進める。図13に示したS113Cにおいて登録画像の特徴データを検出しているとき(ただし、前回特徴データが検出されない状態になってから100msec経過して、S119でt1が0にセットされることなどを前提とする)には、S144に処理が進む。
【0084】
S144においては、認識ウインドウの中心点73は、図12のS105において入力されS106において設定された、画像表示面上に設定された「音高を変化させる方向」のどの辺にあるかを計算して、基準長さに対する割合を出し、S145に処理を進める。
このフローチャートにおいては、図4〜図6とは異なり、画像表示面の左右方向に1つの発音領域列41のみを設定し、かつ、この発音領域列41に直交する縦方向とは無関係に帯状の発音領域を設定している。また、画像表示面の絶対位置(絶対座標)に対応させて発音領域を設定するモードでは、画像表示面の横方向の距離を基準長さとし、画像表示面の左端から認識ウインドウの中心点73の位置(すなわち特定部分の位置)までの距離を、基準長さで割ればよい。一方、画像登録時の発音領域13を基準位置とした相対位置で発音領域を設定するモードでは、基準となる登録時の発音領域13から音高を変化させる方向に所定の基準長さを設定し、基準となる登録時の発音領域13を原点として、ここから認識ウインドウの中心点73の位置までの距離を基準長さで割ればよい。
【0085】
S145においては、この割合が所定割合であるか否かを判定し、所定割合であるときには、S146に処理を進め、所定割合でないときには、S150に処理を進める。ここで、所定割合であるかどうかの判定とは、図4〜図6を流用して説明すると、認識ウインドウ12の中心点が発音領域列中の、いずれの発音領域13に存在するかを判定することである。
S146においては、その割合(発音領域)に見合った音名をパラメータKにセットするとともに、先に、図13のS119において格納したt2’パラメータの値とを合わせたセットデータを、kcパラメータとして取り込み、かつ、このkcパラメータを、ポインタpのシーケンスデータQ(p)に登録し、S147に処理を進める。
【0086】
ここで、t2’パラメータの値とは、図13のS119において、0にセットされる前のt2の値である。
このt2’の値は、被写体の特定部分が前回の位置に存在しなくなってから100msec経過した後に、再び被写体の特定部分の元の位置あるいは新たな位置が検出されたときまでの経過時間を示す値である。S119の処理がなされた場合に限り、図15のS141にてyesと判断され、この位置が、S144,S145において、発音領域であると判定されれば、そのときのデータt2’が音高データとともに自動演奏用データとしてシーケンスデータQ(p)に順次レジストされるとともに、S149にてリアルタイム発音される。
したがって、被写体の特定部分の中心位置が移動して、前回、被写体の特定部分を画像認識できなくなった時から100msec以内に、別の発音領域を通過したり、または、別の発音領域に滞在した場合があったとしても、この実施の形態では、わざと無視をして発音指示をしない。これによって、手を無造作に速く動かした場合の不用意な経過音を発音されなくするとともに、自動演奏データとしても取り込まないようにしている。
【0087】
以上説明した配慮のもとに、S146において、t2’が、今回の音名Kと共に、kcパラメータとして取り込まれる。
なお、t2’は、前回、被写体の特定部分が検出されていた位置に存在しなくなったときからの経過時間であるため、必ずしも、前回発音指示されたときからの時間ではなく、被写体の特定部分が移動途中で発音領域外に停止していれば、この領域に存在しなくなったときからの時間である。
しかし、使用者の通常の動作では、音高の配列方向に沿って被写体の特定部分を動かすから、発音領域外に停止することはまれである。したがって、t2’は、前回、ある音名の発音が指示されてから今回、新たな音名の発音が指示されるまでの時間になる。また、図18(c)に示すように、t2パラメータは、最大4秒に抑えられているので、t2’も最大4秒に抑えられる。その結果、前回にある音名の発音が指示されてから、今回、新たな音名の発音が指示されるまでの時間が4秒よりも長くなってしまっても、強制的に4秒の時間間隔として格納される。
発音領域外に停止しているときを誤操作として除外したい場合には、t2’の計数を、図15のS146において、毎回発音指示するときの時刻をレジスタに記憶しておき、前回と今回の時刻差を計算して、これをt2’とすればよい。
【0088】
S147においては、t2’をリセットし、S148に処理を進める。S148においては、認識ウインドウ12の中心点をその中心とする所定半径の円を確認マーク(図7の51)として画面に表示し、S149に処理を進める。S149においては、音名Kの楽音を所定の持続時間(ゲートタイム)にわたって発音させ、S150に処理を進める。S150においては、t2パラメータの値がn2以上であるか否かを判定し、n2以上であるときには、S152に処理を進め、n2未満であるときにはS151に処理を進める。S151においては、t2パラメータの値に1を加算してカウントアップを行い、S153に処理を進める。S152においては、t2パラメータの値をn2にセットしてS153に処理を進める。
【0089】
S153においては、t1パラメータの値がn1以上であるか否かを判定し、n1以上であるときには、S155に処理を進め、n1未満であるときにはS154に処理を進める。S154においては、t1パラメータの値に1を加算してカウントアップを行い、割り込みルーチンを終了する。S155においては、t1パラメータの値をn1にセットして割り込みルーチンを終了する。t1パラメータ,t2パラメータの値の変化は図18(b),図18(c)に示した通りである。
【0090】
図16を参照して、タイマs処理を説明する。このタイマs処理も、所定時間間隔の割り込みタイミングで動作を開始する。S161においては、tsパラメータに1を加算しS162に処理を進める。S162においては、tsパラメータの値がn以上であるか否かを判定し、n以上であるときには、割り込みルーチンを終了し、n未満であるときにはS163に処理を進め、tsパラメータの値をnにセットして割り込みルーチンを終了する。tsパラメータの値の時間変化は図18(a)に示したとおりである。
【0091】
ここで、図12〜図14と図15とを関連させて、認識ウインドウがどのように被写体の特定部分を追跡しながら、楽音が発音するかについて、改めて説明を付け加えておく。
図15のS141からS144に処理が進むのは、図13のS118において、被写体の特定部分が前回の位置に存在しなくなってから、n1に相当する時間以上経過していることが判定されてS119に進み、ここで、t1=0にセットされたときである。n1の値で決まる時間は、上述した例では、100msecであるが、手等を動かす速度を考慮して決め、50msec〜100msecが好ましい。そして、現在、被写体の特定部分が発音領域にあるときに限り、S145においてyesとなり、S146に処理が進む。つまり、フローチャート中の処理ステップの諸条件に合致した時間データt2’パラメータが、S146においてシーケンスデータQ(p)に取り込まれる。
登録モードから演奏処理モードに移行したときに、初めて図15のS141〜S149と処理が進んだときには、S149において、登録時における発音領域に割り当てられた音名の楽音が発音される。図1(b)で説明した例では、登録時の発音領域に認識ウインドウの中心が必ずあるので、S145においてnoとなることはない。
【0092】
最後に、図17を参照し、自動演奏再生処理について説明する。
S171においては、W/Rが2であるか否かを判定し、2であるときには、S172に処理を進め、2でないときにはメインルーチンに戻る。S172においては、シーケンスデータQ(p)を、最初のp=1から読み出す。
その際、ある音名の楽音Kを読み出すとともに、次のポインタp+1の位置に、次の音名Kとともに記録されたt2’パラメータの値を読み出し、S173に処理を進める。ただし、次のポインタp+1の位置に、次のkcデータがないときにはt2’=0とする。S173においては、音名Kの楽音を発音させ、S174に処理を進める。S174においては、シーケンスデータQ(p+1)に、次のkcデータが有るか否かを判定し、有るときにはS175に処理を進め、ないときにはS176に処理を進める。
【0093】
S176においては、読み出されたt2’の値に等しい時間が経過したか否かを判定し、経過していないときには、再びS176に処理を戻し、経過したときには、S172に処理を戻す。S175においては、図12に示したS107と同様な処理を行う、すなわち、W/Rに0をセットして演奏モードに切り換え、tsパラメータに値nをセットし、t1パラメータに値n1をセットし、フラグF1に0をセットして、メインルーチンに戻る。
【0094】
なお、上述した説明では、シーケンスデータQ(p)を頭から順次、最後まで読み出すようにしたが、これに代えて、シーケンスデータQ(p)の全体をピアノロールウインドウや楽譜形式等で表示し、その中から、気に入ったフレーズを、キーボードによる数値入力あるいはマウスコントローラで範囲指定し、範囲指定された期間のシーケンスデータQ(p)のみを読み出して発音させたり、作曲のための材料として、改めて、範囲指定された期間のみのシーケンスデータQ(p)をメモリに記憶するようにしてもよい。
【0095】
上述した説明では、被写体の特定部分を1つにして説明したが、2つ以上の特定部分を設けてもよい。この場合、例えば、時分割処理で各特定部分を、上述した説明と同じ条件で位置検出する複数のフローを同時に実行させる。あるいは、汎用のコンピュータを複数台用いて、被写体の複数の特定部分を、個別のコンピュータで位置検出するようにして、そのうちの1つのコンピュータで、被写体の複数の特定部分の位置検出情報を収集して楽音の発音指示を行えばよい。
【0096】
2つの特定部分を設けた場合、第1の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた楽音の発音を第1の音色で行うように指示するとともに、第2の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた第2の楽音の発音を第1の音色とは異なる第2の音色で行うように指示することができる。
あるいは、第1の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた楽音の発音を第1の演奏パートで行うように指示するとともに、第2の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた楽音の発音を第1の演奏パートとは異なる第2の演奏パートで行うように指示することができる。
また、第2の特定部分の移動位置を検出するとともに、第1の特定部分の移動が、所定の移動条件を満足したときに、発音領域に割り当てられた音高を識別し、識別された音高を、第2の特定部分の位置の変化方向に応じてオクターブシフトさせて、楽音の発音を指示することができる。
【0097】
上述した説明では、画像表示面上の複数の発音領域に、音名(音高)を割り当てて楽音を発音させたが、調を指定した上で、階名を割り当ててもよい。
また、画像表示面上の複数の発音領域に、異なる音色を割り当ててもよい。
単に、特定部分が発音領域に位置したことを操作者に確認させるだけであれば、複数の発音領域に全く同じ楽音を割り当ててもよい。
【0098】
【発明の効果】
上述した説明から明らかなように、本発明によれば、被写体の特定部分がどのように動いたかの移動状況を、楽音によって確認させることができるという効果がある。
本発明の楽音制御装置は、楽音発生部と共に用いたり、楽音発生部と一体となって楽音発生装置として使用されるが、操作者が演奏する意思をもってこれに臨まないと、望むような楽音を発生する楽器とはならないようになっている。その結果、操作者にうまく演奏しようとする意欲が生まれ、これが手足等を動かすリハビリテーションにつながる。
したがって、リハビリテーションの身体能力回復のための支援装置、あるいは身体機能の向上のための支援装置として用いることができる。同時に、身振りに応じて楽音を発音する電子楽器の機能も備えるため、楽しみながらリハビリテーションを行うことができる。また、音楽的創造力やダンス的素養を高めることも期待できる。
電子楽器の入力装置としても、手の位置等で音高を入力することが簡単にできるため、楽器をさわったことのない人でも、演奏することができる。手に限らず、頭(首)、肘、足の動き、手に持ったカードや棒の動き等を使って演奏することができる。また、発音する楽音を発音時間間隔を含めて記憶することができるので、演奏を入力すると同時に記録を行い、その後、改めて演奏中のフレーズを取り出すことにより、簡単に作曲することができる。
【図面の簡単な説明】
【図1】 本発明の楽音制御装置の実施の一形態の第1の説明図である。
【図2】 本発明の楽音制御装置の実施の一形態の第2の説明図である。
【図3】 本発明の楽音制御装置の実施の一形態のハードウエア構成の概要図である。
【図4】 本発明の楽音制御装置の実施の一形態の発音領域の第1の説明図である。
【図5】 本発明の楽音制御装置の実施の一形態の発音領域の第2の説明図である。
【図6】 本発明の楽音制御装置の実施の一形態の発音領域の第3の説明図である。
【図7】 本発明の楽音制御装置の実施の一形態の楽音制御機能の説明図である。
【図8】 本発明の楽音制御装置の実施の一形態における画像認識の第1の説明図である。
【図9】 本発明の楽音制御装置の実施の一形態における画像認識の第2の説明図である。
【図10】 本発明の楽音制御装置の実施の一形態のメインルーチンのフローチャートである。
【図11】 本発明の楽音制御装置の実施の一形態のパラメータおよびモード設定処理のフローチャートである。
【図12】 本発明の楽音制御装置の実施の一形態の画像認識登録処理のフローチャートである。
【図13】 本発明の楽音制御装置の実施の一形態の演奏処理の第1のフローチャートである。
【図14】 本発明の楽音制御装置の実施の一形態の演奏処理の第2のフローチャートである。
【図15】 本発明の楽音制御装置の実施の一形態のタイマ処理1のフローチャートである。
【図16】 本発明の楽音制御装置の実施の一形態のタイマ処理sのフローチャートである。
【図17】 本発明の楽音制御装置の実施の一形態の自動演奏再生処理のフローチャートである。
【図18】 時間パラメータであるtsパラメータ、t1パラメータ、t2パラメータの時間変化を示す説明図である。
【符号の説明】
1 操作者、1a 手、2 コンピュータ本体部、3 キーボード、4 画像表示装置、5 スピーカ、6 ビデオカメラ、11 操作者の表示画像、11aは手の表示画像、12は認識ウインドウ、13は発音領域、21 位置検出部、21a 被写体特定部分の画像記憶部、21b 画像認識部、22 発音指示部、23 発音領域設定部、51 確認マーク、71 特定ポイント、72 位置探索領域、73 認識ウインドウの中心点、74 認識ウインドウの外周の移動領域
Claims (10)
- 移動する操作物体の位置を検出して楽音の発音を制御する楽音制御装置であって、
前記操作物体の位置を検出する位置検出手段と、
前記位置検出手段の出力を入力し、前記操作物体の任意の基準位置から前記操作物体の現在位置までの移動時間が所定時間以上であるという第1の移動条件、および、前記操作物体の現在位置に関する第2の移動条件の両移動条件を満足したときに少なくとも応じて前記楽音を発音させることを決定し、前記楽音を発音させる場合に前記楽音の発音を指示する発音指示手段と、
を有することを特徴とする楽音制御装置。 - 被写体を撮影した画像表示面上における前記被写体の特定部分の位置を検出する位置検出手段と、
前記画像表示面上に少なくとも1つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、
前記位置検出手段の出力を入力し、前記特定部分が、前記画像表示面上の、ある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段とを有する、
ことを特徴とする楽音制御装置。 - 前記発音指示手段は、前記特定部分の位置が、前記所定時間経過後に、前記ある1つの領域と同じ領域にあることが判定され、かつ、前記ある領域が前記発音領域に属すると判定されたときにも、現在、前記特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する、
ことを特徴とする請求項2に記載の楽音制御装置。 - 前記発音領域設定手段は、前記画像表示面上の所定の方向に複数の発音領域を設定し、前記所定の方向に沿った前記各発音領域の順序に応じた音高の楽音を割り当てるものである、
ことを特徴とする請求項2または3に記載の楽音制御装置。 - 前記発音領域設定手段は、外部入力信号により、前記所定の方向を設定するものである、
ことを特徴とする請求項4に記載の楽音制御装置。 - 被写体を撮影した画像表示面上における前記被写体の第1および第2の特定部分の位置を検出する位置検出手段と、
前記画像表示面上に少なくとも1つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、
前記位置検出手段の出力を入力し、前記第1の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記第1の特定部分が存在する前記発音領域に割り当てられた楽音の発音を第1の音色で行うように指示するとともに、前記第2の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記第2の特定部分が存在する前記発音領域に割り当てられた楽音の発音を前記第1の音色とは異なる第2の音色で行うように指示する発音指示手段とを有する、
ことを特徴とする楽音制御装置。 - 被写体を撮影した画像表示面上における前記被写体の第1および第2の特定部分の位置を検出する位置検出手段と、
前記画像表示面上に少なくとも1つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、
前記位置検出手段の出力を入力し、前記第1の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、前記第1の特定部分が存在する前記発音領域に割り当てられた楽音の発音を第1の演奏パートで行うように指示するとともに、前記第2の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、前記第2の特定部分が存在する前記発音領域に割り当てられた楽音の発音を第1の演奏パートとは異なる第2の演奏パートで行うように指示する発音指示手段とを有する、
ことを特徴とする楽音制御装置。 - 被写体を撮影した画像表示面上における前記被写体の第1および第2の特定部分の位置を検出する位置検出手段と、
前記画像表示面上の所定の方向に複数の発音領域を設定するとともに、前記所定の方向に沿った前記発音領域の順序に応じた音高の楽音を割り当てる発音領域設定手段と、
前記位置検出手段の出力を入力し、前記第2の特定部分の位置の変化方向を検出するとともに、前記第1の特定部分が、前記画像表示面上のある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記第1の特定部分が存在する前記発音領域に割り当てられた前記音高を識別し、識別された前記音高を、前記第2の特定部分の位置の変化方向に応じてオクターブシフトさせて、前記楽音の発音を指示する発音指示手段とを有する、
ことを特徴とする楽音制御装置。 - 記憶手段を有し、
該記憶手段は、前記発音指示手段が、前記楽音の発音を指示するごとに、前記発音の指示の前回の時刻から今回の時刻までの時間経過情報を、発音指示される前記楽音の情報とともに記憶するものである、
ことを特徴とする請求項2ないし8のいずれか1項に記載の楽音制御装置。 - 被写体を撮影した画像表示面上における前記被写体の特定部分の位置を検出する位置検出手段と、
前記画像表示面上に少なくとも1つの発音領域を設定するとともに、前記発音領域に対して発音させる楽音を割り当てる発音領域設定手段と、
前記位置検出手段の出力を入力し、前記特定部分が、前記画像表示面上の、ある1つの領域に存在しなくなったと判定されてから所定時間経過後に、前記ある1つの領域とは異なる前記画像表示面上の他の領域に存在すると判定され、かつ、前記他の領域が前記発音領域に属すると判定されたときに、現在、前記特定部分が存在する前記発音領域に割り当てられた楽音の発音を指示する発音指示手段と、
してコンピュータを機能させるための楽音制御プログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07803599A JP3637802B2 (ja) | 1999-03-23 | 1999-03-23 | 楽音制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07803599A JP3637802B2 (ja) | 1999-03-23 | 1999-03-23 | 楽音制御装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004322403A Division JP3938178B2 (ja) | 2004-11-05 | 2004-11-05 | 楽音制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000276138A JP2000276138A (ja) | 2000-10-06 |
JP3637802B2 true JP3637802B2 (ja) | 2005-04-13 |
Family
ID=13650572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07803599A Expired - Fee Related JP3637802B2 (ja) | 1999-03-23 | 1999-03-23 | 楽音制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3637802B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005086574A2 (en) * | 2004-02-05 | 2005-09-22 | Motorika Inc. | Rehabilitation with music |
JP2005316300A (ja) * | 2004-04-30 | 2005-11-10 | Kyushu Institute Of Technology | 楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット |
WO2005122134A1 (ja) * | 2004-06-09 | 2005-12-22 | Toyota Motor Kyushu Inc. | 楽音生成装置、楽音生成方法、楽音生成プログラムおよび記憶媒体 |
JP2006325740A (ja) * | 2005-05-24 | 2006-12-07 | Nagasaki Univ | リハビリテーション支援システム及びプログラム |
JP2008165098A (ja) * | 2006-12-29 | 2008-07-17 | Sounos Co Ltd | 電子楽器 |
JP5082730B2 (ja) * | 2007-10-02 | 2012-11-28 | ヤマハ株式会社 | 音データ生成装置および方向センシング発音楽器 |
JP5166047B2 (ja) * | 2008-01-17 | 2013-03-21 | 株式会社河合楽器製作所 | 電子楽器 |
JP2011128393A (ja) * | 2009-12-18 | 2011-06-30 | Korg Inc | 電子楽器用コントローラ |
JP5039808B2 (ja) * | 2010-03-16 | 2012-10-03 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
JP2013182195A (ja) * | 2012-03-02 | 2013-09-12 | Casio Comput Co Ltd | 演奏装置及びプログラム |
JP6664609B2 (ja) * | 2014-03-28 | 2020-03-13 | 株式会社ユピテル | 電子情報システム及びそのプログラム |
JP6425287B1 (ja) * | 2017-10-23 | 2018-11-21 | 株式会社mediVR | リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
WO2021038833A1 (ja) * | 2019-08-30 | 2021-03-04 | ソニフィデア合同会社 | 音響空間生成装置 |
-
1999
- 1999-03-23 JP JP07803599A patent/JP3637802B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000276138A (ja) | 2000-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4215104B2 (ja) | 楽音制御装置 | |
JP3637802B2 (ja) | 楽音制御装置 | |
US6685480B2 (en) | Physical motion state evaluation apparatus | |
JP5792131B2 (ja) | ゲーム機、それに用いる制御方法及びコンピュータプログラム | |
JP4627052B2 (ja) | 画像に連携した音声出力方法および装置 | |
US20120143358A1 (en) | Movement based recognition and evaluation | |
US20030214524A1 (en) | Control apparatus and method by gesture recognition and recording medium therefor | |
JP3452783B2 (ja) | 振り付け採点機能を有するカラオケ装置 | |
US20200134297A1 (en) | Control System and Control Method | |
JP2005103241A (ja) | 入力装置、ゲームシステム、プログラムおよび情報記憶媒体 | |
KR101884089B1 (ko) | 평가 프로그램, 평가 방법 및 평가 장치 | |
JP5399966B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
JP3938178B2 (ja) | 楽音制御装置 | |
JP4409545B2 (ja) | 三次元位置特定装置および方法、奥行位置特定装置 | |
JP3866474B2 (ja) | ゲーム装置および情報記憶媒体 | |
JP2001179666A (ja) | ペット型ロボット及びプログラムが記録されたコンピュータ読み取り可能な記録媒体 | |
JP5629364B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
JP5318016B2 (ja) | ゲームシステム、ゲームシステムの制御方法、及びプログラム | |
KR20000024237A (ko) | 댄스 평가 및 지도 기능을 갖는 노래 반주 시스템 및 방법 | |
Kerdvibulvech et al. | Guitarist fingertip tracking by integrating a Bayesian classifier into particle filters | |
KR200239844Y1 (ko) | 인공시각과 패턴인식을 이용한 체감형 게임 장치. | |
JP2001224731A (ja) | ゲーム装置および情報記憶媒体 | |
JP4407354B2 (ja) | 電子ゲーム装置 | |
JP6547551B2 (ja) | カラオケ装置、プログラム | |
JP4155572B2 (ja) | 入力装置、ゲームシステム、プログラムおよび情報記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050103 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |